Het gebruik en de interpretatie van quasi-experimentele studies bij infectieziekten

Samenvatting

Quasi-experimentele onderzoeksopzet, soms niet-gerandomiseerde, pre-post-interventie studieopzet , zijn alomtegenwoordig in de literatuur over infectieziekten, met name op het gebied van interventies gericht op het terugdringen van de verspreiding van antibioticaresistente bacteriën. Er is weinig geschreven over de voordelen en beperkingen van de quasi-experimentele benadering. Dit artikel schetst een hiërarchie van quasi-experimentele onderzoeksopzet die toepasbaar is op onderzoek naar infectieziekten en die, indien toegepast, kan leiden tot grondiger onderzoek en meer overtuigende causale verbanden tussen interventies op infectieziekten en resultaten.

Bij de studie van infectieziekten en in het bijzonder bij de studie van infectiebeheersing en antibioticaresistentie, wordt de quasi-experimentele studieopzet, ook wel de pre-post-interventieopzet genoemd, vaak gebruikt om de voordelen van specifieke interventies. We beoordeelden studies gepubliceerd in 2 tijdschriften (Clinical Infectious Diseases and Infection Control and Hospital Epidemiology) gedurende een periode van 1,5 jaar tussen 1 januari 2002 en 1 juni 2003 en vonden 36 quasi-experimentele studies.

Quasi-experimenteel studies omvatten een breed scala aan niet-gerandomiseerde interventiestudies. Deze ontwerpen worden vaak gebruikt wanneer het logistiek niet haalbaar of niet ethisch is om een gerandomiseerde, gecontroleerde studie uit te voeren – de ‘gouden standaard’ van causaal onderzoek. Voorbeelden van quasi-experimentele studies volgen. Als een ziekenhuis bijvoorbeeld het gebruik van een handdesinfectiemiddel op alcoholbasis, wil het ziekenhuis mogelijk de impact van deze interventie op de uitkomst van de verwerving van antibioticaresistente bacteriën onderzoeken op basis van een bewakingscultuur. De interventie wordt geïmplementeerd, acquisitiegraden worden gemeten vóór en na de interventie, en de resultaten worden geanalyseerd. Als een ander voorbeeld: als een ziekenhuis een toenemende frequentie van beademingsgerelateerde pneumonie (VAP) heeft, kan het ziekenhuispersoneel een educatieve interventie ontwerpen die gericht is op het verlagen van de snelheid van VAP en de tarieven voor en na de interventie. Een derde voorbeeld zou een onderzoek zijn naar het effect van een antimicrobieel rentmeesterschap / educatief programma op pre-interventie en postinterventie voorschrijfpraktijken voor antibiotica.

Naarmate de capaciteit om routinematige klinische gegevens te verzamelen is toegenomen, neemt ook het gebruik van quasi-experimentele studieontwerpen toe bij de studie van infectieziekten en in andere medische disciplines. Er wordt echter weinig over deze onderzoeksontwerpen geschreven in de medische literatuur of in traditionele epidemiologische handboeken. De literatuur over sociale wetenschappen staat daarentegen vol met voorbeelden van manieren om quasi-experimentele studies te implementeren en te verbeteren.

In dit artikel willen we de verschillende quasi-experimentele studieontwerpen en de hiërarchie van deze ontwerpen bekijken. met betrekking tot hun vermogen om causale verbanden tussen een interventie en een uitkomst vast te stellen. Het voorbeeld van een op alcohol gebaseerde handdesinfectie-interventie gericht op het verminderen van de acquisitiegraad van antibioticaresistente bacteriën zal in het hele artikel worden gebruikt om de verschillende quasi-experimentele onderzoeksontwerpen te illustreren. We bespreken problemen die zich voordoen in quasi-experimentele studieontwerpen en bieden methoden om deze te verbeteren.

Methoden

We hebben artikelen en hoofdstukken uit boeken besproken die het ontwerp van quasi-experimentele studies bespreken. In de meeste artikelen werd verwezen naar 2 handboeken, die vervolgens grondig werden herzien.

De belangrijkste voor- en nadelen van quasi-experimentele studies, aangezien ze betrekking hebben op de studie van infectieziekten, werden geïdentificeerd. Potentiële methodologische tekortkomingen van quasi-experimenten in de studie van infectieziekten werden geïdentificeerd. Daarnaast wordt een samenvattend cijfer gegeven dat een hiërarchie van quasi-experimentele onderzoeksontwerpen schetst (figuur 1): ontwerpen met hogere getallen hebben meer interne validiteit ten opzichte van mogelijke causaliteit tussen de interventie en de uitkomst.

Resultaten en discussie

Wat is een quasi-experiment?

Quasi-experimenten zijn studies die tot doel hebben interventies te evalueren, maar die geen gebruik maken van randomisatie.Net als gerandomiseerde onderzoeken zijn quasi-experimenten bedoeld om causaliteit aan te tonen tussen een interventie en een uitkomst.

Op basis van deze definitie is het duidelijk dat veel gepubliceerde onderzoeken in de literatuur over infectieziekten en in het bijzonder in de onderzoek naar antibioticaresistentie gebruik de quasi-experimentele onderzoeksopzet. De gerandomiseerde, gecontroleerde studie wordt algemeen beschouwd als de hoogste mate van geloofwaardigheid met betrekking tot de beoordeling van causaliteit; in een ziekenhuis of in de volksgezondheid kan de interventie echter vaak niet worden gerandomiseerd, om een of meer redenen: (1) ethische overwegingen, (2) het onvermogen om patiënten te randomiseren, (3) het onvermogen om locaties te randomiseren, en (4) ) de noodzaak om snel in te grijpen. Elk van deze redenen wordt hieronder besproken.

Ethische overwegingen zullen doorgaans niet toestaan dat een interventie waarvan de werkzaamheid bekend is, wordt onthouden. Als de werkzaamheid van een interventie niet is vastgesteld, is een gerandomiseerde, gecontroleerde studie het ontwerp bij uitstek om de werkzaamheid te bepalen. Maar als de interventie die wordt onderzocht een geaccepteerde, gevestigde therapeutische interventie omvat, of als de interventie twijfelachtige werkzaamheid heeft op basis van eerder uitgevoerde quasi-experimentele of observationele studies, dan komen ethische kwesties met betrekking tot de randomisatie van patiënten aan de orde.

Interventies kunnen vaak niet worden gerandomiseerd naar individuele patiënten. Bij het bestuderen van het effect van het gebruik van een op alcohol gebaseerd handdesinfectiemiddel op de vancomycineresistente enterococcus (VRE) -acquisitiegraad, zoals bepaald door de bewakingscultuur, is het bijvoorbeeld moeilijk om het gebruik van desinfectiemiddel te randomiseren naar individuele kamers of individuele patiënten, omdat , eenmaal gedesinfecteerd, is het onwaarschijnlijk dat een personeelslid instemt met herbesmetting voordat hij of zij de volgende patiënt ziet – en waarschijnlijk zal een IRB hier ook niet mee instemmen. Evenzo kan een op onderwijs gebaseerde interventie om VAP te verminderen niet worden gerandomiseerd naar individuele patiënten.

Interventies kunnen vaak niet worden gerandomiseerd naar individuele locaties. Het is bijvoorbeeld moeilijk om het gebruik van het op alcohol gebaseerde handdesinfectiemiddel willekeurig toe te wijzen aan slechts enkele beroepsbeoefenaren in de gezondheidszorg. Wanneer dit ontwerp van willekeurige locaties met succes wordt toegepast, zijn de locaties meestal geografisch gescheiden; dit brengt extra vragen met zich mee of andere factoren over de omgeving anders zijn, wat het ontwerp en de analyse nog ingewikkelder maakt. Een compromis dat is gehanteerd, is om verschillende eenheden in hetzelfde ziekenhuis willekeurig te verdelen. Politiek gezien is het echter moeilijk om het gebruik van een op alcohol gebaseerd ontsmettingsmiddel alleen in bepaalde delen van een ziekenhuis of alleen aan bepaalde kanten van een afdeling toe te passen. Een ander onderbenut alternatief is de cluster-randomisatie-trial, waarin intacte groepen of “clusters”, in plaats van individuen, worden gerandomiseerd.

Vaak is er behoefte om snel in te grijpen bij het onder controle krijgen van een infectieziekte, waardoor het moeilijk is om een gerandomiseerde trial goed uit te voeren. Bij uitbraken van infectie veroorzaakt door bijvoorbeeld antibioticaresistente bacteriën is er vaak druk om de uitbraak te beëindigen door op alle mogelijke gebieden in te grijpen, en is het dus niet mogelijk om zorg, die zou voorkomen in een gerandomiseerde gecontroleerde studie waarin een van de groepen geen behandeling kreeg. De klinische en ethische noodzaak om snel in te grijpen, maakt het moeilijk of onmogelijk om het langdurige proces van het uitvoeren van een gerandomiseerde studie te doorlopen. debat in de literatuur over de mate van overeenstemming tussen gerandomiseerde studies en observationele studies. Daarom worden talrijke studies retrospectief uitgevoerd, na een tussenkomst Deze uitbraak is geïmplementeerd om een einde te maken aan een dergelijke uitbraak.

Wat zijn de bedreigingen voor het vaststellen van causaliteit wanneer quasi-experimentele ontwerpen worden gebruikt bij de studie van infectieziekten?

Het gebrek aan willekeurige toewijzing is de grootste zwakte van de quasi-experimentele onderzoeksopzet. Associaties die in quasi-experimenten zijn geïdentificeerd, voldoen aan enkele vereisten van causaliteit, omdat de interventie voorafgaat aan de meting van de uitkomst. Ook kan worden aangetoond dat de uitkomst statistisch varieert met de interventie. Helaas impliceert statistische associatie geen causaal verband, vooral als de studie slecht is opgezet. Zo blijft men bij veel quasi-experimenten meestal met de vraag: zijn er alternatieve verklaringen voor het schijnbare causale verband? Als deze alternatieve verklaringen geloofwaardig zijn, is het bewijs niet overtuigend. Deze rivaliserende hypothesen of alternatieve verklaringen komen voort uit principes van epidemiologische onderzoeksopzet.

De methodologische principes die het vaakst resulteren in alternatieve verklaringen in quasi-experimentele onderzoeken naar infectieziekten omvatten de volgende: (1) moeilijkheden bij het controleren op belangrijke verstorende variabelen, (2) resultaten die worden verklaard door het statistische principe van regressie naar het gemiddelde, en (3) rijpingseffecten.

De moeilijkheid bij het controleren op belangrijke verstorende variabelen komt voort uit het gebrek aan randomisatie. In een onderzoek dat bijvoorbeeld tot doel had aan te tonen dat de introductie van een handdesinfectiemiddel op alcoholbasis leidde tot een lagere acquisitie van antibioticaresistente bacteriën, zijn er een aantal belangrijke mogelijke verstorende variabelen die tussen de twee perioden kunnen verschillen (bijv. , de pre- en postinterventieperiodes); variabelen zijn onder meer de ernst van de ziekte, de kwaliteit van de medische en verpleegkundige zorg en het voorschrijven van antibiotica. In een multivariabele regressie zou de eerste variabele kunnen worden aangepakt door middel van metingen van de ernst van de ziekte, maar de tweede en derde verstorende variabelen zouden moeilijk, zo niet bijna onmogelijk, te meten en beheersen zijn.

Regressie naar de gemiddelde is een wijdverbreid statistisch fenomeen. Het kan resulteren in de verkeerde conclusie dat een effect te wijten is aan behandeling, terwijl het in feite aan toeval is te wijten. Het fenomeen werd voor het eerst beschreven in 1886 door Francis Galton. Hij mat de volwassen lengte van kinderen en hun ouders, waarbij hij opmerkte dat wanneer de gemiddelde lengte van de ouders groter was dan de gemiddelde lengte van de bevolking, de kinderen meestal kleiner waren dan hun ouders. Evenzo, wanneer de gemiddelde lengte van de ouders korter was dan de gemiddelde lengte in de populatie, waren de kinderen meestal groter dan hun ouders.

Bij de behandeling van veel infectieziekten, wat de aanleiding is voor de implementatie van een interventie is een stijging van het tarief boven het gemiddelde of de norm. Statistische controlekaarten worden bijvoorbeeld vaak gebruikt bij infectiebeheersing om het infectiebeheersingspersoneel te waarschuwen dat de percentages VAP of acquisitie van antibioticaresistente bacteriën hoger zijn dan normaal. Het statistische principe van regressie naar het gemiddelde voorspelt dat deze verhoogde percentages zullen afnemen, zelfs zonder tussenkomst. Ziekenhuispersoneel kan echter niet passief wachten op deze achteruitgang. Daarom implementeert ziekenhuispersoneel vaak een of meer interventies en kan, als de frequentie daalt, ten onrechte worden geconcludeerd dat de daling causaal verband houdt met de interventie. Een alternatieve verklaring zou zelfs regressie naar het gemiddelde kunnen zijn.

Rijpingseffecten zijn een bedreiging voor de validiteit van de conclusie dat een interventie een uitkomst heeft veroorzaakt. Deze effecten houden verband met natuurlijke veranderingen die patiënten na verloop van tijd ervaren. Deze volwassenheidsveranderingen kunnen de interne validiteit van de studie bedreigen. Daarnaast zijn er cyclische seizoenstrends die een bedreiging kunnen vormen voor de validiteit van het toekennen van een waargenomen uitkomst aan een interventie. Virale infecties hebben bijvoorbeeld seizoenspatronen die leiden tot hogere VAP-percentages in de winter. Als in onze voorbeeldstudie het VAP-percentage vóór de interventie in de winter wordt gemeten en de interventie in het voorjaar plaatsvindt, kan de daling van het VAP-percentage te wijten zijn aan de seizoensgebonden trend en niet aan de interventie.

Wat zijn de verschillende quasi-experimentele onderzoeksontwerpen?

In de literatuur over sociale wetenschappen worden quasi-experimentele studies onderverdeeld in 3 categorieën van onderzoeksopzet:

1. Quasi-experimentele onderzoeksontwerpen die geen controlegroepen gebruiken

2. Quasi-experimentele studieontwerpen die gebruik maken van controlegroepen maar geen pretest

3. Quasi-experimentele onderzoeksontwerpen die gebruik maken van controlegroepen en pretests

Er is een hiërarchie binnen deze categorieën van onderzoeksontwerpen, waarbij categorie 3-onderzoeken gezonder zijn dan die in categorie 2 of 1, in termen van het vaststellen van causaliteit. Daarom moeten onderzoekers, indien mogelijk, proberen studies op te zetten die in categorie 3 vallen.

Shadish et al. bespreek 7 ontwerpen in categorie 1; 3 ontwerpen in categorie 2; en 6 ontwerpen in categorie 3. We stelden vast dat categorie 2-onderzoeken zelden toepasbaar zijn bij onderzoek naar infectieziekten, omdat pretest-metingen bijna altijd beschikbaar zijn. Verder hebben we vastgesteld dat de meeste quasi-experimenten in de studie van infectieziekten konden worden gekarakteriseerd door 5 studieontwerpen in categorie 1 en door 3 ontwerpen in categorie 3, omdat de andere studieontwerpen niet werden gebruikt in de studie van infectieziekten, volgens de literatuur. Daarom hebben we voor de eenvoud de 8 onderzoeksontwerpen die het meest relevant zijn voor onderzoek naar infectieziekten samengevat in de volgende secties en in figuur 1. In elke symbolische notatie beweegt de tijd van links naar rechts.

Categorie 1: Quasi -experimentele studieontwerpen die geen controlegroepen gebruiken.

1. Het pretest-posttest-ontwerp met 1 groep.

Dit is een veelgebruikte onderzoeksopzet. Er wordt een enkele observatiemeting vóór de test (O1) uitgevoerd, een interventie (X) wordt uitgevoerd en een meting na de test (O2) wordt uitgevoerd.O1 zou bijvoorbeeld de acquisitiegraad van VRE kunnen zijn zoals bepaald door de resultaten van perirecte surveillance-culturen, X zou de introductie kunnen zijn van het gebruik van een op alcohol gebaseerd handdesinfectiemiddel en O2 zou de acquisitiegraad van VRE kunnen zijn na de interventie. . Het opnemen van een pretest geeft enige informatie over wat de acquisitieratio’s zouden zijn geweest als de interventie niet had plaatsgevonden.

2. Het 1-groep pretest-posttest-ontwerp dat een dubbele pretest gebruikt.

Het voordeel van dit onderzoeksontwerp ten opzichte van ontwerp 1 is dat de toevoeging van een tweede pretest-meting voorafgaand aan de interventie de kans verkleint dat regressie naar de gemiddelde, rijping en / of seizoensinvloeden zouden het waargenomen verband tussen de interventie en het resultaat van de posttest kunnen verklaren. Bijvoorbeeld, in een onderzoek waarin het gebruik van een op alcohol gebaseerd handdesinfectiemiddel leidde tot lagere VRE-acquisitiesnelheden (O3 < O2 en O1), als 1 onderzoek 2 pre-interventiemetingen van VRE acquisitiesnelheden (O1 en O2), en ze waren beide verhoogd, dit zou suggereren dat er een verminderde kans was dat O3 lager was vanwege verstorende variabelen, rijpingseffecten, seizoenseffecten of regressie naar het gemiddelde.

3. Het 1-groep pretest-posttest-ontwerp dat een niet-equivalente afhankelijke variabele gebruikt.

Dit ontwerp omvat de opname van een niet-equivalente afhankelijke variabele (b), naast de primaire afhankelijke variabele (a). Variabelen a en b zouden vergelijkbare constructies moeten beoordelen; dat wil zeggen, de 2 metingen zouden vergelijkbare potentiële causale variabelen en verstorende variabelen moeten hebben, behalve het effect van de interventie. Variabele a zal naar verwachting veranderen vanwege de interventie X, terwijl variabele b dat niet is. Als we ons VAP-voorbeeld nemen, kan variabele a de incidentie van VAP zijn, en variabele b de incidentie van katheter-geassocieerde urineweginfectie (UTI). Als een educatieve interventie gericht is op het aanmoedigen van ziekenhuispersoneel om de hoofden van de bedden van de patiënt omhoog te brengen en een mechanisch beademingsprotocol te volgen, zou men een afname van de incidentie van VAP verwachten, maar niet van de incidentie van UTI. een aantal belangrijke verstorende variabelen, zoals de ernst van de ziekte en de voorschrijfpraktijken van antibiotica, kunnen van invloed zijn op beide uitkomstmetingen. Dus als zowel de VAP- als UTI-waarden werden gemeten, en als de VAP-waarden afnamen na de interventie, maar UTI-waarden wel niet, dan zouden de gegevens overtuigender zijn dan wanneer alleen VAP-waarden zouden worden gemeten.

Dit ontwerp voegt een derde posttestmeting (03) toe aan het 1-groep pretest-posttest ontwerp en verwijdert vervolgens de interventie voor een laatste meting (O4). Het voordeel van dit ontwerp is dat het toelaat hypothesen te testen over de uitkomst zowel in aanwezigheid als in afwezigheid van de interventie. Dus als men een afname van de tussen O1 en O2 (d.w.z. na implementatie van de interventie), dan zou men een toename van de uitkomst tussen O3 en O4 voorspellen (d.w.z. na verwijdering van de interventie). Een voorbehoud is dat, als wordt aangenomen dat de interventie aanhoudende effecten heeft, O4 moet worden gemeten nadat deze effecten waarschijnlijk zijn verdwenen. Een onderzoek zou bijvoorbeeld overtuigender zijn als het zou aantonen dat het aantal VRE-acquisities daalde na een interventie met handdesinfectiemiddel op alcoholbasis (O2 en O3 minder dan O1) en dat wanneer het gebruik van het desinfectiemiddel werd stopgezet, het percentage toenam (O4 groter dan O2 en O3 en dichter bij 01).

Het voordeel van dit ontwerp is dat het reproduceerbaarheid aantoont van het verband tussen de interventie en het resultaat. Het verband is bijvoorbeeld waarschijnlijker als men aantoont dat het gebruik van een handdesinfectiemiddel op basis van alcohol leidt tot een verlaagde antibioticaresistentie, zowel bij de eerste introductie als bij herintroductie na een onderbreking van de interventie. Net als bij onderzoeksopzet 3 moet worden aangenomen dat het effect van de interventie van voorbijgaande aard is. Dit ontwerp wordt niet vaak gebruikt bij de studie van infectieziekten vanwege de ethische kwesties die komen kijken bij het verwijderen van een behandeling die effectief lijkt te zijn. Epidemiologisch gezien is het echter een beter ontwerp dan eerder beschreven.

Categorie 3: Quasi-experimentele ontwerpen die gebruik maken van controlegroepen en pretests. De lezer dient op te merken dat bij al deze onderzoeksontwerpen de interventie niet gerandomiseerd is. De gekozen controlegroepen zijn vergelijkingsgroepen. Door pre-testmetingen te verkrijgen voor zowel de interventie- als de controlegroep, kan de initiële vergelijkbaarheid van de groepen worden beoordeeld. De aanname is dat hoe kleiner het verschil tussen pretestmetingen, hoe kleiner de kans dat er belangrijke verstorende variabelen zijn tussen de 2 groepen.