Vorig jaar schreef ik een bericht over “5 belangrijke dingen die je moet weten over meta-analyse”. Het was een geweldige manier om je te concentreren, maar het was moeilijk om je aan slechts 5 te houden. Nu meta-analyses sterk in opkomst zijn, waaronder veel die slecht zijn uitgevoerd of verkeerd worden geïnterpreteerd, is het absoluut tijd voor een vervolg !
Meta-analyse combineert en analyseert gegevens van meer dan één onderzoek tegelijk. Met behulp van een verscheidenheid aan statistische methoden, waarvan sommige speciaal zijn ontwikkeld, kunt u een enorme hoeveelheid informatie samenvoegen tot een enkele samenvattende statistiek.
In de post van vorig jaar legde ik de basisprincipes uit en concentreerde ik me op enkele manieren om de waarde van een meta-analyse te zien.
Deze keer wijs ik op enkele veelvoorkomende valkuilen.
1. Een meta-analyse is een veiliger startpunt dan een enkele studie, maar het hoeft niet per se betrouwbaarder te zijn.
Een meta-analyse is meestal onderdeel van een systematische review Het is een zware inspanning en wordt vaak omschreven als de ultieme studie, die zwaarder weegt dan alle andere. Het laatste woord. Een enkele studie wordt een nietig ding, dat zelfs maar moet worden genegeerd.
Maar hoewel gecombineerde resultaten veel gewicht kunnen dragen, zijn er drie belangrijke problemen met het idee dat een meta-analyse altijd een enkele studie overtroeft.
Ten eerste is een systematische review en meta-analyse geen formele experimentele studie. Het is een niet-experimenteel of beschrijvend onderzoek. Bij elke stap zijn er subjectieve oordelen, waardoor kleine teams van gelijkgestemde mensen voldoende ruimte hebben om in een gewenste richting te sturen als ze dat willen. Een slechte of fragmentarische meta-analyse leidt misschien niet tot betrouwbare conclusies als een goed uitgevoerd, voldoende onderbouwd enkel onderzoek.
Ten tweede is het helemaal niet ongebruikelijk dat een meta-analyse sterk wordt gedomineerd door een enkele studie. Uit een onderzoek van Paul Glasziou en collega’s in 2010 bleek dat zelfs als er meerdere onderzoeken waren, de meest precieze gemiddeld de helft van de resultaten droeg – en ongeveer 80% van de tijd was de conclusie van de meta-analyse zo goed als de hetzelfde als die ene studie. Het begrijpen en bespreken van die dominante studie is van cruciaal belang.
Laten we eens kijken naar een voorbeeld. Eerst wat achtergrondinformatie: de onderstaande figuur is een bosplot van een enkele meta-analyse vanuit een systematische review. Ik heb hier een korte inleiding geschreven om deze te begrijpen.
Elke meta-analyse telt niet alleen studies op. Het komt tot een gewogen gemiddelde, rekening houdend met bijvoorbeeld de omvang van het onderzoek. Deze bosplot toont u het gewicht dat elk van de 6 onderzoeken bijdraagt aan het resultaat (de vetgedrukte regel – klik om een grotere versie te zien). En één proef – de HF-ACTION-proef – is goed voor iets meer dan 70% van het resultaat. Het is niet zo dat de andere onderzoeken er niet toe doen – daar komen we later op terug. Maar ze veranderen dit resultaat niet echt dramatisch. (In de versie van 2010 van deze meta-analyse was de HF-ACTION-studie zelfs nog dominanter, met een gewicht van 78%.)
Het derde probleem is zo groot dat het de volgende plaats op deze lijst krijgt: een enkele nieuwe studie kan de resultaten van een meta-analyse teniet doen. Zodra de resultaten van HF-ACTION beschikbaar waren, was het op zichzelf een betrouwbaardere bron voor veel vragen dan eerdere meta-analyses.
2. Een meta-analyse is een momentopname – hij kan zelfs verouderd zijn op de dag dat hij wordt gepubliceerd.
Onderzoek op veel gebieden groeit erg snel. De meeste meta-analyses zijn verouderd – en dat proces versnelt. Maar zelfs tien jaar geleden waren sommige verouderd toen ze werden gepubliceerd, en de mediane “overlevingstijd” voor een systematische review was 5,5 jaar.
Neem ons voorbeeld van hartfalen. Vóór het HF -ACTION-studie gepubliceerd in 2009, het beeld was anders. Met een veel kleinere pool van gegevens waren sommigen ervan overtuigd dat op oefeningen gebaseerde programma’s de mortaliteit verminderden. Maar de onzekerheid was te groot voor velen, die zich zorgen bleven maken dat lichaamsbeweging te riskant zou kunnen zijn voor mensen met hartfalen. Bovendien waren er zeer weinig gegevens beschikbaar voor vrouwen met hartfalen. (28% van de deelnemers aan HF-ACTION waren vrouwen, wat een grote toevoeging was!) Meta-analisten bewogen vrij snel toen HF-ACTION is aangekomen, maar dat is meestal niet het geval.
Als er een nieuwe studie is, moet je die echt in perspectief kunnen plaatsen. En een bestaande meta-analyse kan je daarbij helpen. Soms , een nieuwe studie bevat ook een bijgewerkte meta-analyse, die het leven heel gemakkelijk maakt! Maar als je op de loer ligt koning bij een meta-analyse die niet erg recent is, moet je ook nog naar latere afzonderlijke onderzoeken kijken. (Dat is een belangrijk onderwerp voor een andere keer!)
3.Kijk goed voordat je een uitkomst letterlijk neemt – het is misschien niet wat het lijkt te zijn.
Wanneer we onderzoek raadplegen voor antwoorden op onze eigen vragen, kan het vertalen van de conclusies van onderzoekers een zeer lastige zaak zijn. De elementen die bepalen wat er in een onderzoek wordt gemeten, zijn complex. Ze houden verband met de behoeften van kwalitatief goed en / of uitvoerbaar onderzoek – niet noodzakelijkerwijs de zeer specifieke vragen die we zouden kunnen hebben.
Als het gaat om meta-analyse, zijn we gebonden aan twee dingen: wat de originele studies gemeten, en welke technieken betrouwbaar zijn voor meta-analyse. Wat de oorspronkelijke onderzoeken hebben gemeten, heeft mogelijk veel te maken met het in zo kort mogelijke tijd uitvoeren van een onderzoek. Surrogaatresultaten en biomarkers zijn van cruciaal belang, maar ze kunnen leiden tot voorbarige conclusies. (Meer daarover hier.)
En neem een beschrijving als “hartgebeurtenis” niet als vanzelfsprekend aan: het betekent misschien niet wat je denkt dat het betekent. Het komt heel vaak voor bij onderzoeken – en daarom bij meta-analyses – om samengestelde resultaten op te nemen met toegankelijke, eenvoudige namen, maar gecompliceerde, ingewikkelde betekenissen. Dus je moet echt naar de kleine lettertjes kijken. (Daar heb ik hier meer over geschreven.)
Een meta-analyse kan dit probleem verergeren, omdat de kans groter was dat deze uitkomsten veel voorkwamen in studies. Hierdoor kunnen ze gemakkelijk worden samengevoegd in een meta-analyse. Vergeet niet de uitkomsten die niet konden worden samengevoegd: ze kunnen zelfs belangrijker voor je dan die in de meta-analyses.
4. Niet alle onderzoeken horen bij elkaar.
Soms systematische reviews meta-analyseer niet wanneer dat mogelijk is. Vaak zie je echter dat auteurs voorzichtig zijn vanwege de heterogeniteit tussen studies die zijn samengevoegd. Als je dat ziet, let dan op y serieus!
Het bundelen van onderzoeken die niet zouden moeten worden gecombineerd, is een van de meest voorkomende tekortkomingen die u in meta-analyses zult zien. Als de resultaten te perfect consistent zijn, kan dat een beetje zorgen baren als er geen absoluut dramatisch effect is. Het zou kunnen betekenen dat de groepen mensen die zijn bestudeerd te veel op elkaar lijken – helemaal niet echt representatief voor de totale bevolking.
Aan de andere kant, als de resultaten te inconsistent zijn – wat heterogeniteit wordt genoemd – het zou kunnen betekenen dat de resultaten helemaal niet meta-analyse hadden moeten worden uitgevoerd. Sleutel hier: kan de heterogeniteit worden verklaard? Ligt het bijvoorbeeld aan bekende verschillen in de mensen in de onderzoeken?
Over methoden voor het meten van heterogeniteit in meta-analyses kun je hier en hier lezen. Vuistregel: de I2 is hiervoor een veel voorkomende statistische maat – een resultaat van 50% of meer begint hoog te worden. (Je kunt de I2 in ons voorbeeld hierboven onderaan in de details linksonder zien: hij komt uit op 34%, wat niet erg hoog is.)
Vuistregel: je wilt wat zien heterogeniteit, maar niet te veel!
5. Ontbrekende studies en ontbrekende gegevens kunnen een meta-analyse torpederen.
Een van de redenen waarom de resultaten te consistent kunnen zijn, is omdat al het slechte nieuws ontbreekt!
Dat brengt ons bij de kwestie van ontbrekende studies en ontbrekende gegevens.
Als studies in een meta-analyse gegevens missen – veel mensen verloren om te volgen- bijvoorbeeld – de auteurs moeten u vertellen hoe ze ermee zijn omgegaan. (Helaas, misschien niet.) Hoe dit de resultaten kan beïnvloeden, kun je zien in mijn bespreking van een voorbeeld hier.
Maar verreweg een groter probleem is wanneer de resultaten van onderzoeken simpelweg niet zijn gerapporteerd . Stel je bijvoorbeeld voor waar we zouden zijn als de HF-ACTION-onderzoekers hun resultaten niet hadden gepubliceerd. Je zou niet denken dat dat een groot probleem zou kunnen zijn, maar dat is het wel. Ik heb een korte blik op de manier waarop meta-analisten hier proberen te controleren op niet-gepubliceerde onderzoeken, en hier is een gedetailleerde technische dekking van dit complexe en controversiële gebied.
De echte oplossing is echter dat alle onderzoeken wordt uitgegeven. En daar kun je iets aan doen! Lees hier op de campagnewebsite van All Trials meer over het probleem en wat je kunt doen om het op te lossen.
En als dit een beetje ontmoedigend is geworden, bezoek dan de eerste 5 dingen om te onthouden wat geweldig in meta-analyse!
~~~~
Om systematische reviews te vinden van interventies in zorg, met en zonder meta-analyses, probeer PubMed Health. (Openbaarmaking: onderdeel van mijn dagelijkse werk.)
5 tips voor het begrijpen van gegevens in meta-analyse
5 belangrijke dingen die u moet weten over meta-analyse.
Meer van Absoluut misschien over meta-analyse.
Wil je meer studeren over meta-analyse? Johns Hopkins heeft een gratis online inleidende cursus, met certificering.
Het voorbeeld van een meta-analyse die wordt gedomineerd door de resultaten van een enkele studie is Analyse 1.2 van een systematische review over op inspanning gebaseerde revalidatie voor hartfalen door Rod Taylor en collega’s (2014).
De cartoons zijn van mijzelf (CC-NC-licentie).(Meer op Statistically Funny en op Tumblr.)