I fjor skrev jeg et innlegg av «5 viktige ting å vite om metaanalyse». Det var en fin måte å fokusere på – men det var vanskelig å holde til bare 5. Med metaanalyser blomstrende, inkludert mange som er dårlig utført eller feiltolket, er det definitivt tid for en oppfølger. !
Metaanalyse kombinerer og analyserer data fra mer enn én studie av gangen. Ved å bruke en rekke statistiske metoder, hvorav noen var spesialbygde, kan du kondensere en enorm mengde informasjon til en enkel oppsummeringsstatistikk.
I fjorårets innlegg forklarte jeg det grunnleggende, og konsentrerte meg om noen måter å se verdien av en metaanalyse.
Denne gangen peker jeg på til noen vanlige feller.
1. En metaanalyse er et tryggere utgangspunkt enn en enkelt studie – men det vil ikke nødvendigvis være mer pålitelig.
En metaanalyse er vanligvis en del av en systematisk gjennomgang Det er en tung innsats, og det blir ofte beskrevet som den ultimate studien, som veier tyngre enn alle andre. Det siste ordet. En enkelt studie blir en tøff ting, som skal ignoreres til og med.
Men mens kombinerte resultater kan bære mye vekt, er det tre hovedproblemer med ideen om at en metaanalyse alltid trumfer en enkelt studie.
For det første er en systematisk gjennomgang og metaanalyse ikke en formell eksperimentell studie. Det er en ikke-eksperimentell eller beskrivende studie. Det er subjektive vurderinger hvert trinn på veien, noe som gir små team av likesinnede god plass til å styre i ønsket retning hvis de vil. En dårlig eller ujevn metaanalyse kommer kanskje ikke til så pålitelige konklusjoner som en godt gjennomført, tilstrekkelig drevet enkeltstudie.
For det andre er det slett ikke uvanlig at en metaanalyse blir sterkt dominert av en enkeltstudie. En studie av Paul Glasziou og kolleger i 2010 fant at selv når det var flere studier, hadde den mest presise gjennomsnittlig halvparten av vekten av resultatene – og rundt 80% av tiden var konklusjonen av metaanalysen ganske mye det samme som den eneste studien. Å forstå og diskutere den dominerende studien er kritisk.
La oss se på et eksempel. Noe bakgrunn først: figuren nedenfor er en skogplott av en enkelt metaanalyse fra en systematisk gjennomgang. Jeg har skrevet en rask primer for å forstå disse her.
Hver metaanalyse legger ikke bare til studier. Den kommer til et veid gjennomsnitt, for eksempel med tanke på størrelsen på studien. Denne skogplottet viser vekten hver av 6 studier bidrar til resultatet (linjen med fet skrift – klikk for å se en større versjon). Og en prøveversjon – HF-ACTION-prøveversjonen – står for litt over 70% av resultatet. Det er ikke det at de andre studiene ikke betyr noe – vi kommer tilbake til det senere. Men de endrer egentlig ikke dette resultatet dramatisk. (I 2010-versjonen av denne metaanalysen var HF-ACTION-studien enda mer dominerende og veide inn på 78%.)
Det tredje problemet er så stort at det får neste plass på denne listen: en enkelt ny studie kan velte resultatene av en metaanalyse. Så snart resultatene av HF-ACTION var tilgjengelige, var det alene en mer pålitelig kilde på mange spørsmål enn tidligere metaanalyser.
2. En metaanalyse er et øyeblikksbilde – det kan til og med være utdatert dagen den publiseres.
Forskning på mange områder vokser veldig raskt. De fleste metaanalyser er utdaterte – og prosessen påskynder. Selv for et tiår siden var noen utdaterte da de ble publisert, og median «overlevelsestid» for en systematisk gjennomgang var 5,5 år.
Ta vårt eksempel på hjertesvikt. Før HF -ACTION-prøve publisert i 2009, bildet var annerledes. Med en mye mindre mengde data var noen overbevist om at treningsbaserte programmer reduserte dødeligheten. Men usikkerheten var for stor for mange, som fortsatt var bekymret for at trening kunne være for risikabel for personer med hjertesvikt. Dessuten var det svært få data tilgjengelig for kvinner med hjertesvikt. (28% av deltakerne i HF-ACTION var kvinner, noe som var et stort tillegg av data!) Metaanalytikere beveget seg ganske raskt når HF-ACTION ankom, men det er vanligvis ikke tilfelle.
Når det er en ny studie, trenger du virkelig å kunne sette den i perspektiv. Og en eksisterende metaanalyse kan hjelpe deg med å gjøre det. Noen ganger , en ny studie inkluderer også en oppdatert metaanalyse, som gjør livet veldig enkelt! Men hvis du er loo konge ved en metaanalyse som ikke er veldig fersk, må du fortsatt se på senere enkeltstudier også. (Det er et stort tema for en annen gang!)
3.Se nøye før du tar et resultat bokstavelig – det er ikke sikkert det ser ut til å være.
Når vi konsulterer forskning for å få svar på våre egne spørsmål, kan oversettelse av forskeres konklusjoner være en veldig vanskelig virksomhet. Elementene som går til å bestemme hva som måles i en studie er komplekse. De er relatert til behovene til god kvalitet og / eller gjennomførbar forskning – ikke nødvendigvis de helt spesifikke spørsmålene vi måtte ha.
Når det gjelder metaanalyse, er vi bundet av to ting: hva de opprinnelige studiene som ble målt, og hvilke teknikker som er pålitelige for metaanalyse. Hva de opprinnelige studiene målt, kan ha mye å gjøre med å få gjort en studie på så kort tid som mulig. Surrogatutfall og biomarkører er kritiske, men de kan føre til at man hopper til for tidlige konklusjoner. (Mer om det her.)
Og ikke ta en beskrivelse som «hjertehendelse» for gitt: det betyr kanskje ikke hva du tror det betyr. Det er veldig vanlig for studier – og derfor metaanalyser – å inkludere sammensatte resultater med tilgjengelige, enkle navn, men kompliserte, innviklede betydninger. Så du må virkelig se på de små bokstavene. (Jeg har skrevet mer om det her.)
En metaanalyse kan forverre dette problemet, fordi disse resultatene kan ha vært mer sannsynlig å være vanlige blant studier. Det gjør at de enkelt kan samles i en metaanalyse. Ikke overse resultatene som ikke kunne samles sammen: de kan til og med være viktigere for deg enn de i metaanalysene.
4. Ikke alle studier hører sammen.
Noen ganger systematiske gjennomganger ikke metaanalyser når de kunne. Ofte vil du imidlertid se forfattere gi forsiktighet på grunn av heterogenitet mellom studier som ble samlet. Når du ser det, vær forsiktig y seriøst!
Pooling-studier som ikke bør kombineres er en av de vanligste feilene du vil se i metaanalyser. Hvis resultatene er for perfekte bilder, kan det være litt bekymringsfullt hvis det ikke er en definitivt dramatisk effekt. Det kan bety at gruppene av mennesker som har blitt studert er for mye like – egentlig ikke representative for den totale befolkningen i det hele tatt.
På den annen side, hvis resultatene er for inkonsekvente – det som kalles heterogenitet – det kan bety at resultatene ikke burde vært metaanalysert i det hele tatt. Nøkkel her: kan heterogeniteten forklares? For eksempel, er det ned til kjente forskjeller hos menneskene i studiene?
Du kan lese om metoder for å måle heterogenitet i metaanalyser her og her. Tommelfingerregel: I2 er et veldig vanlig statistisk mål for dette – et resultat på 50% eller mer begynner å bli høyt. (Du kan se I2 i vårt eksempel ovenfor nede i detaljene nederst til venstre: den kommer inn på 34%, som ikke er veldig høy.)
Tommelfingerregel: du vil se noen heterogenitet, men ikke for mye!
5. Manglende studier og manglende data kan torpedere en metaanalyse.
En av grunnene til at resultatene kan være for konsistente, er fordi alle dårlige nyheter mangler!
Som bringer oss til spørsmålet om manglende studier og manglende data.
Hvis studier i en metaanalyse har manglende data – mistet mange mennesker å følge opp for eksempel – forfatterne må fortelle deg hvordan de taklet det. (Dessverre, kanskje ikke de.) Du kan se hvordan dette kan påvirke resultatene i min diskusjon om et eksempel her.
Men langt et større problem er når resultatene fra studier rett og slett ikke er rapportert. . Tenk deg for eksempel hvor vi ville vært hvis HF-ACTION-etterforskerne ikke hadde publisert resultatene. Du tror ikke det kan være et stort problem, men det er det. Jeg ser raskt på hvordan metaanalytikere prøver å se etter upubliserte studier her, og det er detaljert teknisk dekning av dette komplekse og kontroversielle området her.
Den virkelige løsningen er imidlertid at alle studier skal bli publisert. Og det er noe du kan gjøre noe med! Finn ut mer om problemet og hva du kan gjøre for å løse det, her på kampanjenettstedet All Trials.
Og hvis dette har blitt litt nedslående, besøk de fem første tingene for å huske hva som er flott om metaanalyse!
~~~~
For å finne systematiske gjennomganger av inngrep i helsevesen, med og uten metaanalyser, prøv PubMed Health. (Opplysning: En del av den daglige jobben min.)
5 tips for å forstå data i metaanalyse
5 viktige ting å vite om metaanalyse.
Mer fra Absolutt kanskje på metaanalyse.
Vil du studere mer om metaanalyse? Johns Hopkins har et gratis online introduksjonskurs med sertifisering.
Eksemplet på en metaanalyse dominert av resultatene av en enkelt prøve er Analyse 1.2 fra en systematisk gjennomgang av treningsbasert rehabilitering for hjertesvikt av Rod Taylor og kolleger (2014).
Tegneseriene er mine egne (CC-NC-lisens).(Mer på Statistically Funny og på Tumblr.)