Sidste år skrev jeg et indlæg af “5 vigtige ting at vide om metaanalyse”. Det var en fantastisk måde at fokusere på – men det var svært at holde sig til kun 5. Med metaanalyser blomstrende, inklusive mange, der er dårligt udført eller fejlagtigt, er det bestemt tid til en efterfølger !
Metaanalyse kombinerer og analyserer data fra mere end én undersøgelse ad gangen. Ved hjælp af en række statistiske metoder, hvoraf nogle var specialbyggede, kan du kondensere en stor mængde information til en enkelt resumé statistik.
I sidste års indlæg forklarede jeg det grundlæggende og koncentrerede mig om nogle måder at se værdien af en metaanalyse.
Denne gang peger jeg på til nogle almindelige fælder.
1. En metaanalyse er et sikrere udgangspunkt end en enkelt undersøgelse – men det vil ikke nødvendigvis være mere pålidelig.
En metaanalyse er normalt en del af en systematisk gennemgang Det er en tung indsats, og det beskrives ofte som den ultimative undersøgelse, der opvejer alle andre. Det sidste ord. En enkelt undersøgelse bliver en skamfuld ting, der skal ignoreres selv.
Men mens kombinerede resultater kan bære meget, er der 3 hovedproblemer med tanken om, at en metaanalyse altid trumfer en enkelt undersøgelse.
For det første er en systematisk gennemgang og metaanalyse ikke en formel eksperimentel undersøgelse. Det er en ikke-eksperimentel eller beskrivende undersøgelse. Der er subjektive domme hvert trin på vejen, hvilket giver små hold af ligesindede masser af plads til at styre i den ønskede retning, hvis de vil. En dårlig eller ujævn metaanalyse kommer muligvis ikke til så pålidelige konklusioner som en veludført, tilstrækkelig drevet enkeltundersøgelse.
For det andet er det slet ikke usædvanligt, at en metaanalyse er stærkt domineret af en enkelt undersøgelse. En undersøgelse foretaget af Paul Glasziou og kolleger i 2010 viste, at selv når der var flere forsøg, bar den mest nøjagtige i gennemsnit halvdelen af vægten af resultaterne – og omkring 80% af tiden var konklusionen af metaanalysen stort set den det samme som den enkelt undersøgelse. At forstå og diskutere den dominerende undersøgelse er kritisk.
Lad os se på et eksempel. Noget baggrund først: Figuren nedenfor er en skovplot af en enkelt metaanalyse fra en systematisk gennemgang. Jeg har skrevet en hurtig primer om forståelse af disse her.
Hver metaanalyse tilføjer ikke bare undersøgelser. Det når et vægtet gennemsnit, f.eks. Under hensyntagen til undersøgelsens størrelse. Denne skovplot viser dig vægten hver af 6 undersøgelser bidrager til resultatet (linjen med fed skrift – klik for at se en større version). Og et forsøg – HF-ACTION-forsøget – tegner sig for lidt over 70% af resultatet. Det er ikke, at de andre undersøgelser ikke betyder noget – vi kommer tilbage til det senere. Men de ændrer ikke rigtig dette resultat dramatisk. (I 2010-versionen af denne metaanalyse var HF-ACTION-forsøget endnu mere dominerende og vejede på 78%.)
Det tredje problem er så stort, at det får det næste sted i denne liste: en enkelt ny undersøgelse kan vælte resultaterne af en metaanalyse. Så snart resultaterne af HF-ACTION var tilgængelige, var det alene en mere pålidelig kilde på mange spørgsmål end tidligere metaanalyser.
2. En metaanalyse er et øjebliksbillede – det kan endda være forældet den dag, det offentliggøres.
Forskning inden for mange områder vokser meget hurtigt. De fleste metaanalyser er forældede – og processen går hurtigere. Selv for et årti siden var nogle dog forældede, da de blev offentliggjort, og den mediane “overlevelsestid” for en systematisk gennemgang var 5,5 år.
Tag vores eksempel på hjertesvigt. Før HF -ACTION-forsøg, der blev offentliggjort i 2009, var billedet anderledes. Med en meget mindre pulje af data var nogle overbeviste om, at træningsbaserede programmer reducerede dødeligheden. Men usikkerheden var for stor for mange, der fortsat var bekymrede for, at motion kunne være for risikabel for mennesker med hjertesvigt. Derudover var der meget få data tilgængelige for kvinder med hjertesvigt. (28% af deltagerne i HF-ACTION var kvinder, hvilket var en stor tilføjelse af data!) Meta-analytikere bevægede sig ret hurtigt, når HF-ACTION ankom, men det er normalt ikke tilfældet.
Når der er en ny undersøgelse, skal du virkelig være i stand til at sætte det i perspektiv. Og en eksisterende metaanalyse kan hjælpe dig med at gøre det. Nogle gange , en ny undersøgelse inkluderer også en opdateret metaanalyse, der gør livet meget let! Men hvis du er loo konge ved en metaanalyse, der ikke er særlig nylig, skal du stadig også se på senere enkeltstudier. (Det er et stort emne for en anden gang!)
3.Se nøje, inden du tager et resultat bogstaveligt – det er måske ikke, hvad det ser ud til at være.
Når vi konsulterer forskning for at få svar på vores egne spørgsmål, kan oversættelse af forskeres konklusioner være en meget vanskelig forretning. De elementer, der går ind i at bestemme, hvad der måles i en undersøgelse, er komplekse. De er relateret til behovene for god kvalitet og / eller gennemførlig forskning – ikke nødvendigvis de meget specifikke spørgsmål, vi måtte have.
Når det kommer til metaanalyse, er vi bundet af to ting: hvad de oprindelige målte studier, og hvilke teknikker der er pålidelige til metaanalyse. Hvad de oprindelige målte undersøgelser kan have meget at gøre med at få foretaget en undersøgelse på så kort tid som muligt. Surrogatresultater og biomarkører er kritiske, men de kan føre til at springe til for tidlige konklusioner. (Mere om det her.)
Og tag ikke en beskrivelse som “hjertehændelse” for givet: det betyder måske ikke, hvad du synes, det betyder. Det er meget almindeligt for forsøg – og derfor metaanalyser – at inkludere sammensatte resultater med tilgængelige, enkle navne, men komplicerede, indviklede betydninger. Så du skal virkelig se på det med småt. (Jeg har skrevet mere om det her.)
En metaanalyse kan forværre dette problem, fordi disse resultater måske har været mere tilbøjelige til at være almindelige blandt undersøgelser. Det giver dem mulighed for let at blive samlet i en metaanalyse. Overse ikke de resultater, der ikke kunne samles sammen: de kan endda være vigtigere for dig end dem i metaanalyserne.
4. Ikke alle undersøgelser hører sammen.
Nogle gange systematiske anmeldelser må ikke meta-analysere, hvornår de kunne. Ofte vil du dog se, at forfattere rådgiver forsigtighed på grund af heterogenitet mellem studier, der blev samlet. Når du ser det, skal du tage forsigtigheden ver y seriøst!
Pooling-studier, der ikke bør kombineres, er en af de mest almindelige fejl, du kan se i metaanalyser. Hvis resultaterne er for billede-perfekte, kan det være lidt bekymrende, hvis der ikke er en bestemt dramatisk effekt. Det kan betyde, at de grupper af mennesker, der er blevet undersøgt, er for meget ens – slet ikke rigtig repræsentative for den samlede befolkning.
På den anden side, hvis resultaterne er for inkonsekvente – hvad der kaldes heterogenitet – det kan betyde, at resultaterne overhovedet ikke skulle have været metaanalyseret. Nøgle her: kan heterogeniteten forklares? For eksempel er det på grund af kendte forskelle hos mennesker i undersøgelserne?
Du kan læse om metoder til måling af heterogenitet i metaanalyser her og her. Tommelfingerregel: I2 er et meget almindeligt statistisk mål for dette – et resultat på 50% eller mere begynder at blive højt. (Du kan se I2 i vores eksempel ovenfor nede i detaljerne nederst til venstre: den kommer ind på 34%, hvilket ikke er meget højt.)
Tommelfingerregel: du vil se noget heterogenitet, men ikke for meget!
5. Manglende undersøgelser og manglende data kan torpedere en metaanalyse.
En af grundene til, at resultaterne kan være for ensartede, er fordi alle de dårlige nyheder mangler!
Hvilket bringer os til spørgsmålet om manglende studier og manglende data.
Hvis undersøgelser i en meta-analyse mangler data – mistede mange mennesker at følge- op for eksempel – forfatterne skal fortælle dig, hvordan de har håndteret det. (Desværre er de måske ikke.) Du kan se, hvordan dette kan påvirke resultaterne i min diskussion af et eksempel her.
Men langt et større problem er, når resultaterne af undersøgelser simpelthen ikke er rapporteret. . Forestil dig f.eks. Hvor vi ville være, hvis HF-ACTION-efterforskerne ikke havde offentliggjort deres resultater. Du ville ikke tro, at det kunne være et stort problem, men det er det. Jeg kigger hurtigt på, hvordan metaanalytikere prøver at kontrollere for upublicerede undersøgelser her, og der er detaljeret teknisk dækning af dette komplekse og kontroversielle område her.
Den virkelige løsning er dog, at alle studier skal offentliggøres. Og det er noget, du kan gøre noget ved! Find ud af mere om problemet, og hvad du kan gøre for at hjælpe med at løse det, her på webstedet All Trials-kampagnen.
Og hvis dette er blevet lidt nedslående, skal du besøge de første 5 ting for at huske, hvad der er godt ved metaanalyse!
~~~~
At finde systematiske gennemgange af interventioner i sundhedspleje, med og uden metaanalyser, prøv PubMed Health. (Videregivelse: En del af mit daglige job.)
5 tip til forståelse af data i metaanalyse
5 vigtige ting at vide om metaanalyse.
Mere fra Absolut måske om metaanalyse.
Vil du studere mere om metaanalyse? Johns Hopkins har et gratis online introduktionskursus med certificering.
Eksemplet på en meta-analyse domineret af resultaterne af et enkelt forsøg er analyse 1.2 fra en systematisk gennemgang af træningsbaseret rehabilitering for hjertesvigt ved Rod Taylor og kolleger (2014).
Tegneserierne er mine egne (CC-NC-licens).(Mere på Statistisk sjovt og på Tumblr.)