Förra året skrev jag ett inlägg av ”5 viktiga saker att veta om metaanalys”. Det var ett utmärkt sätt att fokusera – men det var svårt att hålla sig till bara 5. Med metaanalyser blomstrande, inklusive många som är dåligt gjort eller tolkas fel, är det definitivt dags för en uppföljare !
Metaanalys kombinerar och analyserar data från mer än en studie åt gången. Med hjälp av en mängd olika statistiska metoder, varav vissa var specialbyggda, kan du kondensera en stor mängd information till en en sammanfattande statistik.
I förra årets inlägg förklarade jag grunderna och koncentrerade mig på några sätt att se värdet av en metaanalys.
Den här gången pekar jag till några vanliga fällor.
1. En metaanalys är en säkrare utgångspunkt än en enstaka studie – men den är inte nödvändigtvis mer tillförlitlig.
En metaanalys är vanligtvis en del av en systematisk granskning Det är ett tungt arbete, och det beskrivs ofta som den ultimata studien som uppväger alla andra. Det sista ordet. En enstaka studie blir en lurig sak, som kan ignoreras till och med.
Men även om kombinerade resultat kan bära mycket, finns det tre huvudproblem med tanken att en metaanalys alltid trummar en enda studie.
För det första är en systematisk granskning och metaanalys inte en formell experimentell studie. Det är en icke-experimentell eller beskrivande studie. Det finns subjektiva bedömningar varje steg på vägen, vilket ger små team av likasinnade människor gott om utrymme att styra i önskad riktning om de vill. En dålig eller ojämn metaanalys kommer kanske inte till lika tillförlitliga slutsatser som en väl genomförd, tillräckligt driven enstaka studie.
För det andra är det inte alls ovanligt att en metaanalys domineras starkt av en enda studie. En studie av Paul Glasziou och kollegor 2010 visade att även när det fanns flera försök, hade den mest exakta i genomsnitt hälften av resultaten – och omkring 80% av tiden var slutsatsen för metaanalysen ganska mycket samma som den enda studien. Att förstå och diskutera den dominerande studien är avgörande.
Låt oss titta på ett exempel. Lite bakgrund först: figuren nedan är en skogsplottning av en enda metaanalys inifrån en systematisk granskning. Jag har skrivit en snabbprimer för att förstå dessa här.
Varje metaanalys ger inte bara studier. Den når ett vägt genomsnitt med tanke på exempelvis studiens storlek. Denna skogsplottning visar vikten som var och en av de 6 studierna bidrar till resultatet (linjen i fetstil – klicka för att se en större version). Och en rättegång – HF-ACTION-rättegången – står för drygt 70% av resultatet. Det är inte så att de andra studierna inte spelar någon roll – vi kommer tillbaka till det senare. Men de förändrar inte riktigt detta resultat dramatiskt. (I 2010-versionen av denna metaanalys var HF-ACTION-prövningen ännu mer dominerande och vägde 78%.)
Det tredje problemet är så stort att det blir nästa plats i denna listikel: en enda ny studie kan vända resultaten av en metaanalys. Så snart resultaten av HF-ACTION fanns tillgängliga var det i sig en mer tillförlitlig källa på många frågor än tidigare metaanalyser.
2. En metaanalys är en ögonblicksbild i tid – den kan till och med vara inaktuell den dag den publiceras.
Forskning inom många områden växer mycket snabbt. De flesta metaanalyser är föråldrade – och den processen påskyndas. Men även för ett decennium sedan var vissa föråldrade när de publicerades, och den mediana ”överlevnadstiden” för en systematisk granskning var 5,5 år.
Ta vårt exempel på hjärtsvikt. Innan HF -ACTION-försöket som publicerades 2009 var bilden annorlunda. Med en mycket mindre pool av data var vissa övertygade om att träningsbaserade program minskade dödligheten. Men osäkerheten var för stor för många, som fortfarande var oroliga för att träning kunde vara för riskabelt för personer med hjärtsvikt. Dessutom fanns det mycket få data tillgängliga för kvinnor med hjärtsvikt. (28% av deltagarna i HF-ACTION var kvinnor, vilket var ett stort tillägg av data!) Metaanalytiker rörde sig ganska snabbt när HF-ACTION anlände, men så är det vanligtvis inte.
När det finns en ny studie behöver du verkligen kunna sätta den i perspektiv. Och en befintlig metaanalys kan hjälpa dig att göra det. Ibland , en ny studie innehåller också en uppdaterad metaanalys, vilket gör livet väldigt enkelt! Men om du är loo kung vid en metaanalys som inte är särskilt ny, måste du fortfarande titta på senare enstaka studier också. (Det är ett stort ämne för en annan gång!)
3.Titta noga innan du tar ett resultat bokstavligen – det kanske inte är som det verkar vara.
När vi konsulterar forskning för att få svar på våra egna frågor kan det vara mycket svårt att översätta forskares slutsatser. De element som används för att bestämma vad som mäts i en studie är komplexa. De är relaterade till behoven av god kvalitet och / eller genomförbar forskning – inte nödvändigtvis de mycket specifika frågorna vi kan ha.
När det gäller metaanalys är vi bundna av två saker: vad de ursprungliga uppmätta studierna och vilka tekniker som är tillförlitliga för metaanalys. Vad de ursprungliga studierna mätt kan ha mycket att göra med att göra en studie på så kort tid som möjligt. Surrogatresultat och biomarkörer är kritiska, men de kan leda till att man går till för tidiga slutsatser. (Mer om det här.)
Och ta inte en beskrivning som ”hjärthändelse” för givet: det betyder kanske inte vad du tycker det betyder. Det är mycket vanligt för försök – och därför metaanalyser – att inkludera sammansatta resultat med tillgängliga, enkla namn, men komplicerade, invecklade betydelser. Så du måste verkligen titta på det finstilta. (Jag har skrivit mer om det här.)
En metaanalys kan förvärra detta problem, eftersom dessa resultat kan ha varit mer benägna att vara vanliga bland studier. Det gör att de enkelt kan sammanföras i en metaanalys. Se inte bort resultaten som inte kunde samlas ihop: de kan till och med vara viktigare för dig än de i metaanalyserna.
4. Inte alla studier hör samman.
Ibland systematiska recensioner meta-analysera inte när de kunde. Men ofta ser du författare rekommenderar försiktighet på grund av heterogenitet mellan studier som slogs samman. När du ser det, var försiktig y allvarligt!
Pooling-studier som inte bör kombineras är en av de vanligaste bristerna du ser i metaanalyser. Om resultaten är för bild perfekt perfekt, kan det vara lite oroande om det inte finns en definitivt dramatisk effekt. Det kan betyda att grupperna av människor som har studerats är för mycket lika – inte riktigt representativa för den totala befolkningen alls.
Å andra sidan, om resultaten är för inkonsekventa – vad som heter heterogenitet – det kan betyda att resultaten inte alls skulle ha metaanalyserats. Nyckel här: kan heterogeniteten förklaras? Till exempel beror det på kända skillnader i studien?
Du kan läsa om metoder för att mäta heterogenitet i metaanalyser här och här. Tumregel: I2 är ett mycket vanligt statistiskt mått på detta – ett resultat på 50% eller mer börjar bli högt. (Du kan se I2 i vårt exempel ovan nere i detaljerna längst ner till vänster: den kommer in på 34%, vilket inte är särskilt högt.)
Tumregel: du vill se lite heterogenitet, men inte för mycket!
5. Saknade studier och saknade data kan torpedera en metaanalys.
En av anledningarna till att resultaten kan vara för konsekventa är att alla dåliga nyheter saknas!
Vilket tar oss till frågan om saknade studier och saknade data.
Om studier i en metaanalys saknar data – förlorade många människor att följa- upp till exempel – författarna måste berätta hur de hanterade det. (Tyvärr kanske de inte men.) Du kan se hur detta kan påverka resultaten i min diskussion om ett exempel här.
Men ett överlägset större problem är när resultaten av studier helt enkelt inte har rapporterats. . Tänk dig till exempel var vi skulle vara om HF-ACTION-utredarna inte hade publicerat sina resultat. Du skulle inte tro att det kan vara ett stort problem, men det är det. Jag tittar snabbt på hur metaanalytiker försöker söka efter opublicerade studier här, och det finns detaljerad teknisk täckning av detta komplexa och kontroversiella område här.
Den verkliga lösningen är dock att alla studier ska bli publicerad. Och det är något du kan göra något åt! Ta reda på mer om problemet och vad du kan göra för att lösa det här på kampanjwebbplatsen All Trials.
Och om detta har blivit lite nedslående, besök de fem första sakerna för att komma ihåg vad som är bra om metaanalys!
~~~~
För att hitta systematiska granskningar av interventioner i hälsovård, med och utan metaanalyser, prova PubMed Health. (Upplysning: En del av mitt dagliga jobb.)
5 tips för att förstå data i metaanalys
5 viktiga saker att veta om metaanalys.
Mer från Absolutely Maybe om metaanalys.
Vill du studera mer om metaanalys? Johns Hopkins har en gratis introduktionskurs online med certifiering.
Exemplet på en metaanalys som domineras av resultaten från en enda studie är Analys 1.2 från en systematisk granskning av träningsbaserad rehabilitering för hjärtsvikt av Rod Taylor och kollegor (2014).
Teckningarna är mina egna (CC-NC-licens).(Mer på Statistically Funny och på Tumblr.)