Minulý rok jsem napsal příspěvek „5 klíčových věcí, které byste měli vědět o metaanalýze.“ Byl to skvělý způsob, jak se soustředit – ale bylo těžké se držet pouze 5. S rozmachem metaanalýz, včetně mnoha špatně provedených nebo špatně interpretovaných, je určitě čas na pokračování !
Metaanalýza kombinuje a analyzuje data z více než jedné studie najednou. Pomocí různých statistických metod, z nichž některé byly vytvořeny účelově, můžete zkondenzovat obrovské množství informací do jediná souhrnná statistika.
V loňském příspěvku jsem vysvětlil základy a soustředil se na některé způsoby, jak zjistit hodnotu metaanalýzy.
Tentokrát ukazuji k některým běžným pastem.
1. Metaanalýza je bezpečnější výchozí bod než jediná studie – ale nemusí být nutně spolehlivější.
Metaanalýza je obvykle součástí systematické kontroly Je to náročné úsilí a je často popisováno jako konečná studie, která převažuje nad všemi ostatními. Poslední slovo. Jedna studie se stává nepatřičnou věcí, kterou lze dokonce ignorovat.
Ale zatímco kombinované výsledky mohou mít velkou váhu, existují 3 hlavní problémy s myšlenkou, že metaanalýza vždy zvítězí nad jednou studií.
Za prvé, systematické přezkoumání a metaanalýza nejsou formální experimentální studií. Jedná se o neexperimentální nebo popisnou studii. Na každém kroku existují subjektivní úsudky, které dávají malým týmům podobně smýšlejících lidí dostatek prostoru, aby mohli řídit požadovaným směrem, pokud chtějí. Špatná nebo nepravidelná metaanalýza nemusí dospět k tak spolehlivým závěrům jako dobře provedená, adekvátně poháněná samostatná studie.
Zadruhé, není vůbec neobvyklé, že v metaanalýze silně dominuje samostatná studie. Studie Paula Glaszioua a jeho kolegů z roku 2010 zjistila, že i když bylo několik pokusů, ten nejpřesnější měl v průměru poloviční váhu výsledků – a zhruba v 80% případů byl závěr metaanalýzy do značné míry stejné jako ta jediná studie. Pochopení a diskuse o této dominantní studii je zásadní.
Podívejme se na příklad. Nejprve pozadí: obrázek níže představuje lesní graf jediné metaanalýzy ze systematické kontroly. Napsal jsem zde rychlý základ pro jejich pochopení.
Každá metaanalýza nespočívá jen ve sčítání studií. Dosahuje váženého průměru, například s přihlédnutím k velikosti studie. Tento lesní graf ukazuje váhu, kterou každá ze 6 studií přispívá k výsledku (řádek tučně – kliknutím zobrazíte větší verzi). A jedna zkouška – zkouška HF-ACTION – představuje něco přes 70% výsledku. Není to tak, že na ostatních studiích nezáleží – k tomu se vrátíme později. Ve skutečnosti však tento výsledek dramaticky nezmění. (Ve verzi této metaanalýzy z roku 2010 byla studie HF-ACTION ještě dominantnější a váží 78%.)
Třetí problém je tak velký, že zaujímá další místo v tomto seznamu: jediná nová studie může převrátit výsledky metaanalýzy. Jakmile byly k dispozici výsledky HF-ACTION, bylo samo o sobě spolehlivějším zdrojem mnoha otázek než předchozí metaanalýzy.
2. Metaanalýza je momentka – může být dokonce zastaralá v den jejího zveřejnění.
Výzkum v mnoha oblastech roste velmi rychle. Většina metaanalýz je zastaralá – a tento proces se zrychluje. Dokonce i před deseti lety byly některé zastaralé, když byly zveřejněny, a průměrná doba „přežití“ pro systematické přezkoumání byla 5,5 roku.
Vezměte si náš příklad srdečního selhání. Před HF – Zkouška ACTION zveřejněná v roce 2009, obraz byl odlišný. S mnohem menším množstvím údajů byli někteří přesvědčeni, že programy založené na cvičení snižují úmrtnost. Nejistota však byla příliš velká pro mnoho lidí, kteří se stále obávali, že cvičení může být příliš riskantní pro lidi se srdečním selháním. Navíc pro ženy se srdečním selháním bylo k dispozici velmi málo údajů. (28% účastníků HF-ACTION byly ženy, což byl velký přírůstek dat!) Metaanalytici se pohybovali poměrně rychle, když HF-ACTION dorazila, ale obvykle tomu tak není.
Když je k dispozici nová studie, musíte ji skutečně uvést na pravou míru. A k tomu vám může pomoci stávající metaanalýza. Někdy , nová studie obsahuje také aktualizovanou metaanalýzu, díky níž je život velmi snadný! Ale pokud jste záchod Král v metaanalýze, která není příliš nedávná, musíte se také podívat na pozdější jednotlivé studie. (To je velké téma na jindy!)
3.Než začnete brát výsledek doslova, pečlivě se podívejte – nemusí to být tak, jak se zdá.
Když konzultujeme průzkumy ohledně odpovědí na naše vlastní otázky, může být překlad závěrů výzkumníků velmi choulostivou záležitostí. Prvky, které určují, co se ve studii měří, jsou složité. Souvisejí s potřebami kvalitního a / nebo proveditelného výzkumu – ne nutně s velmi konkrétními otázkami, které bychom mohli mít.
Pokud jde o metaanalýzu, jsme vázáni dvěma věcmi: co naměřené původní studie a jaké techniky jsou spolehlivé pro metaanalýzu. To, co měřily původní studie, může mít hodně společného s provedením studie v co nejkratší době. Náhradní výsledky a biomarkery jsou zásadní, ale mohou vést ke skokům k předčasným závěrům. (Více o tom zde.)
A neberte popis jako „srdeční událost“ jako samozřejmost: nemusí to znamenat to, co si myslíte, že to znamená. Pro zkoušky je to velmi běžné – a proto metaanalýzy – zahrnout složené výsledky s přístupnými, jednoduchými názvy, ale komplikovanými, spletitými významy. Takže se opravdu musíte podívat na drobný tisk. (Více jsem o tom napsal zde.)
Metaanalýza může tento problém ještě umocnit, protože tyto výsledky mohly být ve studiích častější. To jim umožňuje snadné sloučení do metaanalýzy. Nepřehlédněte výsledky, které nelze spojit dohromady: mohou být dokonce pro vás důležitější než ty v metaanalýzách.
4. Ne všechny studie patří k sobě.
Někdy systematické recenze neprovádějte metaanalýzu, kdy mohli. Často však uvidíte, že autoři doporučují opatrnost kvůli heterogenitě mezi studiemi, které byly shromážděny. Až to uvidíte, buďte opatrní Vážně!
Sdružování studií, které by se nemělo kombinovat, je jednou z nejčastějších chyb, které v metaanalýzách uvidíte. Pokud jsou výsledky příliš konzistentní s dokonalým obrazem, může to mít trochu obavy, pokud nebude mít rozhodně dramatický efekt. Mohlo by to znamenat, že skupiny lidí, které byly studovány, jsou si příliš podobné – vůbec ne zcela reprezentativní pro celkovou populaci.
Na druhou stranu, pokud jsou výsledky příliš nekonzistentní – tzv. Heterogenita – mohlo by to znamenat, že výsledky neměly být vůbec metaanalyzovány. Klíč zde: lze vysvětlit heterogenitu? Například jde o známé rozdíly mezi lidmi ve studiích?
O metodách měření heterogenity v metaanalýzách si můžete přečíst zde a zde. Pravidlo: I2 je pro toto velmi běžné statistické měřítko – výsledek nejméně 50% se začíná zvyšovat. (I2 můžete vidět v našem příkladu výše dole v detailech vlevo dole: přichází na 34%, což není příliš vysoké.)
Pravidlo: chcete vidět některé heterogenita, ale ne příliš mnoho!
5. Chybějící studie a chybějící data mohou torpédovat metaanalýzu.
Jedním z důvodů, proč mohou být výsledky příliš konzistentní, je to, že chybí všechny špatné zprávy!
Což nás přivádí k otázce chybějících studií a chybějících dat.
Pokud studie v metaanalýze chybí data – mnoho lidí ztratilo následování – například – autoři vám musí říct, jak se s tím vypořádali. (Bohužel možná ne.) Jak to může ovlivnit výsledky, můžete vidět v mé diskusi o příkladu zde.
Ale daleko větší problém je, když výsledky studií prostě nebyly hlášeny . Představte si například, kde bychom byli, kdyby vyšetřovatelé HF-ACTION nezveřejnili své výsledky. Nemyslíte si, že by to mohl být velký problém, ale je to tak. Rychle se podívám na způsob, jakým se zde metaanalytici pokoušejí zkontrolovat nepublikované studie, a zde je zde podrobné technické pokrytí této složité a kontroverzní oblasti.
Skutečné řešení je však pro všechny studie být zveřejněn. A s tím můžete něco udělat! Další informace o problému a o tom, co můžete udělat, abyste jej pomohli vyřešit, naleznete zde na webu kampaně Všechny zkušební verze.
A pokud se vám to stalo trochu skličující, navštivte znovu prvních 5 věcí, abyste si pamatovali, co skvělé metaanalýzy!
~~~~
Chcete-li najít systematické recenze zásahů v zdravotní péče, s metaanalýzami i bez nich, vyzkoušejte PubMed Health. (Zveřejnění: Část mé denní práce.)
5 tipů pro porozumění datům v metaanalýze
5 klíčových věcí, které byste měli vědět o metaanalýze.
Více od Absolutně Možná v metaanalýze.
Chcete si přečíst více o metaanalýze? Johns Hopkins má bezplatný úvodní online kurz s certifikací.
Příkladem metaanalýzy, které dominují výsledky jedné studie, je Analýza 1.2 ze systematické revize cvičební rehabilitace srdečního selhání Rod Taylor a kolegové (2014).
Karikatury jsou moje vlastní (licence CC-NC).(Více na Statistically Funny a na Tumblr.)