Anul trecut am scris o postare de „5 lucruri cheie de știut despre metaanaliză”. A fost o modalitate excelentă de a te concentra – dar a fost greu să păstrezi doar 5. Cu metaanalizele în plină expansiune, inclusiv multe care sunt prost realizate sau interpretate greșit, este cu siguranță timpul pentru o continuare !
Metaanaliza este combinarea și analizarea datelor din mai multe studii la un moment dat. Folosind o varietate de metode statistice, dintre care unele au fost special create, puteți condensa o cantitate mare de informații într-un statistic rezumat unic.
În postarea de anul trecut, am explicat elementele de bază și m-am concentrat pe câteva moduri de a vedea valoarea unei meta-analize.
De data aceasta, indică la unele capcane comune.
1. O meta-analiză este un punct de plecare mai sigur decât un singur studiu – dar nu va fi neapărat mai fiabil.
O meta-analiză este de obicei face parte dintr-o revizuire sistematică Este un efort greu și este adesea descris ca fiind ultimul studiu, care îi depășește pe toți ceilalți. Ultimul cuvant. Un singur studiu devine un lucru dificil, care trebuie ignorat chiar.
Dar, deși rezultatele combinate pot avea o greutate mare, există 3 probleme principale cu ideea că o meta-analiză depășește întotdeauna un singur studiu.
În primul rând, o analiză sistematică și meta-analiză nu este un studiu experimental formal. Este un studiu non-experimental sau descriptiv. Există judecăți subiective la fiecare pas al drumului, oferind echipelor mici de oameni cu gânduri similare o mulțime de spațiu pentru a se orienta în direcția dorită, dacă doresc. O meta-analiză proastă sau nepotrivită s-ar putea să nu ajungă la concluzii la fel de fiabile ca un studiu unic bine condus, cu putere adecvată.
În al doilea rând, nu este deloc neobișnuit ca o meta-analiză să fie puternic dominată de studiu unic. Un studiu realizat de Paul Glasziou și colegii în 2010 a constatat că, chiar și atunci când au existat mai multe studii, cea mai precisă a avut în medie jumătate din greutatea rezultatelor – și aproximativ 80% din timp concluzia meta-analizei a fost aproape la fel ca acel studiu unic. Înțelegerea și discutarea acestui studiu dominant sunt esențiale.
Să vedem un exemplu. Câteva fundaluri în primul rând: figura de mai jos este un complot forestier al unei singure meta-analize din cadrul unei revizuiri sistematice. Am scris un manual rapid despre înțelegerea acestora aici.
Fiecare meta-analiză nu doar adaugă studii. Se ajunge la o medie ponderată, luând în considerare, de exemplu, dimensiunea studiului. Acest complot forestier vă arată greutatea fiecăruia dintre cele 6 studii care contribuie la rezultat (linia cu caractere aldine – faceți clic pentru a vedea o versiune mai mare). Și un proces – procesul HF-ACTION – reprezintă puțin peste 70% din rezultat. Nu înseamnă că celelalte studii nu contează – vom reveni la asta mai târziu. Dar nu prea schimbă acest rezultat dramatic. (În versiunea din 2010 a acestei meta-analize, procesul HF-ACTION a fost și mai dominant, cu o pondere de 78%.)
A treia problemă este atât de mare, încât ocupă locul următor în acest articol: un singur studiu nou poate răsturna rezultatele unei meta-analize. De îndată ce rezultatele HF-ACTION au fost disponibile, a fost, pe cont propriu, o sursă mai fiabilă pentru multe întrebări decât meta-analize anterioare.
2. O meta-analiză este un instantaneu în timp – poate fi chiar învechită în ziua publicării.
Cercetările în multe domenii cresc foarte rapid. Majoritatea meta-analizelor sunt depășite – și acel proces se accelerează. Chiar și acum un deceniu, însă, unele au fost depășite când au fost publicate, iar timpul mediu de „supraviețuire” pentru o revizuire sistematică a fost de 5,5 ani.
Luați exemplul insuficienței cardiace. Înainte de IC -Provația de acțiune publicată în 2009, imaginea a fost diferită. Cu un grup de date mult mai mic, unii au fost convinși că programele bazate pe exerciții fizice reduc mortalitatea. Mai mult, existau foarte puține date disponibile pentru femeile cu insuficiență cardiacă. (28% dintre participanții la HF-ACTION erau femei, ceea ce reprezenta un mare plus de date!) Metaanaliștii s-au mișcat destul de repede când HF-ACTION a sosit, dar de obicei nu este cazul.
Când există un nou studiu, trebuie să îl poți pune în perspectivă. Și o meta-analiză existentă te poate ajuta să faci asta. Uneori , un nou studiu include și o meta-analiză actualizată, care face viața foarte ușoară! Dar dacă ești loo rege la o meta-analiză care nu este foarte recentă, trebuie totuși să te uiți și la studii individuale ulterioare. (Acesta este un subiect important pentru altă dată!)
3.Priviți cu atenție înainte de a lua un rezultat la propriu – este posibil să nu fie ceea ce pare să fie.
Când consultăm cercetări pentru răspunsuri la propriile noastre întrebări, traducerea concluziilor cercetătorilor poate fi o afacere foarte dificilă. Elementele care determină ce se măsoară într-un studiu sunt complexe. Acestea sunt legate de nevoile unei cercetări de bună calitate și / sau fezabile – nu neapărat întrebările foarte specifice pe care le-am putea avea.
Când vine vorba de meta-analiză, suntem legați de două lucruri: ce studiile inițiale măsurate și ce tehnici sunt fiabile pentru meta-analiză. Ceea ce au măsurat studiile inițiale poate avea mult de-a face cu realizarea unui studiu într-un timp cât mai scurt posibil. Rezultatele surogate și biomarkerii sunt critici, dar pot duce la să ajungă la concluzii premature. (Mai multe despre asta aici.)
Și nu luați de la sine o descriere de genul „eveniment cardiac”: s-ar putea să nu însemne ceea ce credeți că înseamnă. Este foarte frecvent pentru studii – și, prin urmare, meta-analize – pentru a include rezultate compuse cu nume accesibile, simple, dar semnificații complicate, complicate. Așadar, trebuie să vă uitați la amprenta mică (am scris mai multe despre asta aici.)
O meta-analiză poate agrava această problemă, deoarece aceste rezultate ar fi fost mai susceptibile de a fi comune în rândul studiilor. Acest lucru le permite să fie reunite cu ușurință într-o meta-analiză. Nu treceți cu vederea rezultatele care nu ar putea fi combinate: ar putea fi chiar mai important pentru dvs. decât cele din metaanalize.
4. Nu toate studiile aparțin împreună.
Uneori recenzii sistematice nu metanalizați când ar putea. De multe ori, totuși, veți vedea că autorii recomandă prudență din cauza eterogenității dintre studiile care au fost puse în comun. Când vedeți acest lucru, luați atenția ver Serios!
Studiile de punere în comun care nu ar trebui combinate este unul dintre cele mai frecvente defecte pe care le veți vedea în metaanalize. Dacă rezultatele sunt prea perfecte pentru imagine, poate fi puțin îngrijorător dacă nu există un efect dramatic. Ar putea însemna că grupurile de oameni care au fost studiați sunt prea asemănători – deloc reprezentativi pentru populația totală.
Pe de altă parte, dacă rezultatele sunt prea inconsistente – ceea ce se numește eterogenitate – ar putea însemna că rezultatele nu ar fi trebuit deloc metaanalizate. Cheie aici: se poate explica eterogenitatea? De exemplu, se rezumă la diferențe cunoscute ale persoanelor din studii?
Puteți citi despre metodele de măsurare a eterogenității în metaanalize aici și aici. Regula generală: I2 este o măsură statistică foarte comună pentru acest lucru – un rezultat de 50% sau mai mult începe să devină mare. (Puteți vedea I2 în exemplul nostru de mai jos în detaliile din stânga jos: vine la 34%, ceea ce nu este foarte mare.)
Regula generală: doriți să vedeți câteva eterogenitate, dar nu prea mult!
5. Studiile lipsă și datele lipsă pot torpila o meta-analiză.
Unul dintre motivele pentru care rezultatele pot fi prea consecvente este că lipsesc toate știrile proaste!
Ceea ce ne aduce la întrebarea lipsei studiilor și a datelor lipsă.
Dacă studiile dintr-o meta-analiză conțin date lipsă – mulți oameni au pierdut să urmărească- de exemplu – autorii trebuie să vă spună cum s-au descurcat. (Din păcate, s-ar putea să nu fie totuși.) Puteți vedea cum acest lucru poate afecta rezultatele în discuția mea despre un exemplu aici.
Dar de departe o problemă mai mare este atunci când rezultatele studiilor pur și simplu nu au fost raportate . Imaginați-vă, de exemplu, unde ne-am afla dacă anchetatorii HF-ACTION nu și-ar fi publicat rezultatele. Nu ai crede că ar putea fi o mare problemă, dar este. Arunc o privire rapidă asupra modului în care metanaliștii încearcă să verifice aici studii nepublicate și există o acoperire tehnică detaliată a acestui domeniu complex și controversat aici.
Totuși, soluția reală este ca toate studiile să fi publicat. Și despre asta poți face ceva! Aflați mai multe despre problemă și ce puteți face pentru a rezolva problema, aici, pe site-ul web al campaniei All Trials.
Și dacă acest lucru a devenit puțin descurajant, vizitați din nou primele 5 lucruri pentru a vă aminti ce este minunat despre meta-analiză!
~~~~
Pentru a găsi revizuiri sistematice ale intervențiilor în îngrijirea sănătății, cu și fără metaanalize, încercați PubMed Health. (Dezvăluire: parte din munca mea zilnică.)
5 sfaturi pentru înțelegerea datelor în metaanaliză
5 lucruri cheie de știut despre metaanaliză.
Mai multe din Absolut Poate despre metaanaliză.
Vrei să studiezi mai multe despre metaanaliză? Johns Hopkins are un curs introductiv online gratuit, cu certificare.
Exemplul unei meta-analize dominate de rezultatele unui singur studiu este Analiza 1.2 dintr-o revizuire sistematică a reabilitării bazate pe efort pentru insuficiența cardiacă de către Rod Taylor și colegii (2014).
Desene animate sunt ale mele (licență CC-NC).(Mai multe la Statistic Funny și pe Tumblr.)