L’anno scorso ho scritto un post di “5 cose chiave da sapere sulla meta-analisi”. È stato un ottimo modo per concentrarsi, ma è stato difficile mantenerne solo 5. Con il boom delle meta-analisi, comprese molte che sono mal fatte o interpretate male, è decisamente tempo per un seguito !
La meta-analisi combina e analizza i dati di più di uno studio alla volta. Utilizzando una varietà di metodi statistici, alcuni dei quali sono stati creati appositamente, puoi condensare una grande singola statistica riassuntiva.
Nel post dell’anno scorso, ho spiegato le basi e mi sono concentrato su alcuni modi per vedere il valore di una meta-analisi.
Questa volta, sto indicando ad alcune trappole comuni.
1. Una meta-analisi è un punto di partenza più sicuro di un singolo studio, ma non sarà necessariamente più affidabile.
Una meta-analisi è di solito parte di una revisione sistematica È uno sforzo gravoso, ed è spesso descritto come lo studio definitivo, che supera tutti gli altri. L’ultima parola. Un singolo studio diventa una cosa insignificante, da ignorare anche.
Ma mentre i risultati combinati possono avere molto peso, ci sono 3 problemi principali con l’idea che una meta-analisi vince sempre un singolo studio.
In primo luogo, una revisione sistematica e una meta-analisi non è uno studio sperimentale formale. È uno studio non sperimentale o descrittivo. Ci sono giudizi soggettivi in ogni fase del percorso, dando a piccoli team di persone che la pensano allo stesso modo molto spazio per guidare nella direzione desiderata, se lo desiderano. Una meta-analisi difettosa o frammentaria potrebbe non giungere a conclusioni affidabili come un singolo studio ben condotto e adeguatamente potenziato.
In secondo luogo, non è affatto insolito che una meta-analisi sia fortemente dominata da un studio unico. Uno studio di Paul Glasziou e colleghi nel 2010 ha rilevato che anche quando c’erano diversi studi, il più preciso portava in media la metà del peso dei risultati – e circa l’80% delle volte la conclusione della meta-analisi era praticamente la lo stesso di quel singolo studio. Comprendere e discutere questo studio dominante è fondamentale.
Vediamo un esempio. Prima alcuni retroscena: la figura seguente è un appezzamento forestale di una singola meta-analisi all’interno di una revisione sistematica. Ho scritto qui una breve introduzione per capirli.
Ogni meta-analisi non si limita a sommare gli studi. Si arriva a una media ponderata, tenendo conto, ad esempio, delle dimensioni dello studio. Questo diagramma forestale mostra il peso che ciascuno dei 6 studi sta contribuendo al risultato (la linea in grassetto – fare clic per vedere una versione più grande). E una prova, la prova HF-ACTION, rappresenta poco più del 70% del risultato. Non è che gli altri studi non contino, torneremo su questo più tardi. Ma in realtà non cambiano radicalmente questo risultato. (Nella versione 2010 di questa meta-analisi, lo studio HF-ACTION era ancora più dominante, con un peso del 78%).
Il terzo problema è così grande che occupa il posto successivo in questo elenco: un singolo nuovo studio può ribaltare i risultati di una meta-analisi. Non appena i risultati di HF-ACTION sono stati disponibili, è stato, da solo, una fonte più affidabile su molte domande rispetto alle precedenti meta-analisi.
2. Una meta-analisi è un’istantanea nel tempo: può persino essere obsoleta il giorno in cui viene pubblicata.
La ricerca in molte aree cresce molto rapidamente. La maggior parte delle meta-analisi non sono aggiornate e il processo sta accelerando. Anche un decennio fa, tuttavia, alcuni erano obsoleti quando furono pubblicati e il tempo medio di “sopravvivenza” per una revisione sistematica era di 5,5 anni.
Prendiamo l’esempio dell’insufficienza cardiaca. Prima dell’HF -Studio ACTION pubblicato nel 2009, il quadro era diverso. Con un pool di dati molto più piccolo, alcuni erano convinti che i programmi basati sull’esercizio fisico stessero riducendo la mortalità. Ma l’incertezza era troppo grande per molti, che erano preoccupati che l’esercizio potesse essere troppo rischioso per le persone con insufficienza cardiaca. Inoltre, c’erano pochissimi dati disponibili per le donne con insufficienza cardiaca. (il 28% dei partecipanti a HF-ACTION erano donne, che era una grande aggiunta di dati!) I meta-analisti si muovevano abbastanza rapidamente quando HF-ACTION è arrivato, ma di solito non è così.
Quando c’è un nuovo studio, devi davvero essere in grado di metterlo in prospettiva. E una meta-analisi esistente può aiutarti a farlo. A volte , un nuovo studio include anche una meta-analisi aggiornata, che rende la vita molto facile! Ma se sei loo re in una meta-analisi che non è molto recente, devi comunque guardare anche ai singoli studi successivi. (Questo è un argomento importante per un’altra volta!)
3.Guarda attentamente prima di prendere alla lettera un risultato: potrebbe non essere quello che sembra.
Quando consultiamo la ricerca per le risposte alle nostre domande, tradurre le conclusioni dei ricercatori può essere un affare molto complicato. Gli elementi che determinano ciò che viene misurato in uno studio sono complessi. Sono legati alle esigenze di una ricerca di buona qualità e / o fattibile, non necessariamente alle domande molto specifiche che potremmo avere.
Quando si tratta di meta-analisi, siamo vincolati da due cose: cosa gli studi originali misurati e quali tecniche sono affidabili per la meta-analisi. Ciò che gli studi originali hanno misurato potrebbe avere molto a che fare con il completamento di uno studio nel più breve tempo possibile. I risultati surrogati e i biomarcatori sono fondamentali, ma possono portare a saltare a conclusioni premature. (Maggiori informazioni qui.)
E non dare per scontata una descrizione come “evento cardiaco”: potrebbe non significare ciò che pensi significhi. È molto comune per le prove e quindi le meta-analisi – per includere risultati compositi con nomi semplici e accessibili, ma significati complicati e contorti. Quindi è davvero necessario guardare le scritte in piccolo. (Ho scritto di più su questo qui.)
Una meta-analisi può aggravare questo problema, perché era più probabile che tali risultati fossero comuni tra gli studi. Ciò consente loro di essere facilmente raggruppati in una meta-analisi. Non trascurare i risultati che non potevano essere raggruppati insieme: potrebbero anche essere più importanti per te di quelli nelle meta-analisi.
4. Non tutti gli studi appartengono insieme.
A volte revisioni sistematiche non meta-analizzare quando potrebbero. Spesso, però, vedrai gli autori consigliare cautela a causa dell’eterogeneità tra gli studi che sono stati raggruppati. Quando vedi questo, prendi la cautela ver seriamente!
Mettere insieme studi che non dovrebbero essere combinati è uno dei difetti più comuni che vedrai nelle meta-analisi. Se i risultati sono coerenti con un’immagine troppo perfetta, può essere un po ‘preoccupante se non c’è un effetto decisamente drammatico. Potrebbe significare che i gruppi di persone che sono stati studiati sono troppo simili, non proprio rappresentativi della popolazione totale.
D’altra parte, se i risultati sono troppo incoerenti – quella che viene chiamata eterogeneità – potrebbe significare che i risultati non avrebbero dovuto essere affatto meta-analizzati. Chiave qui: si può spiegare l’eterogeneità? Ad esempio, dipende dalle differenze note nelle persone negli studi?
Puoi leggere i metodi per misurare l’eterogeneità nelle meta-analisi qui e qui. Regola empirica: l’I2 è una misura statistica molto comune per questo: un risultato del 50% o più sta iniziando a diventare alto. (Puoi vedere I2 nel nostro esempio sopra in basso nei dettagli in basso a sinistra: arriva al 34%, che non è molto alto.)
Regola empirica: vuoi vedere alcuni eterogeneità, ma non troppo!
5. Studi mancanti e dati mancanti possono silurare una meta-analisi.
Uno dei motivi per cui i risultati possono essere troppo coerenti è perché mancano tutte le cattive notizie!
Il che ci porta alla questione degli studi mancanti e dei dati mancanti.
Se gli studi in una meta-analisi hanno dati mancanti, molte persone hanno perso per seguirli- ad esempio: gli autori devono dirti come l’hanno affrontato. (Sfortunatamente, potrebbero non esserlo.) Puoi vedere come questo può influenzare i risultati nella mia discussione di un esempio qui.
Ma un problema di gran lunga più grande è quando i risultati degli studi semplicemente non sono stati riportati . Immagina, ad esempio, dove saremmo se gli investigatori HF-ACTION non avessero pubblicato i loro risultati. Non penseresti che potrebbe essere un grosso problema, ma lo è. Diamo una rapida occhiata al modo in cui i meta-analisti cercano di verificare la presenza di studi non pubblicati qui, e qui c’è una copertura tecnica dettagliata di quest’area complessa e controversa.
La vera soluzione, tuttavia, è che tutti gli studi Essere pubblicato. E questo è qualcosa per cui puoi fare qualcosa! Scopri di più sul problema e su cosa puoi fare per risolverlo, qui sul sito web della campagna All Trials.
E se questo ti ha scoraggiato un po ‘, rivedi le prime 5 cose per ricordare cosa ottimo per la meta-analisi!
~~~~
Per trovare revisioni sistematiche degli interventi in assistenza sanitaria, con e senza meta-analisi, prova PubMed Health. (Divulgazione: parte del mio lavoro quotidiano.)
5 suggerimenti per comprendere i dati nella meta-analisi
5 cose chiave da sapere sulla meta-analisi.
Altro da Assolutamente forse sulla meta-analisi.
Vuoi approfondire la meta-analisi? Johns Hopkins ha un corso introduttivo online gratuito, con certificazione.
L’esempio di una meta-analisi dominata dai risultati di un singolo studio è Analisi 1.2 da una revisione sistematica sulla riabilitazione basata sull’esercizio per l’insufficienza cardiaca da Rod Taylor e colleghi (2014).
I cartoni animati sono miei (licenza CC-NC).(Maggiori informazioni su Statistically Funny e su Tumblr.)