Letztes Jahr schrieb ich einen Beitrag von „5 wichtige Dinge, die Sie über Meta-Analysen wissen sollten“. Es war eine großartige Möglichkeit, sich zu konzentrieren – aber es war schwierig, sich nur an 5 zu halten. Mit boomenden Meta-Analysen, darunter viele, die schlecht gemacht oder falsch interpretiert wurden, ist es definitiv Zeit für eine Fortsetzung !
Bei der Metaanalyse werden Daten aus mehr als einer Studie gleichzeitig kombiniert und analysiert. Mithilfe einer Vielzahl statistischer Methoden, von denen einige speziell entwickelt wurden, können Sie eine große Menge an Informationen zu einer komprimieren Einzelzusammenfassungsstatistik.
Im letzten Beitrag habe ich die Grundlagen erläutert und mich auf einige Möglichkeiten konzentriert, um den Wert einer Metaanalyse zu ermitteln.
Dieses Mal zeige ich zu einigen gängigen Fallen.
1. Eine Metaanalyse ist ein sicherer Ausgangspunkt als eine einzelne Studie – aber nicht unbedingt zuverlässiger.
Eine Metaanalyse ist in der Regel Teil einer systematischen Überprüfung Es ist eine schwere Aufgabe und wird oft als ultimative Studie bezeichnet, die alle anderen überwiegt. Das letzte Wort. Eine einzelne Studie wird zu einer mickrigen Sache, die sogar ignoriert werden muss.
Obwohl kombinierte Ergebnisse viel Gewicht haben können, gibt es drei Hauptprobleme bei der Vorstellung, dass eine Metaanalyse immer eine einzelne Studie übertrifft.
Erstens ist eine systematische Überprüfung und Metaanalyse keine formale experimentelle Studie. Es ist eine nicht experimentelle oder beschreibende Studie. Es gibt subjektive Urteile auf jedem Schritt des Weges, die kleinen Teams von Gleichgesinnten viel Raum geben, um in die gewünschte Richtung zu steuern, wenn sie wollen. Eine schlechte oder lückenhafte Metaanalyse kommt möglicherweise nicht zu so verlässlichen Ergebnissen wie eine gut durchgeführte, ausreichend leistungsfähige Einzelstudie.
Zweitens ist es keineswegs ungewöhnlich, dass eine Metaanalyse stark von a dominiert wird Einzelstudie. Eine Studie von Paul Glasziou und Kollegen aus dem Jahr 2010 ergab, dass selbst bei mehreren Studien die genaueste im Durchschnitt die Hälfte des Gewichts der Ergebnisse trug – und in etwa 80% der Fälle war der Abschluss der Metaanalyse so ziemlich der das gleiche wie diese einzelne Studie. Das Verständnis und die Diskussion dieser dominanten Studie ist entscheidend.
Schauen wir uns ein Beispiel an. Zunächst einige Hintergrundinformationen: Die folgende Abbildung zeigt eine Walddarstellung einer einzelnen Metaanalyse aus einer systematischen Überprüfung. Ich habe hier eine kurze Einführung zum Verständnis dieser Themen geschrieben.
Jede Metaanalyse addiert nicht nur Studien. Es ergibt sich ein gewichteter Durchschnitt, der beispielsweise die Größe der Studie berücksichtigt. Dieses Walddiagramm zeigt Ihnen das Gewicht, das jede von 6 Studien zum Ergebnis beiträgt (die fett gedruckte Linie – klicken Sie, um eine größere Version zu sehen). Und eine Studie – die HF-ACTION-Studie – macht etwas mehr als 70% des Ergebnisses aus. Es ist nicht so, dass die anderen Studien keine Rolle spielen – wir werden später darauf zurückkommen. Aber sie ändern dieses Ergebnis nicht wirklich dramatisch. (In der 2010er Version dieser Metaanalyse war die HF-ACTION-Studie mit einem Gewicht von 78% noch dominanter.)
Das dritte Problem ist so groß, dass es den nächsten Platz in dieser Liste einnimmt: Eine einzelne neue Studie kann die Ergebnisse einer Metaanalyse auf den Kopf stellen. Sobald die Ergebnisse von HF-ACTION verfügbar waren, war es für sich genommen eine zuverlässigere Quelle für viele Fragen als frühere Metaanalysen.
2. Eine Metaanalyse ist eine Momentaufnahme – sie kann sogar an dem Tag, an dem sie veröffentlicht wird, veraltet sein.
Die Forschung in vielen Bereichen wächst sehr schnell. Die meisten Metaanalysen sind veraltet – und dieser Prozess beschleunigt sich. Noch vor einem Jahrzehnt waren einige zum Zeitpunkt ihrer Veröffentlichung veraltet, und die mittlere „Überlebenszeit“ für eine systematische Überprüfung betrug 5,5 Jahre.
Nehmen wir unser Beispiel für Herzinsuffizienz. Vor der HF -ACTION-Studie aus dem Jahr 2009, das Bild war anders. Mit einem viel kleineren Datenpool waren einige davon überzeugt, dass übungsbasierte Programme die Sterblichkeit senken. Die Unsicherheit war jedoch zu groß für viele, die weiterhin besorgt waren, dass Bewegung zu riskant sein könnte Für Menschen mit Herzinsuffizienz. Darüber hinaus waren nur sehr wenige Daten für Frauen mit Herzinsuffizienz verfügbar. (28% der Teilnehmer an HF-ACTION waren Frauen, was eine große Datenerweiterung darstellte!) Meta-Analysten bewegten sich ziemlich schnell, wenn HF-ACTION ist eingetroffen, aber das ist normalerweise nicht der Fall.
Wenn es eine neue Studie gibt, müssen Sie sie wirklich relativieren können. Und eine vorhandene Metaanalyse kann Ihnen dabei helfen. Manchmal Eine neue Studie enthält auch eine aktualisierte Metaanalyse, die das Leben sehr einfach macht! Aber wenn Sie klo sind Bei einer Metaanalyse, die noch nicht sehr aktuell ist, müssen Sie sich auch noch spätere Einzelstudien ansehen. (Das ist ein großes Thema für ein anderes Mal!)
3.Schauen Sie genau hin, bevor Sie ein Ergebnis wörtlich nehmen – es ist möglicherweise nicht das, was es zu sein scheint.
Wenn wir die Forschung konsultieren, um Antworten auf unsere eigenen Fragen zu erhalten, kann es sehr schwierig sein, die Schlussfolgerungen der Forscher zu übersetzen. Die Elemente, mit denen bestimmt wird, was in einer Studie gemessen wird, sind komplex. Sie beziehen sich auf die Bedürfnisse guter Qualität und / oder praktikabler Forschung – nicht unbedingt auf die sehr spezifischen Fragen, die wir möglicherweise haben.
Wenn es um Metaanalysen geht, sind wir an zwei Dinge gebunden: Was Die ursprünglichen Studien wurden gemessen und welche Techniken für die Metaanalyse zuverlässig sind. Was die ursprünglichen Studien gemessen haben, hat möglicherweise viel damit zu tun, dass eine Studie in so kurzer Zeit wie möglich durchgeführt wird. Ersatzergebnisse und Biomarker sind kritisch, können jedoch dazu führen, dass vorzeitige Schlussfolgerungen gezogen werden. (Mehr dazu hier.)
Und nehmen Sie eine Beschreibung wie „Herzereignis“ nicht als selbstverständlich an: Es bedeutet möglicherweise nicht, was Sie denken, dass es bedeutet. Es ist sehr häufig für Studien – und daher für Metaanalysen – Zusammengesetzte Ergebnisse mit zugänglichen, einfachen Namen, aber komplizierten, verschlungenen Bedeutungen aufzunehmen. Sie müssen sich also unbedingt das Kleingedruckte ansehen. (Ich habe hier mehr darüber geschrieben.)
Eine Metaanalyse kann dieses Problem verschärfen, da diese Ergebnisse in Studien möglicherweise häufiger vorkommen. Dadurch können sie leicht in einer Metaanalyse zusammengefasst werden. Übersehen Sie nicht die Ergebnisse, die nicht zusammengefasst werden konnten: Sie könnten es sogar sein Für Sie wichtiger als die in den Metaanalysen.
4. Nicht alle Studien gehören zusammen.
Manchmal systematische Überprüfungen Analysieren Sie nicht, wann dies möglich ist. Oft werden Sie jedoch feststellen, dass Autoren aufgrund der Heterogenität zwischen gepoolten Studien zur Vorsicht raten. Wenn Sie dies sehen, gehen Sie vorsichtig vor y ernst!
Das Zusammenführen von Studien, die nicht kombiniert werden sollten, ist einer der häufigsten Fehler, die Sie in Metaanalysen sehen werden. Wenn die Ergebnisse zu perfekt sind, kann dies ein wenig besorgniserregend sein, wenn es keinen definitiv dramatischen Effekt gibt. Dies könnte bedeuten, dass die untersuchten Personengruppen zu ähnlich sind – nicht wirklich repräsentativ für die Gesamtbevölkerung.
Wenn die Ergebnisse jedoch zu inkonsistent sind – was als Heterogenität bezeichnet wird – Dies könnte bedeuten, dass die Ergebnisse überhaupt nicht metaanalysiert werden sollten. Schlüssel hier: Kann die Heterogenität erklärt werden? Liegt es beispielsweise an bekannten Unterschieden bei den Personen in den Studien?
Hier und hier können Sie Methoden zur Messung der Heterogenität in Metaanalysen nachlesen. Faustregel: Der I2 ist ein sehr verbreitetes statistisches Maß dafür – ein Ergebnis von 50% oder mehr beginnt hoch zu werden. (Sie können den I2 in unserem Beispiel oben unten in den Details unten links sehen: Er liegt bei 34%, was nicht sehr hoch ist.)
Faustregel: Sie möchten einige sehen Heterogenität, aber nicht zu viel!
5. Fehlende Studien und fehlende Daten können eine Metaanalyse torpedieren.
Einer der Gründe, warum die Ergebnisse zu konsistent sein können, ist, dass alle schlechten Nachrichten fehlen!
Das bringt uns zu der Frage nach fehlenden Studien und fehlenden Daten.
Wenn Studien in einer Metaanalyse fehlende Daten haben – viele Menschen haben verloren zu folgen – zum Beispiel – die Autoren müssen Ihnen sagen, wie sie damit umgegangen sind. (Leider möglicherweise nicht.) Sie können sehen, wie sich dies auf die Ergebnisse in meiner Diskussion eines Beispiels hier auswirken kann.
Ein weitaus größeres Problem ist jedoch, wenn die Ergebnisse von Studien einfach nicht gemeldet wurden . Stellen Sie sich zum Beispiel vor, wo wir wären, wenn die HF-ACTION-Ermittler ihre Ergebnisse nicht veröffentlicht hätten. Sie würden nicht denken, dass dies ein großes Problem sein könnte, aber es ist so. Ich habe einen kurzen Blick auf die Art und Weise, wie Metaanalysten versuchen, hier nach unveröffentlichten Studien zu suchen, und es gibt hier eine detaillierte technische Abdeckung dieses komplexen und kontroversen Bereichs.
Die eigentliche Lösung ist jedoch, dass alle Studien dies tun veröffentlicht werden. Und dagegen können Sie etwas tun! Erfahren Sie hier auf der Website der All Trials-Kampagne mehr über das Problem und was Sie tun können, um es zu lösen.
Wenn dies etwas entmutigend geworden ist, besuchen Sie die ersten fünf Dinge erneut, um sich daran zu erinnern, was passiert großartig über Meta-Analyse!
~~~~
Um systematische Überprüfungen von Interventionen in zu finden Versuchen Sie im Gesundheitswesen mit und ohne Metaanalysen PubMed Health. (Offenlegung: Teil meiner täglichen Arbeit.)
5 Tipps zum Verständnis von Daten in der Metaanalyse
5 Wichtige Informationen zur Metaanalyse.
Mehr von Absolut Vielleicht zur Metaanalyse.
Möchten Sie mehr über die Metaanalyse erfahren? Johns Hopkins bietet einen kostenlosen Online-Einführungskurs mit Zertifizierung an.
Das Beispiel einer Metaanalyse, die von den Ergebnissen einer einzelnen Studie dominiert wird, ist Analyse 1.2 aus einer systematischen Überprüfung der übungsbasierten Rehabilitation bei Herzinsuffizienz durch Rod Taylor und Kollegen (2014).
Die Cartoons sind meine eigenen (CC-NC-Lizenz).(Mehr bei Statistically Funny und bei Tumblr.)