W zeszłym roku napisałem post o „5 kluczowych rzeczy, które należy wiedzieć o metaanalizie”. To był świetny sposób na skupienie się – ale trudno było utrzymać tylko 5. Wobec boomu metaanaliz, w tym wielu źle wykonanych lub błędnie zinterpretowanych, zdecydowanie czas na kontynuację !
Metaanaliza to łączenie i analizowanie danych z więcej niż jednego badania naraz. Korzystając z różnych metod statystycznych, z których część została stworzona specjalnie, można skondensować ogromną ilość informacji w pojedyncza statystyka podsumowująca.
W zeszłorocznym poście wyjaśniłem podstawy i skoncentrowałem się na kilku sposobach poznania wartości metaanalizy.
Tym razem wskazuję do niektórych typowych pułapek.
1. Metaanaliza jest bezpieczniejszym punktem wyjścia niż pojedyncze badanie – ale niekoniecznie będzie bardziej wiarygodna.
Metaanaliza jest zwykle jest częścią systematycznego przeglądu To ciężki wysiłek i często jest opisywany jako ostateczne badanie, przewyższające wszystkie inne. Ostatnie słowo. Pojedyncze badanie staje się mizerną rzeczą, którą należy nawet zignorować.
Ale chociaż połączone wyniki mogą mieć duże znaczenie, istnieją 3 główne problemy z założeniem, że metaanaliza zawsze ma pierwszeństwo przed pojedynczym badaniem.
Po pierwsze, systematyczny przegląd i metaanaliza nie jest formalnym badaniem eksperymentalnym. Jest to badanie nieeksperymentalne lub opisowe. Na każdym kroku istnieją subiektywne osądy, które dają małym zespołom podobnie myślących ludzi dużo miejsca na kierowanie w pożądanym kierunku, jeśli chcą. Zła lub fragmentaryczna metaanaliza może nie doprowadzić do tak wiarygodnych wniosków, jak dobrze przeprowadzone pojedyncze badanie o odpowiedniej mocy.
Po drugie, nie jest niczym niezwykłym, że metaanaliza jest silnie zdominowana przez pojedyncze badanie. Badanie przeprowadzone przez Paula Glasziou i współpracowników w 2010 roku wykazało, że nawet jeśli było kilka prób, najdokładniejsza z nich miała średnio połowę wagi wyników – i około 80% czasu podsumowanie metaanalizy było tak samo jak w tym jednym badaniu. Zrozumienie i omówienie tego dominującego badania ma kluczowe znaczenie.
Spójrzmy na przykład. Najpierw trochę tła: poniższy rysunek jest wykresem leśnym pojedynczej metaanalizy w ramach systematycznego przeglądu. Napisałem tutaj krótkie wprowadzenie na temat ich zrozumienia.
Każda metaanaliza to nie tylko sumowanie badań. Dochodzi do średniej ważonej, biorąc pod uwagę na przykład wielkość badania. Ten wykres leśny pokazuje wagę każdego z 6 badań, które składają się na wynik (pogrubiona linia – kliknij, aby zobaczyć większą wersję). Jedna próba – próba HF-ACTION – stanowi nieco ponad 70% wyniku. Nie chodzi o to, że inne badania nie mają znaczenia – wrócimy do tego później. Ale tak naprawdę nie zmieniają dramatycznie tego wyniku. (W wersji tej metaanalizy z 2010 roku, próba HF-ACTION była jeszcze bardziej dominująca, ważyła 78%.)
Trzeci problem jest tak duży, że zajmuje kolejne miejsce na tej liście: pojedyncze nowe badanie może obalić wyniki metaanalizy. Gdy tylko wyniki HF-ACTION były dostępne, było ono samo w sobie bardziej wiarygodnym źródłem wielu pytań niż poprzednie metaanalizy.
2. Metaanaliza to migawka w czasie – może być nawet nieaktualna w dniu publikacji.
Badania w wielu dziedzinach rozwijają się bardzo szybko. Większość metaanaliz jest nieaktualna – a proces ten nabiera tempa. Jednak nawet dziesięć lat temu niektóre były nieaktualne w momencie ich publikacji, a średni czas „przeżycia” dla systematycznego przeglądu wynosił 5,5 roku.
Weźmy przykład z niewydolnością serca. Przed HF -Próba ACTION opublikowana w 2009 roku, sytuacja była inna. Przy znacznie mniejszej puli danych niektórzy byli przekonani, że programy oparte na ćwiczeniach zmniejszają śmiertelność. Jednak niepewność była zbyt duża dla wielu, którzy nadal obawiali się, że ćwiczenia mogą być zbyt ryzykowne dla osób z niewydolnością serca. Co więcej, było bardzo mało danych dotyczących kobiet z niewydolnością serca. (28% uczestniczek HF-ACTION stanowiły kobiety, co było dużym dodatkiem danych!). Meta-analitycy poruszali się dość szybko, gdy Nadeszła HF-ACTION, ale tak nie jest zazwyczaj.
Kiedy pojawia się nowe badanie, naprawdę musisz umieć spojrzeć na nie z odpowiedniej perspektywy. Istniejąca metaanaliza może ci w tym pomóc. Czasami , nowe badanie zawiera również zaktualizowaną metaanalizę, która bardzo ułatwia życie! Ale jeśli jesteś loo królu na metaanalizę, która nie jest całkiem nowa, nadal musisz przyjrzeć się późniejszym pojedynczym badaniom. (To duży temat na inny raz!)
3.Przyjrzyj się uważnie, zanim weźmiesz wynik dosłownie – może nie być tym, czym się wydaje.
Kiedy konsultujemy wyniki badań w celu uzyskania odpowiedzi na nasze własne pytania, tłumaczenie wniosków badaczy może być bardzo skomplikowane. Elementy, które decydują o tym, co jest mierzone w badaniu, są złożone. Są one związane z potrzebami dobrej jakości i / lub wykonalnymi badaniami – niekoniecznie z bardzo konkretnymi pytaniami, które możemy mieć.
Jeśli chodzi o metaanalizę, wiążą nas dwie rzeczy: co oryginalne badania zmierzone i jakie techniki są wiarygodne w metaanalizie. To, co zmierzyły oryginalne badania, może mieć wiele wspólnego z wykonaniem badania w tak krótkim czasie, jak to tylko możliwe. Wyniki zastępcze i biomarkery są krytyczne, ale mogą prowadzić do przeskoków do przedwczesnych wniosków. (Więcej na ten temat tutaj.)
I nie traktuj opisu typu „zdarzenie sercowe” za pewnik: może nie oznaczać tego, co myślisz, że oznacza. Jest to bardzo powszechne w przypadku badań – i dlatego metaanalizy – aby uwzględnić złożone wyniki o przystępnych, prostych nazwach, ale skomplikowanych, zawiłych znaczeniach. Więc naprawdę musisz spojrzeć na drobny druk. (Więcej o tym pisałem tutaj).
Metaanaliza może spotęgować ten problem, ponieważ prawdopodobieństwo, że te wyniki będą powszechne w badaniach. To pozwala na ich łatwe zebranie razem w metaanalizie. Nie przeocz wyników, których nie można było połączyć razem: mogą nawet być ważniejsze dla Ciebie niż te w metaanalizach.
4. Nie wszystkie badania pasują do siebie.
Czasami przeglądy systematyczne nie przeprowadzaj metaanalizy, jeśli to możliwe. Jednak często zobaczysz, że autorzy zalecają ostrożność ze względu na niejednorodność między badaniami, które zostały zebrane. Kiedy to zauważysz, zachowaj ostrożność poważnie!
Łączenie badań, których nie należy łączyć, jest jednym z najczęstszych błędów, jakie można zauważyć w metaanalizach. Jeśli wyniki są zbyt spójne w obrazie, może to trochę niepokoić, jeśli nie ma zdecydowanie dramatycznego efektu. Może to oznaczać, że badane grupy ludzi są zbyt podobne – w ogóle nie są reprezentatywne dla całej populacji.
Z drugiej strony, jeśli wyniki są zbyt niespójne – co nazywa się heterogenicznością – może to oznaczać, że wyniki w ogóle nie powinny być poddawane metaanalizie. Klucz tutaj: czy można wyjaśnić niejednorodność? Na przykład, czy wynika to ze znanych różnic między ludźmi w badaniach?
O metodach pomiaru heterogeniczności w metaanalizach możesz przeczytać tutaj i tutaj. Ogólna zasada: I2 jest bardzo powszechną miarą statystyczną – wynik 50% lub więcej zaczyna być wysoki. (Możesz zobaczyć I2 w naszym przykładzie powyżej w szczegółach w lewym dolnym rogu: wynosi 34%, co nie jest zbyt wysokie.)
Ogólna zasada: chcesz zobaczyć trochę niejednorodność, ale nie za bardzo!
5. Brakujące badania i brakujące dane mogą torpedować metaanalizę.
Jednym z powodów, dla których wyniki mogą być zbyt spójne, jest brak wszystkich złych wiadomości!
Co prowadzi nas do pytania o brakujące badania i brakujące dane.
Jeśli badania w metaanalizie zawierają brakujące dane – wiele osób straciło możliwość śledzenia – na przykład – autorzy muszą ci powiedzieć, jak sobie z tym poradzili. (Niestety, mogą nie). Możesz zobaczyć, jak może to wpłynąć na wyniki w mojej dyskusji na temat przykładu tutaj.
Ale zdecydowanie większy problem występuje, gdy wyniki badań po prostu nie zostały przedstawione . Wyobraź sobie na przykład, gdzie bylibyśmy, gdyby badacze HF-ACTION nie opublikowali swoich wyników. Nie myślisz, że to może być duży problem, ale tak jest. Rzucam okiem na sposób, w jaki metaanalitycy próbują sprawdzić tutaj niepublikowane badania, i tutaj znajduje się szczegółowe omówienie techniczne tego złożonego i kontrowersyjnego obszaru.
Prawdziwym rozwiązaniem jest jednak, aby wszystkie badania być opublikowanym. I to jest coś, z czym możesz coś zrobić! Dowiedz się więcej o problemie i o tym, co możesz zrobić, aby go rozwiązać, tutaj, w witrynie kampanii All Trials.
A jeśli stało się to trochę zniechęcające, powtórz 5 pierwszych rzeczy, aby zapamiętać, co świetnie o metaanalizie!
~~~~
Aby znaleźć systematyczne recenzje interwencji w opieka zdrowotna, z metaanalizami i bez nich, wypróbuj PubMed Health. (Ujawnienie: część mojej codziennej pracy.)
5 wskazówek dotyczących zrozumienia danych w metaanalizie
5 najważniejszych rzeczy, które należy wiedzieć o metaanalizie.
Więcej z Absolutely Maybe na temat metaanalizy.
Chcesz dowiedzieć się więcej o metaanalizie? Johns Hopkins prowadzi bezpłatny kurs wprowadzający online z certyfikatem.
Przykładem metaanalizy zdominowanej przez wyniki pojedynczego badania jest Analiza 1.2 z systematycznego przeglądu rehabilitacji opartej na ćwiczeniach z powodu niewydolności serca przez Rod Taylor i współpracownicy (2014).
Kreskówki są moje (licencja CC-NC).(Więcej na Statistically Funny i na Tumblrze).