No ano passado, escrevi um post de “5 coisas-chave para saber sobre meta-análise”. Foi uma ótima maneira de se concentrar – mas foi difícil manter apenas 5. Com meta-análises em alta, incluindo muitas que são mal feitas ou mal interpretadas, definitivamente é hora de uma sequência !
Meta-análise é a combinação e análise de dados de mais de um estudo ao mesmo tempo. Usando uma variedade de métodos estatísticos, alguns dos quais desenvolvidos especificamente, você pode condensar uma grande quantidade de informações em um estatística de resumo único.
Na postagem do ano passado, expliquei o básico e me concentrei em algumas maneiras de ver o valor de uma meta-análise.
Desta vez, estou apontando a algumas armadilhas comuns.
1. Uma meta-análise é um ponto de partida mais seguro do que um único estudo – mas não será necessariamente mais confiável.
Uma meta-análise é geralmente parte de uma revisão sistemática. É um esforço pesado e frequentemente descrito como o estudo final, superando todos os outros. A última palavra. Um único estudo se torna uma coisa insignificante, a ser até mesmo ignorada.
Mas embora os resultados combinados possam ter muito peso, existem três problemas principais com a ideia de que uma meta-análise sempre supera um único estudo.
Em primeiro lugar, uma revisão sistemática e meta-análise não é um estudo experimental formal. É um estudo não experimental ou descritivo. Há julgamentos subjetivos a cada passo do caminho, dando a pequenas equipes de pessoas com ideias semelhantes bastante espaço para se orientar na direção desejada, se quiserem. Uma meta-análise ruim ou irregular pode não chegar a conclusões tão confiáveis quanto um estudo único bem conduzido e adequadamente desenvolvido.
Em segundo lugar, não é incomum que uma meta-análise seja fortemente dominada por um estudo único. Um estudo de Paul Glasziou e colegas em 2010 descobriu que, mesmo quando havia vários ensaios, o mais preciso carregava em média metade do peso dos resultados – e em cerca de 80% das vezes a conclusão da meta-análise era basicamente o mesmo que aquele único estudo. Compreender e discutir esse estudo dominante é fundamental.
Vejamos um exemplo. Alguns antecedentes primeiro: a figura abaixo é um gráfico de floresta de uma única meta-análise de uma revisão sistemática. Eu escrevi uma introdução rápida sobre como entendê-los aqui.
Cada meta-análise não adiciona apenas estudos. Chega a uma média ponderada, levando-se em conta o tamanho do estudo, por exemplo. Este gráfico de floresta mostra o peso que cada um dos 6 estudos está contribuindo para o resultado (a linha em negrito – clique para ver uma versão maior). E um teste – o teste HF-ACTION – é responsável por pouco mais de 70% do resultado. Não é que os outros estudos não importem – vamos voltar a isso mais tarde. Mas eles realmente não mudam esse resultado dramaticamente. (Na versão 2010 desta meta-análise, o ensaio HF-ACTION foi ainda mais dominante, pesando 78%.)
O terceiro problema é tão grande que ocupa o próximo lugar nesta lista: um único estudo novo pode inverter os resultados de uma meta-análise. Assim que os resultados do HF-ACTION estavam disponíveis, ele era, por si só, uma fonte mais confiável em muitas questões do que as meta-análises anteriores.
2. Uma meta-análise é um instantâneo no tempo – pode até estar desatualizada no dia em que é publicada.
A pesquisa em muitas áreas cresce muito rapidamente. A maioria das meta-análises está desatualizada – e esse processo está se acelerando. Porém, mesmo uma década atrás, alguns estavam desatualizados quando foram publicados, e o tempo médio de “sobrevivência” para uma revisão sistemática era de 5,5 anos.
Veja nosso exemplo de insuficiência cardíaca. Antes da IC – Ensaio ACTION publicado em 2009, o quadro era diferente. Com um conjunto muito menor de dados, alguns estavam convencidos de que os programas baseados em exercícios estavam reduzindo a mortalidade. Mas a incerteza era grande demais para muitos, que continuavam preocupados com o fato de os exercícios serem muito arriscados para pessoas com insuficiência cardíaca. Além disso, havia muito poucos dados disponíveis sobre mulheres com insuficiência cardíaca. (28% dos participantes do HF-ACTION eram mulheres, o que foi um grande acréscimo de dados!) Os meta-analistas agiram com bastante rapidez quando O HF-ACTION chegou, mas normalmente não é o caso.
Quando há um novo estudo, você realmente precisa ser capaz de colocá-lo em perspectiva. E uma meta-análise existente pode ajudá-lo a fazer isso. Às vezes , um novo estudo inclui também uma meta-análise atualizada, o que torna a vida muito fácil! Mas se você está rei em uma meta-análise que não é muito recente, você ainda precisa olhar para estudos individuais posteriores também. (Esse é um grande tópico para outra hora!)
3.Olhe com atenção antes de interpretar um resultado literalmente – pode não ser o que parece.
Quando consultamos pesquisas para obter respostas às nossas próprias perguntas, traduzir as conclusões dos pesquisadores pode ser um negócio muito complicado. Os elementos que determinam o que é medido em um estudo são complexos. Eles estão relacionados às necessidades de boa qualidade e / ou pesquisa viável – não necessariamente às perguntas muito específicas que podemos ter.
Quando se trata de meta-análise, somos limitados por duas coisas: o que os estudos originais medidos e quais técnicas são confiáveis para meta-análise. O que os estudos originais mediram pode ter muito a ver com a realização de um estudo no menor tempo possível. Desfechos substitutos e biomarcadores são críticos, mas podem levar a conclusões precipitadas. (Mais sobre isso aqui.)
E não tome uma descrição como “evento cardíaco” como garantido: pode não significar o que você pensa que significa. É muito comum para ensaios – e, portanto, meta-análises – para incluir resultados compostos com nomes acessíveis e simples, mas significados complicados e complicados. Portanto, você realmente precisa olhar as letras miúdas. (Escrevi mais sobre isso aqui).
Uma meta-análise pode agravar esse problema, porque esses resultados podem ter sido mais comuns entre os estudos. Isso permite que eles sejam agrupados em uma meta-análise facilmente. Não negligencie os resultados que não poderiam ser agrupados: eles podem até ser mais importantes para você do que aqueles nas metanálises.
4. Nem todos os estudos estão juntos.
Às vezes, revisões sistemáticas não meta-analise quando eles poderiam. Freqüentemente, porém, você verá que os autores aconselham cautela devido à heterogeneidade entre os estudos que foram agrupados. Quando você vir isso, tome cuidado, ver sério!
Agrupar estudos que não deveriam ser combinados é uma das falhas mais comuns que você verá em meta-análises. Se os resultados forem muito perfeitos e consistentes, pode ser um pouco preocupante se não houver um efeito definitivamente dramático. Isso pode significar que os grupos de pessoas que foram estudados são muito parecidos – não são realmente representativos da população total.
Por outro lado, se os resultados forem muito inconsistentes – o que é chamado de heterogeneidade – isso pode significar que os resultados não deveriam ter sido metanálise. Chave aqui: a heterogeneidade pode ser explicada? Por exemplo, é devido a diferenças conhecidas nas pessoas nos estudos?
Você pode ler sobre métodos para medir a heterogeneidade em meta-análises aqui e aqui. Regra prática: o I2 é uma medida estatística muito comum para isso – um resultado de 50% ou mais está começando a ficar alto. (Você pode ver o I2 em nosso exemplo acima nos detalhes no canto inferior esquerdo: ele vem em 34%, o que não é muito alto.)
Regra de ouro: você deseja ver alguns heterogeneidade, mas não muito!
5. Estudos e dados ausentes podem torpedear uma meta-análise.
Um dos motivos pelos quais os resultados podem ser muito consistentes é porque todas as más notícias estão faltando!
O que nos leva à questão dos estudos e dados ausentes.
Se os estudos em uma meta-análise têm dados ausentes – muitas pessoas perderam para acompanhar- por exemplo – os autores precisam dizer a você como lidaram com isso. (Infelizmente, talvez não.) Você pode ver como isso pode afetar os resultados na minha discussão de um exemplo aqui.
Mas, de longe, um problema maior é quando os resultados dos estudos simplesmente não foram relatados . Imagine, por exemplo, onde estaríamos se os investigadores do HF-ACTION não tivessem publicado seus resultados. Você não pensaria que isso poderia ser um grande problema, mas é. Eu dou uma olhada rápida na forma como os meta-analistas tentam verificar os estudos não publicados aqui, e há uma cobertura técnica detalhada dessa área complexa e controversa aqui.
A solução real, porém, é para todos os estudos seja publicado. E você pode fazer algo sobre isso! Descubra mais sobre o problema e o que você pode fazer para ajudá-lo a resolvê-lo, aqui no site da campanha All Trials.
E se isso se tornou um pouco desanimador, visite novamente as 5 primeiras coisas para lembrar o que ótimo sobre meta-análise!
~~~~
Para encontrar revisões sistemáticas de intervenções em cuidados de saúde, com e sem meta-análises, experimente PubMed Health. (Divulgação: parte do meu trabalho diário.)
5 dicas para entender dados em meta-análise
5 coisas-chave para saber sobre meta-análise.
More from Absolutely Maybe on Meta-Analysis.
Quer estudar mais sobre meta-análise? Johns Hopkins tem um curso introdutório online gratuito, com certificação.
O exemplo de uma meta-análise dominada pelos resultados de um único ensaio é a Analysis 1.2 de uma revisão sistemática sobre reabilitação baseada em exercícios para insuficiência cardíaca por Rod Taylor e colegas (2014).
Os desenhos são meus (licença CC-NC).(Mais em Statistically engraçado e no Tumblr.)