El año pasado escribí una publicación de «5 cosas clave que debe saber sobre el metaanálisis». Fue una excelente manera de concentrarse, pero fue difícil mantener solo 5. Con los metaanálisis en auge, incluidos muchos que están mal hechos o mal interpretados, definitivamente es hora de una secuela !
El metanálisis consiste en combinar y analizar datos de más de un estudio a la vez. Utilizando una variedad de métodos estadísticos, algunos de los cuales fueron diseñados específicamente, puede condensar una gran cantidad de información en un estadística de resumen único.
En la publicación del año pasado, expliqué los conceptos básicos y me concentré en algunas formas de ver el valor de un metanálisis.
Esta vez, estoy señalando a algunas trampas comunes.
1. Un metanálisis es un punto de partida más seguro que un solo estudio, pero no necesariamente será más confiable.
Un metanálisis es generalmente forma parte de una revisión sistemática. Es un esfuerzo de trabajo pesado y, a menudo, se describe como el estudio definitivo, que supera a todos los demás. La última palabra. Un solo estudio se convierte en algo insignificante, incluso para ignorarlo.
Pero aunque los resultados combinados pueden tener mucho peso, hay tres problemas principales con la idea de que un metanálisis siempre triunfa sobre un solo estudio.
En primer lugar, una revisión sistemática y un metanálisis no es un estudio experimental formal. Es un estudio descriptivo o no experimental. Hay juicios subjetivos en cada paso del camino, lo que brinda a pequeños equipos de personas de ideas afines suficiente espacio para dirigirse en la dirección deseada si así lo desean. Un metanálisis deficiente o irregular puede no llegar a conclusiones tan confiables como un estudio único bien realizado y con el poder estadístico adecuado.
En segundo lugar, no es nada inusual que un metanálisis esté fuertemente dominado por un estudio único. Un estudio realizado por Paul Glasziou y sus colegas en 2010 encontró que incluso cuando hubo varios ensayos, el más preciso tenía en promedio la mitad del peso de los resultados, y alrededor del 80% de las veces la conclusión del metanálisis fue prácticamente la igual que ese único estudio. Comprender y discutir ese estudio dominante es fundamental.
Veamos un ejemplo. Primero, algunos antecedentes: la figura siguiente es un diagrama de bosque de un único metanálisis de una revisión sistemática. He escrito un manual rápido sobre cómo comprenderlos aquí.
Cada metanálisis no solo suma estudios. Llega a un promedio ponderado, teniendo en cuenta el tamaño del estudio, por ejemplo. Este diagrama de bosque muestra el peso que cada uno de los 6 estudios está contribuyendo al resultado (la línea en negrita – haga clic para ver una versión más grande). Y una prueba, la prueba HF-ACTION, representa poco más del 70% del resultado. No es que los otros estudios no importen; volveremos a eso más adelante. Pero realmente no cambian este resultado de manera dramática. (En la versión 2010 de este metanálisis, el ensayo HF-ACTION fue aún más dominante, con un peso del 78%).
El tercer problema es tan grande que ocupa el siguiente lugar en esta lista: un solo estudio nuevo puede anular los resultados de un metanálisis. Tan pronto como estuvieron disponibles los resultados de HF-ACTION, fue, por sí solo, una fuente más confiable en muchas preguntas que los metanálisis anteriores.
2. Un metanálisis es una instantánea en el tiempo; incluso puede estar desactualizado el día en que se publica.
La investigación en muchas áreas crece muy rápidamente. La mayoría de los metanálisis están desactualizados y ese proceso se está acelerando. Incluso hace una década, sin embargo, algunos estaban desactualizados cuando se publicaron, y el tiempo medio de «supervivencia» para una revisión sistemática era de 5,5 años.
Tome nuestro ejemplo de insuficiencia cardíaca. Antes de la insuficiencia cardíaca -En el ensayo ACTION publicado en 2009, el panorama era diferente. Con un conjunto de datos mucho menor, algunos estaban convencidos de que los programas basados en ejercicios estaban reduciendo la mortalidad. Pero la incertidumbre era demasiado grande para muchos, quienes seguían preocupados de que el ejercicio pudiera ser demasiado riesgoso para las personas con insuficiencia cardíaca. Además, había muy pocos datos disponibles para las mujeres con insuficiencia cardíaca. (El 28% de los participantes en HF-ACTION eran mujeres, ¡lo cual fue una gran adición de datos!). Los metaanalistas se movieron con bastante rapidez cuando HF-ACTION llegó, pero ese no suele ser el caso.
Cuando hay un nuevo estudio, realmente necesita poder ponerlo en perspectiva. Y un metanálisis existente puede ayudarlo a hacerlo. A veces , un nuevo estudio también incluye un metanálisis actualizado, lo que hace la vida muy fácil. Pero si estás loco rey en un metanálisis que no es muy reciente, también debe estar atento a estudios individuales posteriores. (¡Ese es un gran tema para otro momento!)
3.Mire detenidamente antes de tomar un resultado literalmente; puede que no sea lo que parece.
Cuando consultamos investigaciones para encontrar respuestas a nuestras propias preguntas, traducir las conclusiones de los investigadores puede ser un asunto muy complicado. Los elementos que determinan lo que se mide en un estudio son complejos. Están relacionados con las necesidades de una investigación de buena calidad y / o factible, no necesariamente las preguntas muy específicas que podamos tener.
Cuando se trata de metanálisis, estamos ligados por dos cosas: qué los estudios originales medidos y qué técnicas son confiables para el metanálisis. Lo que midieron los estudios originales puede tener mucho que ver con la realización de un estudio en el menor tiempo posible. Los resultados sustitutos y los biomarcadores son fundamentales, pero pueden llevar a conclusiones prematuras. (Más sobre eso aquí.)
Y no dé por sentado una descripción como «evento cardíaco»: puede que no signifique lo que usted cree que significa. Es muy común en los ensayos y, por lo tanto, en los metanálisis – para incluir resultados compuestos con nombres sencillos y accesibles, pero con significados complicados y enrevesados. Por lo tanto, es necesario analizar la letra pequeña. (He escrito más sobre eso aquí).
Un metanálisis puede agravar este problema, porque esos resultados podrían haber sido más comunes entre los estudios. Eso permite que se agrupen en un metanálisis fácilmente. No pase por alto los resultados que no se podrían agrupar: incluso podrían ser más importantes para usted que los de los metanálisis.
4. No todos los estudios van juntos.
A veces, las revisiones sistemáticas no realizar un metanálisis cuando puedan. Sin embargo, a menudo verá que los autores recomiendan precaución debido a la heterogeneidad entre los estudios que se combinaron. Cuando vea eso, tome la precaución ¡En serio!
La combinación de estudios que no se deben combinar es una de las fallas más comunes que verá en los metanálisis. Si los resultados son demasiado consistentes con una imagen perfecta, puede ser un poco preocupante si no hay un efecto definitivamente dramático. Podría significar que los grupos de personas que se han estudiado son demasiado parecidos, no realmente representativos de la población total en absoluto.
Por otro lado, si los resultados son demasiado inconsistentes, lo que se llama heterogeneidad. podría significar que los resultados no deberían haberse metaanalizado en absoluto. Clave aquí: ¿se puede explicar la heterogeneidad? Por ejemplo, ¿se debe a las diferencias conocidas en las personas de los estudios?
Puede leer acerca de los métodos para medir la heterogeneidad en los metanálisis aquí y aquí. Regla de oro: el I2 es una medida estadística muy común para esto: un resultado del 50% o más está comenzando a elevarse. (Puede ver el I2 en nuestro ejemplo de arriba hacia abajo en los detalles de la parte inferior izquierda: tiene un 34%, que no es muy alto).
Regla general: quiere ver algunos heterogeneidad, pero no demasiada!
5. Los estudios y los datos faltantes pueden torpedear un metanálisis.
¡Una de las razones por las que los resultados pueden ser demasiado consistentes es porque faltan todas las malas noticias!
Lo que nos lleva a la cuestión de los estudios y los datos faltantes.
Si los estudios en un metanálisis tienen datos faltantes (muchas personas perdieron durante el seguimiento) por ejemplo, los autores deben decirle cómo lo abordaron. (Desafortunadamente, es posible que no lo hagan). Puede ver cómo esto puede afectar los resultados en mi discusión de un ejemplo aquí.
Pero, con mucho, un problema mayor es cuando los resultados de los estudios simplemente no se han informado . Imagínese, por ejemplo, dónde estaríamos si los investigadores de HF-ACTION no hubieran publicado sus resultados. No pensaría que eso podría ser un gran problema, pero lo es. Echo un vistazo rápido a la forma en que los metaanalistas intentan buscar estudios no publicados aquí, y aquí hay una cobertura técnica detallada de esta área compleja y controvertida.
Sin embargo, la solución real es que todos los estudios ser publicado. ¡Y eso es algo sobre lo que puedes hacer algo! Obtenga más información sobre el problema y lo que puede hacer para ayudar a resolverlo, aquí, en el sitio web de la campaña All Trials.
Y si esto se ha vuelto un poco desalentador, vuelva a visitar las primeras 5 cosas para recordar qué ¡excelente sobre el metanálisis!
~~~~
Para encontrar revisiones sistemáticas de intervenciones en cuidado de la salud, con y sin metanálisis, pruebe PubMed Health. (Divulgación: parte de mi trabajo diario).
5 consejos para comprender los datos en el metanálisis
5 cosas clave que debe saber sobre el metanálisis.
Más de Absolutely Maybe en Metaanálisis.
¿Quiere estudiar más sobre el metanálisis? Johns Hopkins tiene un curso introductorio en línea gratuito, con certificación.
El ejemplo de un metanálisis dominado por los resultados de un solo ensayo es el Análisis 1.2 de una revisión sistemática sobre rehabilitación basada en ejercicios para la insuficiencia cardíaca por Rod Taylor y colegas (2014).
Las caricaturas son mías (licencia CC-NC).