L’année dernière, j’ai écrit un article sur « 5 choses clés à savoir sur la méta-analyse ». C’était une excellente façon de se concentrer – mais il était difficile de s’en tenir à seulement 5. Avec les méta-analyses en plein essor, y compris beaucoup qui sont mal faites ou mal interprétées, il est certainement temps pour une suite !
La méta-analyse consiste à combiner et à analyser les données de plusieurs études à la fois. En utilisant une variété de méthodes statistiques, dont certaines ont été spécialement conçues, vous pouvez condenser une grande quantité d’informations en un statistique récapitulative unique.
Dans le post de l’année dernière, j’ai expliqué les bases, et je me suis concentré sur quelques façons de voir la valeur d’une méta-analyse.
Cette fois, je montre à certains pièges courants.
1. Une méta-analyse est un point de départ plus sûr qu’une seule étude – mais elle ne sera pas nécessairement plus fiable.
Une méta-analyse est fait généralement partie d’une revue systématique. Il s’agit d’un effort intense, souvent décrit comme l’étude ultime, dépassant toutes les autres. Le dernier mot. Une seule étude devient une chose minable, à ignorer même.
Mais alors que les résultats combinés peuvent avoir beaucoup de poids, l’idée qu’une méta-analyse l’emporte toujours sur une seule étude pose trois problèmes principaux.
Premièrement, une revue systématique et une méta-analyse ne sont pas une étude expérimentale formelle. Il s’agit d’une étude non expérimentale ou descriptive. Il y a des jugements subjectifs à chaque étape du processus, ce qui donne à de petites équipes de personnes partageant les mêmes idées beaucoup de latitude pour orienter dans la direction souhaitée si elles le souhaitent. Une méta-analyse erronée ou inégale pourrait ne pas aboutir à des conclusions aussi fiables qu’une étude unique bien menée et suffisamment puissante.
Deuxièmement, il n’est pas du tout inhabituel qu’une méta-analyse soit fortement dominée par un étude unique. Une étude réalisée par Paul Glasziou et ses collègues en 2010 a révélé que même lorsqu’il y avait plusieurs essais, le plus précis portait en moyenne la moitié du poids des résultats – et environ 80% du temps, la conclusion de la méta-analyse était à peu près la identique à cette seule étude. Comprendre et discuter de cette étude dominante est essentiel.
Prenons un exemple. Un peu de contexte d’abord: la figure ci-dessous est un graphique forestier d’une seule méta-analyse à partir d’une revue systématique. J’ai rédigé une brève introduction à leur compréhension ici.
Chaque méta-analyse n’ajoute pas seulement des études. Il arrive à une moyenne pondérée, en tenant compte de la taille de l’étude, par exemple. Ce graphique forestier vous montre le poids que chacune des 6 études contribue au résultat (la ligne en gras – cliquez pour voir une version plus grande). Et un essai – l’essai HF-ACTION – représente un peu plus de 70% du résultat. Ce n’est pas que les autres études n’ont pas d’importance – nous y reviendrons plus tard. Mais ils ne changent pas vraiment ce résultat de façon spectaculaire. (Dans la version 2010 de cette méta-analyse, l’essai HF-ACTION était encore plus dominant, pesant 78%.)
Le troisième problème est si gros qu’il occupe la prochaine place sur cette liste: une seule nouvelle étude peut renverser les résultats d’une méta-analyse. Dès que les résultats de HF-ACTION étaient disponibles, il était, à lui seul, une source plus fiable sur de nombreuses questions que les méta-analyses précédentes.
2. Une méta-analyse est un instantané dans le temps – elle peut même être obsolète le jour de sa publication.
La recherche dans de nombreux domaines se développe très rapidement. La plupart des méta-analyses sont obsolètes – et ce processus s’accélère. Il y a encore dix ans, cependant, certains étaient obsolètes au moment de leur publication, et le temps médian de «survie» pour une revue systématique était de 5,5 ans.
Prenons notre exemple d’insuffisance cardiaque. Avant l’IC. -Étude ACTION publiée en 2009, le tableau était différent. Avec un pool de données beaucoup plus restreint, certains étaient convaincus que les programmes basés sur l’exercice réduisaient la mortalité. Mais l’incertitude était trop grande pour beaucoup, qui craignaient toujours que l’exercice soit trop risqué pour les personnes souffrant d’insuffisance cardiaque. De plus, il y avait très peu de données disponibles pour les femmes souffrant d’insuffisance cardiaque. (28% des participants à HF-ACTION étaient des femmes, ce qui était un gros ajout de données!) Les méta-analystes ont réagi assez rapidement HF-ACTION est arrivé, mais ce n’est généralement pas le cas.
Lorsqu’il y a une nouvelle étude, vous devez vraiment être en mesure de la mettre en perspective. Et une méta-analyse existante peut vous aider à le faire. Parfois , une nouvelle étude comprend également une méta-analyse mise à jour, ce qui rend la vie très facile! Mais si vous êtes roi lors d’une méta-analyse qui n’est pas très récente, vous devez également vous pencher sur des études individuelles ultérieures. (C’est un gros sujet pour une autre fois!)
3.Regardez attentivement avant de prendre un résultat au pied de la lettre – il se peut que ce ne soit pas ce qu’il semble être.
Lorsque nous consultons la recherche pour obtenir des réponses à nos propres questions, traduire les conclusions des chercheurs peut être une affaire très délicate. Les éléments permettant de déterminer ce qui est mesuré dans une étude sont complexes. Ils sont liés aux besoins d’une recherche de bonne qualité et / ou réalisable – pas nécessairement aux questions très spécifiques que nous pourrions avoir.
En ce qui concerne la méta-analyse, nous sommes liés par deux choses: les études originales mesurées et les techniques fiables pour la méta-analyse. Ce que les études originales ont mesuré peut avoir beaucoup à voir avec la réalisation d’une étude dans les plus brefs délais. Les résultats de substitution et les biomarqueurs sont essentiels, mais ils peuvent conduire à des conclusions prématurées. (Plus à ce sujet ici.)
Et ne prenez pas une description comme « événement cardiaque » pour acquise: cela peut ne pas vouloir dire ce que vous pensez que cela signifie. C’est très courant pour les essais – et donc les méta-analyses – pour inclure des résultats composites avec des noms simples et accessibles, mais des significations compliquées et alambiquées. Vous devez donc vraiment regarder les petits caractères. (J’ai écrit plus à ce sujet ici.)
Une méta-analyse peut aggraver ce problème, car ces résultats auraient pu être plus susceptibles d’être communs dans les études. Cela leur permet d’être facilement regroupés dans une méta-analyse. N’oubliez pas les résultats qui n’ont pas pu être regroupés: ils pourraient même être plus importantes pour vous que celles des méta-analyses.
4. Toutes les études ne vont pas ensemble.
Parfois, des revues systématiques ne faites pas de méta-analyse quand ils le pourraient. Souvent, cependant, vous verrez que les auteurs conseillent la prudence en raison de l’hétérogénéité entre les études qui ont été regroupées. Lorsque vous voyez cela, soyez prudent. y sérieusement!
La mise en commun des études qui ne doivent pas être combinées est l’une des failles les plus courantes que vous verrez dans les méta-analyses. Si les résultats sont trop cohérents avec une image parfaite, cela peut être un peu inquiétant s’il n’y a pas un effet vraiment dramatique. Cela pourrait signifier que les groupes de personnes qui ont été étudiés sont trop similaires – pas vraiment représentatifs de la population totale.
D’un autre côté, si les résultats sont trop incohérents – ce qu’on appelle l’hétérogénéité – cela pourrait signifier que les résultats n’auraient pas du tout dû être méta-analysés. Clé ici: l’hétérogénéité peut-elle être expliquée? Par exemple, est-ce dû à des différences connues entre les personnes dans les études?
Vous pouvez en savoir plus sur les méthodes de mesure de l’hétérogénéité dans les méta-analyses ici et ici. Règle de base: le I2 est une mesure statistique très courante pour cela – un résultat de 50% ou plus commence à devenir élevé. (Vous pouvez voir le I2 dans notre exemple ci-dessus dans les détails en bas à gauche: il arrive à 34%, ce qui n’est pas très élevé.)
Règle générale: vous voulez en voir hétérogénéité, mais pas trop!
5. Des études manquantes et des données manquantes peuvent torpiller une méta-analyse.
L’une des raisons pour lesquelles les résultats peuvent être trop cohérents est que toutes les mauvaises nouvelles sont manquantes!
Ce qui nous amène à la question des études manquantes et des données manquantes.
Si les études d’une méta-analyse ont des données manquantes – de nombreuses personnes perdues de vue – par exemple – les auteurs doivent vous dire comment ils l’ont traité. (Malheureusement, ce n’est peut-être pas le cas.) Vous pouvez voir comment cela peut affecter les résultats dans ma discussion d’un exemple ici.
Mais un problème de loin plus important est lorsque les résultats des études n’ont tout simplement pas été rapportés . Imaginez, par exemple, où nous serions si les enquêteurs HF-ACTION n’avaient pas publié leurs résultats. Vous ne penseriez pas que cela pourrait être un gros problème, mais c’est le cas. Je jette un rapide coup d’œil à la façon dont les méta-analystes essaient de rechercher des études non publiées ici, et il y a une couverture technique détaillée de ce domaine complexe et controversé ici.
La vraie solution, cependant, est que toutes les études être publié. Et c’est quelque chose que vous pouvez faire! Pour en savoir plus sur le problème et ce que vous pouvez faire pour aider à le résoudre, cliquez ici sur le site Web de la campagne Tous les essais.
Et si cela vous a un peu découragé, revoyez les 5 premières choses pour vous souvenir de ce qui est super pour la méta-analyse!
~~~~
Pour trouver des revues systématiques des interventions dans soins de santé, avec et sans méta-analyses, essayez PubMed Health. (Divulgation: une partie de mon travail quotidien.)
5 conseils pour comprendre les données dans la méta-analyse
5 choses clés à savoir sur la méta-analyse.
Plus d’informations sur Absolutely Maybe on Meta-Analysis.
Vous voulez en savoir plus sur la méta-analyse? Johns Hopkins propose un cours d’introduction en ligne gratuit, avec certification.
L’exemple d’une méta-analyse dominée par les résultats d’un seul essai est l’Analyse 1.2 d’une revue systématique sur la rééducation par l’exercice pour l’insuffisance cardiaque par Rod Taylor et ses collègues (2014).
Les dessins animés sont les miens (licence CC-NC).(Plus sur Statistically Funny et sur Tumblr.)