Éloge de la Méta-analyse (I) Quésaco ?

La méta-analyse (MA) est une technique statistique permettant de combiner les recherches de nombreuses études et d’estimer si la variable qui vous intéresse a un effet, sa taille et robustesse. Elle permet la combinaison d’études du mêmes types (expériences de terrain ou de laboratoires) constituant la pluriméthodologie représentative des sciences sociales actuelles (Cumming 2012 ; Poteete, Janssen & Ostrom, 2010). Contrairement à une idée largement répandue, combiner des études de terrains en milieu socioécologique ne constitue pas une sous MA et beaucoup des meilleurs modèles prédictives proviennent de sciences – astronomie, géologie, paléonthologie, biologie évolutionaire, épidémiologie, etc. – utilisant l’observation de terrain (Diamond & Case, 1986 ; Diamond & Robinson, 2010 ; Lilenfeld & Lilenfeld, 1994 ; Mayr, 1976). Ces techniques ne suffisant pas, des approches issues de la modélisation analytique et agent-based permettent, entre autre, la génération d’hypothèses nouvelles, l’explication de phénomènes par principes de parcimonies et le test de de condition socioécologique impossible à reproduire manuellement (McElreath & Boyd, 2008 ; Otto & Day, 2007 ; Poteete, Janssen & Ostrom, 2010) ou simplement stupide à imaginer (si on devait détruire tous les ponts de France pour tester leur résistance sous prétexte que nos ingénieurs civiles avaient la flemme de les modéliser, la société n’irait pas très loin…). C’est pourquoi je proposerai en parallèle de la série d’articles sur les MA, un exposé mensuel sur la modélisation analytique évolutionnaire (agression, altruisme, théorie du signal, sélection sexuelle et homicides par armes à feu). SMBC error Bien qu’étant resté l’appanage de la médecine à ces débuts (notamment en 1904 via Karl Pearson et ses travaux sur la fièvre typhoïde), la MA est une méthode statistiques qui commence à progresser notamment grâce à la méthode de Stouffer dans les années 1950 (Card, 2011). Il faudra néamoins attendre les années 1970 pour que les sciences sociales commencent à profiter et user pleinement de cette technique. Smith et Glass (1977) en particulier publie la première méta-analyse sur les psychothérapies réunissant ainsi 375 études montrant l’efficacité de cette méthode thérapeutique et la différence négligeable entre les psychothérapies. Bien qu’ayant soulevé de nombreuses controverses, ces premières méta-data ont permis d’identifier certains problèmes liés à la méta-analyse que nous aborderons à la fin de notre série d’articles (bais de publication, biais d’échantillon, différence de qualités entre les données, etc.) et les solutions possibles. Une des applications fondamentales de la méta-analyse se retrouve dans les politiques publiques (éducation, santé, armée, agriculture, etc.). Elles permettent d’aborder les débats sociétaux avec un premier socle de données intéressantes et devraitent être le préalable à toute discussion politique digne de ce nom. On peut toujours avoir des désaccords d’ordre moral ou éthique par la suite mais une approche bottom-up et empiriquement validée via des publications peer-review (où des experts anonymes évaluent les travaux) reste encore la stratégie de scepticisme organisée la plus efficace en science (Daniel, 2005). Etudions plusieurs méta-analyses dans divers domaines depolitiques publiques pouvant amener à des changements de directions radicales (Borenstein et al., 2011 ; Lipsey & Wilson, 2001). Un des exemples marquant concerne les politiques d’éducation de la lecture : qui de la méthode globale (consistant à faire apprendre par cœur des mots voire des phrases aux enfants) ou de la méthode syllabique (“p” et “o” donnent “po”) est la plus efficace pour apprendre à lire? Le U.S. National Reading Panel a par exemple, en l’an 2000, trié pas moins de 1072 études sur la lecture et en a accepté seulement 38 sur la base des critères de sélection : avoir un groupe contrôle soumis à l’apprentissage de la lecture par méthode globale pour le comparer au groupe soumis à la méthode syllabique, et avoir les données suffisantes pour calculer les tailles d’effets.

Quelques définitions :

Les critères de sélections sont définis à l’avance dans une méta-analyse et permet de choisir si telle ou telle étude peut être insérée dans l’analyse. Ces critères peuvent être très variés : ils peuvent contenir un certain type de population (femmes de plus de 50 ans ; adolescents ; autistes…), de méthodologies (plusieurs mesures dans le temps), de mesures (biologiques, temps de réaction…), etc. La taille d’effet correspond à une mesure quantitative de la force d’un phénomène : plus elle est grande, plus l’élément en question a de l’impact sur votre mesure (ici le phénomène est le type d’apprentissage de la méthode de lecture globale vs. syllabique et la mesure est la vitesse et la qualité d’acquisition de la lecture par l’enfant). On choisit sa taille d’effet en fonction du type d’études et de données que l’on a mais il est possible de convertir entre elles les tailles d’effet. Les tailles d’effets les plus connues sont :

  • l’eta carré (noté η2) qui correspond au pourcentage de variance expliqué. Dans notre étude, il s’agit du pourcentage de réussite en lecture qui est dû à la méthode de lecture utilisée dans l’apprentissage.
  • le coefficient de corrélation (noté r) qui permet d’exprimer la relation qui existe entre deux facteurs. C’est-à-dire comment ces facteurs s’entre-influencent. Il prend les valeurs de -1 (parfaitement négativement corrélé, c’est-à-dire que les facteurs sont opposés, si l’un augmente, l’autre diminue), à 1 (parfaitement positivement corrélé, c’est-à-dire que les facteurs sont corrélés, si l’un augmente, l’autre augmente aussi) en passant par 0 (pas du tout corrélé, ils ne sont pas liés)
  • le d de Cohen exprimé par les différences des moyennes de 2 groupes divisé par l’écart type groupée. Il s’exprime donc en écart-type : plus il est grand, plus l’effet de votre prédicteur est important comme montré sur la figure 1 en bas à droite où votre hypothèse en jaune s’éloignent clairement de la courbe décrivant l’hypothèse nulle – qui défend qu’il n’y a pas de différence entre vos groupes syllabique et votre groupe global. Nous reviendrons plus en détail dans un prochain article sur les distinctions entre les tailles d’effets, les formules et les variantes moins biaisées de certaines de ces mesures.

225px-Cohens_d_4panel.svg

Fig. 1. (http://en.wikipedia.org/wiki/Effect_size#mediaviewer/File:Cohens_d_4panel.svg).

Diane McGuinness, psychologue cognitive de l’éducation, longtemps Professeur à Tampa (Université de Floride du Sud) a décrit dans un de ses ouvrages paru en 2004 (et intitulé “Early Reading Instricution: What Science Really Tells Us About How to Teach Reading”) comment la méthode syllabique qui se base sur l’étude des sons (phonèmes) et leur écriture (graphème) est la méthode la plus efficace pour que les enfants apprennent à lire. Dans ce cas, le puissant outil que représente la méta-analyse a permis de trancher ce vieux débat pour finalement aboutir à l’utilisation de ce qui convient le mieux aux enfants dans l’apprentissage de la lecture de leur propre langue. Pour la petite histoire, les d de Cohen comparant Syllabique vs. Globale étaient de 0.84 pour la lecture (presque qu’un écart-type de “mieux” pour la méthode syllabique), 0.89 pour décoder de non-mots, 1.22 pour épeler et 0.73 pour la compréhension écrite. On considère d’après les standards de Cohen qu’un effet est large au-dessus de 0.80 puisque cela signifie qu’au moins 71% des élèves du groupe Syllabique sont meilleurs que ceux du groupe Globale (1.22 correspond à plus de 80%…). Abordons maintenant un exemple médical pour montrer comment les méta-analyses peuvent positivement influencer la survie des malades via des politiques de santé adaptée… En 2006, le Journal of the American College of Cardiology publie une méta-analyse de Cannon et collaborateur de la Harvard Medical School à Boston sur la comparaison entre l’injection de haute dose et l’injection de dose standard de statine sur les probabilités de décès ou de problème cardiaque de patients. La statine est généralement utilisée pour tenter de prévenir les maladies cardiovasculaires chez des patients aux taux de cholestérol élevé. Ce débat est crucial même en France où l’utilisation de statine a été placé dans la liste des 4000 médicaments inutiles selon les professeurs Bernard Debré et Philippe Even dans un ouvrage au nom éponyme en 2012. Selon eux, ce médicament n’a aucun rôle sur les maladies cardiovasculaires. Qu’en est-il réellement ? Voici les résultats de Cannon et de ses collègues :

Sans titre

Fig.2. (Borenstein, Hedges, Higgins & Rothstein, H. R. (2011), p.4).

Cette élégante Figure 2 se nomme un forest plot ou graphique en forêt en français. Il permet de synthétiser les résultats d’une méta-analyse. On y voit les 4 études dans la première colonne ainsi que l’effet combiné via la ligne « Summary » (4 études larges représentant plus de 27 000 patients !). Vous trouverez ici une série de package sur R (logiciel statistique en Open Access) pour représenter vos données de cette manière : La deuxième colonne « Risk Ratio » correspond à une taille d’effet que nous n’avons pas abordé jusqu’à présent. Un ratio de risque de 1.0 signifie que les risques de morts ou d’infarctus du myocarde sont les mêmes pour le groupe qui reçoit une forte dose ou une dose standard de statine. Un ratio de risque inférieur à 1.0 signifie que le risque d’infarctus est moindre pour les personnes recevant la dose importante. La taille d’effet est représenté sur le graphique par un carré et plus il est loin du 1.0, plus l’effet est important (on voit d’ores et déjà que l’étude « TNT » est celle qui montre le plus fortement l’impact positif de l’injection de haute dose de statine sur les décès et les infections du myocarde). La précision de l’étude est représentée par l’intervalle de confiance (la ligne sur le graphique) : plus la ligne est grande, moins l’étude est précise. Dans ce cas, bien que l’étude « Ideal » est un effet moins important que « TNT », sa précision est néanmoins plus importante. Enfin, la p-value est la probabilité d’observer ces données si l’hypothèse nulle (qui postule qu’il n’y a pas de différence entre forte dose et dose standard sur le décès et les problèmes cardiaques) est vraie. Cette p-value descendra en-dessous de 0.05 si et seulement si 95% de l’intervalle de confiance n’inclue pas le 1.0. Trois de nos études ici ont une p-value supérieure à 0.05 et l’intervalle de confiance (la ligne horizontale) croise en effet le 1.0. Malgré tout la dernière ligne « Summary » qui combine toutes ces études indique néanmoins que le risque de décès ou d’infarctus du myocarde était 15% plus faible (1.0-0.85=0.15) chez les patients soumis à forte dose de statine comparé aux patients soumis aux doses standard. L’hypothèse de nos deux penseurs français semble donc pour l’instant invalidée…

Enfin, pour ceux qui s’intéresse plus globalement aux nouvelles formes de gouvernance économique, les travaux d’Elinor Ostrom s’inspire de résultats de méta-analyse sur la gestion de ressources de biens communs (forestière, d’irrigation, etc.) pour développer un modèle de gouvernance polycentrée ne rentrant pas dans la vieille et désuette dichotomie classique entre « Marché » et « État » (Ostrom, 2009). Rudel (2008) a par exemple montré que dans les cas de système d’irrigation, la gestion du système par des fermiers locaux plutôt que par des agences gouvernementales ou par d’autres systèmes privés représentaient le système le plus effiface pour les acteurs concernés. Un des facteurs communs à la réussite et la performance de ces gestions dépend à la fois du respect des règles instaurés par le système ainsi que du niveau de coopération. Nous verrons, en parallèle de notre série d’articles sur les méta-analyses fréquentistes, une introduction à la modélisation analytique qui traitera d’altruisme et de coopération évolutionnaire. Ce peut être un excellent complément aux méta-analyses de gouvernances des ressources et aux modèles agent-based tant pour la génération d’hypothèse viable évolutionnairement que pour la prédiciton d’événements en fonction des conditions initiales du modèle…

A venir dans Éloge de la Méta-analyse (II) : Conversions de tailles d’effets ; facteurs affectant précision d’une méta-analyse, effets fixes et randoms.      

      Bibliographie

  • Borenstein, M., Hedges, L. V., Higgins, J. P., & Rothstein, H. R. (2011). Introduction to meta-analysis. John Wiley & Sons.
  • Card, N. A. (2011). Applied meta-analysis for social science research. Guilford Press.
  • Cumming, G. (2012). Understanding the new statistics: Effect sizes, confidence intervals, and meta-analysis.
  • Daniel, H. D. (2005). Publications as a measure of scientific advancement and of scientists’ productivity. Learned publishing18(2), 143-148.
  • Diamond, J. M., & Case, T. J. (Eds.). (1986). Community ecology. New York: Harper & Row.
  • Diamond, J., & Robinson, J. A. (Eds.). (2010). Natural experiments of history. Harvard University Press.
  • Lilienfeld, D. E., & Stolley, P. D. (Eds.). (1994). Foundations of epidemiology. Oxford University Press.
  • Lipsey, M. W., & Wilson, D. B. (2001). Practical meta-analysis (Vol. 49). Thousand Oaks, CA: Sage publications.
  • Mayr, E. (1997). Evolution and the diversity of life: selected essays. Harvard University Press.
  • McElreath, R., & Boyd, R. (2008). Mathematical models of social evolution: a guide for the perplexed. University of Chicago Press.
  • McGuinness, D. (2004). Early reading instruction: What science really tells us about how to teach reading.
  • Otto, S. P., & Day, T. (2007). A biologist’s guide to mathematical modeling in ecology and evolution (Vol. 13). Princeton University Press.
  • Ostrom, E. (2009). Beyond markets and states: polycentric governance of complex economic systems. Nobel lecture.
  • Poteete, A. R., Janssen, M. A., & Ostrom, E. (2010). Working together: collective action, the commons, and multiple methods in practice. Princeton University Press.
  • Rudel, T. K.. (2008). Meta-analyses of case studies: a Method for studying 
regional and Global environmental change. Global Environmental Change, 18(1), 
18–25.
  • Smith, M. L., & Glass, G. V. (1977). Meta-analysis of psychotherapy outcome studies. American psychologist32(9), 752.
Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s