Du journalisme et de la reproductivité des résultats scientifiques

Le très intéressant article ¹ d’Estelle Dumas-Mallet dans ce numéro de SPS m’incite à partager quelques souvenirs et remarques sur les mécanismes susceptibles d’amplifier le biais relevé : pourquoi et comment la presse rend-elle compte plus abondamment des articles initiaux plus souvent faux que des méta-analyses et réfutations ultérieures ?

Commençons par un exemple illustrant un mécanisme propre à la publication scientifique. En août 1998, The Lancet, une revue prestigieuse, publie une étude de chercheurs japonais et ghanéens affirmant que l’allaitement prolongé en Afrique, au-delà d’un an, est néfaste aux enfants. Et provoque une diminution de leur poids. En juin 2001, dans la revue International Journal of Epidemiology [1], une équipe de l’IRD réfute cet article par une étude de terrain au long cours qui prouve que lorsque les mères africaines recourent à l’allaitement prolongé, c’est parce que leur enfant ne prend pas assez de poids au sevrage, notamment en raison de manque de nourriture dans la famille, et non l’inverse. The Lancet publie l’étude initiale, parce qu’elle rompt avec un consensus établi. Mais la réfutation n’aura pas cet honneur. Dans les services « sciences » des quotidiens, on ne va regarder que les revues les plus cotées (une dizaine au grand maximum) comme The Lancet, et pas International Journal of Epidemiology. Par manque de temps. Si j’ai décidé de rendre compte de l’étude de Simondon et al. (l’étude de réfutation), c’est surtout grâce à un communiqué du service de presse de l’IRD attirant mon attention sur ce sujet [2].

Un autre exemple illustrant l’effet « tambours et trompettes ». En décembre 2010, la revue Science publie un article d’une équipe financée par la Nasa annonçant la découverte d’une bactérie dite « Alien » dans le lac Mono en Californie. Elle aurait remplacé le phosphore de son ADN par de l’arsenic. Portée par la force de frappe médiatique de la Nasa et le prestige de Science, la nouvelle fait le tour du monde des rédactions. Et la rédaction en chef de Libération me commande deux pleines pages. Que j’assaisonne de mises en garde sur les mauvaises habitudes de la Nasa, à l’image de la fameuse météorite martienne de 1996 dont les « fossiles » ont tous été réfutés par la suite (mais Libération, comme tous les autres journaux, n’a jamais consacré autant de place à la réfutation qu’à l’annonce initiale qui fit la Une). En 2012, la même revue Science, piteuse, publie la réfutation en règle de l’article initial. La rédaction en chef, après dure négociation, m’accorde une page. Je n’ai pas les moyens d’étudier la place accordée par l’ensemble de la presse aux deux annonces, mais je parie ma chemise du dimanche que le ratio de Libération fut un des moins mauvais. Remarque subsidiaire : très embêtée par la polémique déclenchée par le premier article, Science a refusé de publier un article (publié finalement ailleurs [3]) annonçant la découverte de la première bactérie xénobiotique – ayant remplacé la thymine naturelle de son ADN par une autre base azotée artificielle, le 5-chloro-uracile, à la suite d’un processus de sélection accélérée où les bactéries sont progressivement soumises à un environnement de plus en plus pauvre en thymine et riche en 5-chloro-uracile [4]. La mauvaise science avait donc chassé la bonne de la revue du haut du panier !

« Là encore, la presse aura consacré plus de place à l’annonce initiale qu’à la réfutation. »

Continuons par un exemple curieusement illustratif de l’honnêteté intellectuelle de nombre de scientifiques et de l’effet pervers qu’elle peut engendrer. Fin 2014, Physical Review Letters publie l’article de l’équipe de BICEP-2 qui annonce la première détection d’ondes gravitationnelles émises lors du Big Bang. Comme nombre de collègues, je me tourne vers... le concurrent principal, l’équipe du télescope spatial Planck, dirigée par Jean-Loup Puget. Mais Jean-Loup Puget est trop gentil, et trop honnête.

N’ayant pas encore pu passer les données de BICEP au crible de celles de Planck qui ne sont alors pas disponibles, il ne fait que souligner le sérieux du travail de ses concurrents. Donc, si lui n’y voit pas malice, c’est que c’est bon. En fait, d’autres membres de l’équipe pestaient in petto, persuadés que l’annonce n’était pas fiable. Ils avaient raison, la confrontation des deux jeux de données démontrera, un an après, que BICEP ne pouvait rien voir par manque de sensibilité. Là encore, la presse aura consacré plus de place à l’annonce initiale qu’à la réfutation.

Une histoire similaire se déroulera avec l’affaire des neutrinos qui allaient plus vite que la lumière. À la différence près que c’est l’équipe à l’origine de cette annonce qui allait elle-même découvrir et publier la cause technique de cette erreur d’interprétation.

À chacune de ces occasions, j’ai dû expliquer laborieusement à des rédacteurs en chef que si la publication dans les meilleures revues est un indicateur en général fiable de qualité, cela ne constituait pas une garantie absolue. Et que, pour que la science progresse, il fallait nécessairement qu’elle se trompe au moins de temps en temps, sinon cela serait de la magie (un peu comme dans les appels d’offres de l’ANR ² où les chercheurs doivent décrire à l’avance ce qu’ils espèrent trouver...).

Du côté de la presse, les facteurs qui vont jouer en faveur des résultats non confirmés par la suite sont assez classiques : du spectaculaire, du nouveau, du polémique, du merveilleux ou du catastrophique. Chaque fois qu’une publication scientifique pourra être parée de ces couleurs, la chance qu’elle soit portée à la Une grandira. Lorsqu’elle bénéficie, en outre, d’un plan média efficace – Nasa ou le groupe autour de Gilles-Éric Séralini – l’effet sera maximisé. À l’inverse, les réfutations – comme celles de l’Anses et du HCB pour l’affaire Séralini – seront systématiquement moins couvertes, dans l’idée que « cela fait moins vendre »... Ce qui est vrai.