Comment les journaux rendent-ils compte des résultats de la recherche ?

par Estelle Dumas-Mallet - SPS n° 323 , 2 janvier 2018

La presse grand public se fait régulièrement l’écho des découvertes scientifiques. Des titres tels que « Un seul verre d’alcool augmente le risque de cancer » (Le Figaro, février 2009), « Sur la piste du vaccin anti-tabac » (Le Parisien, juin 2012), ou encore « Ce que nous mangeons au petit déjeuner influence notre comportement » (Sciences et vie, juin 2017) sont fréquents dans les pages des journaux.

Ces titres accrocheurs sont choisis pour attirer l’attention des lecteurs. Cependant, il nous arrive d’être confrontés à des résultats contradictoires. Par exemple, nous pouvons lire une semaine que le sucre est bon pour la santé et lire la semaine suivante qu’il est nocif d’en consommer trop. De même, l’utilité des statines dans la prévention des risques cardio-vasculaires a fait aussi l’objet de conclusions contradictoires dans les médias. Comment arrive-t-on à des conclusions aussi opposées ?

Reproductibilité de la recherche biomédicale

Pour essayer de comprendre ces phénomènes, nous avons d’abord analysé les résultats de la recherche scientifique elle-même. Les études scientifiques publiées sont-elles reproductibles ? Des éditoriaux dans les revues scientifiques les plus prestigieuses telles que Science ou Nature ont alerté sur la « crise de la reproductibilité » des résultats de la recherche biomédicale [1,2]. De fait, un grand nombre de résultats initiaux ne sont pas confirmés par les études ultérieures, que ce soit au niveau des études précliniques (sur des animaux, des organes ou des cellules in vivo), des essais cliniques (sur l’Homme) ou des études associant des facteurs de risque à des pathologies (suivi de cohortes de volontaires, par exemple) [3-6]. Des scientifiques s’inquiètent des conséquences de cette non-reproductibilité sur la confiance du public. Les problèmes de fraudes ne contribuent que de manière marginale à cette mauvaise reproductibilité. En cause, des pratiques de recherche discutables, comme la sélection et l’omission de données ou encore la mauvaise utilisation des statistiques, mais aussi un ensemble de biais qui sont favorisés par le fonctionnement même de l’activité de recherche. En effet, dans le contexte de compétitivité croissante pour l’obtention de financements ou pour le recrutement académique, les chercheurs sont évalués sur le nombre de leurs publications plus que sur leur qualité. Ceci les encourage donc à « trouver » des résultats sensationnels et à les publier dans des revues scientifiques prestigieuses, entraînant ainsi un biais de publication puisque seules les données dites positives sont jugées dignes d’intérêt (c’est-à-dire les données qui mettent en évidence un effet).

Le manque de reproductibilité n’est pas choquant en soi. La production de connaissances est un processus cumulatif : elle part de résultats prometteurs mais incertains pour arriver à un consensus après confirmation des observations par les pairs. Les observations initiales sont donc par nature incertaines et en attente de validation. Ce qui est plus gênant, c’est que les pratiques discutables et les biais de publication favorisent la production de résultats non reproductibles notamment parce que les résultats positifs, souvent exagérés, sont valorisés. Ceci ralentit donc la production de connaissances puisque d’une part, les résultats négatifs ne sont pas publiés et que d’autre part, les études visant à reproduire des résultats déjà publiés ne sont pas valorisées. De telles études trouvent rarement leur place dans les revues prestigieuses, à moins qu’elles ne contredisent de manière flagrante les résultats précédemment décrits.

Concernant la reproductibilité des études initiales, nos analyses [7] montrent que pour les trois domaines considérés, plus de 60 % des études initiales sont invalidées par les méta-analyses. Par conséquent, moins de 40 % des études initiales présentent des résultats qui s’avéreront fiables et participeront ainsi à la production de connaissances. D’autre part, parmi toutes les études publiées dans des journaux à comité de lecture, celles qui le sont dans les journaux scientifiques les plus prestigieux ne sont pas plus reproductibles. Autrement dit, la publication de résultats initiaux dans Nature, Science ou The Lancet n’est pas un gage de fiabilité.

La couverture médiatique des études scientifiques

Les résultats initiaux de la recherche biomédicale sont souvent invalidés par les études ultérieures, mais qu’en est-il de ceux rapportés par les médias ? Quelles études scientifiques sont préférentiellement choisies par les médias ? Quelle est leur validité ?

Tout d’abord, les études scientifiques du domaine biomédical intéressent la presse : en effet, 3,2 % des études scientifiques de notre base de données, soit 156 publications scientifiques, ont donné lieu à une couverture médiatique. Nous nous sommes alors posé plusieurs questions : qu’est-ce qui fait qu’une étude scientifique suscite l’intérêt des journalistes ? Quelle est la validité des études scientifiques couvertes ? Les journalistes suivent-ils le devenir des études qu’ils ont couvertes ?

Les études non reproduites au détriment des méta-analyses

Nous avons d’abord constaté que les journalistes s’intéressaient préférentiellement aux études initiales sur un sujet (13,1 % de ces études dans notre échantillon ont donné lieu à une couverture médiatique), peu aux études ultérieures (2,6 % d’entre elles couvertes) et encore moins aux méta-analyses (1,6 % d’entre elles couvertes). Ceci constitue un biais important puisque les résultats des méta-analyses, alors qu’ils constituent le meilleur niveau de preuve, sont rarement couverts.

Comment l’analyse a-t-elle été effectuée ?

Notre projet de recherche était d’étudier la reproductibilité des études biomédicales publiées dans les revues scientifiques puis d’identifier quelles études suscitaient l’intérêt des médias et quelle était leur validité. Nous avons donc constitué une base de données compilant des études associant des pathologies à des facteurs de risques, comme être porteur d’un gène ou consommer de la viande rouge. Ces études portaient sur trois domaines de la recherche biomédicale : la psychiatrie (le trouble déficitaire de l’attention avec hyperactivité, l’autisme, la dépression et la schizophrénie), la neurologie (l’épilepsie, la sclérose en plaques, les maladies de Parkinson et d’Alzheimer) et les maladies somatiques (le cancer du sein, le glaucome, le psoriasis et la polyarthrite rhumatoïde). Nous avons ainsi sélectionné 663 méta-analyses. Pour chacune de ces méta-analyses, nous avons identifié l’étude initiale, c’est-à-dire la première étude publiée sur le sujet, et nous avons comparé son résultat à celui de la méta-analyse. Cette comparaison nous permet de connaître la validité de chaque étude. En effet, les méta-analyses compilent les résultats de plusieurs études et donnent ainsi la valeur la plus fiable de la force d’une association entre un facteur de risque et une maladie. Nous avons sélectionné des méta-analyses s’appuyant sur les résultats d’au moins sept études distinctes. En effet, des études ont montré que de telles méta-analyses étaient rarement contredites [5].

Nous avons utilisé cette même base de données pour identifier les études scientifiques, qu’elles soient initiales ou ultérieures, ou des méta-analyses, qui avaient été choisies par la presse anglo-saxonne. Nous avons ainsi identifié parmi 4 723 études scientifiques dont la validité était connue (puisqu’elles étaient incluses dans des méta-analyses auxquelles nous pouvions comparer leurs résultats) quelles étaient celles qui avaient été couvertes par la presse.

Ceci est d’autant plus préjudiciable que la presse ne se fait quasiment jamais l’écho des invalidations ultérieures des études qu’elle a couvertes. Nous n’avons en effet identifié qu’un seul cas pour lequel la presse a couvert les résultats d’une invalidation. Et encore, quatre articles seulement ont été publiés alors que l’étude initiale avait fait l’objet de plus de 50 articles. Ensuite, il est vraisemblable que cette invalidation n’a été relayée que parce que l’étude scientifique contredisant l’étude initiale a elle aussi été publiée dans un journal scientifique prestigieux (JAMA). Cette étude initiale a été réalisée par une équipe anglo-américaine et publiée en 2003 par la prestigieuse revue Science [8] Elle indiquait que des personnes porteuses d’une variante courte du gène codant pour le transporteur à la sérotonine sont plus susceptibles de développer une dépression lorsqu’elles sont confrontées à des événements stressants (perte d’un être cher, licenciement). Cette étude a fait l’objet de plus de 50 articles de presse. Cette interaction entre gène et stress a été contredite par plusieurs études ultérieures portant sur des populations plus larges et ces études n’ont pas été reprises dans les journaux. La réfutation des conclusions de l’étude initiale n’a été mentionnée dans la presse qu’en 2009, année où une méta-analyse [9] a été publiée.

La préférence pour les revues à fort facteur d’impact

Par ailleurs, le facteur d’impact du journal scientifique dans lequel l’étude est publiée joue un rôle majeur. Ce facteur d’impact est une mesure indirecte de la visibilité et du prestige du journal scientifique. Plus celui-ci est élevé, plus le journal est reconnu et donc visible pour la communauté scientifique mais aussi pour les médias. De fait, la probabilité qu’une étude de notre base de données, quel qu’en soit le type, soit médiatisée, augmente fortement avec le facteur d’impact du journal scientifique dans lequel elle a été publiée. Or, nous avons vu que le facteur d’impact de la revue ne joue pas sur le taux de reproductibilité des études publiées.

La préférence pour les facteurs de risques liés au mode de vie

Le sujet même de l’étude joue, bien évidemment, un rôle important. De façon plus précise, quand l’étude traite de facteurs de risque sur la santé, les journalistes privilégient ceux dans lesquels le mode de vie est en cause (le sujet peut agir, comme par exemple arrêter de fumer, pratiquer une activité sportive, manger plus de fibres, etc.) par rapport à ceux portant sur des facteurs pour lesquels le sujet ne peut se prémunir (comme être porteur d’un gène particulier ou d’une anomalie biochimique). Ce qui se comprend, car ce type d’étude peut avoir un intérêt potentiel plus grand pour le lecteur.

Ces analyses [10], bien qu’elles aient été réalisées dans le cadre de la presse anglo-saxonne, semblent être valides également dans la presse française comme le montrent quelques observations. Par exemple, l’étude de Caspi et al. [8] que nous avons signalée plus haut a également été relayée par des quotidiens français. En revanche, la méta-analyse réfutant les résultats de cette étude initiale n’a pas été couverte en France.

Le journalisme scientifique

Il est cependant difficile pour les journalistes de suivre le devenir de toutes les études qu’ils ont couvertes. En effet, plusieurs années s’écoulent parfois entre la publication d’une étude initiale et celle de la méta-analyse. D’autre part, les méta-analyses sont rarement publiées dans des journaux scientifiques prestigieux et elles sont donc moins visibles. Notre étude montre donc que l’information présentée au public sur les résultats des découvertes biomédicales est au mieux exagérée et au pire fausse.

Ceci est exacerbé par la sensationnalisation des résultats scientifiques : en effet, des études ont montré que les exagérations faites dans la presse étaient déjà présentes au niveau des communiqués de presse, mais aussi des résumés et conclusions des articles scientifiques eux-mêmes [11-13]. À ceci s’ajoute la détérioration des conditions de travail des journalistes scientifiques. Ils sont de moins en moins nombreux pour de plus en plus de sujets à couvrir. Ils s’appuient donc largement sur les communiqués de presse des revues scientifiques prestigieuses parce que, d’une part, ils leur font confiance et d’autre part, la couverture de résultats de publications scientifiques est pour eux une routine et ne présente pas d’enjeu de taille. Nos observations montrent au contraire que les journalistes devraient avoir une attitude plus critique vis-à-vis des résultats publiés dans les revues scientifiques, même prestigieuses.

La couverture des découvertes scientifiques dans les médias est importante pour la légitimation des sciences. En effet, le public reçoit des informations à ce sujet par les médias. Il se fait donc une opinion à la lecture de ces supports. Scientifiques et journalistes ont ainsi un rôle primordial à jouer pour une présentation des découvertes scientifiques la plus précise et crédible possible. C’est pourquoi il nous semble très important que ces deux acteurs accordent une attention toute particulière à la façon dont ils présentent les résultats des publications scientifiques. Ainsi, nous pensons que les scientifiques, tout en restant positifs, ne devraient pas hésiter à évoquer les limites et réserves quant à leurs découvertes. D’ailleurs, des études de réception ont montré que les scientifiques étaient considérés comme d’autant plus crédibles qu’ils faisaient part de leurs doutes [14,15]. Les journalistes pourraient, de leur côté, s’assurer du niveau de preuve de la publication scientifique qu’ils couvrent en déterminant s’il s’agit d’une étude initiale et en mentionnant, dans ce cas, l’incertitude associée à ce type de résultats. En effet, les résultats initiaux sont parfois extraordinaires et souvent prometteurs mais restent néanmoins à confirmer !

Références

[1] Baker M, “1,500 scientists lift the lid on reproducibility”, Nature, 2016, 533:452-454.
[2] Ioannidis JP, “Why most published research findings are false”, PLoS Med, 2005, 2 : e124.
[3] Trikalinos TA, Ntzani EE, Contopoulos-Ioannidis DG, Ioannidis JP, “Establishment of genetic associations for complex diseases is independent of early study findings”, Eur J Hum Genet, 2004, 12:762-769.
[4] Pereira TV, Horwitz RI, Ioannidis JP, “Empirical evaluation of very large treatment effects of medical interventions”", JAMA, 2012, 308:1676-1684.
[5] Pereira TV, Ioannidis JP, “Statistically significant meta-analyses of clinical trials have modest credibility and inflated effects”", J Clin Epidemiol, 2011, 64:1060-1069.
[6] Prinz F, Schlange T, Asadullah K, “Believe it or not : how much can we rely on published data on potential drug targets ?”, Nat Rev Drug Discov, 2011, 10:712.
[7] Dumas-Mallet E, Button K, Boraud T et al., “Replication validity of initial association studies : a comparison between psychiatry, neurology and four somatic diseases”, PLoS One, 2016, 11 : e0158064.
[8] Caspi A, Sugden K, Moffitt TE et al., “Influence of life stress on depression : moderation by a polymorphism in the 5-HTT gene”, Science, 2003, 301:386-389.
[9] Risch N, Herrell R, Lehner T et al., “Interaction between the serotonin transporter gene (5-HTTLPR), stressful life events, and risk of depression : a meta-analysis”, JAMA, 2009, 301:2462-2471.
[10] Dumas-Mallet E, Smith A, Boraud T, Gonon F, “Poor replication validity of biomedical association studies reported by newspapers”, PLoS One, 2017, 12:e0172650.
[11] Sumner P, Vivian-Griffiths S, Boivin J et al., “The association between exaggeration in health related science news and academic press releases : retrospective observational study”, BMJ, 2014, 349:g7015.
[12] Boutron I, Dutton S, Ravaud P, Altman DG, “Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes”. JAMA, 2010, 303:2058-2064.
[13] Gonon F, Bezard E, Boraud T, “Misrepresentation of neuroscience data might give rise to misleading conclusions in the media : the case of attention deficit hyperactivity disorder”, PLoS One, 2011, 6:e14618.
[14] Jensen JD, Hurley RJ, “Conflicting stories about public scientific controversies : effects of news convergence and divergence on scientists’credibility”, Public Underst Sci, 2012, 21:689-704.
[15] Jensen JD, Krakow M, John KK, Liu M, “Against conventional wisdom : when the public, the media, and medical practice collide”, BMC Medical Informatics and Decision Making, 2013, 13 (suppl3).

Mis en ligne le 27 avril 2018
1756 visites

Explorer par thème


Valid HTML 4.01 Transitional CSS Valide !