L’intégrité scientifique

Comment améliorer la reproductibilité de la recherche scientifique ?

Hervé Maisonneuve - Science et pseudo-sciences n°325 juillet / septembre 2018

La reproductibilité fait référence à la capacité d’un chercheur ou d’une équipe à reproduire les résultats d’une étude antérieure en s’appuyant sur les mêmes matériaux que ceux utilisés par le chercheur ou l’équipe initiale. Ce peut être la reproduction de l’expérience elle-même, mais aussi la réutilisation des données brutes pour reproduire de façon indépendante l’analyse statistique. La reproductibilité est une condition minimale nécessaire pour qu’une conclusion soit crédible et informative.

Jusqu’aux années 2010, la communauté scientifique ne s’était jamais réellement préoccupée de la reproductibilité des résultats des recherches publiées. Un a priori de bonne foi prévalait et permettait d’avoir confiance en ce qui était décrit. Ce sont les domaines de la psychologie, des neurosciences et de la biologie qui ont été les précurseurs dans la prise de conscience qui tend maintenant à s’étendre à la plupart des domaines scientifiques.

JPEG - 35.3 ko
Autoportrait
Johannes Gumpp Roberto (1626-1728)

Le Repligate en sciences sociales

Chris Chambers, professeur de neurosciences cognitives à Cardiff, a décrit dans un livre ce qu’il a appelé le Repligate en psychologie [1]. En mai 2014, la revue Social Psychology a publié une quinzaine d’articles de chercheurs ayant refait des expériences faites initialement entre 1950 et 2008 et ayant conduit à des conclusions considérées comme établies [2]. Dans la plupart des cas, ils n’ont pas observé les mêmes résultats. Ces tentatives ont été très mal accueillies et les accusations ont été violentes : des chercheurs se sont opposés à l’idée de reproduction des résultats publiés allant jusqu’à qualifier de « nazis », de « fascistes » ou de « mafiosi » ceux qui remettaient ainsi en question les recherches de « collègues » [1]. Des chercheurs séniors se sont opposés à ceux qualifiés de « Replicators » avec des arguments peu convaincants, du type : ceux qui répliquent des recherches sont des incompétents qui n’ont pas d’idées, leur objectif est de montrer que les autres recherches ne marchent pas [3].

Il aura fallu beaucoup de temps avant de sortir de cette mentalité qui consistait à penser que ce travail était inutile. La demande de transparence et d’ouverture des données a largement contribué à ce changement.

Un état des lieux maintenant bien établi

Dans les années 2010, des chercheurs de l’industrie pharmaceutique (Amgen et Bayer) ont décrit les difficultés qu’ils avaient à reproduire dans leurs laboratoires des résultats publiés [4,5]. Ayant pour objectif de développer de nouveaux produits de santé ou mettre au point de nouvelles molécules, ces chercheurs industriels s’intéressent bien évidemment aux résultats publiés qui leur semblent prometteurs. Ils ont ainsi constaté que seulement 10 à 25 % des publications des revues prestigieuses pouvaient être reproduites dans leurs laboratoires (recherches fondamentales et recherches animales). Ceci a grandement étonné le monde de la recherche. Depuis, les preuves se sont accumulées. En voici quelques exemples.

Des recherches en psychologie affirment des conclusions non reproductibles

Ce résultat est issu d’un impressionnant projet piloté par le Centre pour une science ouverte (Charlottesville, États-Unis) et largement financé par des fondations américaines. En quatre ans, un réseau de 250 chercheurs en psychologie a refait les expériences et analyses statistiques d’une centaine d’études publiées dans trois prestigieuses revues américaines. Les recherches à reproduire ont été tirées au sort et le concours des auteurs des publications initiales était sollicité. Les conclusions ont été publiées en 2015 [6] : environ 20 % des résultats ont été impossibles à reproduire contre seulement 25 % qui l’ont été correctement. Pour les 55 % restants, les conclusions étaient peu claires. Par ailleurs, alors que 97 % des publications initiales affirmaient que les résultats présentés étaient statistiquement significatifs, ce chiffre tombait à 36 % lors de la réplication. La leçon proposée par les auteurs de cette expérience fut : arrêtons de gaspiller du temps et de l’argent et commençons par reproduire ce qui n’a été fait qu’une seule fois. Il importe de souligner que ces résultats ne sont pas nécessairement le produit de fraudes : la variabilité des conditions expérimentales est un facteur à considérer. Dans le système de publication, reproduction et confirmation ou infirmation doivent être considérées comme une étape normale dans le processus de recherche scientifique.

La quasi-totalité des chercheurs aurait été confrontée à cette crise de reproductibilité

Il s’agit là du résultat d’une simple enquête de la revue Nature [7] à laquelle 1 576 chercheurs ont répondu, et non pas de faits rigoureusement établis. Les disciplines représentées étaient variées : chimie, physique et sciences de l’ingénieur, sciences de la terre et de l’environnement, biologie, médecine, etc. Neuf chercheurs sur dix ont confirmé percevoir l’existence d’une crise de reproductibilité qu’ils jugeaient sévère (52 %) ou légère (38 %). Presque tous ont confirmé avoir eu dans leur carrière des difficultés à reproduire des résultats publiés, que ce soient ceux de collègues ou… les leurs ! Les principales explications avancées pour expliquer cette situation étaient : des données incomplètes, la pression pour publier, une mauvaise analyse des données, l’insuffisance de réplication dans le laboratoire d’origine et l’insuffisance d’encadrement des jeunes chercheurs.

Comment améliorer la situation ?

En 2015 à Londres, 80 chercheurs se sont réunis à huis clos pendant une journée et demie [8]. L’objectif était d’examiner les stratégies à mettre en œuvre pour améliorer la reproductibilité et la fiabilité de la recherche biomédicale au Royaume-Uni. Un excellent rapport de 80 pages a identifié six problèmes sous-jacents : (1) la pratique de l’ « embellissement des données » afin de rendre des résultats statistiquement significatifs ; (2) l’omission des résultats dits « négatifs » (qui ne montrent pas d’effets, voire qui montrent des effets contraires à ceux attendus), et les résultats dits « positifs » qui sont préférés des revues et donc des chercheurs ; (3) une puissance statistique insuffisante (par exemple, avec de trop petits échantillons ou des critères d’évaluation mal choisis) ; (4) des erreurs ; (5) des méthodes d’expérience insuffisamment décrites ; (6) des méthodes expérimentales inappropriées.

Ce groupe d’experts a proposé différentes stratégies pour améliorer le système, parmi lesquelles l’ouverture et le partage des données expérimentales, l’enregistrement préalable des protocoles d’études (avant l’expérimentation, par exemple pour ne pas adapter a posteriori le sens de l’expérience aux fluctuations aléatoires de certains résultats), une meilleure collaboration entre les équipes de recherche, ou encore une poursuite de la relecture et de l’évaluation des articles après leur publication.

La reproductibilité de la recherche fait maintenant l’objet de conférences et de séminaires avec des experts de haut niveau et les actes sont publiés dans des revues importantes (par exemple : [9]). Des remèdes sont expérimentés. Ainsi, le BMJ, un journal médical de référence, a publié en février 2018 une analyse très originale [10] qui montre que, sur la base de l’analyse de 37 études cliniques randomisées publiées, le partage des données sources permettait la reproduction des résultats. Cette mise à disposition demande du temps et mobilise des ressources, tant du côté des auteurs que des éditeurs. Mais les résultats semblent là, bien qu’ils doivent encore être confirmés, en particulier dans d’autres disciplines.

Des manifestes pour une science reproductible

Différentes initiatives sont prises [1]. Ainsi, par exemple, l’académie des sciences des Pays-Bas, pays frappé par plusieurs scandales de fraudes scientifiques, a publié un rapport sur la reproductibilité en science [11] avec de nombreuses propositions à l’attention des chercheurs, mais aussi pour les institutions et pour les organismes financeurs. Ces propositions portent sur la rigueur et la standardisation des méthodes, le contrôle de la qualité, l’amélioration des rapports d’étude (obligation de pré-enregistrement afin de vérifier les hypothèses testées, obligation d’archivage des données et des méthodes dans des registres accessibles) ou encore la mise en place d’incitations pour des études rigoureuses plutôt que des études « à fort impact » ou « innovantes » poussant à des déclarations exagérées…

La communauté scientifique dans son ensemble a contribué à cette situation, que ce soit les chercheurs (course à la publication), les revues (course à l’innovation), les financeurs (course aux ressources dans un environnement contraint) et les universités (course à la notoriété). La prise de conscience est récente, et la communauté scientifique se questionne, permettant un certain optimisme.

Références
[1] Chambers C, The 7 deadly sins of psychology. A manifesto for reforming the culture of scientific practice, Princeton University Press, 2017, 274p.  [2] Numéro spécial “Reproducibility”, Social Psychology, 2014, 45 :137-252.
[3] Spellman BA, “A short (personal) future history of revolution 2.0”, Perspectives on psychological science, 2015, 10 :886-899.
[4] Begley CG et al., “Raising standards for preclinical cancer research”, Nature, 2012, 483 :531-533.
[5] Prinz F et al., “Believe it or not : how much can we rely on published data on potential drug targets ?”, Nature Reviews Drug Discovery, 2011, 10 :712-713.
[6] Open Science Collaboration, “Estimating the reproducibility of psychological science”, Science, 2015, 349 : aac4716.
[7] Baker M, “1,500 scientists lift on the lid on reproductibility”, Nature, 2016, 533 :452-454.
[8] Academy of Medical Sciences, BBSRC, MRC, Wellcome Trust. “Reproducibility and reliability of biomedical research : improving research practice”, Symposium report, October 2015. Sur acmedsci.ac.uk
[9] Sackler Colloquium on Improving the Reproducibility of Scientific Research, PNAS, 2018, 115.
[10] Naudet F et al., “Data sharing and reanalysis of randomized controlled trials in leading biomedical journals with a full data sharing policy : survey of studies published in The BMJ and PLOS Medicine”, BMJ, 2018, 360 :k400.
[11] Koninklijke Nederlandse Akademie van Wetenschappen, “Replication studies : Improving reproducibility in the empirical sciences”, 2018, 66p. Sur knaw.nl
Retrouvez plus d’informations sur le thème de l’intégrité scientifique sur le blog :

Mis en ligne le 12 février 2019
741 visites

Explorer par thème


Valid HTML 4.01 Transitional CSS Valide !