Les sept péchés mortels du système de recherche

par Hervé Maisonneuve - SPS n°322, octobre / décembre 2017

Chris Chambers, chercheur en neurosciences cognitives à l’université de Cardiff, milite pour une science ouverte en psychologie. Ses réflexions, synthétisées dans son ouvrage Les 7 péchés mortels de la psychologie, un manifeste pour réformer la culture des pratiques scientifiques, pourraient sans doute s’appliquer à la plupart des disciplines scientifiques. Voici les sept péchés mortels (chacun faisant l’objet d’un chapitre), avec les remèdes proposés (chapitre 8) :

1. La convenance sociale et les biais. Les biais de publication sont nombreux, à commencer par la publication multiple des résultats dits « positifs » (qui mettent en évidence un effet) et la non-publication des résultats dits « négatifs » (qui ne montrent pas d’effet). Le message, tristement réel, passé aux chercheurs, est « si tu veux gagner sur le plan universitaire, publie autant d’articles que possible avec des résultats positifs et nouveaux ». Solution proposée : enregistrer les protocoles avant de commencer les recherches. De nombreuses revues exigent cet enregistrement.

2. La flexibilité cachée. Il s’agit essentiellement des tortures des données et de l’utilisation des statistiques de manière détournée. Par exemple, « ajoutez deux souris à chaque groupe de huit souris et refaites les statistiques, et vous verrez ce qui se passe… cela vaut la peine d’essayer ! ». En augmentant les effectifs (sans refaire les expériences), les tests statistiques peuvent devenir statistiquement significatifs. Solution proposée : l’acceptation des articles par les comités de rédaction devrait être basée sur les objectifs et méthodes des recherches, sans avoir connaissance des résultats.

3. Le manque de fiabilité des expériences. La pratique est de rarement refaire les expériences. Pourtant c’est la base de toute démarche scientifique : la reproductibilité des expériences avec les mêmes résultats est un gage de qualité. C. Chambers cite le « Repligate » en psychologie quand des auteurs ont voulu refaire des expériences des années 1950 et que des chercheurs se sont alliés contre eux. Solution proposée : refaire les expériences et créer un index de reproductibilité.

4. L’accumulation de données. Le non-partage de données conduit à refaire des expériences déjà faites (les recherches non publiées incluant les recherches négatives), ce qui génère des gaspillages de temps et de ressources (si l’on n’est pas dans la recherche de réplication ou de confirmation de résultats, voir point précédent). Par exemple des chercheurs disent « en m’arrêtant de travailler, j’ai encore de quoi publier pendant deux ans ». Solution proposée : transparence des méthodes et des données sources.

5. La corruption. La fabrication et la falsification de données existent. Elles sont rarement connues et sont souvent cachées par l’entourage professionnel quand elles sont découvertes. L’objectif du chercheur (et de son institution) est de publier à tout prix pour sa promotion et pour obtenir des crédits. Solution proposée : des audits plus fréquents et la criminalisation de la fraude scientifique.

6. La fermeture des données. Trop de chercheurs refusent de communiquer les données sources de leurs recherches. Seul l’article publié est le résultat partagé. Faute de disposer des informations suffisantes, le travail ne peut pas être refait, les tests statistiques ne peuvent pas être recalculés, l’omission volontaire de données ne permet pas de vérifier des résultats. Solution proposée : ouvrir à la communauté des chercheurs l’ensemble des données.

7. Le comptage de haricots. Les indicateurs pour évaluer la recherche, comme les facteurs d’impact ou le nombre de bourses allouées, ne font pas mieux que l’astrologie moderne. Récompenser sur un nombre de bourses acquises plutôt que sur des résultats obtenus privilégie ceux qui font des plans sur la comète. Solution proposée : remplacer les auteurs par une liste de contributeurs, avec description très détaillée de la répartition des tâches pour les articles scientifiques.

Ces constats sont très sévères, mais expliqués de façon simple et plutôt convaincante. Faut-il en conclure que la science serait pourrie ? Nous pouvons estimer que non, car nous avons toujours de grandes découvertes, mais la science dite lente (moins de recherches, plus de temps pour les chercheurs, de meilleurs financements, etc.) pourrait être une solution profitable. Les propositions sont faciles à mettre en œuvre : promouvoir la transparence, changer le système des publications… Mais elles semblent malheureusement peu acceptées par les chercheurs eux-mêmes, et par les financeurs, les institutions, les rédacteurs de revues scientifiques…

J’ai résumé chaque chapitre de l’ouvrage en huit billets sur le blog Rédaction Médicale. Le dernier billet consacré au chapitre 8, intitulé « Le rachat » a été commenté par Chris Chambers. Son commentaire nous questionne sur ce qui devrait être fait en France pour améliorer la transparence et la reproductibilité dans les sciences de la vie. Il nous fait remarquer que si des décisions étaient prises, elles pourraient permettre de modifier le système d’incitation pour les carrières des jeunes chercheurs. Mais qui veut changer le système ?


Références

Chambers C, The 7 deadly sins of psychology. A manifesto for reforming the culture of scientific practice, Princeton University Press, Princeton & Oxford, 2017, 274 p.

Mis en ligne le 5 avril 2018
3396 visites

Explorer par thème


Valid HTML 4.01 Transitional CSS Valide !