L’intégrité scientifique

Hervé Maisonneuve - Science et pseudo-sciences n°323 - janvier / mars 2018

Lisibilité des articles scientifiques : l’inquiétante dégradation

Les articles scientifiques deviennent difficiles à lire, non seulement pour le public, mais aussi pour les chercheurs eux-mêmes. Des tests de lisibilité permettent d’évaluer le degré de difficulté pour un lecteur qui essaie de comprendre un texte. Des critères tels que le nombre de syllabes par mot, le nombre de mots par phrase, le pourcentage de mots difficiles sont évalués. En appliquant des tests à un corpus de textes scientifiques, des chercheurs ont montré que la lisibilité diminuait régulièrement, une des premières causes identifiée étant l’utilisation d’un jargon.

Ce remarquable travail est l’œuvre d’une équipe de quatre chercheurs en neurosciences cliniques de l’institut Karolinska à Stockholm. Leur recherche a été publiée en septembre 2017 dans eLIFE, une prestigieuse revue en accès libre [1]. Au total, 709 577 résumés d’articles scientifiques en anglais provenant de 123 revues prestigieuses et publiés entre 1880 et 2015 ont été analysés. Différents domaines des sciences de la vie étaient couverts : biologie, biochimie, médecine, immunologie, microbiologie, biologie moléculaire, génétique, neuroscience et sciences comportementales, pharmacologie et toxicologie, sciences des plantes et sciences animales, psychiatrie, sciences sociales. Des équilibres ont été respectés : entre disciplines, entre revues, dans le temps, etc. Pour 143 957 articles, la lisibilité du résumé a été comparée avec celle du texte complet, avec le constat d’une bonne corrélation. La méthodologie est rigoureuse (avec, par exemple, la mise au point de corpus de termes généraux et de termes spécialisés) et bien documentée. Leurs résultats ont été commentés sur les réseaux sociaux.

Dans chaque domaine, la lisibilité a diminué. Les articles de domaines multidisciplinaires et de médecine clinique s’avèrent plus lisibles que ceux de biologie moléculaire, de biochimie ou de génétique. Le nombre moyen de syllabes par mot ainsi que le pourcentage de mots difficiles ont augmenté régulièrement avec le temps.

La question fondamentale est « lisible par qui ? ». Le test de Flesch utilisé par les chercheurs suédois donne un score pouvant aller jusqu’à 100. Il est admis que 100 correspond à une lisibilité pour un enfant de 10 à 11 ans, et qu’un index de 30 à 50 correspond à la lecture par un étudiant du secondaire. Un score inférieur à 30 est considéré comme très difficile à lire et nécessite un diplôme universitaire. Entre 1900 et 1960, les moyennes pour les résumés d’articles scientifiques sont passées de 30 à moins de 20 ; en 2015, ces moyennes de lisibilité étaient en dessous de 10. En 1960, 14 % des textes scientifiques étaient en dessous de 0, et en 2015 ils étaient 22 %. Autrement dit, plus de 20 % des résumés ne sont accessibles qu’à des spécialistes et même des chercheurs d’autres domaines ne pouvaient pas les comprendre. La conclusion des auteurs est que la lisibilité diminuait parce que le jargon technique augmentait.

Un impact direct sur la diffusion des résultats de la science

On peut penser que tout ceci est normal et s’explique par la technicité croissante des spécialités. Ce n’est pas si sûr, car les résultats de la science doivent être communiqués par des journalistes, lus par des décideurs, voire par un public avisé. Et rappelons qu’il s’agit d’une analyse portant sur des résumés de langue anglaise avec une lisibilité appréciée pour des lecteurs anglophones, alors que la langue de diffusion de la science est l’anglais !

Est-il possible d’inverser cette tendance ? Probablement oui, mais je ne crois pas que ce soit réaliste dans une compétition qui met les chercheurs en silos sans leur apprendre à communiquer d’abord entre eux, et ensuite avec un public avisé. Les chercheurs devraient bénéficier de formations pour apprendre à communiquer. La rédaction de résumés pour le public est aussi une voie suivie par quelques revues scientifiques. Augmenter la lisibilité des articles n’est probablement pas le seul élément qui rendra la science plus compréhensible, mais il y contribue.

Accepter les articles en fonction des méthodes plutôt que des résultats ?

Les données révélant la mauvaise qualité des publications scientifiques sont nombreuses. Ces observations sont publiées non seulement dans les revues scientifiques, mais aussi dans les journaux pour le grand public. En septembre et octobre 2017, des journaux francophones (Le Monde en France, Le Temps en Suisse, La Presse au Canada) et anglophones, en commençant par le New York Times aux États-Unis, ont relayé ces messages de médiocrité des publications. Mais au-delà de ces messages négatifs, quoiqu’exacts, il pourrait être intéressant de se faire écho de l’existence de conduites vertueuses pour changer une culture et un système qui poussent des scientifiques honnêtes à bricoler les publications. Ils les embellissent pour plaire aux comités de rédaction des revues, aux universités, aux évaluateurs et aux financeurs.

L’embellissement des publications crée de fausses innovations

Ce bricolage des publications pousse tous les acteurs à valoriser des recherches qui marchent, et qui sont qualifiées de « positives ». Notre système veut favoriser l’innovation et récompenser ceux qui trouvent. La réalité est que toutes les expériences ne marchent pas toujours… et que des chercheurs ne trouvent pas, voire ne peuvent pas refaire des recherches publiées. La communauté scientifique a pour habitude de ne pas valoriser les études dites « négatives », qui montrent que quelque chose n’a pas d’effet. Ces résultats ne sont pas publiés. Les chercheurs ont bien compris que les comités de rédaction des revues favorisaient les résultats positifs.

Accepter de ne publier que si les idées et méthodes sont jugées excellentes

Depuis quelques années, des modèles se développent pour évaluer différemment la recherche. L’un d’eux est astucieux et repose sur le raisonnement suivant : la décision de publication ne devrait pas être prise à la lecture des résultats (parfois embellis par les chercheurs), mais plutôt sur l’évaluation de l’idée et des méthodes. Les relecteurs et les comités de rédaction évalueraient des protocoles de recherche et prendraient une décision préliminaire (acceptation de principe) de publier les résultats ultérieurement. Cette décision serait prise sous réserve d’une relecture de l’article final, avec les résultats, pour s’assurer que l’ensemble est correctement construit et que ce sont bien les résultats de la recherche. Le deuxième stade de relecture, celui avec les résultats, serait une évaluation de forme, de respect du protocole, de bonne rédaction, mais pas de l’intérêt des résultats qui s’imposeraient alors à tous. Que les résultats soient dits « positifs » ou « négatifs » ne serait plus un critère de sélection des articles par les revues.

Dans cette situation, le chercheur se sentirait plus serein. Il saurait que les résultats « négatifs » seraient autant publiés que les résultats « positifs ». Plus besoin d’embellir ses travaux pour être publié. Plus besoin de torturer les données, de bricoler les statistiques, de sélectionner les données à publier… Il n’y aurait plus cette pression sur le chercheur qui doit absolument trouver pour survivre. Le comité de rédaction serait plus serein car il déciderait en amont, sans connaître les résultats. Il déciderait sur une idée de recherche à promouvoir. La publication de tous les résultats de recherche serait bénéfique pour les connaissances, et pour les chercheurs qui réalisent des synthèses de la littérature, comme par exemple des méta-analyses. Inclure les résultats dits « négatifs » dans ces synthèses devrait diminuer tous les biais liés à une sélection des données publiées (de préférence « positives »).

Ce modèle existe et la première revue qui l’a mis en place (en 2013) s’appelle Cortex, sous le terme « Registered Reports ». Cortex est une bonne revue scientifique dans le domaine des neurosciences et du comportement. Elle a publié son premier article de ce nouveau type en 2015. En novembre 2017, une liste de 80 revues utilisant ce modèle est consultable sur le site du « Centre pour une science ouverte » (cos.io/rr/). Ce sont les domaines scientifiques de la psychologie, du comportement qui ont été les premiers à adopter ce modèle. Progressivement, des revues dans le domaine des sciences de la vie et de la biologie adoptent aussi ce système.

En volume par rapport aux publications scientifiques, les Registered Reports sont encore rares, mais en progression constante.

Ce modèle a été repris, sous des noms un peu différents par des revues appartenant à des maisons d’édition prestigieuses, dont Elsevier et Springer. Des variantes existent, avec par exemple des revues qui demandent que l’idée et le protocole soient soumis sans les résultats alors que ces résultats sont connus. L’évaluation conduit à une acceptation sous réserves, l’article est ensuite soumis rapidement, et non pas plusieurs années après la décision.

Hervé Maisonneuve

Référence

[1] Plavén-Sigray P, Matheson GJ, Schiffler BC, Thompson WH, “The readability of scientific texts is decreasing over time”, eLife, 2017, 6:e27725.

Retrouvez plus d’informations sur le thème de l’intégrité scientifique sur le blog : redactionmedicale

Mis en ligne le 2 juin 2018
1906 visites

Explorer par thème


Valid HTML 4.01 Transitional CSS Valide !