À la recherche de statisticiens complaisants

Les chercheurs en médecine ont souvent recours, pour terminer une étude, à l’assistance de statisticiens pour réaliser le traitement mathématique des résultats obtenus. Cependant, il arrive que des études médicales fassent montre d’une rigueur insuffisante, voire d’erreurs manifestes dans l’interprétation des données. Se pourrait-il que certaines de ces situations résultent de demandes explicites de la part de chercheurs ? Pour évaluer l’ampleur du phénomène, des chercheurs américains ont eu l’idée de soumettre un questionnaire à un échantillon de 800 biostatisticiens américains tirés au sort afin de déterminer la fréquence de requêtes inadéquates reçues lors de demandes d’analyse de données [1]. Au total, 522 statisticiens ont lu le questionnaire (envoyé par e-mail via un système permettant de savoir si le destinataire avait bien ouvert le courrier), 400 réponses ont été reçues parmi lesquelles 390 étaient suffisamment complètes pour être exploitables. Ce taux de réponse de 74 % est largement supérieur à la moyenne observée dans d’autres études du même type et permet de supposer que les résultats ne souffrent pas d’un fort biais de réponse.

Le questionnaire énumérait 18 catégories de pratiques délétères en matière d’interprétation ou de présentation des résultats et les statisticiens contactés étaient invités à comptabiliser le nombre de fois, au cours des cinq dernières années, où ils avaient reçu de telles requêtes. Il leur était également demandé d’indiquer leur opinion personnelle sur le degré de gravité (sur une échelle de 0 à 5) de chaque catégorie de mauvaises pratiques. Afin de maximiser le taux de réponse, il n’a pas été demandé aux statisticiens s’ils avaient répondu à ces demandes (la crainte de s’auto-inculper aurait dissuadé certains de répondre). Les résultats sont surprenants, révélant soit une ignorance méthodologique des chercheurs, soit un manque d’intégrité visant à embellir des résultats. Certes, les deux types de violations considérées comme les plus graves (falsifier la significativité statistique d’un résultat ou bien modifier purement et simplement des données pour aboutir à la conclusion désirée) n’ont été rencontrés respectivement que par 2 % et 7 % des biostatisticiens. Mais toutes les autres violations, souvent considérées comme de la plus grande gravité, ont été rencontrées par 15 % à 55 % des statisticiens interrogés.

Rédaction Médicale et Scientifique

Ces observations montrent qu’une meilleure formation méthodologique des chercheurs est indispensable. L’éditorial accompagnant l’article dans les Annals of Internal Medicine remarque que ces pratiques contribuent à la mauvaise reproductibilité des recherches et qu’elles ne sont pas détectables a posteriori [2]. Il insiste également sur la nécessité d’une meilleure formation des chercheurs et, surtout, sur l’implication de statisticiens dès le début d’une étude, et non pas seulement à la fin, pour l’analyse des données. En effet, selon les mots du statisticien Donald Rubin cité dans l’éditorial :  « pour une inférence causale objective, la conception l’emporte sur l’analyse ». Une bonne conception du dispositif de l’étude n’améliore pas seulement la puissance statistique (c’est-à-dire le degré de certitude avec lequel les données recueillies peuvent soutenir une hypothèse), mais elle minimise les biais et simplifie souvent l’analyse des résultats.

Références

- 1 Wang MQ, Yan AF, Katz RW, “Researcher requests for inappropriate analysis and reporting : AUS survey of consulting biostatisticians”, Annals of Internal Medicine, 2018, 169 :554-558.

- 2 Localio AR, Stack CB, Meibohm AR et al., “Inappropriate statistical analysis and reporting in medical research : perverse incentives and institutional solutions”, Annals of Internal Medicine, 2018, 169 :577-578.