Mécanismes improbables : les limites des méta-analyses

par Nima Yeganefar - SPS n°318, octobre 2016

En fondant son évaluation principalement sur les méta-analyses, la médecine basée sur les preuves peut parfois conduire à des résultats surprenants quand elle oublie de prendre en considération le corpus théorique existant.

Prenons l’exemple de l’homéopathie. Rappelons qu’il s’agit d’un rituel magique qui n’a pas été construit comme une science et n’en a pas les attributs. Les dilutions à l’origine des produits homéopathiques sont d’ailleurs tellement extrêmes qu’il n’existe bien souvent plus de molécule active dans la pilule que l’on avale. Cette dilution pose un sérieux problème : pour expliquer un effet de l’homéopathie sur le corps humain sans présence de molécule active, il faut remettre en cause les lois de la physique et de la chimie telles qu’on les connaît aujourd’hui…

Pourtant, dans une méta-analyse sur l’efficacité de l’oscillococcinum – l’un des produits les plus connus en homéopathie –, le réseau Cochrane (référence de revue de la littérature médicale) conclut de manière surprenante : « Le niveau de preuve n’est pas suffisant pour permettre de conclure de manière solide sur l’efficacité de l’oscillococcinum dans la prévention ou le traitement de la grippe et du rhume. Nos recherches ne permettent pas d’exclure une certaine efficacité clinique mais, compte tenu de la faiblesse méthodologique des études retenues dans notre analyse, les preuves ne sont pas suffisamment convaincantes. » [1] Pourquoi cette conclusion est-elle étonnante ? Tout simplement parce que le processus de fabrication de l’oscillococcinum à lui seul devrait être suffisant pour conclure à l’inefficacité de ce produit. Pour mémoire, il s’agit de remplir un récipient avec une substance composée de foie et de cœur de canard de Barbarie, vider ce récipient, le rincer avec de l’eau et répéter l’opération 200 fois1. La deux-centième eau de rinçage est alors utilisée pour imprégner des granules de sucre que l’on va ensuite avaler. Que reste-t-il dans cette eau de rinçage ? Scientifiquement, il ne reste… rien [2]. Il est donc curieux que la méta-analyse de Cochrane ne soit pas plus tranchée dans sa conclusion : si les preuves ne sont pas suffisamment convaincantes pour montrer une efficacité, il semble important de déclarer ce produit inefficace.

Le coût des évaluations inutiles

Le NCCIH (Centre national de médecine complémentaire et intégrative), anciennement NCCAM (Centre national pour la médecine complémentaire et alternative) est l’un des 27 instituts et centres qui composent le National Institutes of Health (NIH) à l’intérieur du ministère de la Santé et des Services humains du gouvernement fédéral des États-Unis. En fonction depuis 1991, et après avoir dépensé des sommes astronomiques (plus de deux milliards de dollars2), il n’a pas trouvé la moindre preuve d’efficacité pour aucune de ces médecines. Son existence fait l’objet de controverses. En effet, les nombreuses études initiées par l’organisme portent souvent sur des remèdes et thérapies farfelues pour lesquelles il n’y avait aucun indice suggérant une possible efficacité. Mais le Centre n’a pas non plus apporté la moindre contribution à l’information générale du grand public, par exemple, pour les informer de ces résultats négatifs ou les mettre en garde contre une espérance infondée. Les détracteurs du NCCIH l’accusent en outre d’entretenir de facto une activité à image scientifique sur des pratiques douteuses ou ésotériques. Ils soulignent également un usage bien plus utile qui aurait pu être fait pour la santé publique avec les deux milliards partis en fumée inutilement. Parmi les études financées par le NCCIH, notons par exemple3 les 250 000 $ pour déterminer si agiter ses mains devant un lapin gras faisait diminuer le taux de cholestérol, les études sur l’impact de la prière sur le virus du SIDA ou la chirurgie de reconstruction mammaire, celles sur les effets d’aimants sur l’arthrite, le syndrome du canal carpien ou les migraines, ou encore celle sur les vertus des lavements à base de caféine pour lutter contre le cancer du pancréas.

En France, l’Académie de médecine semble également s’être laissée leurrer par les résultats trompeurs de méta-analyses. Dans son rapport de 2013 consacré aux médecines alternatives [4], tout en soulignant dans sa conclusion que « leur efficacité n’est évoquée que dans un nombre limité de situations et fondée sur un niveau de preuve insuffisant », l’institution recommande de « les considérer avec sérieux » (voir l’analyse de Jean Brissonnet dans SPS n° 305 [5]).

La non-prise en compte de notions de base scientifiques est en cela révélatrice d’un problème : une défense trop rapide de la médecine basée sur les preuves tend à mettre les études cliniques randomisées sur un piédestal en oubliant de prendre en compte certaines considérations de science élémentaire. En réalité, la médecine basée sur les preuves fait le pari suivant : une hypothèse ne peut atteindre le stade des études cliniques randomisées que s’il existe suffisamment de bonnes raisons (par exemple des observations précliniques, ou encore un mécanisme pertinent) de penser que cette thérapie peut fonctionner. Ce n’est malheureusement pas toujours le cas.

Le cas de l’acupuncture ou celui des études sur les « pouvoirs paranormaux » illustrent bien le fait qu’on ne peut pas toujours statuer avec une simple méta-analyse, aussi rigoureuse soit-elle. Les biais méthodologiques existeront toujours, et rien que le biais de publication4 est parfois suffisant pour donner une impression légère d’efficacité. Ainsi, un article couvrant la période de 1966 à 1995 montrait que 99 % des études cliniques randomisées sur l’acupuncture provenant de Chine étaient positives [3]. Or cette efficacité hors norme ne semble se produire qu’en Chine, justement. Comme en tant que scientifique nous adhérons, même implicitement, au réalisme de principe5, il faut bien alors admettre qu’il s’agit ici d’un biais de publication. Une méta-analyse de ces études conclurait inévitablement (et faussement) à l’efficacité de l’acupuncture.

Au-delà de ces biais qui peuvent brouiller les résultats, nous avons aussi besoin d’adopter plus largement une philosophie bayésienne en médecine. Le raisonnement bayésien permet en effet d’actualiser la probabilité qu’une proposition soit vraie en fonction de sa probabilité a priori et des nouvelles données acquises. Ici, cela consisterait à actualiser l’estimation de l’efficacité d’une thérapie en fonction des nouveaux tests effectués et de l’idée que l’on a, à la base, de cette efficacité (par exemple en fonction de sa cohérence avec le corpus scientifique existant).

On pourrait penser que l’on cherche ici à mettre de côté les thérapies dont on ne connaîtrait pas les mécanismes d’action. Ce n’est pourtant pas le cas, et de nombreux exemples historiques montrent que les scientifiques ne sont en rien bornés sur ce point. Ce n’est pas parce qu’on ne comprend pas le mécanisme de quelque chose qu’on ne peut pas en voir les effets ou l’étudier. Ainsi, par exemple, l’effet antalgique de l’aspirine est connu depuis longtemps, mais son mécanisme d’action n’a été élucidé que dans les années 1970. Ce n’est pas le mécanisme qui importe ici mais la plausibilité d’un traitement donné. Bouger les mains autour d’une personne ne va pas guérir cette personne de sa tumeur, ce n’est pas une question de mécanisme d’action mais de plausibilité : au vu des connaissances scientifiques actuelles, elle reste très faible. Avant de se lancer dans de grandes études de types essais randomisés contrôlés, il faudrait au moins avoir de bonnes raisons de le faire, par exemple la constatation répétée que les tumeurs disparaissent et, encore une fois, une certaine adéquation entre le phénomène observé et le corpus théorique existant.

Si les considérations théoriques ne sont pas suffisantes pour statuer sur l’efficacité d’un traitement, cela ne veut pas dire qu’elles ne sont pas utiles. Autrement dit, si l’on ne peut pas conclure à l’efficacité d’un traitement juste en considérant les aspects scientifiques de base (comme le mécanisme d’action), on peut néanmoins estimer que cette efficacité est si peu probable qu’il n’est pas utile de se lancer dans de grandes études de type essais randomisés contrôlés, à moins d’obtenir des indices suffisamment forts les justifiant.

PNG - 598.9 ko
Quand la logique médiatique interfère avec la logique scientifique
Références

[1] “Homeopathic Oscillococcinum® for preventing and treating influenza and influenza-like illness”, revue Cochrane, sur le site www.cochrane.org
[2] « Qu’est-ce que l’homéopathie ? », Jean Brissonnet. Sur le site www.pseudo-sciences.org
[3] Andrew Vickers et al. “Do Certain Countries Produce Only Positive Results ? A Systematic Review of Controlled Trials”, Controlled Clinical Trials, Volume 19, Issue 2, avril 1998.
[4] Rapport de l’Académie de médecine, mars 2013, « Thérapies complémentaires – acupuncture, hypnose, ostéopathie, tai-chi – leur place parmi les ressources de soins ». Sur le site de l’Académie.
[5] Jean Brissonnet, « Les académiciens baissent les bras », SPS n° 305, juillet 2013, sur le site www.pseudo-sciences.org

1 Voir Michel Rouzé, « Oscillococcinum : le joli grand canard », SPS n° 202, mars-avril 1993. Sur le site http://www.pseudo-sciences.org

2 https://nccih.nih.gov/about/budget/institute-center.htm

3 https://www.sciencebasedmedicine.org/foolishness-or-fraud-bogus-science-at-nccam/

4 Le biais de publication est la constatation que, dans la littérature scientifique, on tend à publier des résultats positifs en oubliant de citer les négatifs, faussant ainsi la donne quand on fait une analyse globale.

5 Par réalisme de principe, on suppose que le monde existe indépendamment de notre existence. Cela peut sembler aller de soi mais ce principe est parfois contesté par certains courants de pensées (cf. les travaux du sociologue Bruno Latour). Or sans ce principe, l’idée même de résultats reproductibles et validés par d’autres tombe à l’eau : en effet, pour qu’un résultat puisse être corroboré, il faut bien accepter l’idée que le monde va se manifester de la même manière, qu’on se trouve dans un endroit de l’univers ou un autre.

Mis en ligne le 13 janvier 2017
3572 visites

Explorer par thème


Valid HTML 4.01 Transitional CSS Valide !