Des vérités individuelles (NY Times)

La recherche scientifique est une des plus nobles et passionnantes activités humaines. Mais les hommes de science sont des hommes avant tout, et, malgré des succès indéniables – et impensables dans n’importe quelle autre activité –, la recherche souffre aussi de problèmes internes.

Il y a quelques temps, le sujet du biais de publication avait déjà été abordé sur ce blog, avec une proposition d’un chercheur pour changer le processus de publication afin de réduire ce biais. Aujourd’hui, on s’interroge sur le problème des recherches non reproductibles, ou non réplicables, avec un article de George Johnson, publié dans la section Science du New York Times le 20 janvier 2014 et sous le titre « New Truths That Only One Can See« .


Carl WiensDepuis 1955, le Journal of Irreproducible Results [Journal des résultats non reproductibles] nous a offert « des caricatures, des parodies, des fantaisies, du burlesque, du ridicule, des satires » à propos de la vie au laboratoire. Parmi ses plus grands titres: « Oscillations acoustiques dans la gelée, avec et sans fruit, soumise à divers niveaux de stress » et « Utiliser des boucles infinies pour calculer une valeur approximative de l’infini. » Ces plaisanteries bon enfant sont une célébration détournée de la science. Ce qui se déroule réellement au laboratoire est d’une nature plus noble et plus sérieuse.

Ce fut déconcertant d’apprendre, ces dernières années, qu’un résultat reproductible pourrait bien être en fait l’oiseau rare. La réplication, l’aptitude d’un autre laboratoire à reproduire un résultat, est une norme d’excellence en science, l’assurance que vous avez découvert quelque chose de vrai. Mais cela devient de plus en plus difficile. Les vérités les plus évidentes ayant été déjà découvertes, il ne reste le plus souvent que des effets subtils, certains si minimes qu’ils ne peuvent émerger que dans les conditions idéales, en utilisant des techniques hautement spécialisées.

Les craintes que cela conduise à des résultats questionnables commencèrent à se manifester en 2005, lorsque le Dr John P.A. Ioannidis, une sorte de méta-scientifique qui fait de la recherche sur la recherche, écrivit un article justement intitulé « Pourquoi la plupart des résultats publiés sont faux ».

Étant donné l’aspiration des scientifiques ambitieux à sortir du lot grâce à un nouveau résultat frappant, selon le raisonnement de Dr Ioannidis, de nombreuses hypothèses naissent avec une grande chance d’être fausses. Si ce n’était pas le cas, prouver leur vérité ne serait pas si compliqué et surprenant – en plus d’être d’un grand soutien pour la carrière d’un scientifique. En tenant compte de la tendance humaine à voir ce qu’on veut voir, les biais inconscients sont inévitables. Sans aucune mauvaise intention, un scientifique pourrait être poussé à interpréter les données pour qu’elles collent à son hypothèse, ne fût-ce que de façon infinitésimale.

L’effet est amplifié par la compétition pour une quantité toujours plus réduite de bourses financières et également par la méthodologie de trop nombreuses expériences – avec des petits échantillons (des cellules dans une boite de Petri ou des gens d’un pool épidémiologique) et des standards trop bas pour fixer le niveau de significativité statistique. Autant de facteurs qui facilitent la méprise.

Paradoxalement, les domaines de recherche les plus actifs, ceux qui comprennent le plus de gens qui travaillent sur les mêmes questions, sont les plus sujets à l’erreur, argumente le Dr Ioannidis. Si l’un parmi cinq laboratoires en compétition est le seul à trouver un effet, ce résultat est le seul qui sera vraisemblablement publié. Sauf qu’il y a quatre chances sur cinq qu’il soit faux. Les articles qui rapportent des conclusions négatives sont bien plus facilement ignorés.

Rassemblant toutes ces données, le Dr Ioannidis a conçu un modèle mathématique qui mène à la conclusion que la plupart des résultats publiés sont probablement incorrects.

D’autres scientifiques se sont demandés si sa méthodologie n’était pas biaisée par ses propres a priori. Mais la même année, il publia un autre article choc où il avait examiné les articles les plus influents de la décennie – l’effet d’une prise quotidienne d’aspirine sur les maladies cardiaques par exemple, ou les risques du traitement hormonal substitutif chez les femmes âgées. Il trouva qu’une grande partie des conclusions étaient remises en question voire contredites par des recherches plus récentes.

Son travail n’était que le commencement. Le problème était de plus en plus pris au sérieux, si bien que le journal Nature a constitué une archive, remplie de rapports et d’analyses, intitulée « Challenges in Irreproducible Research » [Défis de la recherche non reproductible].

Parmi cette archive, un article de C. Glenn Begley, directeur scientifique à TetraLogic Pharmaceuticals, qui décrit une expérience qu’il avait faite lorsqu’il travaillait chez Amgen, une autre firme pharmaceutique. Lui et ses collègues ne purent reproduire 47 des 53 articles phares sur le cancer. Certains résultats ne purent être reproduits malgré l’aide des scientifiques originaux travaillant dans leur propre laboratoire.

Étant donné ce qui est en jeu, ne pas révéler les titres des articles incriminés semble être une faute morale. Mais c’était interdit, avons-nous appris, par les accords de confidentialité imposés par les laboratoires.

Sans doute les chercheurs étaient-ils profondément convaincus que leurs résultats étaient corrects. Et c’est précisément ça le problème. Plus les scientifiques sont passionnés à propos de leur travail, plus ils sont enclins aux a priori.

Les craintes qu’une grande part de la recherche publiée soit ainsi affectée a mené à des propositions pour faciliter les réplications, en fournissant de la documentation plus détaillée, dont des vidéos pour les procédures complexes. Un appel à la création d’agences indépendantes dont le rôle serait de répliquer les expériences a provoqué des remous, en raison de la crainte de voir des résultats irréprochables rejetés.

Les scientifiques parlent de « connaissances tacites » à propos des années de pratique nécessaires avant de maîtriser une technique. Ils parlent des expériences comme d’un tableau de Rembrandt.

« Beaucoup de scientifiques utilisent des lignées de cellules épithéliales qui sont extrêmement sensibles », écrit Mina Bissell, chercheuse sur le cancer au Lawrence Berkeley National Laboratory, dans un article de Nature en novembre. « Le moindre changement dans leur microenvironnement peut altérer les résultats – ce qu’un néophyte pourrait ne pas repérer. C’est assez commun, même pour un scientifique aguerri, de lutter avec les lignées cellulaires et les conditions de culture, et d’introduire sans le voir des modifications qui donneront l’impression qu’une étude ne peut être répliquée. »

Mais cela est valable dans l’autre sens. Les « connaissances tacites » peuvent aussi contenir des adaptations subtiles, de légers coups de pouce à peine perceptibles – des façons involontaires et inconscientes de faire introduire ses attentes dans les résultats, tel un message qu’on fait apparaître sur une planche de ouija.

Le problème risque de s’aggraver. On a estimé que le corpus des connaissances scientifiques a doublé tous les 10 à 15 ans depuis l’époque d’Isaac Newton. La base de données Pubmed de la National Library of Medicine contient à elle seule 23 millions de citations.

De nouveaux résultats passionnants continueront à être produits. Mais la source va tarissant, et les grandes découvertes avec. Si un résultat n’apparaît qu’à la pleine lune avec Vénus en rétrograde, est-ce vraiment une avancée dans la connaissance?


Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s