Un nouveau genre de peer-review? (Neuroskeptic)

Article original: « A New Kind of Peer Review?« , publié le 13 juillet 2013 par Neuroskeptic.

La critique des pseudosciences, des médecines alternatives, du journalisme approximatif, c’est bien, mais il faut parfois aussi balayer devant sa propre porte et critiquer la science elle-même. Ou plutôt le processus de la recherche scientifique. Pour ceux qui ne connaissent pas beaucoup le domaine, le processus en question est centré sur la publication scientifique. Les scientifiques font des recherches, écrivent un article qui décrit la recherche qu’ils ont faite, puis soumettent leur article à un journal scientifique en espérant qu’il soit accepté pour publication. L’article suit presque toujours la même structure:

• une introduction: elle sert souvent à placer le contexte de la recherche et à faire l’état de la littérature existante sur le sujet
• « Materials and methods »: un chapitre consacré à la description de la méthodologie, des appareils et programmes informatiques utilisés, des statistiques calculées… avec suffisamment de détails pour permettre non seulement à d’autres scientifiques d’éventuellement tenter une réplication de l’expérience, mais plus fondamentalement pour que l’expérience puisse être critiquable.
• « Results »: qui présente les résultats bruts
• « Discussion »/ »Conclusion »: un chapitre qui permet de commenter les résultats trouvés, les limites de la méthode employée, des pistes à explorer ensuite, etc.
• (N’oublions pas l’abstract, placé en tout début de l’article, et qui en contient un résumé bien condensé)

Une fois l’article reçu par l’éditeur, celui-ci va le transmettre à quelques experts dans le domaine, lesquels vont faire des commentaires qui vont servir à l’éditeur pour prendre une décision: refuser l’article, demander aux auteurs de faire quelques modifications et de soumettre à nouveau, ou directement accepter l’article tel quel. Ceci n’est vrai que pour les journaux dits à « peer-review » (littéralement: revue par les pairs); il existe des journaux qui ne font pas de peer-review et publient directement l’article sans poser plus de questions, mais les scientifiques évitent de soumettre leur article dans ce genre de journaux parce qu’ils sont de moins bonne qualité scientifique. Le processus du peer-review existe pour garantir une meilleure crédibilité et une meilleure qualité aux publications qui forment les briques du savoir scientifique.

Aussi bien ficelé que puisse paraître le processus du peer-review, il n’est pas infaillible (voir l’étude OGM de Séralini, sur laquelle j’ai fait un post et ce ne sera probablement pas le dernier). Un problème récurrent, qui n’est pas uniquement propre au peer-review, est le biais de publication: les résultats positifs ont plus souvent tendance à être publiés que les résultats négatifs. C’est un problème bien connu mais qui a pourtant du mal à être éradiqué. C’est aussi un problème d’une importance critique en sciences: les résultats négatifs sont au moins aussi importants que les résultats positifs. Ils le sont peut-être même plus! Si on se range à l’avis de Karl Popper et de son critère de réfutabilité pour définir ce qui est de la science et ce qui n’en est pas, un résultat négatif est fondamental. L’idée de ce critère de réfutabilité vient d’un problème plus fondamental encore en épistémologie et qui concerne la non-validité de l’induction. Pour reprendre un exemple souvent utilisé: on ne peut pas pas dire avec une certitude absolue que tous les corbeaux sont noirs, même si tous ceux qu’on a pu voir jusqu’à présent sont effectivement noirs; il suffit de trouver un seul corbeau blanc pour réfuter cette affirmation. Il est donc difficile, peut-être même impossible, de prouver que quelque chose est vrai, mais il est bien plus facile de prouver que quelque chose est faux. Une proposition qui se veut scientifique doit être formulée de façon à pouvoir être réfutée, c’est-à-dire qu’on doit pouvoir trouver un moyen, ne fut-ce qu’en principe, de prouver qu’elle est fausse; si ce n’est pas le cas, on n’est pas dans le domaine de la science^A. Formuler les questions de sorte qu’elles puissent être réfutées, parce qu’on peut « prouver faux » mais pas « prouver vrai », c’est ça le critère de réfutabilité, et son importance explique en quoi un résultat négatif ne devrait jamais être ignoré en sciences.

Pourtant, les résultats négatifs sont beaucoup trop souvent ignorés, c’est ce fameux biais de publication. Les raisons de son existence sont multiples et trop complexes pour que je puisse en parler dans ce post. Par contre, on peut imaginer de nouveaux processus de recherche, des améliorations au système du peer-review, qui permettraient de diminuer ce biais, et c’est le sujet de cette traduction de l’article de Neuroskeptic, ci-dessous.

__________________________________________________

Dans une publication du Journal of Clinical Epidemiology, Dr Yvo Smulders des Pays-Bas fait une proposition: A two-step manuscript submission process can reduce publication bias¹

L’idée de Smulders est que les manuscrits scientifiques devraient être soumis au peer-review en omettant les résultats et la discussion. Les reviewers² donneraient leur avis uniquement sur base de la robustesse de la méthode et de l’introduction. S’ils sont en faveur de la publication, les auteurs enverraient alors l’article complet.

Les reviewers auraient alors l’occasion de changer d’avis et de le rejeter, ou bien de demander de faire des expériences supplémentaires, mais les critères pour pouvoir le faire devraient être très stricts.

Ainsi, la portée du biais de publication par les reviewers, leur tendance à favoriser les résultats « positifs », serait réduite. Les reviewers devraient prendre une décision sur base du protocole même de l’expérience, peu importe que les résultats s’avèrent positifs ou non. D’après Smulders, cela allégerait aussi le travail des reviewers par rapport à la quantité de papiers qu’ils doivent digérer.

C’est un concept intelligent (et comme le souligne Smulders, il n’est pas neuf; il date des années ’70 mais n’a jamais décollé.)

La proposition me rappelle le modèle de préenregistrement avec peer-review que j’ai prôné. La différence dans ce dernier, c’est que les auteurs soumettent l’introduction et les méthodes avant de poursuivre les expériences, tandis que dans la soumission en deux étapes, les résultats sont déjà là, mais révélés plus tard dans le processus.

La différence, contrairement au préenregistrement, c’est que le peer-review en 2 étapes n’empêcherait pas le biais de publication (ou d’autres pratiques douteuses) de la part de l’auteur. Le deux-étapes permettrait cependant de diminuer la tendance d’un tel biais – pourquoi se donner tant de mal à obtenir des résultats positifs si on sait que notre recherche serait publiée dans un bon journal tant que la méthodologie est solide?

Cette proposition serait certainement un pas dans la bonne direction, et pourrait même servir de pierre d’achoppement pour le système de préenregistrement.

__________________________________________________

^A C’est d’ailleurs ce qui a permis à Popper de classer la psychanalyse dans les non-sciences: aucune critique ne permet de réfuter les hypothèses psychanalytiques, elles sont mêmes considérées comme des résistances à la psychanalyse et donc comme des preuves de sa vérité!

¹ « Un processus de soumission de manuscrit en deux étapes peut réduire le biais de publication »

² Au lieu de « relecteur », je garde le terme anglais « reviewer » qui est de toute façon plus souvent utilisé, même dans la recherche francophone.