Un nouveau genre de peer-review? (Neuroskeptic)

Article original: « A New Kind of Peer Review?« , publié le 13 juillet 2013 par Neuroskeptic.

La critique des pseudosciences, des médecines alternatives, du journalisme approximatif, c’est bien, mais il faut parfois aussi balayer devant sa propre porte et critiquer la science elle-même. Ou plutôt le processus de la recherche scientifique. Pour ceux qui ne connaissent pas beaucoup le domaine, le processus en question est centré sur la publication scientifique. Les scientifiques font des recherches, écrivent un article qui décrit la recherche qu’ils ont faite, puis soumettent leur article à un journal scientifique en espérant qu’il soit accepté pour publication. L’article suit presque toujours la même structure:

  • une introduction: elle sert souvent à placer le contexte de la recherche et à faire l’état de la littérature existante sur le sujet
  • « Materials and methods »: un chapitre consacré à la description de la méthodologie, des appareils et programmes informatiques utilisés, des statistiques calculées… avec suffisamment de détails pour permettre non seulement à d’autres scientifiques d’éventuellement tenter une réplication de l’expérience, mais plus fondamentalement pour que l’expérience puisse être critiquable.
  • « Results »: qui présente les résultats bruts
  • « Discussion »/ »Conclusion »: un chapitre qui permet de commenter les résultats trouvés, les limites de la méthode employée, des pistes à explorer ensuite, etc.
  • (N’oublions pas l’abstract, placé en tout début de l’article, et qui en contient un résumé bien condensé)

Une fois l’article reçu par l’éditeur, celui-ci va le transmettre à quelques experts dans le domaine, lesquels vont faire des commentaires qui vont servir à l’éditeur pour prendre une décision: refuser l’article, demander aux auteurs de faire quelques modifications et de soumettre à nouveau, ou directement accepter l’article tel quel. Ceci n’est vrai que pour les journaux dits à « peer-review » (littéralement: revue par les pairs); il existe des journaux qui ne font pas de peer-review et publient directement l’article sans poser plus de questions, mais les scientifiques évitent de soumettre leur article dans ce genre de journaux parce qu’ils sont de moins bonne qualité scientifique. Le processus du peer-review existe pour garantir une meilleure crédibilité et une meilleure qualité aux publications qui forment les briques du savoir scientifique.

Aussi bien ficelé que puisse paraître le processus du peer-review, il n’est pas infaillible (voir l’étude OGM de Séralini, sur laquelle j’ai fait un post et ce ne sera probablement pas le dernier). Un problème récurrent, qui n’est pas uniquement propre au peer-review, est le biais de publication: les résultats positifs ont plus souvent tendance à être publiés que les résultats négatifs. C’est un problème bien connu mais qui a pourtant du mal à être éradiqué. C’est aussi un problème d’une importance critique en sciences: les résultats négatifs sont au moins aussi importants que les résultats positifs. Ils le sont peut-être même plus! Si on se range à l’avis de Karl Popper et de son critère de réfutabilité pour définir ce qui est de la science et ce qui n’en est pas, un résultat négatif est fondamental. L’idée de ce critère de réfutabilité vient d’un problème plus fondamental encore en épistémologie et qui concerne la non-validité de l’induction. Pour reprendre un exemple souvent utilisé: on ne peut pas pas dire avec une certitude absolue que tous les corbeaux sont noirs, même si tous ceux qu’on a pu voir jusqu’à présent sont effectivement noirs; il suffit de trouver un seul corbeau blanc pour réfuter cette affirmation. Il est donc difficile, peut-être même impossible, de prouver que quelque chose est vrai, mais il est bien plus facile de prouver que quelque chose est faux. Une proposition qui se veut scientifique doit être formulée de façon à pouvoir être réfutée, c’est-à-dire qu’on doit pouvoir trouver un moyen, ne fut-ce qu’en principe, de prouver qu’elle est fausse; si ce n’est pas le cas, on n’est pas dans le domaine de la scienceA. Formuler les questions de sorte qu’elles puissent être réfutées, parce qu’on peut « prouver faux » mais pas « prouver vrai », c’est ça le critère de réfutabilité, et son importance explique en quoi un résultat négatif ne devrait jamais être ignoré en sciences.

Pourtant, les résultats négatifs sont beaucoup trop souvent ignorés, c’est ce fameux biais de publication. Les raisons de son existence sont multiples et trop complexes pour que je puisse en parler dans ce post. Par contre, on peut imaginer de nouveaux processus de recherche, des améliorations au système du peer-review, qui permettraient de diminuer ce biais, et c’est le sujet de cette traduction de l’article de Neuroskeptic, ci-dessous.

__________________________________________________

Dans une publication du Journal of Clinical Epidemiology, Dr Yvo Smulders des Pays-Bas fait une proposition: A two-step manuscript submission process can reduce publication bias1

L’idée de Smulders est que les manuscrits scientifiques devraient être soumis au peer-review en omettant les résultats et la discussion. Les reviewers2 donneraient leur avis uniquement sur base de la robustesse de la méthode et de l’introduction. S’ils sont en faveur de la publication, les auteurs enverraient alors l’article complet.

Les reviewers auraient alors l’occasion de changer d’avis et de le rejeter, ou bien de demander de faire des expériences supplémentaires, mais les critères pour pouvoir le faire devraient être très stricts.

Ainsi, la portée du biais de publication par les reviewers, leur tendance à favoriser les résultats « positifs », serait réduite. Les reviewers devraient prendre une décision sur base du protocole même de l’expérience, peu importe que les résultats s’avèrent positifs ou non. D’après Smulders, cela allégerait aussi le travail des reviewers par rapport à la quantité de papiers qu’ils doivent digérer.

C’est un concept intelligent (et comme le souligne Smulders, il n’est pas neuf; il date des années ’70 mais n’a jamais décollé.)

La proposition me rappelle le modèle de préenregistrement avec peer-review que j’ai prôné. La différence dans ce dernier, c’est que les auteurs soumettent l’introduction et les méthodes avant de poursuivre les expériences, tandis que dans la soumission en deux étapes, les résultats sont déjà là, mais révélés plus tard dans le processus.

Trois systèmes de peer-review comparés

La différence, contrairement au préenregistrement, c’est que le peer-review en 2 étapes n’empêcherait pas le biais de publication (ou d’autres pratiques douteuses) de la part de l’auteur. Le deux-étapes permettrait cependant de diminuer la tendance d’un tel biais – pourquoi se donner tant de mal à obtenir des résultats positifs si on sait que notre recherche serait publiée dans un bon journal tant que la méthodologie est solide?

Cette proposition serait certainement un pas dans la bonne direction, et pourrait même servir de pierre d’achoppement pour le système de préenregistrement.

__________________________________________________

A C’est d’ailleurs ce qui a permis à Popper de classer la psychanalyse dans les non-sciences: aucune critique ne permet de réfuter les hypothèses psychanalytiques, elles sont mêmes considérées comme des résistances à la psychanalyse et donc comme des preuves de sa vérité!

1 « Un processus de soumission de manuscrit en deux étapes peut réduire le biais de publication »

2 Au lieu de « relecteur », je garde le terme anglais « reviewer » qui est de toute façon plus souvent utilisé, même dans la recherche francophone.

7 réflexions sur “Un nouveau genre de peer-review? (Neuroskeptic)

  1. Pingback: Épisode #259: Un nouveau genre de peer-review? « Scepticisme Scientifique

  2. Pingback: Des vérités individuelles (NY Times) | Sceptom

  3. Pingback: Le problème du biais de publication | Sceptom

  4. la défense des résultats négatifs comme « popperien » est très discutable, car un résultat négatif peut aussi simplement être une erreur de réalisation, quand on est a l’émergence d’une technologie.
    Les premiesr avions se sont plantés, et ca n’a pas prouvait que le vol humain était impossible. juste que c’était difficile.

    par contre quand la technologie est maîtrisée, un échec inexplicable, est une anomalie, donc utile.
    après si on ne déifie pas le résultat, positif ou négatif, donnent des informations utiles. ca peux donner une piste d’amélioration pour reproduire un résultat difficile à reproduire, comprendre pourquoi ca marche pas.

    le critère de Popper peut et est régulièrement utilisé a l’envers.
    Un résultat positif dans un tas de résultats négatif, prouve la possibilité de résultat positifs. C’est une preuve.
    De même un résultat négatif, prouve la possibilité de résultat négatif, c’est une preuve aussi.

    tout dépend de savoir si on montre une anomalie, ou une normalité.
    Popper change de sens selon le cas.

    au début des test sur la syphilis, le rejet du protocole pour cause d’échec aurait été une tragédie.
    Même chose pour les débuts des semi-conducteurs.
    dans le genre l’élimination des résultats incohérents et dur a reproduire est une aberration, typique des scientifique vivant dans un univers simple et fermé. c’est pourtant typique, et on l’a vu sur divers sujet, dont les début des jonctions parasites germanium…

    le plus dingue c’est que ce fait évident pour un ingénieurs ou un chimiste, ne semble pas compris par pas mal de physicien… Même si on leur explique ils veulent pas comprendre… c’est pourtant une logique niveau bac…
    un problème d’éducation ? relation à la théorie ? mythe de la reproductibilité? peur de l’incertitude? Taleb y vois plus un problème de motivation des scientifiques académiques, comparé aux praticiens. Beaudette y voyais une tragédie du projet Manhattan et de la déification des physiciens et de leurs théorie parfaite…
    pourtant la science ca devrait être chercher les erreurs. et même si un résultat est un artefact, la première réaction devrait être de chercher quoi comme artefact et comment en faire un truc utile. Pas de jeter le papier. ni de le croire sans vérifications, au papier ou aux artefacts proposées.

    dans le genre certaine demande des réplication a l’identique, ce qui est souvent le meilleur moyen de reproduire l’artefact, ou d’entretenir le doute sur l’artefact… et quand on l’explique, là aussi ce fait évident pour un ingénieur ou un chimiste, n’est pas tolérable pour un physicien…

    bref il y a du boulot, et trop de critères rigides qui ne sont pas toujours valables.

    abandonnons les règles et utilisons le cerveau.

    J'aime

    • Je me rappelle d’une vidéo sur un extrait d’une conférence de Feynman, dans laquelle il expliquait à un public d’étudiants les rudiments de la méthode scientifique et la découverte de lois physiques. En gros il disait: « D’abord vous devinez. Ensuite vous déduisez les conséquences de votre idée, et vous les comparez à la nature, ou à des données d’expériences. Si les expériences donnent des résultats qui ne concordent pas avec votre idée, c’est que votre idée est fausse. »
      Bien que pour un public général, ce soit une description simple et satisfaisante, je me suis d’emblée fait la réflexion que ce pourrait tout aussi bien être l’expérience qui est fausse.

      J'aime

  5. Merci pour cet intéressant billet.
    Sur la question « les résultats positifs ont plus souvent tendance à être publiés que les résultats négatifs », j’ai vu récemment une exposé lors d’une conférence TED par un médecin, c’était très intéressant, avec des statistiques sur le sujet. En médecine en particulier, savoir qu’un médicament ou une technique n’est pas utile, c’est très intéressant.

    J'aime

    • Je pense que tu fais référence à la conférence TED de Ben Goldacre. J’avais déjà vu cette vidéo il y a quelques temps; et il se trouve qu’elle est réapparue dans mon newsfeed Facebook grâce à Scepticisme Scientifique. C’était l’occasion pour la reposter: http://wp.me/p4afnl-3J

      J'aime

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s