Ce qu’est l’effet Dunning-Kruger et ce qu’il n’est pas (Tal Yarkoni)

Avant de continuer la suite des mini-cours d’esprit critique de Robert Carroll, auteur du Skeptic’s Dictionary, et dont les parties 1 et 2 se trouvent ici et là, j’ai choisi pour aujourd’hui un article de Tal Yarkoni, chercheur au département de psychologie de l’université d’Austin, au Texas, qui tient également un blog « about minds, brains, data & stuff », littéralement « à propos d’esprits, de cerveaux, de données & d’autres trucs ». L’article en question parle d’une curieuse tendance appelée « Effet Dunning-Kruger », du nom de ceux qui l’ont décrit les premiers. Pas besoin d’en dire plus ici, car l’introduction de l’article original présente très bien ce qu’est ce fameux effet Dunning-Kruger. Et puis de toute façon vous connaissez Wikipédia.

L’article original a été posé le 7 juillet 2010, avec pour titre « What the Dunning-Kruger effect is and isn’t« .

__________________________________________________

Si vous lisez régulièrement les blogs de sciences cognitives ou de psychologie (ou même plus modestement le New York Times!), vous avez probablement entendu parler de ce qu’on appelle l’effet Dunning-Kruger. L’effet Dunning-Kruger désigne cette tendance apparemment fort courante qu’ont les gens ayant de mauvaises performances à surestimer leurs capacités par rapport à d’autres personnes, et, à un degré moindre, qu’ont ceux avec de bonnes performances à sous-estimer leurs capacités. Selon Kruger et Dunning qui ont les premiers rapporté cet effet dans un article très influent de 1999 dans le Journal of Personality and Social Psychology, l’explication serait que les gens incompétents n’ont précisément pas les compétences nécessaires pour pouvoir distinguer les gens doués des médiocres:

…les personnes manquant des connaissances ou de la sagesse permettant d’être performants sont souvent peu conscients de cela. Nous attribuons cette absence de prise de conscience à un déficit en compétences méta-cognitives. Autrement dit, l’incompétence qui les mène à faire de mauvais choix est celle-là même qui les prive de la capacité à reconnaître la compétence, que ce soit la leur ou de toute autre personne.

Pour des raisons que je ne m’explique pas vraiment, l’effet Dunning-Kruger semble connaître un regain d’intérêt depuis quelques mois; on le voit partout dans la blogosphère et les médias. Voici par exemple quelques prétendus Dunner-Krugerismes des dernières semaines:

…Qu’est-ce que cela signifie pour le business? C’est pareil ici comme partout. Même le titre de l’article de Dunning et Kruger, la partie à propos d’auto-évaluations idéalisées, me rappelle un truisme qu’avait relevé un superviseur au début de ma carrière: les meilleurs employés seront invariablement plus sévères envers eux-mêmes lors des auto-évaluations, tandis qu’on s’attend à ce que les mauvais performeurs croient faire de l’excellent travail…

…Heidi Montag et Spencer Pratt sont de très bons exemples de l’effet Dunning-Kruger. Il y a toute une industrie d’enfoirés qui gagnent leur vie à faire la promotion de deux personnes, certes attirantes mais dépourvues de talent, en leur faisant croire qu’ils sont des auteurs de génie. Ces deux-là sont dans une bulle tellement épaisse qu’ils pourraient bien ne pas en sortir. Jusqu’ici, toute l’Amérique (du moins ceux qui savent qui ils sont) est dans le coup – pourtant, les deux protagonistes de cette tragédie n’en ont absolument pas conscience…

…Pas si vite – l’effet Dunning-Kruger a un rôle à jouer ici. Les gens aux États-Unis n’ont pas un très haut niveau de compréhension de l’évolution, et ce sondage ne mesurait pas les réelles compétences. J’ai souvent remarqué que les personnes les plus à mêmes d’affirmer qu’elles une connaissance profonde de l’évolution sont des créationnistes… mais qu’une rapide conversation est toujours suffisante pour découvrir que tout ce qu’ils ont dans la tête, c’est un fatras confus de désinformation…

Comme vous pouvez le constater, les résultats rapportés par Kruger et Dunning sont souvent interprétés de façon à suggérer que plus les gens sont incompétents, plus ils pensent qu’ils sont compétents, que ceux qui s’en sortent le moins bien dans une tâche ont tendance à croire qu’ils ont un don pour cette tâche, et que les gens qui sont en fait performants dans ladite tâche font souvent preuve d’une modestie excessive. J’imagine qu’on trouve ce genre d’explication captivante parce qu’elle fait appel à une implicite théorie d’un monde juste¹: nous aimerions croire que ceux qui proclament de façon insupportable leur excellence dans X, Y et Z ne doivent pas être si incroyables dans X, Y et Z et sont sûrement en train de (sur)compenser certaines lacunes; il est bien moins agréable d’imaginer que les gens odieusement prétentieux à propos de leur (prétendue) supériorité soient effectivement meilleurs que nous.

Malheureusement, Kruger et Dunning n’ont en fait jamais soutenu quoi que ce soit qui ressemble à cette idée du monde juste; leur étude n’a catégoriquement pas montrée que les gens incompétents sont plus confiants ou arrogants que les gens compétents. Ce qu’ils ont par contre montré est ceci:

C’est l’une des figures clés de l’article de 1999 de Kruger et Dunning (et l’effet général a été répliqué de nombreuses fois depuis). La chose importante à remarquer est qu’il y a une corrélation clairement positive entre la performance réelle (ligne grise) et la performance perçue (ligne noire): les personnes dans le quartile supérieur en termes de performance pensent qu’ils ont fait de meilleures performances que ceux du second quartile, lesquels à leur tour pensent qu’ils sont plus performants que ceux du troisième quartile, et ainsi de suite. Donc le biais n’est en aucun cas le fait que les incompétents se croient meilleurs que les compétents. Ce qu’on voit plutôt, c’est que les personnes incompétentes se croient bien meilleures que ce qu’elles sont réellement. Mais typiquement, ils ne se croient pas aussi bons que ceux qui, en effet, sont bons. (Il est important de noter que Dunning et Kruger n’ont jamais prétendu montrer que les incompétents se croient meilleurs que les compétents; c’est simplement ainsi que sont interprétés leurs résultats.)

Ceci étant dit, il est clair qu’il y a bien une grande discordance entre la façon dont les personnes incompétentes perçoivent leur propre performance et leur performance réelle, tandis que la discordance est bien moins grande pour les individus hautement compétents. La grande question est pourquoi. L’explication avancée par Kruger et Dunning, comme je l’ai mentionné plus haut, est que les personnes incompétentes n’ont pas les compétences requises pour réaliser qu’ils sont incompétents. Par exemple, si vous n’êtes pas très bon en langues, il vous pourrait être difficile de dire que vous n’êtes pas très bon, parce que les capacités dont vous auriez besoin pour pouvoir distinguer quelqu’un qui est bon de quelqu’un qui ne l’est pas sont précisément celles qui vous font défaut. Si vous n’arrivez pas à entendre la différence entre deux phonèmes distincts, comment pourriez-vous savoir qui est capable de prononcer comme un natif et qui ne l’est pas? Si vous comprenez peu de mots d’une langue étrangère, comment pourriez-vous évaluer la taille de votre propre vocabulaire comparé à d’autres?

Cet appel aux capacités méta-cognitives des gens (c’est-à-dire leurs connaissances à propos de leurs connaissances) n’est pas sans fondements, et Kruger, Dunning et leurs collègues ont fourni pas mal de preuves en leur faveur ces 10 dernières années. Ceci dit, ce n’est aucunement la seule explication possible; ces dernières années, une littérature non négligeable s’est développée sur la critique des travaux de Kruger et Dunning. Je mentionnerai simplement trois alternatives plausibles (et mutuellement compatibles) que d’autres ont proposées (mais il y en a d’autres!)

1. Régression vers la moyenne. La critique probablement la plus courante de l’effet Dunning-Kruger est qu’il reflète simplement la régression vers la moyenne² – autrement dit, il s’agit d’un artefact statistique. La régression vers la moyenne désigne le fait que chaque fois que vous sélectionnez un groupe d’individus en vous basant sur un certain critère, puis évaluez ce groupe en fonction d’un autre critère, les niveaux de performance auront tendance à se déplacer (ou régresser) vers le niveau moyen. C’est un problème notoirement sous-estimé, et qui explique probablement de très, très nombreux phénomènes que certains ont tenté de comprendre en profondeur. Par exemple, dans une étude clinique contrôlée contre placebo des ISRS, les personnes en dépression voient leur état s’améliorer à la fois dans le groupe médicament et dans le groupe placebo. Une partie de cet effet est sans aucun doute attribuable à l’effet placebo, mais une autre grosse partie peut raisonnablement être due à ce qu’on désigne par « l’histoire naturelle de la maladie ». La dépression, comme beaucoup d’autres choses, possède une tendance cyclique: les gens vont mieux ou moins bien en fonction du temps, souvent sans raison ou rythme bien spécifiques. Mais puisque les gens ont tendance à chercher de l’aide (et à s’enrôler dans des études cliniques) surtout au moment où ils vont particulièrement mal, il s’ensuit que la plupart verrait une certaine amélioration, même sans traitement. C’est la régression vers la moyenne (la page Wikipedia donne d’autres exemples sympa, notamment le fameux Sports Illustrated Cover Jinx³)

Dans le contexte de l’effet Dunning-Kruger, l’argument est que les gens incompétents régressent simplement vers la moyenne lorsque vous leur demandez d’évaluer leur propre performance. Puisque la performance perçue est non seulement influencée par la performance réelle, mais aussi par de nombreux autres facteurs (par exemple la personnalité, les capacités méta-cognitives, l’erreur de mesure, etc.), il s’ensuit qu’en moyenne, les gens qui se trouvent dans les extrêmes en termes de performance ne seront pas aussi extrêmes en termes de perception de leur performance. Donc, une bonne partie de l’effet Dunning-Kruger n’a sans doute même pas besoin d’être expliquée, et il serait en fait plutôt étonnant de ne pas voir un pattern⁴ de résultats ressemblant à quelque chose comme la figure ci-dessus.

2. Régression vers la moyenne + meilleur-que-la-moyenne. Ceci étant dit, il est clair que la régression vers la moyenne ne peut pas tout expliquer à propos de l’effet Dunning-Kruger. La problématique d’un effet plus fort à l’extrême bas par rapport à l’extrême haut n’est pas expliquée. En effet, la tendance des gens incompétents à surestimer leur performance est plus grande que celle des plus compétents à sous-estimer la leur. Cette asymétrie ne peut être entièrement expliquée par la régression vers la moyenne. Par contre, on peut l’expliquer par une combinaison de régression vers la moyenne et une heuristique « meilleur-que-la-moyenne » (ou auto-surestimation) qui désigne la tendance générale qu’ont les gens à avoir une image d’eux-même excessivement positive. Cette explication à deux niveaux a été proposée par Krueger et Mueller dans une étude de 2012 (NB: Krueger et Kruger sont des personnes différentes!), qui arguaient que les mauvais performeurs sont doublement pénalisés: non seulement leur perception de leur performance régresse vers la moyenne, mais en plus ces perceptions sont gonflées par le biais d’auto-surestimation. Par contre, pour les meilleurs performeurs, ces deux effets s’équilibrent: la régression vers la moyenne les pousse à sous-estimer leur performance, mais cette sous-estimation est quelque peu limitée par le biais d’auto-surestimation. Il en résulte que les bons performeurs semblent capables de jugements plus précis que les mauvais performeurs, alors qu’en réalité, les bons performeurs ont simplement de la chance de se trouver là où ils sont dans la distribution.

3. Le rôle instrumental de la difficulté de la tâche. En accord avec l’idée que l’effet Dunning-Kruger est, au moins partiellement, un artefact statistique, certaines études ont montré que l’asymétrie rapportée par Kruger et Dunning (la discordance plus faible pour les bons performeurs par rapport aux mauvais) disparaît, voire s’inverse, lorsque les tests de capacité donnés aux participants sont très difficiles. Par exemple, Burston et al. (2006), écrivant dans le JPSP [Journal of Personality and Social Psychology], montrent que lorsque des étudiants de l’université de Chicago répondent à des questions de difficulté modérée à propos de leur université, les sujets qui ont eu les meilleures notes étaient tout aussi mal « calibrés » que ceux qui ont eu les pires, au sens où leur évaluation de leur performance par rapport aux autres était largement inexacte. Voici à quoi les résultats ressemblaient:

Notez que ces résultats ne sont pas en contradiction avec ceux de Kruger et Dunning; lorsque les participants répondaient à des questions faciles (la courbe avec les losanges), Burson et al ont observé le schéma standard, avec les mauvais performeurs faisant apparemment preuve de plus mauvaise calibration. Le simple fait d’avoir une baisse d’environ 10% de bonnes réponses aux questions était suffisant pour provoquer un décalage dans le désaccord entre capacités réelles et perçues. Burson et al. ont ensuite poursuivi leur recherche et ont pu répliquer ce pattern dans deux études supplémentaires qui impliquaient différentes tâches et connaissances, donc ces résultats ne sont pas spécifiques à des questions de quiz. En fait, dans ces dernières études, Burson et al. ont montré que lorsque la tâche était très difficile, les mauvais performeurs étaient considérablement mieux calibrés que les bons.

En observant la figure ci-dessus, il n’est pas difficile de voir pourquoi. Puisque la pente de la courbe semble être relativement constante dans ce genre d’expériences, toute modification des niveaux moyens de performance (c’est-à-dire un décalage de l’ordonnée à l’origine) résultera nécessairement entre une plus grande différence entre la performance réelle et perçue à l’extrémité supérieure. À l’inverse, si vous montez la courbe, vous maximisez la différence entre performance réelle et perçue à l’extrémité inférieure.

Pour comprendre intuitivement ce qui se passe, imaginez les choses ainsi: si vous exécutez une tâche difficile, vous allez considérer l’expérience subjectivement exigeante, même si vous êtes dans les plus performants par rapport aux autres. Puisque le jugement de son propre niveau par rapport aux autres dépend jusqu’à un certain point de la perception de sa propre performance (autrement dit, l’impression de la facilité d’une tâche est utilisée pour savoir à quel point on est bon à cette tâche), les bons performeurs sous-estimeront systématiquement leur niveau. Lorsqu’une tâche est difficile, la plupart des gens suppose qu’ils s’en sont relativement mal sortis par rapport aux autres. À l’inverse, lorsqu’une tâche est relativement facile (et les tâches étudiées par Dunning et Kruger étaient plutôt de cette sorte), la plupart des gens suppose qu’ils sont plutôt bons par rapport aux autres. Par conséquent, on aura l’impression que les bons performeurs seront bien calibrés quand la tâche est facile et mal calibrés quand la tâche est difficile; les gens moins compétents montreront le schéma exactement opposé. Remarquez par ailleurs qu’il n’est pas nécessaire de poser l’hypothèse d’une quelconque relation entre la performance réelle et perçue. On s’attendrait à trouver l’effet Dunning-Kruger pour les tâches faciles même s’il n’y avait absolument aucune corrélation entre le niveau réel des gens et leur niveau perçu.

Voici comment Burson et al. ont résumé leurs résultats:

Nos études répliquent, éliminent on inversent l’association entre la performance à une tâche et l’exactitude du jugement de la performance à cette tâche, rapportée par Kruger et Dunning (1999), en fonction de la difficulté de la tâche. Pour les tâches faciles, où il y a un biais positif, les meilleurs performeurs sont aussi les plus exacts dans leur estimation de leur niveau, mais pour les tâches difficiles, où il y a un biais négatif, les plus mauvais performeurs sont les plus exacts. Ce pattern est cohérent avec une combinaison d’estimations bruitées et de biais général, sans devoir supposer des différences en capacités méta-cognitives. Dans cette optique, nos résultats soutiennent l’interprétation faite par Krueger et Mueller (2002) des résultats de Kruger et Dunning (1999). Un lien entre des capacités propres à une tâche et des capacités méta-cognitives pourrait bien exister, et nous proposons plus loin quelques suggestions pour tester l’hypothèse. Cependant, nos analyses indiquent que les premières causes d’erreurs dans le jugement de son niveau relativement aux autres sont l’imprécision au sens général et des biais reliés à la difficulté de la tâche. Il est donc important d’en apprendre plus sur ces sources d’erreurs afin de mieux les comprendre et les réduire.

Que pouvons-nous conclure de ces études (et d’autres)? Je pense que la question reste quelque peu ouverte, mais au moins il est clair qu’une bonne partie de l’effet Dunning-Kruger reflète soit un artefact statistique (régression vers la moyenne), ou bien des biais cognitifs très généraux (la tendance à se surestimer et/ou à utiliser son expérience subjective comme un indicateur de son niveau par rapport à d’autres). Cela ne veut pas dire que l’explication méta-cognitive avancée par Dunning, Kruger et collègues, est à jeter systématiquement; il se peut très bien que dans quelques cas, et jusqu’à un certain point, le manque de capacités de quelqu’un est précisément ce qui lui empêche de correctement estimer ses performances. Mais je pense que notre position par défaut est de préférer les explications alternatives discutées plus haut, parce qu’elles sont (a) plus simples, (b) plus générales (elles expliquent de nombreux autres phénomènes), et (c) nécessaires (il serait franchement étonnant que la régression vers la moyenne n’explique pas au moins en partie l’effet!).

Nous devrions également être attentifs à un autre biais cognitif très prégnant quand nous invoquons l’effet Dunning-Kruger pour expliquer quelque situation ou comportement, à savoir le biais de confirmation. Si vous avec l’a priori que les gens incompétents n’en savent pas assez pour savoir qu’ils sont incompétents, il n’est pas difficile de trouver des anecdotes qui le corroborent; après tout, nous connaissons tous des gens qui sont arrogants mais qui ne sont pas très doués dans ce qu’ils font. Mais si on tente l’approche inverse, il est sans doute également facile de trouver des preuves infirmant cette idée. Il y a clairement des tas de gens qui sont bons dans ce qu’ils font, mais pas autant que ce qu’ils croient (c’est-à-dire meilleurs que les autres, mais qui se surestiment quand même). Tout comme il y a des tas de gens qui sont mauvais dans ce qu’ils font et reconnaissent leurs limitations (par exemple, je n’ai pas besoin d’être un grand coureur pour être capable de dire que je ne suis pas un grand coureur – je suis parfaitement conscient que j’ai une endurance pitoyable, précisément parce que je n’arrive pas au bout d’une course que d’autres trouvent pourtant facile!). Mais le pluriel de « anecdote » n’est pas « données », et les données semblent équivoques. La prochaine fois que vous voulez excuser les insupportables illusions de grandeur de votre collègue par l’effet Dunning Kruger, envisagez la possibilité que votre collègue est simplement un crétin – pas de recours nécessaire à son incompétence méta-cognitive.

Kruger J, & Dunning D (1999). Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of personality and social psychology, 77 (6), 1121-34 PMID: 10626367
Krueger J, & Mueller RA (2002). Unskilled, unaware, or both? The better-than-average heuristic and statistical regression predict errors in estimates of own performance. Journal of personality and social psychology, 82 (2), 180-8 PMID: 11831408
Burson KA, Larrick RP, & Klayman J (2006). Skilled or unskilled, but still unaware of it: how perceptions of difficulty drive miscalibration in relative comparisons. Journal of personality and social psychology, 90 (1), 60-77 PMID: 16448310

__________________________________________________

¹ Le lien mène vers une page Wikipédia dont il n’existe pas d’équivalent francophone. Mais ce concept est, en gros, celui du karma, du fait qu’il y aurait un équilibre moral au final, et que les actes bons seront récompensés tandis que les mauvais seront punis.

² Le lien dans l’article original menait vers la page wiki anglophone de la régression vers la moyenne. Curieusement, il n’en existe pas un équivalent dans le wiki francophone. J’ai donc plutôt choisi de rediriger vers la page du dictionnaire sceptique de mes amis Sceptiques du Québec.

³ De nouveau, il n’existe pas d’équivalent Wiki francophone pour ce lien, et malheureusement la page des Sceptiques du Québec n’en parle pas. C’est bien dommage car il s’agit d’une belle illustration de la régression vers la moyenne. Le principe est le suivant: certains athlètes professionnels croient que faire la couverture de Sports Magazine porte malchance. Cette superstition n’est pas totalement sans fondement mais pas pour les raisons imaginées. En effet, si un athlète fait la couverture d’un magasine, c’est qu’il vient de faire de particulièrement bonnes performances, qui lui méritent donc la couverture. Ces performances sont particulières dans le sens où elles sont exceptionnelles, c’est-à-dire inhabituellement bonnes par rapport à ses performances moyennes, et il y a fort à parier que les performances ultérieures retrouveront ensuite leur niveau moyen, c’est-à-dire moins bien que les jours qui ont précédé. À condition de voir les choses dans une fenêtre temporelle plutôt étroite, et de ne pas connaître le sophisme post hoc ergo propter hoc, le sportif pourrait en effet penser que la couverture lui a fait baisser ses performances. Mais la véritable explication est bien dans le concept de régression vers la moyenne.
Si c’est un concept qui vous emballe, plus généralement le concept de phénomènes soumis à des fluctuations statistiques nous brouillant le jugement, et si par ailleurs vous êtes intéressé par l’histoire de la vie et de l’évolution, je ne peux que vous conseiller l’excellent ouvrage de Stephen Jay Gould « L’éventail du vivant: le mythe du progrès », dans lequel il utilise précisément ce genre d’approches pour expliquer l’apparente complexité croissante de la vie. C’est un livre pas très long, et qui utilise d’ailleurs également le sport pour mieux illustrer le propos. (C’est peut-être même dans cet ouvrage que j’ai la première fois appris le concept de régression vers la moyenne.) En passant, à peu près tout ce qu’a écrit Gould vaut la lecture.

⁴Il y a certains mots en anglais qui, bien que leur sens soit très clair dans la langue, n’ont pas une traduction définie en français. C’est le cas du mot pattern, qui pourrait être traduit par schéma, structure, conception, configuration, tendance, modèle, patron, et peut-être d’autres encore, mais aucun n’arrive à concrétiser tout le sens de ce concept dans un seul vocable. Je préfère donc garder le mot anglais, et je crois bien qu’il est d’ailleurs souvent utilisé tel quel; il a même sa propre page Wikipédia francophone.