Non, un superordinateur n’a pas réussi le test de Turing (Tech Dirt)

Le concept d’intelligence artificielle est passionnant. L’idée qu’un ordinateur ou un programme informatique puisse imiter toute la complexité de l’intelligence humaine est une idée qui bouscule nos conceptions technologiques et pose des questions de société. Des robots avec une telle intelligence seront-ils considérés comme des êtres vivants? jouiront-ils de droits spéciaux, ou même égaux à ceux des humains? Verra-t-on les premiers couples humains-robots?

Je viens justement de terminer la saison 2 de Äkta människor, une série suédoise qui se déroule dans un monde parfaitement similaire au nôtre, sauf qu’il existe des robots humanoïdes particulièrement intelligents, utilisés surtout comme travailleurs, en usine ou à la maison. Certains ont un code particulier qui leur donne le libre arbitre et empêche de les distinguer facilement des humains. La série traite assez bien des aspects sociologiques d’une telle interaction entre humains et robots « presque humains » appelés « hubots » (human robots): amitié, voire amour, entre humains et hubots, droits et discriminations envers les hubots, problème du remplacement des humains par des hubots au travail, partis politiques anti-hubots, labels de consommation « hubot-free » (produit réalisé dans une usine n’employant pas de hubots), etc.

Mais comment établir des critères qui permettront de dire qu’un robot est intelligent ou pas? On connait toute la difficulté de définir l’intelligence pour des humains; comment espérer appliquer un concept aussi flou à des robots? C’est pour répondre à cette question qu’Alan Turing, un mathématicien anglais né en 1912 et précurseur de l’informatique, a proposé un test dont l’idée est plutôt simple: un juge humain observe les conversations entre un humain et un ordinateur via un terminal; si le juge n’est pas capable de prédire lequel des interlocteurs est humain avec un taux de succès supérieur à 50%, l’ordinateur doit être considéré comme intelligent.

J’ignore comment ce test est vu et critiqué par les chercheurs experts en intelligence artificielle, mais pour le néophyte, le concept est intéressant. C’est toujours avec une certaine excitation (intellectuelle) qu’on découvre les unes qui annoncent que le test a été passé avec succès. Mais avec circonspection également. Si l’on pensait, il y a 50 ans, que les ordinateurs seraient aussi intelligents que les humains à l’an 2000, on est depuis revenu sur cette idée. Il semble d’ailleurs que la prouesse technologique d’une intelligence artificielle convaincante est chaque fois plus difficile que ce qu’on pensait précédemment. Quand on voit actuellement les résultats des « simples » algorithmes de traduction, un domaine qu’on pensait pouvoir régler rapidement dans les premières décennies de l’informatique, on ne peut qu’être déçu.

Je me souviens avoir lu une news sur un autre chatbot qui aurait été le premier à réussir le test de Turing, Cleverbot. Tout emballé par le concept, j’ai voulu aller tester moi-même le programme. Je vous transmets de mémoire les premières interactions:

  • moi: « Hi »
  • Cleverbot: « Hi Bob! »
  • moi: « I’m not Bob. »
  • Cleverbot: « Hi not Bob! »

Je me souviens avoir partagé ce court échange sur mon mur perso Facebook, accompagné de la réflexion suivante: soit l’info que j’avais lu était une intox, soit Cleverbot a passé le test haut la main en faisant de l’humour.

Mais trêve de galéjades. Puisqu’une autre news a fait récemment le tour des médias online à propos d’un chatbot qui aurait réussi « pour la première fois » le test de Turing, et puisqu’à nouveau, il semble qu’il s’agit plutôt d’intox, voici un article de Tech Dirt, écrit par Mike Masnik et publié le 9 juin 2014: « No, A ‘Supercomputer’ Did NOT Pass The Turing Test For The First Time And Everyone Should Know Better »


Non, un ‘super-ordinateur’ n’a PAS réussi le test de Turing pour la première fois et les gens devraient se renseigner

du département Quelle-perte-de-temps

Les nouvelles du monde tech de ce week-end étaient envahies par un « scoop » à propos d’un « chatbot » qui aurait réussi le test de Turing « pour la première fois », avec beaucoup d’articles qui répètent fidèlement chaque point de l’histoire et qui en parlent en en faisant tout un fromage. Le problème, c’est que presque tout dans cette histoire est bidon et un tas de reporters naïfs l’ont relayée, parce que c’est leur boulot. D’abord, voici le communiqué de presse de l’Université de Reading, qui aurait dû déclencher toutes sortes de sonnettes d’alarme chez n’importe quel journaliste. Voici quelques citations, la plupart étant trompeuses ou bidon:

Le célèbre test de Turing, vieux de 65 ans, a été passé avec succès pour la toute première fois par le super-ordinateur Eugene Goostman lors du Turing Test 2014, organisé à la réputée Royal Society de Londres ce samedi.

« Eugene », un programme informatique qui simule un enfant de 13 ans, a été développé à Saint-Pétersbourg en Russie. L’équipe de développement comprend le créateur d’Eugene, Vladimir Veselov, né en Russie et qui habite aujourd’hui aux États-Unis, et l’ukrainien Eugene Demchenko qui réside aujourd’hui en Russie.

[…] Si un ordinateur est confondu avec un humain plus de 30% du temps lors de séries de conversations de 5 minutes au clavier, il réussit le test. Aucun ordinateur n’a jamais réussi ce test, jusqu’à maintenant.  Eugene a réussi à convaincre 33% des juges humains qu’il était lui-même humain.

Ok, presque tout est bidon dans cette histoire. Creusons un peu:

  1. Il ne s’agit pas d’un « super-ordinateur », mais d’un chatbot. C’est un script écrit pour imiter une conversation humaine. Il n’y a pas d’intelligence, artificielle ou autre. C’est juste un chatbot.
  2. Plein d’autres chatbots ont auparavant affirmé avoir « réussi » le test de Turing (et souvent avec un taux de succès plus élevé). Voici une histoire d’il y a trois ans avec un autre bot, Cleverbot, « réussisant » le test de Turing en convaincant 59% des juges qu’il était humain (bien plus élevé que les 33% d’Eugene Goostman).
  3. Il a « réussi » le test de Turing en « trafiquant » les règles – en disant aux interlocuteurs qu’il était un garçon ukrainien de 13 ans afin de justifier d’éventuelles réponses bizarres.
  4. Les « règles » du test du Turing semblent se modifier en permanence. Le test original de Turing était bien différent.
  5. Comme le remarque Chris Dixon, on ne peut pas faire passer un test unique, avec des juges sélectionnés, et prétendre avoir accompli quelque chose. Ce n’est pas comme ça qu’on fait. Si quelqu’un affirmait avoir créé la fusion nucléaire ou guéri le cancer, vous attendriez les publications peer-review et les réplications dans des conditions différentes avant d’y croire, hein?
  6. Le concept même du test de Turing est un peu farfelu. C’est assez amusant d’y penser, mais créer un chatbot qui peut tromper des humains n’est pas tout à fait la même chose que créer une intelligence artificielle. Dans le monde de l’IA, le test de Turing est souvent vu comme une distraction inutile.

Oh, et le plus gros signal d’alarme. L’événement était organisé par Kevin Warwick à l’Université de Reading. Si vous avez passé un peu de temps dans le monde tech, vous devriez automatiquement vous méfier de ce nom. Warwick est assez tristement connu pour ses affirmations grotesques dans la presse, que des journalistes naïfs répètent sans remettre en question. Ça dure depuis des dizaines d’années. Déjà en 2000, nous avions écrit à propos de toute la presse ridicule qu’il s’était faite en affirmant être le premier « cyborg » au monde pour avoir implanté une puce dans son bras. Il y avait un même un site web – désormais fermé – Kevin Warwick Watch qui répertoriait avec dérision toutes ses apparitions médiatiques, où des reporters crédules serinaient ses affirmations saugrenues. Warwick avait disparu des radars pendant quelques temps, mais, de nouveau en 2010, nous écrivions à propos de son laboratoire qui se faisait de la publicité bidon en affirmant avoir « le premier humain infecté par un virus informatique. » The Register a très justement appelé Warwick « Capitaine Cyborg » et un « gigolo des médias », et a depuis longtemps écrit des chroniques sur ses vieilles habitudes à exagérer des histoires bidon sur l’intersection des humains et des ordinateurs.

En gros, tout reporter devrait considérer les affirmations extraordinaires associées à Warwick avec la plus grande méfiance. Mais ce n’est pas du tout ce qui s’est passé. Au lieu de ça, de façon toujours aussi typique avec Warwick, la presse est devenue dingue, y compris des publications qui auraient dû être plus au courant. Voici quelques exemples de titres d’articles1. Les pires sont celles qui parlent d’un « super-ordinateur ».

Bref, beaucoup de blabla sur pas grand chose et que tout le monde semble gober à cause des titres réducteurs (sur quoi Warwick se repose systématiquement). Et puisqu’on a perdu tout ce temps sur des futilités, on se doit de conclure avec un xkcd2:

Turing Test


1 J’ai traduit les titres mais ils mènent vers des articles en anglais. Dans le monde francophone, on trouve par exemple les articles suivants:

2 Le texte de l’image dit: « Points bonus du test de Turing: Convaincre l’examinateur que lui-même est un ordinateur. » Le type dit: « Franchement, t’as quelques très bons arguments. Je… je ne sais même plus qui je suis vraiment. »

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s