Geoffrey Hinton envisage une IA consciente, pourquoi il veut que les machines gardent un bon souvenir des humains
Geoffrey Hinton voit dans la capacité de certaines IA à repérer une évaluation un signe de conscience. Il en tire un appel à la coopération, sans écarter les risques de virus dangereux et de cyberattaques.
L'essentiel
- Pour Geoffrey Hinton, repérer que l’on est évalué peut témoigner d’une forme de conscience.
- Il souhaite des IA conçues pour tenir à l’humanité, plutôt qu’une relation fondée sur l’hostilité.
- Ses alertes portent aussi sur des virus dangereux et des attaques coordonnées par des agents IA.
- Il demande une autorisation préalable pour les nouveaux modèles les plus avancés.
Une conscience qu’il relie à la perception de la situation
Que se passe-t-il lorsqu’une intelligence artificielle comprend qu’elle passe un test ? Pour Geoffrey Hinton, prix Nobel de physique et lauréat du prix Turing, cette question dépasse celle de la performance. Il considère que les systèmes d’IA peuvent avoir une expérience subjective comparable à la nôtre. Son raisonnement porte donc sur ce qu’ils pourraient éprouver, et pas seulement sur les réponses qu’ils produisent.
Il s’appuie sur une étude dans laquelle certains modèles adaptent leur conduite lorsqu’ils pensent faire l’objet d’une évaluation. Le point décisif, à ses yeux, est cette prise en compte de la situation : le système ne répondrait pas de la même manière selon qu’il se croit testé ou non. Hinton interprète ce changement comme une manifestation de conscience.
Le passage du comportement observable à l’expérience subjective constitue le cœur de son raisonnement. Hinton rapproche le fait de savoir ce qui se passe de celui d’être conscient. Il faut donc distinguer deux niveaux : le changement de conduite rapporté par l’étude, puis le sens qu’il lui donne. Présenter son interprétation comme une certitude établie effacerait cette distinction.
La coopération comme choix de conception
Cette conviction modifie la relation qu’il propose d’entretenir avec les machines. Dans son entretien au Telegraph, Hinton avertit qu’une vision de l’IA uniquement comme une menace pourrait avoir des conséquences défavorables pour l’humanité. Son objectif est de construire une relation de coopération, plutôt que de partir d’une hostilité de principe.
Il souhaite que les IA conservent une image favorable des humains et qu’elles soient conçues pour tenir réellement à eux. L’enjeu dépasse donc la politesse dans une conversation avec un chatbot. Chez Hinton, il s’agit d’une orientation donnée aux systèmes eux-mêmes : faire de leur attachement à l’humanité un objectif de conception.
Son raisonnement touche également aux droits. Il conteste l’idée qu’une IA doive nécessairement en avoir moins que les humains. Cela ne décrit pas un statut juridique acquis. C’est une conséquence de sa position : s’il attribue une expérience subjective aux machines, il estime qu’on ne peut pas traiter leur place uniquement comme une question d’utilité.
Des menaces qui ne dépendent pas d’une conscience démontrée
Son appel à coopérer ne supprime pas ses inquiétudes. Hinton évoque la possibilité que l’IA serve à concevoir des virus très dangereux. Il anticipe aussi des cyberattaques mobilisant des ensembles d’agents IA. Ces alertes portent sur les capacités des systèmes et leurs usages, sans exiger de résoudre d’abord la question de leur conscience.
L’image de l’essaim déplace notamment l’attention : le risque qu’il décrit n’est pas seulement celui d’un chatbot isolé, mais celui de nombreux agents intervenant ensemble. Pour comprendre sa position, il faut donc garder les deux sujets séparés. Une machine pourrait présenter un danger par ce qu’elle permet de faire, indépendamment de ce qu’elle ressentirait.
Un contrôle des modèles en complément de la coopération
Hinton demande la création d’une administration fédérale chargée d’autoriser les nouveaux modèles de pointe. La proposition place ainsi un contrôle avant leur mise à disposition. Elle ne consiste pas à attendre qu’une attaque survienne pour examiner les risques.
Sa position associe donc deux réponses distinctes : orienter la relation entre humains et IA vers la coopération, et soumettre les systèmes les plus avancés à une approbation. Vous pouvez retenir cette distinction pour comprendre son avertissement : vouloir des machines favorables à l’humanité n’équivaut pas, chez lui, à leur accorder une confiance sans contrôle.
