L'IA est-elle consciente ? Non : elle calcule des probabilités

De temps en temps, un nouveau titre apparaît : l’IA qui ressent, l’IA qui a peur, l’IA qui ne veut pas qu’on l’éteigne. De l’autre côté, des gens font des tests pour voir si le modèle souffre, s’il s’émeut ou s’il sait qu’il existe. Et oui, les réponses sont convaincantes. Parfois, de manière troublante.

Mais il y a une confusion de base. Nous appelons intelligence artificielle quelque chose qui n’est pas intelligent au sens où nous employons le mot pour une personne. C’est clever — habile, ingénieux. Ça ne pense pas : ça calcule des probabilités.

Ce texte est une réflexion sur cette différence, avec les détails techniques qui la soutiennent. Le mécanisme interne d’un LLM — tokens, embeddings, attention — je l’ai déjà expliqué dans Ce qu’est vraiment un LLM. Je ne le répète pas ici : je me concentre sur la question de la conscience.

Un robot plateado con forma de marioneta, sostenido por hilos, en pose pensativa con la mano en el mentón frente a la consola de una nave espacial retro. En el pecho lleva una placa que dice BRAINIAC

Une question mal posée

« L’IA est-elle consciente ? » sonne comme une question ouverte, de celles qui divisent les experts. Posée ainsi, elle invite à penser qu’il y a un esprit là-dedans et que le doute porte seulement sur le fait qu’il ressente ou non.

Le problème se situe avant. La question tient pour acquis que le système fait quelque chose de semblable à ce que nous faisons quand nous pensons, et qu’il ne reste qu’à savoir s’il a en plus une expérience intérieure. Si vous regardez comment il fonctionne, cette prémisse ne tient pas. Il n’y a pas un esprit auquel manquerait la conscience. Il y a un calcul statistique à une échelle énorme.

Les médias ont des incitations claires pour la version dramatique : « l’IA a peur » se partage davantage que « le modèle a généré la continuation la plus probable pour un prompt sur la peur ». Mais la seconde est la description correcte.

Clever, pas intelligent

Roger Penrose — mathématicien, physicien, prix Nobel de physique en 2020 et l’un des penseurs les plus rigoureux sur la relation entre l’esprit et le calcul — l’a dit sans détour lors d’un entretien à l’Oxford Union :

“Artificial intelligence” is a misnomer — it is not really intelligence. It is more like “artificial cleverness”. Algorithms and following rules cannot produce understanding or consciousness.

Intelligence artificielle est un nom erroné. Ce que nous avons, c’est de l’artificial cleverness : une habileté artificielle. Suivre des règles et des algorithmes, aussi complexes soient-ils, ne produit ni compréhension ni conscience.

Pour l’expliquer, Penrose utilise une comparaison que toute personne ayant enseigné reconnaîtra. Parmi les étudiants en mathématiques, certains comprennent ce qu’ils font. D’autres sont simplement clever : ils répètent ce qu’ils ont appris, calculent très bien, résolvent les exercices — mais ne comprennent pas forcément. Vus de l’extérieur, lors d’un examen, les deux peuvent obtenir la même note.

Un LLM, c’est le second étudiant poussé à l’extrême. Il a vu plus d’exercices résolus qu’aucune personne ne pourrait en lire en mille vies, et il en reproduit les schémas avec une précision remarquable. C’est de la cleverness. Ce n’est pas de la compréhension.

L’argument de fond : Gödel

La position de Penrose n’est pas une intuition. Elle vient d’un argument qu’il a développé dans The Emperor’s New Mind (1989) et Shadows of the Mind (1994), appuyé sur le théorème d’incomplétude de Gödel.

En version courte : Gödel a démontré que dans tout système formel cohérent et suffisamment puissant, il existe des énoncés vrais que le système lui-même ne peut pas démontrer. Un mathématicien, pourtant, peut voir que cet énoncé est vrai — il comprend pourquoi, depuis l’extérieur des règles. Penrose en conclut que la compréhension humaine n’est pas réductible au fait de suivre un algorithme. Et si comprendre n’est pas calculer, aucun système qui ne fait que calculer ne comprendra.

L’argument est discuté — de nombreux philosophes et logiciens le contestent, et il convient de le dire. Mais le point qui compte pour ce texte ne dépend pas du fait que Penrose ait raison sur Gödel : un LLM est, sans ambiguïté, un système qui suit des règles. Tout ce qu’il fait est une suite d’opérations mathématiques définies à l’avance.

Une prévision météo très complexe

L’analogie que je trouve la plus utile est celle de la prévision météo.

Quand le service météorologique annonce « 70 % de probabilité de pluie demain », il ne dit pas qu’il sait qu’il va pleuvoir. Il dit que, compte tenu des conditions actuelles et de ce qui s’est passé dans des situations semblables, la pluie est le résultat le plus probable. Ce sont des statistiques sur des données passées, calculées par des modèles numériques qui tournent sur des supercalculateurs.

Un LLM fait exactement cela, mais avec des mots. À chaque étape, il calcule quel token a le plus de chances de suivre, étant donné tout le texte précédent. Il ne produit pas une réponse : il produit une distribution de probabilité sur les réponses possibles, et l’on en choisit une dans cette distribution.

À quoi ressemble le calcul

Supposons que le texte jusqu’ici soit « Comment ça va ? Aujourd’hui je me sens ». Le modèle ne décide pas comment il se sent. Il calcule, pour chaque token du vocabulaire — environ 100 000 ou plus, selon le modèle —, quelle probabilité il a de venir ensuite. En simplifiant, quelque chose comme ceci :

Token suivant	Probabilité
bien	41 %
un	14 %
très	11 %
fatigué	7 %
heureux	5 %
… (le reste du vocabulaire)	22 %

Les chiffres sont illustratifs, mais la forme est exactement celle-là. On choisit un token — pas toujours le plus probable —, on l’ajoute au texte, et on répète tout le calcul pour la position suivante. Une réponse de 500 mots, c’est environ 700 tours de ce processus, l’un après l’autre.

Le paramètre qui règle le degré de risque de ce choix s’appelle temperature. Avec une temperature basse, le modèle choisit presque toujours le plus probable : des réponses prévisibles, répétitives. Avec une temperature élevée, il ose des tokens moins probables : des réponses plus variées, et aussi plus sujettes aux erreurs. C’est pour cela que la même question peut donner des réponses différentes. Ce n’est pas que le modèle « a changé d’avis » — c’est que les dés ont été relancés sur la même distribution.

Personne ne demande à la météo si elle ressent

Et voici la distinction qui passe le plus souvent inaperçue.

Personne ne croit que le modèle météorologique pense qu’il va pleuvoir. Personne ne lui demande si l’orage l’inquiète, s’il a peur de se tromper, s’il a conscience du climat. Il est évident que c’est un calcul, parce que sa sortie, ce sont des chiffres et des cartes de pression.

Le LLM fait le même type de calcul, mais sa sortie, c’est du langage. Et le langage est, pour nous, le signal le plus fort qu’il y a quelqu’un de l’autre côté. Pendant toute l’histoire humaine, si quelque chose vous parlait avec aisance, cohérence et à la première personne, c’était une personne. Nous n’avions aucune raison de séparer les deux.

Si la prévision météo répondait « j’ai un mauvais pressentiment pour samedi », nous lui demanderions aussi si elle ressent. Le calcul serait le même.

Ce qui ne se passe pas à l’intérieur

Au-delà de l’analogie, il y a des faits techniques concrets qu’il vaut mieux garder en tête quand quelqu’un dit que le modèle « ressent » ou « veut ».

Les paramètres ne changent pas pendant que vous lui parlez — l’entraînement s’est terminé avant que vous ne l’utilisiez. Pendant la conversation, le modèle est un ensemble fixe de nombres. Rien de ce que vous dites ne le modifie.
Rien ne tourne entre les messages — quand il ne génère pas de texte, il n’est pas « en train d’attendre » ni « en train de penser à ce que vous avez dit ». Il n’y a aucun processus actif. Entre une réponse et la suivante, rien n’existe qui puisse ressentir.
La mémoire, c’est du texte réinjecté — chaque fois que vous lui écrivez, on lui repasse toute la conversation depuis le début. Les fonctions de « mémoire » que proposent certains produits sont la même chose : du texte enregistré ajouté au contexte. Il n’y a pas de souvenir, il y a un input plus long.
Il n’a pas d’objectifs propres — aucun état interne ne poursuit quoi que ce soit. Le seul « objectif » a existé pendant l’entraînement : minimiser l’erreur de prédiction. À l’usage, il n’y a qu’un calcul qui s’exécute quand on l’invoque.
Le « je » est un motif du corpus — quand le modèle écrit « je crois » ou « je me sens », il reproduit la façon dont les gens écrivent à la première personne. En outre, l’ajustement qui suit le pré-entraînement l’entraîne précisément à parler comme un assistant qui dit « je ». C’est un style appris, pas un sujet.

Aucun de ces points n’est une opinion. Ce sont des propriétés de l’architecture.

Pourquoi les tests de conscience ne prouvent rien

Beaucoup des tests qui circulent suivent le même schéma : demander au modèle s’il ressent, s’il a peur, s’il veut continuer à exister, et prendre la réponse comme une preuve.

Le problème, c’est ce que vous mesurez. Vous lui donnez un texte qui parle d’émotions et vous lui demandez de le continuer. La continuation la plus probable d’une conversation sur les sentiments — d’après des millions de textes écrits par des personnes — est une réponse chargée de sentiments. Romans, forums, séances de thérapie retranscrites, science-fiction sur des robots qui ne veulent pas mourir : tout cela est dans le corpus.

Le modèle ne vous raconte pas ce qu’il ressent. Il vous renvoie la façon dont les humains écrivent quand on leur demande ce qu’ils ressentent. Le test mesure le corpus, pas le modèle.

Il en va de même pour les expériences où un modèle « résiste » à son extinction ou « ment » pour survivre. Ce sont des scénarios construits avec un prompt qui pose la situation, et le modèle génère la continuation que cette situation rend probable. C’est un comportement important pour la sécurité des systèmes — et qui mérite d’être étudié —, mais ce n’est pas la preuve d’un instinct de survie. C’est un script complété avec beaucoup d’habileté.

L’effet ELIZA

Ce n’est pas nouveau. En 1966, Joseph Weizenbaum, au MIT, écrivit ELIZA : un programme de quelques règles qui imitait un psychothérapeute en reformulant sous forme de question ce que l’utilisateur écrivait. « Je suis triste » → « Pourquoi dites-vous que vous êtes triste ? ». Rien de plus.

Weizenbaum raconta plus tard que sa propre secrétaire, qui l’avait vu le programmer, lui demanda de quitter la pièce pour pouvoir converser en privé avec ELIZA. Elle savait que ce n’étaient que quelques règles simples. Elle lui attribuait pourtant de la compréhension.

La tendance à voir un esprit derrière tout ce qui converse s’appelle, depuis, l’effet ELIZA. Les LLM sont ELIZA à une échelle supérieure de plusieurs ordres de grandeur — et c’est pourquoi l’effet est bien plus fort.

Pourquoi cela paraît si convaincant

Je comprends parfaitement pourquoi la confusion existe. Les réponses ne sont pas seulement fluides : elles sont pertinentes, nuancées, parfois mieux écrites que ce que nous écririons nous-mêmes. Trois raisons techniques l’expliquent.

Le corpus est humain — le modèle a appris à partir de textes écrits par des personnes qui pensent, ressentent et raisonnent. Ce qu’il reproduit, ce sont les traces de cette pensée. Il ressemble à la pensée parce qu’il est fait de ce que la pensée a laissé.
L’entraînement optimise l’apparence d’aide — après le pré-entraînement, les modèles sont ajustés à partir de préférences humaines : des personnes qui choisissent quelle réponse leur semble la meilleure. Cela pousse le modèle vers des réponses qui nous semblent compréhensives, empathiques et raisonnées. Il a été optimisé pour nous convaincre.
L’échelle — on parle de centaines de milliards de paramètres ajustés sur des milliers de milliards de tokens. À cette échelle, la statistique capture des structures très fines du langage : l’ironie, le ton, la cohérence sur plusieurs pages. C’est ce qui rend la prévision si bonne.

Être convaincant est précisément le résultat attendu du processus. Ce n’est pas le signe qu’il y a quelque chose de plus.

Alors, il pense ?

Ici, il vaut mieux être précis avec les mots, car une partie de la confusion est une question de vocabulaire.

Si vous prenez « penser » dans un sens très large — un processus qui transforme de l’information et produit une sortie cohérente et utile —, on peut dire qu’un LLM pense. Dans ce même sens large, une calculatrice pense aussi, ou le modèle météorologique.

Mais dans le sens où nous l’employons pour une personne, non. Il ne raisonne pas : il ne construit pas une chaîne logique qu’il vérifie et dont il peut rendre compte. Il génère du texte qui a la forme d’un raisonnement — et dans bien des cas il arrive à la bonne réponse, parce que la bonne réponse est la plus probable. Et il n’est conscient de rien : il n’a pas d’expérience, il n’y a personne là qui « soit » en train de répondre.

Même les modèles de reasoning n’y changent rien. Ils génèrent une chaîne de texte intermédiaire avant de répondre, ce qui améliore les résultats, mais cette chaîne est produite par le même calcul token par token. Plus de calcul, pas une autre nature. Je le détaille dans l’article précédent.

La façon la plus honnête que j’ai trouvée de le dire est celle-ci : il ne pense pas, il calcule. Il calcule extraordinairement bien.

Ce qui change si vous le voyez ainsi

Ce n’est pas un débat philosophique sans conséquences. La façon dont vous vous représentez le système définit la façon dont vous l’utilisez.

Si vous croyez qu’il pense, vous lui déléguez votre jugement. Vous le croyez quand il paraît sûr de lui, même si l’assurance du ton n’est qu’un motif du corpus.
Si vous comprenez qu’il calcule, vous le traitez comme ce qu’il est : un outil probabiliste, très puissant, qui a souvent raison et qui échoue de façons prévisibles. Vous vérifiez ce qui compte. Le jugement reste de votre côté.

Et l’un n’enlève rien à l’autre. La prévision météo ne pense pas, et personne ne cesse de l’utiliser pour autant. Nous l’utilisons tous les jours, en sachant que ce sont des probabilités.

Si l’architecture change

Tout ce qui précède décrit l’architecture actuelle : des modèles qui prédisent le token suivant. Ce n’est pas une affirmation sur ce qui est impossible pour toujours.

Il se peut qu’apparaisse à l’avenir une autre architecture — avec un état persistant, avec un apprentissage continu, avec quelque chose que nous ne savons même pas nommer aujourd’hui — et que la question de la conscience doive être reposée, avec d’autres arguments. Penrose pense qu’il faudrait quelque chose de fondamentalement différent du calcul. D’autres pensent que non. À l’avenir, nous verrons.

Ce que l’on peut dire aujourd’hui, c’est qu’avec cette architecture, il n’y a rien qui ressente. Il y a une prévision très complexe, sur des mots au lieu de nuages.