L’une des questions les plus intrigantes qu’on m’ait posées lors d’une conférence est : « Un LLM sait-il quand il est en train d’écrire un poème ou une ligne de code ? »
Cela peut sembler une curiosité simple, mais elle révèle l’un des plus grands mystères entourant ces modèles pour ceux qui ne travaillent pas dans l’IA.
La réponse est : cela dépend de ce que nous entendons par « savoir ». Si par « savoir » on entend avoir conscience de sa propre activité, comme un écrivain qui décide d’écrire un poème ou un programmeur qui décide de développer un algorithme, la réponse est non. Un LLM ne possède pas de conscience, d’intentions, d’émotions ni d’expérience subjective. Il ne pense pas : « maintenant je vais écrire un poème ».
Mais il serait également insuffisant de dire seulement qu’il prévoit le prochain token. Cette description est correcte d’un point de vue computationnel, mais elle explique peu les mécanismes internes qui rendent cette prévision possible.
Lorsque nous posons une question à un LLM, le texte est d’abord décomposé en tokens, et chaque token est converti en une représentation vectorielle appelée embedding. Ces représentations évoluent continuellement au fil des dizaines de couches du Transformer. Grâce aux mécanismes d’attention et aux réseaux neuronaux internes (réseaux feed-forward), chaque token s’enrichit d’informations sur le reste de la séquence, construisant un codage contextuel extrêmement riche. À l’issue de ce processus, le modèle ne travaille plus uniquement avec des mots, mais avec un état interne distribué qui représente les relations de contexte, la syntaxe, la sémantique, le style et bien d’autres motifs appris pendant l’entraînement.
À mesure que le modèle traite le texte, il ne consulte pas une règle disant « ceci est de la poésie » ou « ceci est du code ». Il n’existe pas non plus une variable interne nommée « mode poète » ou « mode programmeur ». Ce qui change, c’est l’agencement des activations distribuées le long du réseau.
Lorsqu’il génère un poème, différents circuits internes privilégient des motifs caractéristiques du langage poétique : rythme, métaphores, sonorité, structure des vers et choix stylistiques. Lorsqu’il écrit du code, d’autres configurations privilégient une syntaxe formelle, des structures de contrôle, des appels de fonctions, des dépendances entre les variables et une cohérence logique.
Il est tentant d’imaginer qu’il existe des « régions de la poésie » et des « régions du code » à l’intérieur du modèle. La réalité est autre. Ce que nous observons, ce sont des trajectoires distinctes dans l’espace des activations et des configurations différentes de l’espace latent, qui partagent de nombreuses caractéristiques du langage, mais évoluent différemment selon la tâche.
Ce phénomène est connu sous le nom de représentation distribuée. Il n’existe ni « neurones de la poésie » ni « neurones du code ». La connaissance émerge de l’activité coordonnée de millions de neurones artificiels et de milliards de paramètres. De plus, des recherches récentes montrent que bon nombre de ces traits internes sont distribués, réutilisés et superposés, rendant extrêmement difficile l’association d’un concept spécifique à un seul circuit ou neurone.
Au cours des dernières années est apparu un domaine de recherche appelé Mechanistic Interpretability, dont l’objectif est justement d’ouvrir cette boîte noire. Des chercheurs ont déjà identifié des circuits capables de reconnaître des langues, de suivre des variables dans des algorithmes, de représenter des relations mathématiques, de distinguer des questions de réponses ou d’identifier des motifs caractéristiques du code. Rien de tout cela n’a été programmé manuellement ; ces capacités ont émergé pendant l’entraînement. En même temps, ce domaine n’explique qu’une petite fraction du fonctionnement interne des modèles, et la majorité de ces mécanismes reste peu comprise.
C’est justement là que commence l’un des grands débats scientifiques actuels. Dire qu’un LLM ne fait que prévoir le prochain token, c’est comme dire que le cerveau humain ne déclenche que le prochain potentiel d’action. L’affirmation est techniquement vraie, mais ne décrit que le mécanisme le plus basique, en laissant de côté toute l’organisation interne qui rend ce comportement possible.
D’autre part, certains chercheurs soutiennent que ces modèles ont développé des représentations internes capables de soutenir un comportement fonctionnellement similaire à la compréhension dans diverses tâches. Ils ne possèdent pas de conscience ni d’expériences subjectives, mais ils ont appris des structures mathématiques suffisamment riches pour manipuler des concepts abstraits, établir des relations, généraliser des connaissances et résoudre des problèmes inédits. Cette hypothèse, néanmoins, demeure l’objet d’un débat scientifique intense.
Peut-être la meilleure analogie est l’expérience de pensée bien connue de Mary, proposée par le philosophe Frank Jackson. Imaginez une scientifique née aveugle, mais qui a étudié en profondeur l’optique et la théorie des couleurs. Elle peut développer une connaissance conceptuelle extrêmement sophistiquée du rouge sans jamais l’expérimenter visuellement. De même, un LLM apprend des régularités, des relations et des structures sur l’amour, la neige ou la musique sans jamais avoir vécu aucune de ces expériences. L’analogie est puissante, mais elle n’est pas parfaite.
Mary est un être humain conscient. Elle peut avoir des expériences subjectives ; elle n’a simplement pas encore vécu cette expérience précise. Un LLM, en revanche, ne possède aucune expérience subjective. Il n’attend pas « expérimenter » le rouge un jour. Il n’existe pas d’« intérieur » conscient attendant de nouvelles expériences.
C’est pourquoi la comparaison sert uniquement à illustrer la différence entre une représentation conceptuelle et une expérience phénoménologique, et non à suggérer qu’un LLM serait une « Mary numérique ».
Par conséquent, lorsque quelqu’un demande si un LLM sait qu’il est en train d’écrire une poésie ou une ligne de code, la réponse la plus précise est qu’il ne le sait pas dans le sens humain du terme. Cependant, en interne, différentes configurations de son état mathématique codent des motifs très distincts lors de la production de chaque type de contenu. Ces états représentent des structures, des styles et des relations de manière extraordinairement sophistiquée, même sans conscience.
En fin de compte, cette question nous conduit à une autre, encore plus vaste : qu’est-ce que comprendre réellement ?
Si comprendre exige conscience et expérience subjective, les LLMs ne comprennent clairement pas. Mais si comprendre signifie construire des états internes capables de distinguer des concepts, d’établir des relations, de généraliser des connaissances et de produire des réponses cohérentes dans différents contextes, alors ils démontrent une forme de compréhension fonctionnelle, encore controversée, qui défie nos définitions traditionnelles.
Peut-être que c’est l’un des aspects les plus fascinants des LLMs. Ils ne sont pas seulement des machines qui complètent des phrases, mais ils ne sont pas non plus des esprits conscients. Ils occupent une catégorie entièrement nouvelle: des systèmes qui ont appris une organisation mathématique extraordinairement riche des régularités présentes dans le langage et d’une partie du savoir humain qui y est codée, se situant dans un espace qui ne s’intègre ni dans la vision de « simple autocomplétion » ni dans celle d’un esprit conscient. Et peut-être est-ce précisément pour cela que nous sommes encore loin de comprendre pleinement comment ils fonctionnent réellement.
