Lors d’un des cours, on m’a demandé comment un LLM génère un token. La réponse est intéressante car elle montre que, derrière une conversation apparemment naturelle, se déploie un processus entièrement mathématique.
Pour comprendre ce qui se passe « sous le capot » d’un modèle de langage, il faut, un instant, oublier les mots et penser en termes de géométrie. Un LLM ne manipule pas le langage comme nous le faisons. Lors de l’inférence, il opère sur des représentations vectorielles apprises pendant l’entraînement, en effectuant des transformations mathématiques successives qui préservent les relations statistiques entre les tokens.
La naissance d’un seul token, qui peut être un mot entier, une partie de celui-ci ou même un signe de ponctuation, peut être comprise comme une séquence de six étapes.
La première étape est l’embedding, ou la traduction vers l’espace vectoriel. Le texte saisi est d’abord décomposé en tokens. Chaque token est converti en une longue liste de nombres réels, formant un vecteur qui représente sa position dans un espace de milliers de dimensions. Pendant l’entraînement, le modèle apprend une représentation dans laquelle les tokens qui apparaissent habituellement dans des contextes similaires tendent à occuper des régions proches de cet espace vectoriel. Il n’existe pas une dimension nommée « économie », une autre appelée « chat » ou « Python ». La signification est distribuée simultanément sur des milliers de dimensions. Ce vecteur initial n’est qu’un point de départ. À mesure qu’il traverse les couches du Transformer, il est continuellement transformé et enrichi par le contexte.
La seconde étape est le mécanisme d’attention. Désormais, le modèle doit comprendre le contexte de la séquence. Pour ce faire, chaque token génère trois représentations internes connues sous les noms de Query, Key et Value. Les Queries sont comparées aux Keys des autres tokens par des produits scalaires, produisant des poids qui indiquent dans quelle mesure chaque mot doit influencer les autres. Plus l’alignement est fort, plus son influence tend à être grande.
Le résultat est que chaque représentation intègre, dans des proportions différentes, des informations provenant des autres tokens de la phrase. Ainsi, le mot « banque » se rapproche du contexte financier quand il apparaît près de « argent » ou du contexte d’un siège quand il se situe à côté de « place ». C’est précisément cette capacité à réinterpréter continuellement la signification d’un token en fonction du contexte qui a rendu l’architecture Transformer si révolutionnaire.
Vient ensuite la troisième étape : le réseau feed-forward. Après avoir intégré le contexte, ces représentations traversent plusieurs couches de traitement. À chacune d’elles, les vecteurs sont transformés par de grandes matrices de poids apprises au cours de l’entraînement et par des fonctions mathématiques non linéaires. De plus, les connexions résiduelles entrent en jeu, préservant une partie de l’information déjà construite et facilitant l’entraînement de réseaux extrêmement profonds. Chaque couche produit une représentation interne de plus en plus riche et plus adaptée pour prévoir le prochain token.
Tout ce traitement génère un nouveau vecteur qui passe à la quatrième étape : les logits. À ce stade, le modèle doit revenir de l’espace vectoriel à son vocabulaire. Pour cela, il projette cette représentation finale sur l’ensemble des tokens qu’il connaît. Le résultat est une liste de scores, appelés logits. Chaque token reçoit un score indiquant dans quelle mesure il est compatible avec le contexte traité jusqu’à cet instant. Ces valeurs ne représentent pas encore des probabilités ; ce ne sont que des mesures relatives de préférence.
La cinquième étape est l’application de Softmax. Avant elle, les logits peuvent être ajustés par des paramètres tels que la température. Des températures plus basses rendent la distribution plus concentrée sur les tokens les plus probables, produisant des réponses plus prévisibles. Des températures plus élevées répartissent mieux les probabilités, augmentant la diversité des réponses.
Puis la fonction Softmax transforme les logits en une distribution de probabilités. Elle applique l’exponentielle aux scores et ensuite les normalise, faisant que de petites différences entre logits se traduisent par des écarts plus importants dans les probabilités finales. Le résultat est une distribution dont la somme des probabilités est exactement égale à 100 %.
Des filtres tels que Top-K et Top-P peuvent également être appliqués, limitant le choix aux candidats considérés comme les plus plausibles et réduisant la probabilité de sélectionner des tokens peu compatibles avec le contexte.
Enfin, nous arrivons à sixième étape : l’échantillonnage. Selon la configuration choisie, le modèle peut simplement sélectionner le token le plus probable ou effectuer un échantillonnage basé sur la distribution de probabilités calculée. Le token choisi est alors ajouté à la fin du texte et tout le processus recommence. Le nouveau token fait alors partie du contexte, influençant la génération du suivant. Ce cycle se répète des dizaines, voire des centaines de fois, jusqu’à obtenir une réponse complète.
L’aspect le plus curieux est que, à aucun moment, le modèle ne consulte des règles explicites de grammaire, de logique ou de connaissances du monde. Cela ne signifie pas que ces propriétés soient absentes. Elles émergent des représentations statistiques apprises au cours de l’entraînement. En apprenant de manière répétée à prévoir le prochain token dans d’énormes volumes de texte, le modèle construit des représentations internes extrêmement riches de la langue, des concepts et des schémas présents dans les données.
Au final, chaque échange avec un LLM résulte d’une quantité gigantesque d’opérations mathématiques exécutées en quelques fractions de seconde. Pour produire un seul token, un modèle de pointe effectue un nombre extrêmement élevé d’opérations arithmétiques, souvent de l’ordre de dizaines ou de centaines de milliards de FLOPs, selon l’architecture, le nombre de paramètres effectivement utilisés et les optimisations d’inférence. Dans une réponse comportant quelques centaines de tokens, le volume total peut facilement atteindre des dizaines ou des centaines de trillions de calculs. Tout cela se produit en quelques secondes grâce au traitement parallèle de milliers de GPU.
Le résultat est si convaincant que l’on a fréquemment l’impression d’être en présence d’un système qui raisonne. Peut-être que c’est là l’aspect le plus fascinant des LLM. À partir d’opérations relativement simples de l’algèbre linéaire — multiplications de matrices, produits scalaires, projections dans des espaces vectoriels et fonctions d’activation — répétées des milliards de fois sur d’énormes volumes de données, émerge un comportement que nous percevons comme du langage, des connaissances et même du raisonnement. Il n’existe pas de module interne chargé de « comprendre » le texte. Ce qui existe, c’est une suite gigantesque de transformations mathématiques qui préservent et affinent les relations statistiques apprises pendant l’entraînement. C’est précisément cette combinaison entre échelle, optimisation et représentation distribuée qui donne naissance à la capacité impressionnante de ces modèles à produire des réponses qui nous semblent intelligentes.
