Découper le texte en tokens
Une IA ne lit ni lettre par lettre, ni mot par mot. Elle découpe le texte en tokens : un mot courant, un bout de mot rare, un signe de ponctuation. Chaque token a un numéro dans son dictionnaire, qui en compte entre 100 000 et 200 000. Écris ce que tu veux et regarde le découpage.
Le petit point devant un token, c’est l’espace. Il fait partie du token : « ·frites » et « frites » ont deux numéros différents.
Les mots rares sont coupés en morceaux. « Anticonstitutionnellement » coûte 4 tokens, « chat » un seul.
Un emoji coûte plusieurs tokens : la machine le lit comme une suite d’octets, les briques du codage informatique.
Découpage simplifié pour l’exemple. Chaque IA a son propre dictionnaire de tokens.
Deviner le token suivant
Une IA qui écrit fait une seule chose, encore et encore : donner une probabilité à chaque token possible pour la suite. Elle en tire un au sort, l’ajoute au texte, puis relit tout pour choisir le suivant. Cette boucle tourne des centaines de fois pour une seule réponse. À toi de la faire tourner. Comment elle calcule ces probabilités ? On ouvre le moteur aux étapes 4 et 5.
Même question, réponse différente : c’est le tirage au sort. Recommence et tire plusieurs fois, la phrase change.
Monte la température au maximum : les tokens improbables comme « brocoli » gagnent leur chance.
Probable n’est pas vrai
La machine calcule ce qui ressemble le plus à une suite normale. Elle ne vérifie rien. Quand une question n’a pas de bonne réponse, elle en fabrique une qui sonne juste. On appelle ça une hallucination.
1. Des morceaux
L’IA découpe le texte en tokens et remplace chacun par une liste de nombres.
2. Du contexte
Chaque token regarde ceux d’avant pour comprendre le sens de la phrase.
3. Un pari
Elle parie sur le token le plus probable, encore et encore. Probable ne veut pas dire vrai : vérifie.
Faire attention au contexte
Pour bien deviner, chaque token regarde les tokens écrits avant lui et décide lesquels comptent pour le comprendre. C’est le mécanisme d’attention, le cœur des IA actuelles. Touche un mot : plus l’arc est épais, plus il y fait attention.
Un token regarde seulement en arrière. Les mots grisés n’existent pas encore quand il est lu.
Un vrai modèle fait ce calcul des dizaines de fois en parallèle, dans chaque couche de la machine.
Ranger les mots par sens
Dernier étage du moteur : pour la machine, chaque token devient une liste de nombres : ses coordonnées dans un immense espace. Les mots qu’on trouve dans les mêmes phrases finissent rangés près les uns des autres. Ici, cet espace est aplati en 3 dimensions pour que tu puisses le visiter. Un vrai modèle en utilise des milliers.
Repère « souris » : coincée entre les animaux et le numérique. Rongeur ou souris d’ordinateur ? Seul le contexte permet de trancher : c’est l’attention, vue à l’étape 4.
Les milliers de points gris au fond, ce sont tous les autres tokens du dictionnaire.