Le token : l’unité fondamentale des grands modèles de langage

Le token : l'unité de base d'un LLM

Un morceau de texte, pas un mot

Un LLM ne lit ni des lettres ni des mots : il lit des tokens. Un token est un fragment de texte, qui peut être un mot entier, une partie de mot, un signe de ponctuation ou un nombre. Chaque token correspond à un numéro dans un dictionnaire fixé avant l'entraînement. Prenons comme prompt la phrase « Explique-moi la photosynthèse simplement. »

Le symbole _ représente une espace, rattachée au token qui suit. Les tailles de dictionnaire sont arrondies. Un grand dictionnaire tend à raccourcir les textes, mais ce n'est pas systématique : Gemma 3 (≈ 262 000 tokens) produit 10 tokens pour cette phrase, contre 9 pour Tekken (≈ 131 000). La découpe dépend aussi des langues et du corpus utilisés pour construire le dictionnaire.

Ce que révèle la comparaison

Les huit tokenizers du tableau lisent la même phrase, mais ne la découpent pas de la même façon. Ces différences montrent ce qu'est vraiment un token.

• « photosynthèse » n'a d'entrée propre dans aucun dictionnaire : ce mot rare est reconstitué à partir de trois ou quatre fragments. Tekken, GPT-4o, DeepSeek et Gemma 3 le coupent en trois (_photos, ynth, èse), tandis que GPT-4, Llama 3 et Qwen3 séparent aussi la fin en è et se.
• « simplement » forme un seul token, le caractère 'espace' compris, dans tous les tokenizers sauf celui de Mistral 7B. Son dictionnaire, plus petit, le coupe en _simple et ment.
• « Explique » est coupé en deux (Expl, ique) par tous les tokenizers, bien qu'il s'agisse d'un verbe courant : la découpe suit les statistiques du corpus, pas la grammaire.
• « -moi » reçoit trois traitements différents : un seul token chez Tekken et GPT-4o, -m et oi chez DeepSeek, GPT-4, Llama 3 et Qwen3, ou encore - et moi chez Gemma 3. Mistral 7B le découpe en trois tokens. Le point final, lui, forme toujours un token à part.
• Le total varie de 9 à 13 tokens. La taille du dictionnaire ne suffit pas à l'expliquer : Gemma 3, avec le plus grand dictionnaire du tableau, produit 10 tokens contre 9 pour Tekken.

Un token n'est donc pas une unité linguistique stable : il dépend du dictionnaire de chaque modèle. Seuls quelques points sont constants, comme l'espace rattachée au mot qui la suit, la ponctuation isolée ou la coupure de « Explique » en Expl et ique.

Pourquoi découper ainsi ?

Le dictionnaire est construit avant l'entraînement par une méthode comme le byte-pair encoding : on part des caractères, puis on fusionne de façon répétée les paires les plus fréquentes du corpus. Les séquences courantes deviennent des tokens entiers, les séquences rares restent en morceaux. C'est un compromis : un grand dictionnaire raccourcit les textes mais alourdit le modèle, un petit dictionnaire allonge les séquences à traiter.

Le même texte n'est donc pas découpé de la même façon d'un modèle à l'autre. Le tokenizer SentencePiece de Mistral 7B, dont le dictionnaire compte environ 32 000 tokens, produit 13 tokens pour la même phrase au lieu de 9. En pratique, la fenêtre de contexte et la facturation des services d'IA se mesurent en tokens, et les langues moins présentes dans le corpus en demandent souvent davantage pour dire la même chose.

Du token au nombre

Le modèle ne reçoit que la liste des numéros : 60 795, 2 508, 33 001, 1 427, 17 159, 20 602, 24 380, 37 507, 1 046. Ces numéros sont de simples adresses dans le dictionnaire et n'ont aucun sens par eux-mêmes. C'est à l'étape suivante, le plongement, que chacun est remplacé par un vecteur de milliers de nombres appris pendant l'entraînement. Le modèle ne « voit » donc jamais les lettres de « photosynthèse », ce qui explique ses difficultés à compter les lettres d'un mot.

Le plongement : du numéro au vecteur

Un numéro n'a pas de sens

Après la tokenisation, le modèle dispose d'une liste de numéros. Or le numéro 17 159, qui désigne le token _photos dans notre exemple, n'est qu'une adresse dans le dictionnaire : il n'est pas plus proche de 17 160 que de 90 000. Pour calculer, le modèle a besoin d'une représentation où la proximité reflète une ressemblance d'usage. C'est le rôle du plongement (embedding en anglais).

Une table de vecteurs appris

Le plongement est une immense table qui contient une ligne par token du dictionnaire. Chaque ligne est un vecteur, c'est-à-dire une liste de milliers de nombres. Pour passer du numéro au vecteur, le modèle lit simplement la ligne correspondante :

_photos (numéro 17 159) → [0,021 ; −0,134 ; 0,087 ; … ; 0,052]

Ces valeurs sont fictives et la liste réelle compte, par exemple, 4 096 nombres. Ils ne sont pas écrits par des humains : ce sont des coefficients ajustés pendant l'entraînement, au même titre que ceux de l'attention. Pour un dictionnaire de 131 072 tokens et des vecteurs de 4 096 nombres, cette table représente à elle seule environ 537 millions de coefficients.

Des vecteurs qui se rapprochent selon l'usage

Au fil de l'entraînement, les tokens employés dans des contextes semblables reçoivent des vecteurs voisins. Le vecteur de _simplement se retrouve ainsi plus proche de celui d'un adverbe comparable que de celui d'un nom propre. Cet espace compte des milliers de dimensions : on ne peut pas le dessiner, mais on peut y mesurer des distances et des angles.

Le vecteur d'un token est toujours le même, quel que soit son entourage. Un fragment comme ynth n'a pas de sens à lui seul : c'est l'étape suivante, l'attention, qui le met en relation avec _photos et èse pour reconstituer « photosynthèse ».

L'ordre des tokens

Comme le même token donne le même vecteur partout, il faut aussi indiquer sa position dans la phrase, car « le chat mange la souris » n'a pas le même sens que « la souris mange le chat ». Selon les modèles, cette information est ajoutée aux vecteurs ou, le plus souvent aujourd'hui, appliquée sous forme de rotation à l'intérieur des couches d'attention.

Ce que reçoit le modèle

Les 9 numéros de notre exemple deviennent ainsi 9 vecteurs, soit un tableau de 9 lignes et 4 096 colonnes, c'est-à-dire 36 864 nombres. C'est cette matrice, et non plus du texte, qui entre dans les blocs Transformer.

Seules 5 colonnes sur 4 096 sont affichées, soit 9 × 4 096 = 36 864 nombres au total. Ces valeurs sont illustratives : elles ont l'ordre de grandeur de celles d'un plongement réel (de petits nombres, positifs ou négatifs, de l'ordre du centième), sans être extraites d'un modèle précis. Dans un vrai modèle, elles ne sont pas limitées à l'intervalle de −1 à 1.