O token: a unidade fundamental dos grandes modelos de linguagem

O token: a unidade básica de um LLM

Um pedaço de texto, não uma palavra

Um LLM não lê nem letras nem palavras: lê tokens. Um token é um fragmento de texto, que pode ser uma palavra inteira, uma parte de palavra, um sinal de pontuação ou um número. Cada token corresponde a um número num dicionário fixado antes do treino. Tomemos como prompt a frase "Explique-moi la photosynthèse simplement."

O símbolo _ representa um espaço, ligado ao token que se segue. Os tamanhos de dicionário estão arredondados. Um dicionário grande tende a encurtar os textos, mas não é sistemático: o Gemma 3 (≈ 262 000 tokens) produz 10 tokens para esta frase, contra 9 do Tekken (≈ 131 000). A divisão depende também das línguas e do corpus utilizados para construir o dicionário.

O que revela a comparação

Os oito tokenizers da tabela leem a mesma frase, mas não a dividem da mesma maneira. Estas diferenças mostram o que é realmente um token.

• "photosynthèse" não tem entrada própria em nenhum dicionário: esta palavra rara é reconstruída a partir de três ou quatro fragmentos. Tekken, GPT-4o, DeepSeek e Gemma 3 cortam-na em três (_photos, ynth, èse), enquanto GPT-4, Llama 3 e Qwen3 separam também a terminação em è e se.
• "simplement" forma um único token, incluindo o caráter de espaço, em todos os tokenizers exceto o da Mistral 7B. O seu dicionário, mais pequeno, corta-o em _simple e ment.
• "Explique" é cortado em dois (Expl, ique) por todos os tokenizers, embora se trate de um verbo comum: a divisão segue as estatísticas do corpus, não a gramática.
• "-moi" recebe três tratamentos diferentes: um único token no Tekken e no GPT-4o, -m e oi no DeepSeek, GPT-4, Llama 3 e Qwen3, ou ainda - e moi no Gemma 3. A Mistral 7B divide-o em três tokens. O ponto final, por sua vez, forma sempre um token à parte.
• O total varia de 9 a 13 tokens. O tamanho do dicionário não basta para o explicar: o Gemma 3, com o maior dicionário da tabela, produz 10 tokens contra 9 do Tekken.

Um token não é, portanto, uma unidade linguística estável: depende do dicionário de cada modelo. Apenas alguns pontos são constantes, como o espaço ligado à palavra que se segue, a pontuação isolada ou o corte de "Explique" em Expl e ique.

Por que dividir assim?

O dicionário é construído antes do treino por um método como o byte-pair encoding: parte-se dos caracteres e depois fundem-se repetidamente os pares mais frequentes do corpus. As sequências comuns tornam-se tokens inteiros, as sequências raras ficam em pedaços. É um compromisso: um dicionário grande encurta os textos mas sobrecarrega o modelo, um dicionário pequeno alonga as sequências a tratar.

O mesmo texto não é, portanto, dividido da mesma maneira de um modelo para outro. O tokenizer SentencePiece da Mistral 7B, cujo dicionário conta com cerca de 32 000 tokens, produz 13 tokens para a mesma frase em vez de 9. Na prática, a janela de contexto e a faturação dos serviços de IA medem-se em tokens, e as línguas menos presentes no corpus exigem muitas vezes mais para dizer o mesmo.

Do token ao número

O modelo recebe apenas a lista de números: 60 795, 2 508, 33 001, 1 427, 17 159, 20 602, 24 380, 37 507, 1 046. Estes números são simples endereços no dicionário e não têm qualquer sentido por si mesmos. É na etapa seguinte, o embedding, que cada um é substituído por um vetor de milhares de números aprendidos durante o treino. O modelo nunca "vê" portanto as letras de "photosynthèse", o que explica as suas dificuldades em contar as letras de uma palavra.

O embedding: do número ao vetor

Um número não tem sentido

Após a tokenização, o modelo dispõe de uma lista de números. Ora, o número 17 159, que designa o token _photos no nosso exemplo, não é mais do que um endereço no dicionário: não está mais próximo de 17 160 do que de 90 000. Para calcular, o modelo precisa de uma representação em que a proximidade reflita uma semelhança de uso. É o papel do embedding.

Uma tabela de vetores aprendidos

O embedding é uma imensa tabela que contém uma linha por token do dicionário. Cada linha é um vetor, isto é, uma lista de milhares de números. Para passar do número ao vetor, o modelo lê simplesmente a linha correspondente:

_photos (número 17 159) → [0,021 ; −0,134 ; 0,087 ; … ; 0,052]

Estes valores são fictícios e a lista real conta, por exemplo, com 4 096 números. Não são escritos por humanos: são coeficientes ajustados durante o treino, tal como os da atenção. Para um dicionário de 131 072 tokens e vetores de 4 096 números, esta tabela representa por si só cerca de 537 milhões de coeficientes.

Vetores que se aproximam segundo o uso

Ao longo do treino, os tokens empregados em contextos semelhantes recebem vetores vizinhos. O vetor de _simplement encontra-se assim mais próximo do de um advérbio comparável do que do de um nome próprio. Este espaço conta com milhares de dimensões: não se pode desenhar, mas podem medir-se nele distâncias e ângulos.

O vetor de um token é sempre o mesmo, qualquer que seja o seu ambiente. Um fragmento como ynth não tem sentido por si só: é a etapa seguinte, a atenção, que o põe em relação com _photos e èse para reconstituir "photosynthèse".

A ordem dos tokens

Como o mesmo token dá o mesmo vetor em toda a parte, é preciso indicar também a sua posição na frase, pois "o gato come o rato" não significa o mesmo que "o rato come o gato". Segundo os modelos, esta informação é adicionada aos vetores ou, mais frequentemente hoje em dia, aplicada sob a forma de rotação no interior das camadas de atenção.

O que recebe o modelo

Os 9 números do nosso exemplo tornam-se assim 9 vetores, isto é, uma tabela de 9 linhas e 4 096 colunas, ou seja, 36 864 números. É esta matriz, e já não o texto, que entra nos blocos Transformer.

Apenas 5 colunas de 4 096 são apresentadas, ou seja, 9 × 4 096 = 36 864 números no total. Estes valores são ilustrativos: têm a ordem de grandeza dos de um embedding real (números pequenos, positivos ou negativos, da ordem do centésimo), sem serem extraídos de um modelo preciso. Num modelo real, não estão limitados ao intervalo de −1 a 1.