El token: la unidad fundamental de los grandes modelos de lenguaje

El token: la unidad básica de un LLM

Un trozo de texto, no una palabra

Un LLM no lee ni letras ni palabras: lee tokens. Un token es un fragmento de texto, que puede ser una palabra entera, una parte de palabra, un signo de puntuación o un número. Cada token corresponde a un número en un diccionario fijado antes del entrenamiento. Tomemos como prompt la frase "Explique-moi la photosynthèse simplement."

El símbolo _ representa un espacio, unido al token que sigue. Los tamaños de diccionario están redondeados. Un diccionario grande tiende a acortar los textos, pero no es sistemático: Gemma 3 (≈ 262.000 tokens) produce 10 tokens para esta frase, frente a 9 de Tekken (≈ 131.000). La división también depende de las lenguas y del corpus utilizados para construir el diccionario.

Lo que revela la comparación

Los ocho tokenizers de la tabla leen la misma frase, pero no la dividen de la misma manera. Estas diferencias muestran lo que es realmente un token.

• "photosynthèse" no tiene entrada propia en ningún diccionario: esta palabra rara se reconstruye a partir de tres o cuatro fragmentos. Tekken, GPT-4o, DeepSeek y Gemma 3 la cortan en tres (_photos, ynth, èse), mientras que GPT-4, Llama 3 y Qwen3 separan además la terminación en è y se.
• "simplement" forma un solo token, incluido el carácter de espacio, en todos los tokenizers excepto el de Mistral 7B. Su diccionario, más pequeño, lo corta en _simple y ment.
• "Explique" se corta en dos (Expl, ique) por todos los tokenizers, aunque se trate de un verbo común: la división sigue las estadísticas del corpus, no la gramática.
• "-moi" recibe tres tratamientos diferentes: un solo token en Tekken y GPT-4o, -m y oi en DeepSeek, GPT-4, Llama 3 y Qwen3, o - y moi en Gemma 3. Mistral 7B lo divide en tres tokens. El punto final, por su parte, siempre forma un token aparte.
• El total varía de 9 a 13 tokens. El tamaño del diccionario no basta para explicarlo: Gemma 3, con el mayor diccionario de la tabla, produce 10 tokens frente a 9 de Tekken.

Un token no es, por tanto, una unidad lingüística estable: depende del diccionario de cada modelo. Solo algunos puntos son constantes, como el espacio unido a la palabra que sigue, la puntuación aislada o el corte de "Explique" en Expl e ique.

¿Por qué dividir así?

El diccionario se construye antes del entrenamiento mediante un método como el byte-pair encoding: se parte de los caracteres, y luego se fusionan repetidamente los pares más frecuentes del corpus. Las secuencias comunes se convierten en tokens enteros, las secuencias raras permanecen en trozos. Es un compromiso: un diccionario grande acorta los textos pero recarga el modelo, un diccionario pequeño alarga las secuencias a tratar.

El mismo texto no se divide, por tanto, de la misma manera de un modelo a otro. El tokenizer SentencePiece de Mistral 7B, cuyo diccionario cuenta con unos 32.000 tokens, produce 13 tokens para la misma frase en lugar de 9. En la práctica, la ventana de contexto y la facturación de los servicios de IA se miden en tokens, y las lenguas menos presentes en el corpus suelen necesitar más para decir lo mismo.

Del token al número

El modelo solo recibe la lista de números: 60.795, 2.508, 33.001, 1.427, 17.159, 20.602, 24.380, 37.507, 1.046. Estos números son simples direcciones en el diccionario y no tienen ningún sentido por sí mismos. Es en la etapa siguiente, el embedding, donde cada uno es sustituido por un vector de miles de números aprendidos durante el entrenamiento. El modelo nunca "ve" por tanto las letras de "photosynthèse", lo que explica sus dificultades para contar las letras de una palabra.

El embedding: del número al vector

Un número no tiene sentido

Tras la tokenización, el modelo dispone de una lista de números. Pero el número 17.159, que designa el token _photos en nuestro ejemplo, no es más que una dirección en el diccionario: no está más cerca de 17.160 que de 90.000. Para calcular, el modelo necesita una representación en la que la proximidad refleje una semejanza de uso. Es el papel del embedding.

Una tabla de vectores aprendidos

El embedding es una inmensa tabla que contiene una fila por token del diccionario. Cada fila es un vector, es decir, una lista de miles de números. Para pasar del número al vector, el modelo simplemente lee la fila correspondiente:

_photos (número 17.159) → [0,021 ; −0,134 ; 0,087 ; … ; 0,052]

Estos valores son ficticios y la lista real cuenta, por ejemplo, con 4.096 números. No están escritos por humanos: son coeficientes ajustados durante el entrenamiento, igual que los de la atención. Para un diccionario de 131.072 tokens y vectores de 4.096 números, esta tabla representa por sí sola unos 537 millones de coeficientes.

Vectores que se acercan según el uso

A lo largo del entrenamiento, los tokens empleados en contextos similares reciben vectores vecinos. El vector de _simplement se encuentra así más cerca del de un adverbio comparable que del de un nombre propio. Este espacio cuenta con miles de dimensiones: no se puede dibujar, pero se pueden medir en él distancias y ángulos.

El vector de un token es siempre el mismo, cualquiera que sea su entorno. Un fragmento como ynth no tiene sentido por sí solo: es la etapa siguiente, la atención, la que lo pone en relación con _photos y èse para reconstituir "photosynthèse".

El orden de los tokens

Como el mismo token da el mismo vector en todas partes, hay que indicar también su posición en la frase, pues "el gato se come al ratón" no significa lo mismo que "el ratón se come al gato". Según los modelos, esta información se añade a los vectores o, más a menudo hoy en día, se aplica en forma de rotación en el interior de las capas de atención.

Lo que recibe el modelo

Los 9 números de nuestro ejemplo se convierten así en 9 vectores, es decir, una tabla de 9 filas y 4.096 columnas, esto es, 36.864 números. Es esta matriz, y ya no el texto, la que entra en los bloques Transformer.

Solo se muestran 5 columnas de 4.096, es decir, 9 × 4.096 = 36.864 números en total. Estos valores son ilustrativos: tienen el orden de magnitud de los de un embedding real (números pequeños, positivos o negativos, del orden de una centésima), sin estar extraídos de un modelo preciso. En un modelo real, no están limitados al intervalo de −1 a 1.