Das Token: die grundlegende Einheit großer Sprachmodelle

Das Token: die Grundeinheit eines LLM

Ein Stück Text, kein Wort

Ein LLM liest weder Buchstaben noch Wörter: es liest Tokens. Ein Token ist ein Textfragment, das ein ganzes Wort, ein Wortteil, ein Satzzeichen oder eine Zahl sein kann. Jedes Token entspricht einer Nummer in einem vor dem Training festgelegten Wörterbuch. Nehmen wir als Prompt den Satz „Explique-moi la photosynthèse simplement."

Das Symbol _ steht für ein Leerzeichen, das an das folgende Token angehängt ist. Die Wörterbuchgrößen sind gerundet. Ein großes Wörterbuch neigt dazu, Texte zu verkürzen, aber das ist nicht systematisch: Gemma 3 (≈ 262.000 Tokens) erzeugt 10 Tokens für diesen Satz, gegenüber 9 bei Tekken (≈ 131.000). Die Zerlegung hängt auch von den Sprachen und dem Korpus ab, die zum Aufbau des Wörterbuchs verwendet wurden.

Was der Vergleich verrät

Die acht Tokenizer der Tabelle lesen denselben Satz, zerlegen ihn aber nicht auf dieselbe Weise. Diese Unterschiede zeigen, was ein Token wirklich ist.

• „photosynthèse" hat in keinem Wörterbuch einen eigenen Eintrag: dieses seltene Wort wird aus drei oder vier Fragmenten rekonstruiert. Tekken, GPT-4o, DeepSeek und Gemma 3 zerlegen es in drei (_photos, ynth, èse), während GPT-4, Llama 3 und Qwen3 auch die Endung in è und se trennen.
• „simplement" bildet in allen Tokenizern außer dem von Mistral 7B ein einziges Token, einschließlich des Leerzeichens. Dessen kleineres Wörterbuch zerlegt es in _simple und ment.
• „Explique" wird von allen Tokenizern in zwei Teile zerlegt (Expl, ique), obwohl es sich um ein häufiges Verb handelt: die Zerlegung folgt den Statistiken des Korpus, nicht der Grammatik.
• „-moi" erfährt drei verschiedene Behandlungen: ein einziges Token bei Tekken und GPT-4o, -m und oi bei DeepSeek, GPT-4, Llama 3 und Qwen3, oder - und moi bei Gemma 3. Mistral 7B zerlegt es in drei Tokens. Der Schlusspunkt bildet dagegen immer ein eigenes Token.
• Die Gesamtzahl schwankt zwischen 9 und 13 Tokens. Die Größe des Wörterbuchs allein erklärt das nicht: Gemma 3, mit dem größten Wörterbuch der Tabelle, erzeugt 10 Tokens gegenüber 9 bei Tekken.

Ein Token ist also keine stabile sprachliche Einheit: es hängt vom Wörterbuch des jeweiligen Modells ab. Nur wenige Punkte sind konstant, wie das an das folgende Wort angehängte Leerzeichen, isolierte Satzzeichen oder die Zerlegung von „Explique" in Expl und ique.

Warum diese Zerlegung?

Das Wörterbuch wird vor dem Training durch ein Verfahren wie das Byte-Pair-Encoding aufgebaut: man geht von den Zeichen aus und verschmilzt dann wiederholt die häufigsten Paare des Korpus. Häufige Sequenzen werden zu ganzen Tokens, seltene Sequenzen bleiben in Stücken. Es ist ein Kompromiss: ein großes Wörterbuch verkürzt die Texte, belastet aber das Modell, ein kleines Wörterbuch verlängert die zu verarbeitenden Sequenzen.

Derselbe Text wird also von einem Modell zum anderen nicht gleich zerlegt. Der SentencePiece-Tokenizer von Mistral 7B, dessen Wörterbuch etwa 32.000 Tokens umfasst, erzeugt 13 Tokens für denselben Satz statt 9. In der Praxis werden das Kontextfenster und die Abrechnung von KI-Diensten in Tokens gemessen, und Sprachen, die im Korpus weniger vertreten sind, benötigen oft mehr davon, um dasselbe zu sagen.

Vom Token zur Nummer

Das Modell erhält nur die Liste der Nummern: 60.795, 2.508, 33.001, 1.427, 17.159, 20.602, 24.380, 37.507, 1.046. Diese Nummern sind einfache Adressen im Wörterbuch und haben für sich genommen keine Bedeutung. Erst im nächsten Schritt, dem Embedding, wird jede durch einen Vektor aus Tausenden von während des Trainings erlernten Zahlen ersetzt. Das Modell „sieht" also niemals die Buchstaben von „photosynthèse", was seine Schwierigkeiten erklärt, die Buchstaben eines Wortes zu zählen.

Das Embedding: von der Nummer zum Vektor

Eine Nummer hat keine Bedeutung

Nach der Tokenisierung verfügt das Modell über eine Liste von Nummern. Die Nummer 17.159, die in unserem Beispiel das Token _photos bezeichnet, ist jedoch nur eine Adresse im Wörterbuch: sie ist nicht näher an 17.160 als an 90.000. Um zu rechnen, braucht das Modell eine Darstellung, in der die Nähe eine Ähnlichkeit der Verwendung widerspiegelt. Das ist die Rolle des Embeddings.

Eine Tabelle erlernter Vektoren

Das Embedding ist eine riesige Tabelle, die eine Zeile pro Token des Wörterbuchs enthält. Jede Zeile ist ein Vektor, d. h. eine Liste von Tausenden von Zahlen. Um von der Nummer zum Vektor zu gelangen, liest das Modell einfach die entsprechende Zeile:

_photos (Nummer 17.159) → [0,021 ; −0,134 ; 0,087 ; … ; 0,052]

Diese Werte sind fiktiv und die reale Liste umfasst beispielsweise 4.096 Zahlen. Sie sind nicht von Menschen geschrieben: es sind Koeffizienten, die während des Trainings angepasst werden, genau wie die der Attention. Für ein Wörterbuch mit 131.072 Tokens und Vektoren mit 4.096 Zahlen repräsentiert diese Tabelle allein etwa 537 Millionen Koeffizienten.

Vektoren, die sich je nach Verwendung annähern

Im Laufe des Trainings erhalten Tokens, die in ähnlichen Kontexten verwendet werden, benachbarte Vektoren. Der Vektor von _simplement kommt so einem vergleichbaren Adverb näher als einem Eigennamen. Dieser Raum hat Tausende von Dimensionen: man kann ihn nicht zeichnen, aber man kann darin Abstände und Winkel messen.

Der Vektor eines Tokens ist immer derselbe, unabhängig von seiner Umgebung. Ein Fragment wie ynth hat für sich genommen keine Bedeutung: es ist der nächste Schritt, die Attention, die es mit _photos und èse in Beziehung setzt, um „photosynthèse" zu rekonstruieren.

Die Reihenfolge der Tokens

Da dasselbe Token überall denselben Vektor ergibt, muss auch seine Position im Satz angegeben werden, denn „die Katze frisst die Maus" bedeutet nicht dasselbe wie „die Maus frisst die Katze". Je nach Modell werden diese Informationen zu den Vektoren hinzugefügt oder, heute meist, in Form einer Rotation innerhalb der Attention-Schichten angewendet.

Was das Modell erhält

Die 9 Nummern unseres Beispiels werden so zu 9 Vektoren, d. h. einer Tabelle mit 9 Zeilen und 4.096 Spalten, also 36.864 Zahlen. Diese Matrix, und nicht mehr der Text, gelangt in die Transformer-Blöcke.

Es werden nur 5 Spalten von 4.096 angezeigt, d. h. 9 × 4.096 = 36.864 Zahlen insgesamt. Diese Werte sind illustrativ: sie haben die Größenordnung derer eines realen Embeddings (kleine Zahlen, positiv oder negativ, in der Größenordnung eines Hundertstels), ohne aus einem bestimmten Modell extrahiert zu sein. In einem realen Modell sind sie nicht auf das Intervall von −1 bis 1 beschränkt.