トークン：大規模言語モデルの基本単位

トークン：LLMの基本単位

単語ではなく、テキストの断片

LLMは文字も単語も読みません：トークンを読みます。 トークンとはテキストの断片であり、単語全体、単語の一部、句読点、または数字である場合があります。 各トークンは、トレーニング前に固定された辞書内の番号に対応します。 プロンプトとして「Explique-moi la photosynthèse simplement.」という文を考えてみましょう。

記号 _ はスペースを表し、後に続くトークンに付加されます。辞書のサイズは丸められています。大きな辞書はテキストを短くする傾向がありますが、常にそうとは限りません：Gemma 3（≈ 262,000トークン）はこの文に対して10トークンを生成し、Tekken（≈ 131,000）の9トークンに対して多くなっています。分割は、辞書の構築に使用された言語とコーパスにも依存します。

比較が明らかにするもの

表の8つのトークナイザーは同じ文を読みますが、同じようには分割しません。これらの違いは、トークンが実際に何であるかを示しています。

• 「photosynthèse」はどの辞書にも独自のエントリを持ちません：この珍しい単語は3つまたは4つの断片から再構成されます。Tekken、GPT-4o、DeepSeek、Gemma 3は3つに分割し（_photos、ynth、èse）、GPT-4、Llama 3、Qwen3は語尾をさらにèとseに分けます。
• 「simplement」は、Mistral 7Bのものを除くすべてのトークナイザーで、スペース文字を含めて1つのトークンを形成します。より小さな辞書を持つMistral 7Bは、それを_simpleとmentに分割します。
• 「Explique」は、一般的な動詞であるにもかかわらず、すべてのトークナイザーによって2つに分割されます（Expl、ique）：分割は文法ではなく、コーパスの統計に従います。
• 「-moi」は3つの異なる処理を受けます：TekkenとGPT-4oでは1つのトークン、DeepSeek、GPT-4、Llama 3、Qwen3では-mとoi、Gemma 3では-とmoi。Mistral 7Bはそれを3つのトークンに分割します。最後のピリオドは常に別のトークンを形成します。
• 合計は9から13トークンの間で変動します。辞書のサイズだけではこれを説明できません：表の中で最大の辞書を持つGemma 3は、Tekkenの9に対して10トークンを生成します。

したがって、トークンは安定した言語単位ではありません：各モデルの辞書に依存します。後に続く単語に付加されるスペース、孤立した句読点、「Explique」のExplとiqueへの分割など、いくつかの点だけが一定です。

なぜこのように分割するのか？

辞書はトレーニング前にバイトペアエンコーディングなどの方法で構築されます：文字から始めて、コーパス内で最も頻繁なペアを繰り返し融合します。一般的なシーケンスはトークン全体になり、珍しいシーケンスは断片のまま残ります。これはトレードオフです：大きな辞書はテキストを短くしますがモデルを重くし、小さな辞書は処理するシーケンスを長くします。

したがって、同じテキストでもモデルによって分割が異なります。辞書が約32,000トークンであるMistral 7BのSentencePieceトークナイザーは、同じ文に対して9ではなく13トークンを生成します。実際には、コンテキストウィンドウとAIサービスの課金はトークンで測定され、コーパスにあまり含まれていない言語は同じことを言うのにより多くのトークンを必要とすることがよくあります。

トークンから番号へ

モデルが受け取るのは番号のリストだけです：60,795、2,508、33,001、1,427、17,159、20,602、24,380、37,507、1,046。これらの番号は辞書内の単なるアドレスであり、それ自体には何の意味もありません。次のステップである埋め込みで、それぞれがトレーニング中に学習された数千の数のベクトルに置き換えられます。したがって、モデルは「photosynthèse」の文字を決して「見る」ことはなく、これが単語の文字を数えるのが苦手な理由を説明しています。

埋め込み：番号からベクトルへ

番号には意味がない

トークン化の後、モデルは番号のリストを持っています。しかし、私たちの例でトークン_photosを指定する番号17,159は、辞書内の単なるアドレスです：17,160に近いわけでも、90,000に近いわけでもありません。計算するために、モデルは近さが使用の類似性を反映する表現を必要とします。これが埋め込みの役割です。

学習されたベクトルのテーブル

埋め込みは、辞書のトークンごとに1行を含む巨大なテーブルです。各行はベクトル、つまり数千の数のリストです。番号からベクトルへ移行するには、モデルは対応する行を読むだけです：

_photos（番号17,159）→ [0.021 ; −0.134 ; 0.087 ; … ; 0.052]

これらの値は架空のものであり、実際のリストはたとえば4,096の数を含みます。それらは人間によって書かれたものではありません：アテンションの係数と同様に、トレーニング中に調整された係数です。131,072トークンの辞書と4,096の数のベクトルの場合、このテーブルだけで約5億3,700万の係数を表します。

使用に応じて近づくベクトル

トレーニングの過程で、類似したコンテキストで使用されるトークンは隣接するベクトルを受け取ります。したがって、_simplementのベクトルは、固有名詞よりも比較可能な副詞のベクトルに近くなります。この空間は数千の次元を持ちます：描くことはできませんが、その中で距離や角度を測定することはできます。

トークンのベクトルは、その周囲が何であれ常に同じです。ynthのような断片はそれ自体では意味を持ちません：次のステップであるアテンションが、それを_photosやèseと関連付けて「photosynthèse」を再構成します。

トークンの順序

同じトークンがどこでも同じベクトルを与えるため、文中での位置も示す必要があります。なぜなら「猫がネズミを食べる」は「ネズミが猫を食べる」と同じ意味ではないからです。モデルによって、この情報はベクトルに追加されるか、今日では最も一般的に、アテンション層の内部で回転の形で適用されます。

モデルが受け取るもの

私たちの例の9つの番号は、このように9つのベクトル、つまり9行4,096列のテーブル、すなわち36,864の数になります。テキストではなく、この行列がTransformerブロックに入ります。

4,096列のうち5列のみが表示されています。つまり、合計で9 × 4,096 = 36,864の数です。これらの値は例示的です：実際の埋め込みの値（100分の1のオーダーの小さな正または負の数）の桁数を持ちますが、特定のモデルから抽出されたものではありません。実際のモデルでは、−1から1の範囲に限定されません。