从提示词到回答的旅程：LLM的幕后

第一阶段：训练，系数诞生的地方

注：
训练阶段：将切分为词元的文本语料库用于调整模型的系数。数量级仅供参考。

来源：庞大的文本语料库

书籍、维基百科、文章、网站、计算机代码：训练语料库首先被切成词元。对于公布了数字的模型，数量级达到数十万亿词元：Meta的Llama 3（2024年）约为15万亿。最新的商业模型的提供商通常不公开这些数值。

训练：调整系数

原理很简单。向模型展示一段文本的开头，它预测下一个词元，将其预测与真实后续进行比较，然后非常轻微地修正系数，使正确答案变得稍微更可能。这种修正通过梯度反向传播计算，在数千个GPU上重复数十亿次，持续数周或数月。

之后，一次更短的二次训练引导模型的行为：回答问题、遵循指令、拒绝某些请求、采用某种语气。它部分依赖人工评估。

训练后剩下什么

只剩下系数，也称为模型的参数：今天的大模型有1000亿到1万亿个数字。文本并非像图书馆那样存放在模型中：它们只是塑造了这些值。模型可以复现某些非常广泛传播的段落（部分记忆），但无法“重读”一本书。

第二阶段：推理，从提示词到回答

注：
推理阶段：四个区域，从你的设备到云，然后返回。词元编号和概率仅为示例。

图示分为四个彩色区域，指示每个组件位于何处。区域1和4（蓝色）在你的设备上，区域2（橙色）是提供商的AI服务，区域3（绿色）是云，即数据中心。

区域1：你的设备

浏览器或移动应用只是收集你的文本并显示回答。对于大模型，这里不进行AI计算，因为系数占用数百GB。只有小型紧凑的模型才能在最近的计算机或手机上本地运行。

区域2：提供商的AI服务

你的文本通过互联网（HTTPS协议）到达提供商的应用服务器。网关验证你的身份和配额，应用安全过滤器，然后组装完整提示词：系统指令、会话历史和你最后的问题。

这个细节至关重要：模型不保留会话的任何记忆。是服务在每次提问时把全部历史发回给它，限于上下文窗口之内，即模型一次能读取的最大词元数。这个服务，连同它的应用、过滤器和历史，就是通常所说的“AI”。LLM只是其中的一个组件。

区域3：云及其GPU

完整提示词通过数据中心的内部网络传送到配备GPU或TPU的服务器，这些芯片专为并行执行巨大的矩阵乘法而设计。占用200GB到数TB的模型分布在多个芯片的内存中。这里就是严格意义上的LLM所在之处：与模型关联的推理程序。

云中：七个计算步骤

1. 词元化

文本使用训练前固定的词典（即字节对编码方法）切分为词元。每个词元获得一个编号。高频词形成一个词元；稀有词被切成片段。词汇量约为10万到20万词元。

2. 嵌入（Embedding）

每个词元编号被替换为一个向量，即数千个数字的列表（最大的Llama 3模型为16,384）。由于词序改变意义，位置信息被加入。这些向量本身也是训练中学习到的系数。

3. Transformer块：注意力

模型的核心是Transformer块的堆叠，这是2017年提出的架构。大模型约有80到130个。在每个块中，注意力机制将每个词元与前面的词元比较，计算它们的相对重要性：在“太阳系的中心是”中，“中心”和“太阳系”对预测后续影响很大。决定关注什么的矩阵（记为Q、K、V和O）是系数。

4. Transformer块：前馈网络

每个块还包含一个前馈网络，通过两个由激活函数分隔的大矩阵乘法变换每个向量。可解释性研究表明，这些层在很大程度上作为学习到的关联的记忆，但这种解释仍是研究假设。

在这两个步骤中，逻辑在每个块中相同，因为是同样的代码。只有系数因块而异。

5. 分数和概率

在最后一个块的输出处，模型为词汇表中的每个词元分配一个分数（logit）。Softmax函数将这些分数转换为总和为100%的概率。在图示的例子中，“太阳”获得92%，“月亮”4%，“木星”3%，所有其他词元合计1%。

6. 采样

词元并不总是最可能的那个。一个称为温度的设置会削平或强化概率，top-p方法将抽取限制在最可能的候选中。温度非常低时，回答几乎是确定性的；温度较高时，每次都会变化。这就是为什么同一个问题不总是产生相同的回答。

7. 生成循环

选中的词元，这里是“太阳”，被添加到文本中，整个循环重新开始计算下一个词元，直到模型产生一个特殊的结束词元。因此，一段300词的回答需要数百次连续通过模型。

区域4：回到你的屏幕

词元并非全部一起等待：每个词元一经计算就被返回（流式传输），再次经过AI服务，然后通过互联网。你的设备在它们到达时显示，这给人一种回答“实时书写”的印象。

逻辑与系数：模型真正包含什么？

人们常常混淆三样东西：执行计算的代码、决定结果的系数，以及用于确定这些系数的数据。下表将它们分开。

每个组件在哪里？

图示的局限

一个有意简化的图示

图示省略了若干要素：每个词元只激活一部分系数的专家混合；注意力计算的缓存内存，避免每个词元都重新计算一切；块内部的归一化和残差连接；AI服务可以调用的外部工具（网络搜索、代码执行）；以及图像或声音的处理。根据提供商的不同，词元化也可能在AI服务中而非GPU服务器上进行。

为什么AI能自信地犯错

由于模型选择的是看似合理的词元，而非经过验证的事实，它可以产生流畅但虚假的句子，这被称为幻觉。计算中没有任何东西能区分学到的事实和看似合理的词序：只有概率起作用。因此，与外部来源的连接和人工验证仍然不可或缺。

需要记住的要点

LLM首先是一个乘以矩阵的程序，与一个模型相关联，后者是一个巨大的系数表。这些系数通过在庞大文本语料库上的训练固定下来，然后被冻结。每次提问时，文本从你的设备旅行到数据中心，经过七个计算步骤，产生一个词元，然后重新开始。

这一机制既解释了这些系统的强大，也解释了它们的局限：它们擅长以看似合理的方式延续文本，既没有会话的自身记忆，也没有真实性的保证。理解每个组件的位置，也就是理解计算、能源和机密性的问题所在。