AI的不同学习类型

AI主要学习类型概览

从最简单到最复杂

下表介绍了主要的AI学习类型，从最简单到最复杂，并附有一个具体示例、关于人类行为者如何组织学习的视角，以及机器如何进行的简要描述。

详细示例：从概念到实践

监督学习

在监督学习中，每个示例都与一个指示正确答案的标签相关联。一个经典示例是图像分类：向机器提供 星系图像，每张都标注为螺旋或椭圆。目标是让模型学会为新图像预测正确的类别（螺旋或椭圆）。

• 从人类方面：组织这种学习包括构建带标注的数据集，定义性能标准（正确率、精确度），并监控标签质量。
• 从机器的角度：学习通过最小化衡量预测与标签之间差距的损失函数来完成，通过优化方法（如梯度下降等算法）调整模型参数（权重、偏置以最小化损失函数）。
• 具体示例：模型接收星系图像，并通过在带标注的示例中调整其参数，学会自动区分螺旋和椭圆。

无监督学习

在无监督学习中，数据没有任何标签：机器事先不知道它必须找到哪些类别或结构。目标是发现数据中的自然分组、隐藏模式或相关维度。一个经典示例是分析恒星光谱，在没有任何预先指示的情况下自动识别行为家族。

• 从人类方面：组织这种学习包括收集大型无标注数据库，选择相关变量，并定义探索性目标（分组、异常检测、降维）。
• 从机器的角度：学习依赖于寻找数据内部结构的算法，例如将相近的点分组或提取主成分，而没有监督损失函数。
• 具体示例：模型分析数千条恒星光谱，并自动将呈现相似特征的光谱分组，在无人工干预的情况下揭示天体物理家族。

强化学习

在强化学习中，智能体与环境互动，并根据其执行的行动接收奖励或惩罚。目标不是预测标签，而是学习一种最大化累积奖励的行动策略。一个经典示例是机器人望远镜的控制，它必须选择观测哪些目标以优化观测时间。

• 从人类方面：组织这种学习包括定义奖励函数（行动质量的度量），指定环境规则，并确保智能体不会发展出不良策略。
• 从机器的角度：智能体探索不同的行动，观察获得的奖励，并更新其策略以最大化累积奖励，这得益于顺序优化算法（如Q学习或策略梯度方法）。
• 具体示例：智能体控制一台自动化望远镜，并在试验过程中学会选择最有趣的目标，同时最小化无用的移动，以优化观测的质量和数量。

自监督学习

在自监督学习中，机器从原始数据中自己创建标签。模型不是接收人类提供的正确答案，而是必须预测输入的缺失或被掩码的部分。这种方法使得可以利用大量未标注的数据集。一个经典示例是预测科学文本中的被掩码的词，以学习语言表示。

• 从人类方面：组织这种学习包括准备大型未标注语料库，定义内部任务（掩码词、预测序列的延续），并控制所用数据的质量以避免偏差。
• 从机器的角度：模型通过解决从数据本身生成的人工任务来学习，例如预测被掩码的token或重建图像的一部分，这使它能够提取有用的内部表示。
• 具体示例：模型接收某些词被掩码的科学文本，并通过猜测它们来学习捕捉术语之间的关系，这随后提高了它在真实任务上的性能。

深度学习

在深度学习中，机器使用能够从数据中提取越来越复杂特征的多层神经网络。每一层都转换信息，以揭示经典方法看不见的模式。这种方法对处理图像、声音或文本特别有效。一个常见的示例是分析星云图像，以自动识别肉眼难以区分的结构。

• 从人类方面：组织这种学习包括收集大型图像数据库，选择合适的网络架构（CNN、Transformer），定义性能标准，并拥有足够的计算资源。
• 从机器的角度：网络通过跨多个层调整数百万个参数来学习，每一层提取更抽象的模式。优化通过优化方法（如梯度下降）最小化损失函数来完成。
• 具体示例：神经网络分析星云图像，并学会自动识别纤维、气泡或发射区，逐层细化其参数。

注：
在现代神经网络中，深度保持适中：架构通常包含约二十到几百层。另一方面，神经元的总数可以达到数百万，在最先进的模型中甚至达到数亿。这一差异解释了为什么一个网络可以是「深」的而没有数千层：每层数千个神经元，乘以数十层，就产生了规模巨大的模型。

典型案例：大型语言模型如何学习？

同一个模型，三个连续的学习阶段

大型语言模型（LLM）很好地说明了这些方法的组合。它们的训练分几个阶段进行，每个阶段对应一种不同的学习类型。这正是对话助手从简单的词语预测器转变为能够遵循指令的对话者的原因。

阶段1：自监督预训练

模型阅读大量文本，并学习预测下一个词（更准确地说，是「token」）。在句子「太阳是一颗……型恒星」中，它必须猜出「黄矮」或一个合理的延续。没有人类标注这些文本：答案就是文本本身。这就是自监督学习，而且它是数据和计算成本最高的阶段。 像BERT这样的模型使用自动token掩码：算法随机隐藏某些词，模型随后必须预测它们。

阶段2：对指令的监督微调

预训练模型知道如何延续文本，但不一定能回答问题。 人类标注者撰写指令和答案，而计算机工具自动准备这些数据用于训练。模型随后被调整以模仿这些示例：这是应用于比初始语料库小得多的数据集的监督学习。

阶段3：来自人类反馈的强化学习

为了改进答案的质量，要求评估者对模型的多个答案进行排名。这些排名用于训练一个奖励模型，它为答案分配分数。LLM随后被优化以获得高分。这就是RLHF（来自人类反馈的强化学习）的原理，特别是在2022年的InstructGPT中被描述。 此后，人们提出了更简单的方法，如偏好优化，模型学会优先选择被人类评判为更好的答案。一些实验室还使用可自动验证的奖励——例如数学问题的正确解决或计算机测试的成功——来训练所谓的「推理」模型。

「上下文学习」呢？

当在问题中提供两三个示例时，模型似乎「学习」了任务：它重现提示中展示的模式。实际上，这是一种临时适应。模型的内部参数没有被修改，一旦对话结束，权重中不会保留任何东西。因此，模型只是利用当下提供的示例，而没有前述阶段意义上的真正学习。

例如，如果写下：
「2 + 3 = 5」
「4 + 6 = 10」
然后问「7 + 8 = ?」，模型回答「15」，不是因为它进行加法运算，而是因为这个序列在它见过的文本中统计上最有可能。它只是延续一个熟悉的模式，而没有获得持久的计算能力。

综合：AI学习的多面性

下表总结了不同的方法、引导学习的信号及其实际用途。

人类及其工具的核心作用

AI的学习不是一个自主过程：它依赖于人类与一系列计算机工具之间的紧密协作。模型不会自己「发现」该学什么，也不会自己发现如何学。是人类团队在组织、引导和控制每个阶段，依靠能够处理海量数据的技术基础设施。

人类的核心作用

人类介入模型设计和学习的所有关键阶段。没有他们，AI既不知道该学什么，也不知道如何学，更不知道为什么学。

• 他们设计架构（Transformer、深度网络）。
• 他们选择和清理数据。
• 他们为监督学习撰写指令和答案。
• 他们表达偏好以引导模型（RLHF、DPO）。
• 他们定义目标、指标、限制、保障措施。
• 他们评估质量、纠正偏差、调整方法。

没有人类，模型就没有框架：它既没有明确的目标，也没有成功标准，更没有可靠的信号来引导其学习。

工具不可或缺的作用

计算机工具使大规模学习成为可能。它们自动化重复性任务，组织数据，并利用大量的硬件资源。没有它们，现代AI的学习在物质上是不可能的。

• 它们为自监督学习自动掩码token。
• 它们准备数据（格式化、验证、去重）。
• 它们将工作分配给数千名标注者。
• 它们自动验证某些奖励（数学问题、计算机测试）。
• 它们在数百个GPU上训练模型。
• 它们大规模优化人类偏好。

数据量太大，模型太重，任务太多，无法手动管理。因此，AI的学习是一种联盟的结果：人类的意图和判断，被强大的计算机工具所放大。