机器如何变得智能

科学摘要

Astronoo的文章通过神经网络的历史探索了人工智能的涌现。文章展示了参数数量和学习数据的增加如何自2017年起引发了一场真正的相变：复杂的认知能力在未经明确编程的情况下出现了。文章将智能的幻象——由对下一个词的统计预测所产生——与真正的理解区分开来，并将这一现象置于更广泛的涌现概念框架中，如物质、生命或意识。

人工智能是一个涌现性概念吗？

是的，人工智能似乎是一个涌现性概念。2017年之前，生成式AI模型的表现平庸：它们生成简短、往往不连贯的文本，无法进行对话，也无法理解稍复杂的指令。但通过充分增加模型的规模，即学习数据的量和参数的数量，发生了相变。人工神经元之间随之出现了更丰富、更复杂的相互作用，从非常简单的数学组件中诞生了我们现在称之为"智能"的复杂认知能力。换言之，没有任何单个组成部分被修改：正是集体组织，在超过某个复杂性阈值之后，使新的、不可还原的行为得以涌现。AI并不以人类意义上的方式"理解"，但它表现出仅从其组成部分无法预测的能力。正是这种不可预测性和整体性，使我们有理由谈论涌现。因此，本文提出的问题不仅仅是技术性的：它触及了智能本身的性质，无论是生物的还是人工的。

值得一看

继续探索宇宙的这些主题：

神经元越多，参数就越多！

什么是神经网络中的参数？

神经网络的参数是AI模型的内部变量。这些参数在从输入数据学习的过程中被自动调整。
例如，OpenAI的GPT-3模型有1750亿个参数。OpenAI的DALL-E模型有120亿个参数。Google的Gemini Ultra模型据说有5400亿个参数。

参数数量的计算

参数的数量取决于网络的结构，即层数、每层神经元数量以及层间连接的类型。
参数数量由以下公式给出：P = (d+1)h + (h+1)o 其中d是输入神经元的数量，h是隐藏神经元的数量，o是输出神经元的数量。 +1项对应于偏置，即添加到每一层的额外参数，用以避免人类偏好某些结果的天然倾向。

参数数量的影响

参数数量影响神经网络的学习能力，从而影响模型的性能和行为。参数越多，系统产生正确且一致结果的能力就越强。然而，存在一个极限！
一种名为"过拟合"的现象在参数数量相对于可用数据过多时会对系统造成惩罚。
如果想增加神经网络中的参数数量，还必须增加学习数据。
这解释了为什么运营商对我们数据的胃口是永不满足的。

智能的幻象还是智能？

人工神经网络的工作原理

在人工神经网络（ANN）中，每个神经元执行一项计算，即其输入的加权和，然后应用阈值激活函数来确定其输出，并将其提供给下一层。
从这个简单的数学过程中，出现了一种奇异性。
网络只预测句子中将要跟随的下一个词或下一个"token"（词片段）。然而，一个有序、理性且连贯的句子却从一个概率过程中涌现出来。

AI：无理解的语言魔术师

对于这位玩弄词语而不关心其意义的语言魔术师来说，真理的概念并不相关。系统并不试图提供正确的答案，而是提供可能的句子。

智能的幻象

换言之，一个与我们现实毫无关联、缺乏意义和知识、不区分"真"与"假"的系统，却能够提供一个"智能"的答案。
正是得益于其庞大的学习语料库，AI给人以理解句子上下文、作者意图和语言细微差别的印象。
这种显现中有某种令人深感不安的东西！

一个根本性的问题

像智能这样复杂而精密的现象，怎么可能出现在虚拟环境中？

人工智能会是一个涌现性概念吗？

涌现性概念源于一个更基本的概念，同时保持新颖且不可还原为后者。换言之，新的属性随着涌现性概念从一个以前不存在这些属性的环境中出现。这些新属性似乎是对特定物理环境条件的自然回应。

涌现性概念的例子

大爆炸之后，宇宙极度炽热和致密。在这种极端环境中，根据爱因斯坦方程E=mc²，物质从纯能量中涌现。因此，以前不存在的夸克、电子、中微子等基本粒子从原始宇宙中涌现。
生命是一种涌现现象；它由更简单的组分的相互作用产生，如构成它的化学分子。然而，它表现出不可还原为这些组分的新属性。从某种分子组织开始，它出现在以前不存在生命的环境中。
意识常被描述为一种涌现现象：单独来看，一个神经细胞没有意识。然而，从某种组织以及数十亿神经元的协调相互作用中，出现了一种主观体验，一种对自我和世界的感知，不可还原为每个神经元单独的活动。
智能，无论是自然的还是人工的，也可以被视为一种涌现现象。没有单个神经元或单个参数能够独自"理解"或推理；正是众多组织成网络的元素的相互作用，使识别、语言、推理或适应的能力得以出现。从某个复杂性和学习的阈值开始，这些行为在未经每个组分明确编程的情况下涌现。

AI中的涌现：2017年的转折点

2017年之前的AI模型在比今天小得多的数据集上训练。它们远非完美，生成式AI运行得并不很好。

随着可用于学习的数据增加，数据科学家们直觉性地增加了参数的数量。从某个神奇的阈值开始，他们观察到结果出现了显著改善。
这一现象发生在2017年，GPT-2模型（Generative Pre-trained Transformer 2）标志着文本生成领域的转折点，展示了其生成人类质量文本的能力。

相变：发生了什么？

2017年之前，模型的规模（学习数据和神经架构）在增加，但什么也没有发生，性能平庸且停滞不前。然后突然间，当规模达到一个阈值时，发生了相变。换言之，系统物理状态的变化，由数据和参数的多样性所引发。
突然之间，神经元之间出现了更丰富、更深刻、更复杂的相互作用。

这一奇迹般进化中的显著事实是，我们如今看来"智能"的更复杂认知能力的涌现。

科学家们很难解释这一相变。然而，一种"智能"确实从数据、算法、模型和参数等非常简单的组分的相互作用中数学地涌现了出来！

人工智能的未来

一种质疑智能本质的涌现

这种从机器中产生的涌现，对我们关于智能本身的性质有何启示？

一个非线性且不可预测的过程

机器学习是一个非线性过程，这意味着微小的变化可能导致模型行为的巨大变化。目前，我们并不理解模型如何做出决策，这使得预测其未来行为变得困难。

进化的前景

AI领域发展极为迅速，新技术和新架构不断涌现。随着模型复杂性的增加，其他意想不到的属性可能会出现，如创造力、艺术、对现实的理解，甚至意识。

AI与人脑：一种共生关系

AI最初被设计用来模仿人脑的能力。为此，它从生物神经元的模型中汲取灵感，创造了人工神经网络。
未来，AI与大脑研究很可能会相互丰富。
通过使用AI并让它自行演化，它有可能为我们提供解开人脑奥秘的钥匙。

参考文献

FAQ：关于人工智能涌现的一切

人工神经网络中的参数是什么？

参数是AI模型的内部变量，在学习过程中被自动调整。它们包括突触权重和偏置。其数量取决于网络的结构（层数和神经元数量）。例如，GPT-3拥有1750亿个参数。参数越多（在数据充足的情况下），系统产生正确且一致结果的能力就越强。

为什么说AI给人以"智能的幻象"？

神经网络只根据统计过程预测下一个最可能的词（或"token"）。它并不试图提供"真"的答案，而是提供可能的句子，与我们的现实毫无关联，也不区分真假。正是得益于其庞大的学习语料库，它给人以理解上下文、意图和细微差别的印象，尽管它缺乏意义和知识。

2017年在AI中观察到的"相变"是什么？

2017年之前，增加模型的规模（数据和参数）只能略微改善性能。突然间，随着GPT-2模型的出现，达到了一个临界阈值，引发了相变（系统物理状态的变化）。神经元之间出现了更丰富、更复杂的相互作用，涌现出复杂的认知能力。科学家们仍在努力完全解释这一现象。

复杂系统中的涌现是什么？

涌现指的是孤立看待的组分中不存在的新属性或行为，而是由它们有组织的相互作用产生的。单个神经元不会思考，单个分子没有生命，单个夸克不构成物质。正是集体组织，在某个复杂性阈值之上，使一种不可还原为起始元素的新属性得以出现。

AI是真正智能的，还是仅仅是一种模拟？

争论仍在继续。如果我们以可观察的行为（解决问题、对话、推理）来定义智能，那么当前的AI无疑展现出智能的能力。但如果我们以理解、意识或意图来定义它，那么它仅仅通过统计计算模拟了这些能力。人们常称之为"无理解的智能"：一种深层本质仍有待阐明的涌现现象。

为什么涌现难以从科学上解释？

因为涌现属性不能简单地从支配单个组分的定律中推导出来。人们可以完全了解一个神经元或一个分子的方程，却无法由此预测思想或生命。涌现涉及众多非线性相互作用和一个复杂性阈值，这使得该现象在某种程度上不可预测，并且仍然未被充分理解，无论对生物还是对AI都是如此。