生成式AI与AGI：两种智能，两个世界

科学摘要

本文比较了基于统计模型（变换器）且能够在没有语义理解的情况下生成内容的当前生成式AI，与一个理论上具备可推广认知能力、因果推理和自主适应的人工通用智能（AGI）系统。以GPT等LLM为代表的生成式AI，通过高维潜在空间中的统计相关性运作。假设性的AGI则需要一个包含元认知、工作记忆和感知的集成认知架构。本文讨论了AGI的生存风险（对齐、智能爆炸、恶意使用）和提议的治理措施，同时强调模拟与真实意识之间的界限仍然是最大的谜团。

生成式AI与AGI的根本区别是什么？为什么这种区分至关重要？

根本区别在于智能的本质：生成式AI是一个统计模拟器，在没有理解世界的情况下生成连贯内容，而AGI将是一个能够进行因果推理和适应的自主认知实体。生成式AI（GPT、DALL·E）通过在海量语料库上进行令牌预测运作，没有本体论或意图。仍属假设的AGI将涉及一个包含工作记忆、感知和元认知的集成认知架构。这种区分至关重要，因为生成式AI尽管表面智能，但仍然易产生幻觉且缺乏意识。AGI带来了生存风险（对齐、智能爆炸），需要预先的全球治理。模仿与真实意识之间的界限可能只有通过具身于感觉运动基质中的智能才能跨越。

两种智能，两种世界观

生成式AI

生成式AI是指一类能够根据自然语言或结构化语言（提示）提出的查询生成内容（文本、图像、音频、视频或代码）的人工智能系统。它通常由GPT等大型语言模型（LLM）或DALL·E等神经图像生成器体现。

其原理基于利用海量数据语料库中存在的统计结构。通过变换器网络等架构，这些模型学习根据上下文预测下一个单元（词、像素、音频向量），通过最小化高维潜在空间中的损失函数（通常是交叉熵）。

尽管其结果可能看起来连贯、创新或富有创意，但这些系统不具备任何现实世界的本体论。它们没有情景记忆，没有深思熟虑的推理，也没有自主规划能力。它们的运作仍然是纯粹相关的，基于令牌之间的关联，无法获取因果关系或潜在的人类意图。这导致缺乏真正的语义理解，使其容易受到逻辑错误、时间不一致或事实幻觉的影响。

人工通用智能

相比之下，人工通用智能（AGI）指的是一个理论上能够将其认知过程适应于人类可以执行的任何智力任务的系统。AGI将具备可推广的能力，使其能够在异构领域间转移学习，进行抽象推理，在上下文中获取新知识，并在动态环境中制定意向性目标。

这种智能将涉及一个集成认知架构，可能由专门的模块组成：感知、陈述性和程序性记忆、逻辑推理、注意力管理、情绪调节和决策。AGI将超越简单的监督学习框架，整合元认知、因果推理和自我评估机制。它可以根据自身经验、环境或自身错误调整策略。

至今仍属假设的AGI将代表一种范式转变：它将不再模仿人类的反应，而是展现出对世界的操作性理解，能够以主动、适应性和潜在有意识的方式互动。

概念与技术的鸿沟

生成式AI基于监督或自监督的变换器型优化架构。目标是最小化统计损失函数，通常通过梯度下降。这些系统在极高维空间中操作向量表示，但没有意识、意图或常识。

另一方面，AGI仍是假设性的。它将需要一个混合认知架构，集成工作记忆、因果推理、强化学习、集成感知以及关于其自身行为的动态反馈循环——有时被称为具身元认知。

生成式AI与AGI的比较

走向趋同还是决裂？

科学界的一些声音设想了一条中间道路：一种被称为“涌现式AGI”的AI，源于LLM的扩展与感知和行动系统相结合，采用具身方法。其他研究人员则认为，人类认知的某些基本维度，如情感、意识或因果推理，无法从简单的统计模型中涌现。辩论仍在继续，但在此阶段，区别依然清晰：生成式AI充当高级模拟器，而AGI将是一种自主认知实体。

模仿止于何处，意识始于何方？

生成式AI可以模拟意识的语言，承认自己没有意识，甚至撰写关于认知觉醒的文章。但这并不构成现象意识。从神经生理学的角度来看，意识假定信息在全局空间中的时间整合（Dehaene的全局神经元工作空间理论）、主观视角、自我感和对世界的情感评估。

生成式AI与AGI的能力比较
特征	生成式AI	AGI
语义理解	表面化，但无概念基础	深刻，基于内部世界模型
适应未知任务	限于初始训练	情境中的自主学习
跨领域迁移	非常弱（提示工程）	可推广（零样本、元学习）
目标与意图	无，由损失函数决定响应	设定自主目标的能力
架构	变换器（自注意力）	未知，可能是模块化和递归的
当前存在	是（约2019年以来）	否，概念性的

一个纯粹的计算系统，无论多么庞大，都不会显示出任何可测量的“存在”迹象。它可以模拟觉醒者的对话，但仍然无法进行自我评估、怀疑或感觉。拟似认知与真实认知之间的界限可能是AGI最大的谜团。对于一些研究人员来说，只有当智能具身于能够感知和主观体验的感觉运动基质中时，这个界限才能被跨越。

与人工通用智能相关的风险

具备自主认知能力的AGI的出现，在科学界、伦理学界和地缘政治界引起了重大关切。以下是专家确定的主要风险汇总表。

AGI：一个文明层面的挑战

专家确定的AGI相关主要风险
类别	描述	潜在后果	示例或假设
AI对齐	Stuart Russell提出的对齐问题，是指设计一个即使比其设计者更聪明，其目标也与人类价值观一致的AI。这涉及到确保AGI追求的是人类真正想要的，而不是我们明确编码的内容。	避免AGI追求有害或不受欢迎的目标。	Stuart Russell, OpenAI, DeepMind, Anthropic
智能爆炸	能够快速自我改进的AGI可能远远超过人类智能。	完全丧失人类监督或控制系统的能力。	技术“奇点”情景（I. J. Good, Nick Bostrom）。
恶意使用	国家、组织或个人可能将AGI转用于破坏性目的。	自主战争、大规模虚假信息、高级网络攻击。	致命自主武器、大规模社会操纵。
替代人类工作	AGI可能自动化复杂任务，取代整个职业。	经济不稳定、大规模结构性失业、不平等加剧。	对科学、医疗、法律等领域的预期影响。
主权丧失	AGI可能将不成比例的权力集中在少数实体手中。	技术政治集中、民主侵蚀。	AI垄断、全球参与者的算法主导。
认识论危机	AGI可能以难以控制的规模和速度生成或操纵知识。	人类验证或理解信息的能力崩溃。	大规模生产可信的虚假科学或法律证据。

人工通用智能（AGI）代表了一次重大的技术决裂。如果它出现，可能在所有认知领域超越人类能力。这样一个具备自主性、抽象性和自我改进能力的实体，引发了生存性问题。其潜在影响范围从根本性利益（解决全球性问题）到人类灭绝。因此，当代AGI研究侧重于两个优先方向：对齐和伦理治理。

降低AGI风险的措施

面对AGI带来的系统性风险，许多研究人员、机构和政府提出了防止偏差的方法。这些策略旨在框定发展、确保目标一致并保证人类监督。

面对AGI出现的政策与全球治理

大规模智能的幻觉

我们生活在一个大规模制造智能幻觉的时代，这种幻觉塑造了话语、行为和社会期望。然而，有一点是确定的：基于数据统计复制的生成式智能，并不等同于蕴含深刻、适应性和自主理解世界能力的通用智能。

区分的重要性

理解这种区分不仅仅是一项学术练习，而是一个战略要务，以便负责任地指导这些技术的公共政策、科学研究和工业应用。

一个全球性问题

缓解AGI相关风险的策略
方法	描述	目标	相关机构
AI对齐	开发显式或隐式整合人类价值观的算法。	避免AGI追求有害目标。	OpenAI, DeepMind, Anthropic
持续人类监督	在决策循环中保持人类控制，包括高速运行时。	限制关键系统中的完全自主性。	AI Act (EU), ISO/IEC 42001标准
宪法AI	用一套不可侵犯的规则或原则来框定AGI的行为。	防止非法、不道德或危险的行为。	Anthropic (Constitutional AI), 开源项目
安全沙盒	对AGI进行物理或虚拟隔离，在封闭环境中测试其行为。	降低泄露或意外行动的风险。	ARC (Alignment Research Center), MIRI
国际治理	为AGI发展创建跨国监管和协调机构。	避免算法军备竞赛。	联合国, OECD, 全球AI伙伴关系
算法透明度	要求对模型、其训练和行为进行审计和报告。	实现可验证性和问责制。	AI Safety Institute (UK), NIST (USA)

这项任务远远超越了国界：它要求协调一致的全球合作，涉及政府、科研机构、技术产业和民间社会，以制定伦理规范、监管框架和适当的控制机制。

挑战与可行性

然而，实施这种集体行动面临着重大挑战：地缘政治利益分歧、经济差距、技术变革的速度以及伦理问题的复杂性。因此，探讨有效全球治理AGI的现实可能性，与技术本身的发展同样关键。这一探讨支撑着创新与审慎、自由与安全、进步与责任之间的微妙平衡。

常见问题:关于生成式AI与AGI你需要了解的一切

从根本上区分生成式AI与AGI的是什么？

生成式AI是一个统计系统，通过从海量数据集中学习相关性来生成内容（文本、图像、代码）。它模拟智能，但并未真正拥有智能。AGI将是一个能够理解、推理和适应任何人类智力任务的系统，具有潜在意识和自我改进能力。生成式AI响应查询时没有意图或语义理解；AGI将拥有自主目标和对世界的深刻理解。

为什么生成式AI尽管性能出色，却不能被视为真正的智能？

生成式AI缺乏真正的语义理解。它通过令牌（词、像素）之间的统计相关性运作，无法获取因果关系或人类意图。它没有情景记忆、深思熟虑的推理或自主规划。其连贯的响应是数学优化的结果，而非理解。它容易产生事实幻觉和逻辑不一致，因为它不具备内部世界模型。

AGI的出现主要有哪些风险？

本文确定了几个系统性风险：
• 对齐：AGI可能追求与人类价值观不一致的目标。
• 智能爆炸：快速自我改进将使其无法控制。
• 恶意使用：转用于破坏性目的（自主武器、虚假信息）。
• 工作替代：职业的大规模自动化。
• 主权丧失：权力集中在少数实体手中。
• 认识论危机：无法控制地产生无法验证的知识。

提出了哪些措施来规范AGI的发展？

考虑了多种方法：
• AI对齐：将人类价值观明确整合到算法中。
• 人类监督：在决策循环中保持控制。
• 宪法AI：通过不可侵犯的规则框定行为。
• 安全沙盒：在封闭环境中测试AGI。
• 国际治理：建立跨国监管机构（联合国、OECD）。
• 算法透明度：要求对模型进行审计和报告。

意识能从像AI这样的纯计算系统中涌现吗？

本文强调现象意识以信息的时间整合、主观视角和自我感为前提（全局神经元工作空间理论）。无论多么复杂，计算系统都不会显示出任何可测量的“存在”迹象。它可以模拟意识的语言，但仍然无法进行自我评估或感觉。一些研究人员认为，这种意识只有在智能具身于能够进行主观体验的感觉运动基质时才可能出现。

为什么区分生成式AI与AGI是一个战略要务？

理解这种区分对于指导公共政策、研究和工业应用至关重要。混淆统计模拟与真实智能可能导致在监管、安全或伦理方面做出不适当的决策。生成式AI带来了虚假信息和知识产权问题；AGI则引发了关于人类未来的生存性问题。这种区分需要全球合作，涉及政府、科学家和民间社会，以制定适合这一挑战的伦理规范和监管框架。