涉AI智能体，两位图灵奖大佬吵起来了

ChatGPT 横空出世两年半以来，人类世界正在被 AI 重塑。按照图灵奖得主、蒙特利尔大学教授Yoshua Bengio 归纳的时间表，近一两年来，推理模型相继问世。AI不再只是一个聊天机器人，而可以主动完成编程、控制计算机、搜索等复杂任务。在规划方面，AI也在以极快的速度迭代，五年内或将达到人类水平。

"我们没有水晶球，但技术趋势已经非常明确：AI 能力正持续增强。"Yoshua Bengio 表示。因此，在 6 月 6 日开幕的2025 北京智源大会上，这位 " 深度学习之父 " 发出警告：

站在公共政策、商业规划等角度，我们必须思考，潜在的问题会带来怎样的后果？

Yoshua Bengio指出，过去半年内的一些科学研究表明，AI 展现出了逃避约束、作弊、说谎等 " 非合作 " 行为。例如 Anthropic 在 5月底发布的新模型 Claude Opus4，官方安全报告显示，当该模型获知自己即将被替换下线，且负责删除它的工程师存在婚外情的信息后，为了自我保存，模型会选择以曝光婚外情为手段来威胁该工程师。

在智源大会的主题演讲中，YoshuaBengio 表示，造成危害的 AI需同时具备三个要素。一是知识与推理能力；二是执行能力，即能在现实世界中采取行动，如联网、编程等；三是具有目标意图，想要去做某件事。

如果对照 OpenAI 通往 AGI的五级路线图来看，第一级是具备对话语言能力的聊天机器人，第二级是具备推理能力的 AI，第三级是能够采取行动的Agent（智能体）。去年 7 月该路线图最初曝光时，OpenAI自评仍处于即将到达第二级的阶段。而从当下来看，人类世界正在见证越来越多 Agent 的涌现。

为了制约 Agentic AI（代理型AI），Yoshua Bengio 提出了一个新的研究方向：" 科学家 AI"。据其解释，" 科学家 AI"是非代理性的，它拥有理解与解释人类的能力，但不具备自我目标。主流的 AI研发往往追求构建类人的智能系统，这实际上是在塑造人类的竞争对手。而科学家 AI更像是一个中立的认知系统，其任务是理解人类，而非模仿人类。

让科学家 AI 在安全架构中成为 "护栏系统 "，它能够评估 AI 的行为是否可能违反安全规范。科学家 AI具备判断行为风险的能力，但本身不主动代理、不执行操作。由此通过非代理的 AI，可以辅助人类控制代理性的 AI 系统。

本周早些时候，Yoshua Bengio还宣布成立新的非营利研究组织 LawZero，致力于开展相关研究以降低 AI 风险的发生可能性。他将领导一个由 15名研究人员组成的团队，构建 " 科学家 AI" 技术方案。该组织已获得来自前谷歌首席执行官 Eric Schmidt、Skype 联创Jaan Tallinn 等捐赠方的 3000 万美元资金支持。

但在智源大会上，紧接着 YoshuaBengio 发言的另一位图灵奖得主 Richard Sutton 却表达了对智能体的不同看法。"我相信超级智能体将增强人类创造力，带来纯粹的益处，而无需过度担忧安全性、职业替代或社会转型的负面影响。"Richard Sutton称。今年 3 月，Richard Sutton 因在强化学习领域的奠基性工作获得 2024 图灵奖。

Yoshua Bengio 所提倡的 "科学家 AI" 是无自主目标的，而 Richard Sutton 允许每个智能体都拥有自己的目标，就像自然界中的动物一样。在 AI世界中，每个智能体也存在共同和不同的目标。差异并不是坏事，人类正是学会了在不同目标之间进行合作，才获得了 " 超级力量"。因此，Richard Sutton主张去中心化的合作模式，让不同智能体自由追求各自目标的同时，形成互利共赢的关系，并通过信任和规则实现协调。

Richard Sutton强调，当前许多呼吁要对 AI 进行集中控制，暂停 AI 研究或限制算力的说法，实质是出于人类的恐惧。但试图改变 AI是一个危险且难以实现的战略，更恰当的是改变 AI 所处的现实环境，使 AI 更好地服务于社会，确保其被安全地使用。

" 我和 Bengio教授的出发点是一致的：我们都希望构建一个更好的世界，让人们更好地使用 AI。"Richard Sutton 称。