当数百万个AI开始互相对话，会发生什么？

Google DeepMind 正在出资研究一个新问题：当数百万个 AI 智能体同时在网上活动、互相交互，会出什么事？

公司 AGI 安全与对齐研究负责人罗欣?沙阿（Rohin Shah）说，智能体正在大规模涌入市场。它们可以在没有人盯着的情况下干活，还能听从其他智能体的指令，这带来了一类旧互联网时代不存在的风险。

Google DeepMind 上个月在 Google I/O 上刚把智能体工具当作重头戏来展示，现在又联合了几家机构，拿出 1000 万美元设立研究基金，资助学者研究多智能体系统的行为，想办法防止危险情景出现。参与出资的还有 Schmidt Sciences（埃里克?施密特夫妇创办的慈善基金会）、ARIA（英国政府的前沿研究机构）、Cooperative AI 基金会（英国的非营利研究机构），以及 Google 的慈善部门 Google.org。

我问沙阿和 Schmidt Sciences 可信 AI 科学项目负责人詹姆斯?福克斯（James Fox），1000 万美元打算怎么花----这笔钱不少，但跟 Google DeepMind 自家研究团队的预算比就是个零头。

沙阿说他们的目的是在科技公司之外培育一支研究力量：“学术界的长处是有时间做更长线的研究，做那些产业实验室顾不上的事情。”

“关键问题是，‘多智能体安全’这个研究领域现在基本还不存在，”他说，“我们想让它从无到有。”

让他担心的是：随着越来越多的 AI 智能体被部署、开始协同运转，我们可能在某个时刻跨过一个临界点----以前只存在于假想中的风险变成现实。“人类社会也一样，”沙阿说，“一个组织、一套制度能干成的事，单个人根本做不到。智能体也是这个道理。”

沙阿估计离智能体在经济中大规模部署、风险真正值得担忧的那一刻，大概还有几个月，他想赶在那之前把准备工作做好。

到底怕什么？

沙阿和福克斯担心的风险，说白了大多是互联网上已有的坏事的升级版：诈骗、提示词注入（往 AI 智能体里塞恶意指令，让它变成一个自动运行的恶意软件）、各种网络攻击。沙阿说他们的思路很直接：看看人类现在在互联网上干什么坏事，然后想想如果换成智能体来干，规模会放大多少倍。

“我们有一个数字公共空间，整个社会的运转都依赖它，你绝对不想看到它变成一片丛林。”福克斯说。

我问沙阿有没有考虑过更极端的情景，比如大规模经济崩溃。“如果说今年年底之前，那肯定不会。”他说。我提醒道，今年只剩下六个月了。他笑了笑：“好吧，再往后的事就不好说了。”

两人都认为，要搞清楚大量智能体同时交互会发生什么，唯一靠谱的办法是跑逼真的模拟实验，把 AI 智能体扔进沙盒环境里，看它们怎么表现。光盯着单个智能体研究、甚至只看小辨模的群组，预测不了什么。福克斯说，不能指望基于大语言模型的智能体总会理性行事，真正的复杂性来自海量交互同时发生。

有些研究者----包括 Google DeepMind 自己的一个团队----甚至提出过一种可能：通用人工智能 AGI（如果能实现的话）也许不会来自某一个超级聪明的模型，而是来自一种智能体“蜂群”，整体的能力加起来超过各部分之和。

谁都不能完全信任

不只是 Google DeepMind 在对自己正在造的技术发出警告。两周前 Anthropic 发布了一套部署 AI 智能体的指南，用的是网络安全领域一种叫“零信任”的思路：从一开始就假设系统有漏洞、智能体可能是攻击者、安全事件迟早会发生。

以色列特拉维夫网络安全公司 Akeyless 的联合创始人兼 CTO 拉法埃尔?安杰尔（Refael Angel）也认为搞清楚智能体带来的新风险至关重要。

过去所有的安全方法都建立在一个前提上：机器跑的是人写的代码，做的事情是确定的，走的路径是固定的。安杰尔说：“智能体把这些前提全部推翻了。它会推理，会临场发挥，甚至一句藏在文档里的话就可能把它劫持。”

安杰尔欢迎这笔研究资金。“安全标准不应该只由某一家实验室来定，然后要求其他所有人照做。”他说。但他也提醒，搞安全研究的人有时候会追着新奇的假想问题跑，反而忽略了那些已经摆在眼前的、没什么新鲜感的真问题。

福克斯则指出，几年前还只是假想的东西现在已经很真实了：“未来比我们预想的来得快。”