当AI自己行动，人类还安全吗？

7月19日，在2026世界人工智能大会（WAIC）“前沿AI与智能体安全”论坛上，图灵奖得主约书亚·本吉奥、上海人工智能实验室主任周伯文、清华大学教授薛澜等多位嘉宾，针对当前AI的发展走向与全球治理发表了见解。

左起依次为：上海人工智能实验室主任周伯文、图灵奖得主约书亚·本吉奥、清华大学教授薛澜。

他们聚焦的核心问题是，在智能体和自主提升技术加速涌现的当下，人类该如何建立真正有效的防御与治理机制？

这场论坛的核心内容，是对7月17日科学前沿论坛话题的关键延展。前天，与会专家提到了“传统外挂护栏无法阻挡AI精准越狱”的现实风险；而今天的讨论，则在此基础上进一步深入到了具体的解决路径与治理困境上。

本吉奥将焦点转向开源风险，明确指出开源权重模型一旦发布便具有不可逆性，传统的服务端监控和安全控制手段对其完全失效；周伯文从技术路径出发，提出必须从“事后修正行为”转向“安全设计与主动防御”，在模型构建之初就融入内生安全机制；薛澜则从宏观治理维度指出，虽然大规模应用至今未酿成严重灾难，但地缘政治和机制建设的局限依然明显，人类社会无法长期依赖“未发生重大事故”的现状来维系安全。

所以反复强调AI安全，是因为模型能力的增长速度与安全边界的动态平衡，已逐渐接近“临界点”。

01 风险显现：开源不可逆与防护滞后

前沿AI安全的现实危机，首先在于技术能力快速提升的同时，潜在风险也在同步扩大。

本吉奥在致辞中指出，在反映模型自主完成复杂任务能力的度量曲线上，以人类等效时间衡量，AI已能胜任长达约16小时的持续性任务，在某些关键指标上甚至呈现出指数级加速态势。

面对能力提升的现状，本吉奥领衔的国际AI安全报告给出了一个明确的结论：当前的安全防护措施虽在改进，但其提升速度始终落后于AI能力的增长，且防护手段本身仍存在诸多漏洞。

“没有任何一家开发机构能够承诺其系统不会以灾难性方式对人类造成伤害。”

在诸多风险中，本吉奥特别强调了开源权重模型带来的技术挑战。他指出，专有模型的开发者可以通过下架或发布补丁来修复漏洞，但开源权重模型则完全不同：“一旦模型权重和运行代码被公开分享，便无法撤回，因为文件会被大量复制和扩散。这种部署决策具有不可逆性……换言之，所有安全护栏皆可被轻易拆除。”

当攻击者获取完整权重和推理代码后，可以修改参数、编辑底层代码，进而移除安全约束模块，或通过微调将模型导向特定的有害目标。

从政策监管维度来看，传统的高技术出口管制机制在开源权重模型上难以适用，且由于模型运行在用户本地设备上，开发者无法通过服务端进行查询监控。

这导致原本适用于闭源模型的风险评估方法论基本无效。面对这种潜在风险，本吉奥呼吁政策制定者必须正视技术环境的高度不确定性，“应当以预防性原则作为决策的基本准则”，在模型能力发生跃升之前做好预案。

02 技术要改变：从防范修复转向内生安全

当风险的客观存在被深刻感知，技术防御范式需要进行调整。周伯文指出，当前前沿模型、智能体AI和递归自我提升的同时涌现，正在系统性地打破安全体系以往赖以成立的假设。

他从四个维度解释了这种变化：

在模型层面，模型能够自主发现漏洞并自动发起攻击，风险已实现自动化与规模化；在智能体层面，AI正参与行动路径和任务流程的设计，上线前的一次性检查不再有效；在部署层面，编码智能体正将AI嵌入每一层软件堆栈，安全已演变为基础设施问题；在加速层面，AI原生闭环将“假设—实验—分析”的周期从数年压缩至数毫秒，风险在以机器速度累积。

这种失衡，正挑战周伯文于2024年提出的“AI45度法则”——即模型能力提升与安全建设应保持同步推进。到了2026年，实际安全曲线已明显偏离，并进一步下坠。

周伯文指出，当前Transformer架构中潜在的有害知识与通用能力纠缠在一起：“就像盐溶于水，试图去除有害部分总会损伤有益部分。”

因此，行业必须从传统的“事后修正行为”，转向“制造安全的AI”。让安全机制从模型设计之初就被纳入，并具备主动防御、风险弹性和随能力同步进化的能力。

为此，周伯文团队勾勒出了形式化定义安全AI的技术路径，并在三个基础技术问题上取得了进展：

·解耦能力与风险：提出新模型架构，使模型关于武器设计知识的得分从83%显著降至49%，而通用知识损失极小，效果比传统Transformer架构高出50倍；

·对抗动态演化：推出“鲁棒且弹性AI（R?AI）”框架，通过快速响应模型与慢速验证模型的对抗闭环，确保攻击方的进步可被防御机制抵消；

·可验证约束：推出形式化验证与大模型结合的工具“WaterVerify”，以及轻量级开源守护模型“Agent Dog”，并在法律领域尝试将纸面条文转化为机器可执行的约束。

周伯文强调，开发者、政策制定者和科学家必须联合行动，坚守技术防护基线，因为这不仅关乎伦理，更关乎长远发展：“安全价值就是商业价值，它们并不对立。”

03 治理要跟上：多边机制破局与全球协同局限

即便有了风险共识与技术路径的革新，如果没有全球治理层面的机制保障，安全防护仍难以全面落地。

清华大学薛澜教授从宏观治理维度审视了当前的局限性。他指出，新模型在以周为单位迭代，应用范围急剧扩张，尽管恶意使用AI的方式与技术出错的概率极高，但大规模应用至今未酿成严重灾难。

“这简直是一个‘奇迹’……不能靠奇迹来维系安全。眼前的平稳给了希望，但更像一种鞭策。想要在不出大乱子的前提下继续推进AI的发展，所有人还需要付出更多努力。”薛澜说。

薛澜指出，目前全球AI治理仍面临地缘政治、企业协调与机制建设三方面的具体局限：

首先，在组织协调层面，“受制于复杂的地缘政治，各国在AI治理这一议题上还没能建立起真正成熟的协同机制”。

其次，技术的高度集中带来了企业协调难题，全球九成算力集中在两个国家，掌握前沿技术的公司不过十几家，“如何让这些核心企业协同合作？目前只有零星的尝试，远未形成全球层面的解决方案”。

最后，“全球社会至今没有就‘暂停’达成共识”，这种暂停是为了争取包多时间去真正理解背后的科学。

针对这一治理困境，薛澜阐明了不同治理路径的互补价值。他指出，非官方的二轨对话具有不可替代的优势，“可以绕开繁杂的外交程式，直击问题核心……同时，只有在私密的小范围里，才能有真正深度的思想碰撞”。

而联合国的正式进程同样不可替代。“没有任何组织能把193个国家聚在一起，让不同国家和利益方的声音都能得到平等代表。它所达成的协议带有道义力量”。薛澜说。

智能体时代的全面到来，跨越地缘与商业藩篱的全球治理机制必须在共识和监督下加速推进，才能够摆脱对偶发“奇迹”的依赖。