奥特曼:若特习就AI安全发展达成协议,两人应获诺奖

美国人工智能企业OpenAI首席执行官奥特曼（Sam Altman）在周五的一则专访中表示，OpenAI不会在2026年上市。他指出，人工智能的安全隐患使得即使该技术在未来十年内导致人类灭绝的风险仅有10%，也是“不可接受的”。



美国人工智能企业OpenAI首席执行官奥特曼

此前，OpenAI的竞争对手Anthropic公司的两名研究人员发出严峻警告，称人工智能的快速发展可能在不久的将来导致人类灭绝。此后，越来越多的美国立法者敦促制定新的规则来监管人工智能系统。

奥特曼在接受《财富》杂志采访时说道：“考虑到目前人工智能的安全问题，我认为现在上市并非明智之举，我们也没有感受到任何上市的压力”。

当被问及人工智能导致人类灭绝的概率是否达到10%时，奥特曼表示他不知道这样的估算是如何作出的，但他警告说，这种风险非常严重，人工智能公司和政府应该将其视为是不容容忍的。

周二，Anthropic研究员考克森（Jacob Coxon）表示，他将离开该公司，因为担心Anthropic及其竞争对手OpenAI正在“拿我们的生命去赌博”。



曾在上述两家公司担任研究员的考克森称，那些开发人工智能的人“真心相信，到本十年末，它可能会杀了我们所有人”。“千万不要低估这项技术的力量，”考克森写道，“它们很快就会成为超越人类能力的系统，能够入侵任何事物，一夜之间彻底变革任何领域，并获取真正的权力和资源”。

Anthropic的科学家胡宾格（Evan Hubinger）也加入讨论，表示考克森的说法是正确的。胡宾格在X平台上写道：“我们确实由衷地认为，人工智能可能会杀死全人类，我个人认为，未来十年内发生这种情况的概率大于10%”。

奥特曼补充道：“无论是10%、8%还是6%，关键在于，我们都肩负着巨大的责任，不能让自我、逐利或其他任何因素阻碍我们（作出正确决定）。奥特曼续指，“我们需要采取行动，避免承担任何此类风险，我相信我们能够做到”。

奥特曼指出，OpenAI将在业务准备就绪且公司就“社会对这项技术的接受程度”做好准备时上市。当被问及是否已排除2026年而选择2027年时，奥特曼回答说：“我认为不会是2026年。是的，我们有很多事情要做，比如满足当前安全和对齐的要求，以及行业和政府如何能携手合作”。在人工智能领域，对齐是指开发者为确保系统行为符合人类价值观和意图而进行的工作。

今年6月，《纽约时报》曾报道称，OpenAI倾向于将其首次公开募股（IPO）推迟到明年，届时其估值可能达到1万亿美元。当时，人们主要关注的是SpaceX的首次公开募股，这家马斯克的火箭和人工智能公司筹集了850亿美元。SpaceX股价最初飙升，估值一度达到1.8万亿美元，但随后迅速回落。

Anthropic首席执行官阿莫迪（Dario Amodei）周六则宣布，其公司正在致力于一项新的安全措施——给予独立评估人员永久的、员工级别的公司内部访问权限——这是他所提倡的减缓人工智能发展速度的更广泛计划的一部分。

奥特曼则暗示，OpenAI和其他领先的人工智能公司可能即将宣布一项协议，以放缓人工智能的发展速度，共同应对日益增长的安全风险。据彭博社报道，在本周早些时候与OpenAI员工的一次会议上，奥特曼表示公司正考虑放缓其最前沿人工智能技术的研发。

奥特曼在周五的专访中说，乐于推迟OpenAI的首次公开募股，以便采取必要的安全措施。他解释说：“社会需要应对这些模型在不同能力水平下的发展”。

奥特曼表示，OpenAI已讨论过，随着模型能力的提升，可能会暂停上市，以便在安全性和对齐方面取得更多进展。奥特曼认为，整个人工智能行业，理想情况下也包括外国政府，都应该就此问题达成共识。

此外，在周五的专访中，奥特曼被问及人工智能行业因安全问题而放缓，以及这种情况是否也延伸到美中竞争中。奥特曼指出：“我认为，如果川普总统和习主席能够就一些应该是容易达成共识的事情达成一致，他们就应共同获得诺贝尔和平奖，而那将是一件极好的事情”。

奥特曼补充说，美中领导人应同意，在人工智能发展过程中，双方都不应该承担一定程度的风险。他解释说：“即使仅仅是美中两国能够就这项技术的发展达成一些共同标准和测试方法，我认为这也是他们二人能够取得的一项了不起的成就”。

当被问及禁止“递归式自我改进”（RSI）——即人工智能能够不断升级自身并增加更多功能——是否足够时，奥特曼回答说，这可能还不够。不过，他仍认为，美中两国就人工智能达成一项设想中的协议并不难，甚至可以用一页纸的文件概括。

关键在于建立相应的保障机制，以降低失去对人工智能的控制的风险，同时避免安全措施使任何一方处于不利地位。

奥特曼解释道：“在极端情况下，美国和中国都担心，如果一方率先掌握超级智能，将导致两国关系中力量严重失衡。另一方面，在争夺领先地位的竞赛中，我们双方都不应该冒失去控制的风险”。

在他看来，美中两国签署人工智能协议的最佳条款可能如下所示：“以下是我们在开展任何工作之前，需要制定的关于开发、测试和监控对齐标准的规则。此外，还需要两国或某个国际机构进行监督，以确保避免出现一方过度集中权力因素或从一开始就违反规则的情况”。

美中两国就人工智能条约展开讨论之际，人工智能竞赛的利害关系已经达到了“生存性”的程度，堪比冷战时期的核军备竞赛。

Anthropic的阿莫迪在其周六发表的题为“我们必须调控这一边疆的节奏”的文章中提到，“对递归式自我改进的速度进行某种‘速度限制’。随着模型构建未来模型，改进速度可能会变得惊人。将速度从‘极快’降低到‘略快’只会损失相对较小的战略优势，却有可能大幅提升安全性。这可以类比于《战略武器限制条约》（SALT）——限制导弹数量既限制了潜在的破坏力，又维护了各国的威慑力。我认为达成这样的协议虽然困难，但并非完全不可能”。

阿莫迪称：“全球范围的节奏调控需要与中国合作，而这个专制国家却拥有远超其他的最先进的人工智能能力”，并指“任何协议都必须具备如钢铁般牢固的可验证性，或者必须限制在一定范围内，以确保背约不会在军事上构成生存威胁。我认为，不仅美国，中国也会有这些担忧和焦虑”。