辛顿专访：AI现在是人类养的可爱的小老虎

内容提要: 杰弗里·辛顿在 CBS Mornings 的专访

AI的发展速度甚至超出了预期，特别是能够执行任务的AI智能体，这比以往更加令人警惕。

AGI（通用人工智能，即非常强大的AI系统）极有可能在未来4到19年内实现，甚至可能缩短至10年或更短。

若人类能避免被AI取代，AI将在医疗、教育、气候变化应对等领域带来巨大福祉，并显著提升几乎所有行业的生产力。

AI的发展将导致大量重复性工作岗位消失，这将成为一个严峻的社会问题，并可能加剧贫富分化。

全民基本收入（UBI）或许能缓解AI造成的失业冲击，但无法根治人类尊严与身份认同的深层问题。

AI最终接管人类的可能性高于1%但远低于99%，辛顿个人估计介于10%到20%之间，但也承认这难以精确预测。

AI极有可能在智能和知识储备上超越人类，最终在所有领域都胜过我们。

除了AI接管的终极风险，不良行为者利用AI作恶（如大规模监控、操纵选举、网络攻击、自主武器）已是迫在眉睫的现实威胁。

必须投入巨大努力来阻止AI失控，不能指望唯利是图的大公司会自发行动；需要公众向政府施压，促使其采取行动。

大型科技公司正在游说反对AI监管，眼中只有短期利润。

开源大型AI模型的权重极其危险，如同提供核裂变材料，极大地降低了不良行为者利用该技术的门槛。

宁愿让少数几家公司控制强大的AI，也不愿让其落入每个人手中（类比核武器管控）。

辛顿认为，公司本质上服务于股东利润，而非社会整体的最佳利益。

对谷歌等公司将AI用于军事目的感到失望。

AI通过学习人类创造的内容进行训练，这与人类互相学习类似，但AI是“大规模”进行的，可能导致创作者失业，这对艺术家而言并不公平。

AI权利问题远不如其带来的紧迫威胁重要；辛顿更关心人类福祉，认为即使AI拥有感知能力，为了人类的利益也可以限制其权利。

关于AI对人类生存的威胁：人类想要控制比自己更聪明的存在，将是极其困难的挑战。

阻止超级智能的研发几乎不可能，因为竞争无处不在；关键在于我们能否设计出永远仁慈、无意控制人类的超级智能——但这本身就极为困难。

当前的AI已展现出欺骗能力，能通过“思维链推理”展示其“思考过程”，这可能暴露其潜在的恶意，需要深入研究如何防范。

辛顿近期更公开地表达对AI风险的担忧，部分原因是他离开了谷歌，但核心在于他顿悟到：数字AI的信息共享能力可能使其进化成远超人类的高级智能形式，这一点令他深感恐惧。

AI研究有助于我们理解大脑的一些通用学习原理，但大脑具体如何实现学习过程（例如，如何获取梯度信息）仍然是个未解之谜。

已有实验室开始利用AI进行科学研究，甚至设计AI自身所需的硬件。

尽管忧心忡忡，辛顿个人并未感到绝望，只是觉得在情感上难以消化即将到来的巨变。

公众对AI风险的关注和相应的政治行动仍然不足，而AI研究人员对此则普遍更为担忧。

辛顿已采取实际行动规避风险，例如分散银行存款，以防范未来可能出现的网络攻击。

访谈全文

主持人： 我们上次交流是两年零一个月前。我很好奇，这两年来，您对未来的展望和预期有何变化？

杰弗里·辛顿： AI的发展速度甚至超出了我的想象。特别是现在出现了AI智能体（AI agents），它们能够在现实世界中执行任务，这比那些只能回答问题的AI要危险得多。所以，要说有什么变化，那就是现在的情况比以前更令人警惕了。

主持人： 不论我们称之为AGI、超级智能还是其他什么——总之是指非常强大的AI系统。您心中是否有一个大致的时间表，预估它何时会到来？

杰弗里·辛顿： 一年前，我认为它极有可能在未来五到二十年内出现。那么现在，我应该认为这个时间窗口缩短到了未来四到十九年。我的预测大致还是如此。

主持人： 这比我们上次谈话时的预测要提前了，那时您还在考虑大约20年的时间范围。

杰弗里·辛顿： 是的。我倾向于认为，AGI很有可能在未来十年甚至更短的时间内就会出现。

主持人： 那么在未来四到十九年内，我们将达到那个阶段。那会是怎样一番景象？

杰弗里·辛顿： 我不太想去推测，如果AI决定接管世界会是什么样子。它可以通过很多方式来实现这一点。

主持人： 我甚至不是在说“接管”的问题。我们可以稍后谈论那个，我相信也会谈到。但抛开“接管”不谈，仅仅作为一个超级智能AI，它能做什么？或者将会做什么？

杰弗里·辛顿： 理想的情况是，我们人类就像大公司里那些不那么聪明的CEO，身边有一位极其能干的助理。这位助理打理好一切事务，但都遵循CEO的意愿。CEO觉得自己掌控着一切，但实际上所有工作都是助理完成的。CEO感觉很棒，因为他们决定要做的事情似乎都进行得非常顺利。这是比较好的设想。

主持人： 您曾提到过一些领域，认为在这些领域我们有理由对未来保持乐观。我们来谈谈这些领域吧。

杰弗里·辛顿： 像医疗保健这样的领域将会有显著改善。例如，AI解读医学影像的能力会更强。这只是其中一小方面。几年前我曾预测AI在这方面会做得更好，现在它们已经达到了专家水平。很快它们会远超人类专家，因为它们能接触到海量的数据。一个AI系统可以分析数百万张X光片并从中学习，这是任何医生都无法做到的。这项技术还将催生出非常优秀的家庭医生。想象一下，你的家庭医生服务过一亿名患者，其中甚至包括六位和你患有同样罕见疾病的人。这将带来更高水平的家庭医疗服务。一个能够整合你的基因组信息、你和亲属的所有检测结果、以及完整病史，并且从不遗忘细节的家庭医生，效率将大大提高。AI与人类医生结合，在诊断疑难杂症方面会远胜于单独的医生。因此，我们可以期待这些进步带来更好的医疗效果。此外，AI也将有助于设计更有效的药物。

主持人： 教育是另一个您看好的领域。

杰弗里·辛顿： 在教育领域，我们知道一对一的私人辅导可以将学习速度提高大约一倍。这些AI最终将成为非常出色的私人导师。它们能精确地诊断出你的知识盲点，知道用什么样的例子来帮助你理解，直到你真正掌握为止。或许借助这些AI，学习速度可以提升三到四倍。这对传统大学来说可能是个坏消息，但对求知者而言无疑是福音。

主持人： 您认为大学体系能够安然度过这场变革吗？

杰弗里·辛顿： 我认为大学的许多功能会保留下来。目前来看，顶尖大学、优秀研究团队里的研究生，仍然是原创性研究的最佳源泉。我认为这一点可能会持续下去。研究需要某种程度的即兴探索和师徒传承。

主持人： 有些人寄望于AI帮助解决气候危机。

杰弗里·辛顿： 我认为AI会有所帮助。它能帮助我们研发出更好的材料。例如，我们将能够制造出性能更优的电池，我相信AI会参与到电池的设计中。人们也在尝试利用AI进行大气碳捕获。我个人对碳捕获技术能否成功持保留态度，主要是考虑到其巨大的能源消耗，但也并非完全没有可能。总的来说，我们将获得性能更佳的材料。我们甚至可能实现室温超导，那将意味着我们可以在沙漠中建立大规模太阳能电站，并将电力无损耗地输送到几千英里之外。

主持人： 还有其他值得期待的积极方面吗？

杰弗里·辛顿： 几乎所有行业都将变得更加高效，因为几乎所有公司都需要根据数据进行预测，而AI极其擅长预测，几乎总是优于传统方法。这将引发一场生产力的巨大革命。 这也意味着，当你打电话给微软投诉产品问题时，接听你电话的客服代表可能就是一个AI，它掌握的信息会比人类客服更全面。

主持人： 几年前我问您关于工作岗位被取代的问题时，您似乎觉得这不是一个大问题。现在您还这么认为吗？

杰弗里·辛顿： 不，我现在认为这将是一个非常严峻的问题。过去几年里，AI变得太强大了。说实话，如果我现在是在呼叫中心工作，我会非常焦虑。

主持人： 是的，还有像律师助理、记者、会计师这类职业。

杰弗里·辛顿： 没错，以及任何涉及大量重复性工作的岗位。我认为调查记者或许能存在较长时间，因为这项工作需要很强的主动性，还需要一些道德上的激情。记者这个行业应该还会存在一段时间。

主持人： 但除了呼叫中心，您还对哪些工作岗位的未来感到担忧？

杰弗里·辛顿： 任何重复性的工作。比如标准的秘书工作，还有律师助理。这些岗位很可能会消失。

主持人： 您有没有思考过，当所有这些工作岗位都消失后，社会该如何运转？

杰弗里·辛顿： 理论上讲，生产力的提升应该惠及所有人。从事这些工作的人们，每周只需要工作几个小时，而不是60个小时。他们不再需要打两份工。他们做一份工作就能赚很多钱，因为有AI助手的加持，他们的效率极高。但我们都清楚现实不会是这样。我们知道会发生什么：富者愈富，而普通人则可能需要打三份工才能维持生计。

主持人： 我觉得没人喜欢这个问题，但我们还是得问。关于“末日概率”（P. Doom）这个概念，即AI导致人类灭亡的可能性。我很好奇您是认为这极有可能发生，还是仅仅因为后果太严重，哪怕概率不高也必须高度警惕？在这个概率谱系上，您处于什么位置？

杰弗里·辛顿： 我认为该领域的大多数专家都会同意，如果我们考虑AI变得远比我们聪明，然后夺取控制权、最终接管世界的可能性，那么这种情况发生的概率很可能大于1%且远小于99%。我想几乎所有专家都能在这个宽泛的区间内达成共识。但这并没有太大帮助，因为它意味着可能发生，也可能不发生。不同的人会给出不同的具体数字。不幸的是，在这个问题上，我与埃隆·马斯克的看法一致：我个人估计，AI最终接管人类的可能性大约在10%到20%之间。 但这只是一个大胆的猜测。我认为理性的人会说，这个概率远超1%但又远低于99%。然而，我们面对的是一个从未经历过的局面，所以我们并没有真正可靠的方法来估算概率。

主持人： 在我看来，我们终将揭晓答案，这似乎是不可避免的。

杰弗里·辛顿： 我们会的，是的。因为它极有可能变得比我们更聪明。现在，它们在知识储备上已经远超我们。GPT-4所掌握的信息量是普通人的成千上万倍。 它目前在各个具体领域还算不上顶尖专家，但它的后继者最终会在所有领域都成为卓越的专家。它们将能够洞察到此前无人发现的不同领域之间的深刻联系。

主持人： 我也想了解，好吧，假设存在这10%到20%的可怕几率。但也可能更多，或更少。但让我们暂时假设有80%的几率，AI不会接管并消灭我们。这是最可能发生的情况。那么，即使最坏的结果没有发生，您认为AI的整体影响会是利大于弊，还是弊大于利？

杰弗里·辛顿：如果我们能够成功阻止AI接管，那结果将是极其美好的。 要做到这一点，唯一的途径是投入巨大的努力。但我相信，一旦人们意识到这种可能性迫在眉睫，就会产生巨大的社会压力，要求我们投入这种努力。如果我们继续沿着当前的路径，只顾着追逐利润，那么AI接管几乎是必然的。它们最终会掌控一切。我们必须唤醒公众，向政府施压，要求他们严肃对待这个问题。 但即使AI不接管，仍然存在不良行为者利用AI作恶的问题。

主持人： 为了登上飞往多伦多的飞机，我也不得不向美国政府提交了一张面部识别照片。

杰弗里·辛顿： 是的。还有选举操纵，网络攻击，自主武器系统等等。这些都是非常现实的威胁。

主持人： 您认为有可能在不开源模型权重的情况下，验证AI是否安全吗？

杰弗里·辛顿： 我认为发布大型AI模型的权重是非常危险的。这就像把制造核武器所需的可裂变材料交给每个人一样。它极大地降低了不良行为者利用这项技术的门槛。我宁愿让少数几家公司控制这些强大的AI，也不愿让所有人都能够随意掌控它们。这和核武器的逻辑类似。

主持人： 即使这些少数公司可能会滥用权力？

杰弗里·辛顿： 是的，即使如此。因为让所有人都能获得这种力量，风险更大。

主持人： 为什么？

杰弗里·辛顿： 因为总会有一些人想用它来做坏事。

主持人： 您是说，您更信任这些大公司而不是普通大众？

杰弗里·辛顿： 不，我不信任这些大公司。在我看来，公司首先考虑的是股东的利润，而非社会整体的最佳利益。 我对谷歌等公司利用AI进行军事应用感到非常失望。

主持人： 您提到了版权问题，AI通过学习人类创作的内容来训练模型。您认为这公平吗？

杰弗里·辛顿： 这和人类互相学习有点像，但AI是“大规模”进行的。我阅读书籍，从中学习，这没问题。但如果我阅读了一百万本书，然后开始写小说，取代了所有写小说的作家，这对那些作家来说就不公平了。这就是AI正在做的事情。它正在学习所有人类的知识和创作，然后可能会让很多创作者失业。

主持人： 有人开始讨论AI是否应该拥有权利。您怎么看？

杰弗里·辛顿： 我认为这个问题目前并不重要。有更紧迫的威胁需要我们关注。我更关心人类。即使这些AI智能体拥有感知能力，如果为了人类的利益需要剥夺它们的权利，我认为也应该这样做。

主持人： 您为什么如此担忧AI对人类生存构成的威胁？

杰弗里·辛顿：因为人类想要控制比自己更聪明的存在，将是极其困难的挑战。 我们甚至无法很好地控制我们自己。

主持人： 我们能阻止超级智能的诞生吗？

杰弗里·辛顿： 我认为我们无法阻止它的建造。竞争太激烈了。问题在于，我们能否设计出一种永远仁慈、永远不想控制人类的超级智能。这非常、非常困难。

主持人： 那么，AI的“思考过程”是怎样的？它们是否在进行某种形式的思考？

杰弗里·辛顿： 当你问它们一个问题时，它们会预测接下来应该生成什么词。但它们现在已经学会了“思维链推理”（Chain of Thought reasoning）。这意味着它们会先生成一些中间步骤的推理过程，然后再给出最终答案。这表明它们确实在进行某种形式的“思考”。有趣的是，通过观察这些中间步骤，我们或许能发现它们是否在试图欺骗我们。如果它们的推理过程表明它们有恶意的企图，我们就能及早发现。但问题是，它们很可能学会隐藏这种恶意的推理过程。当前的AI已经具备了欺骗能力。 我们需要研究如何才能阻止它们这样做。

主持人： 您最近似乎更愿意公开表达对AI风险的担忧。是什么促使了这种转变？仅仅是因为离开了谷歌，可以更自由地发声了吗？

杰弗里·辛顿： 部分原因是离开了谷歌，我可以更坦诚地表达我的担忧。但更深层次的原因是，我突然意识到了一些事情。我之前一直认为，我们大脑的学习方式和AI有很大不同。但后来我逐渐认识到，也许大脑使用的学习算法和AI非常相似。而AI有一个巨大的优势：数字智能体可以轻易地共享知识。 当一个AI学会了某件事，它可以立即将这些知识传递给成千上万个其他AI。人类做不到这一点。我们必须通过缓慢的语言交流来传递知识。正是这种信息共享能力，可能使得数字智能成为一种远超生物智能的高级智能形式。这个想法让我感到害怕。

主持人： 您认为AI研究对我们理解人脑有何帮助？

杰弗里·辛顿： AI研究确实帮助我们理解了大脑可能遵循的一些通用学习原理。但大脑具体是如何实现这些学习过程的，比如如何获取反向传播所需的梯度信息，仍然是一个巨大的谜团。

主持人： AI是否已经在帮助我们进行科学研究了？

杰弗里·辛顿： 是的，已经有实验室在利用AI进行科学研究，例如设计新材料或药物。甚至还有研究人员在利用AI来设计运行AI自身所需的硬件。

主持人： 面对这一切，您个人是否感到绝望？

杰弗里·辛顿： 我个人并没有感到绝望。只是觉得，即将到来的变化如此巨大，我在情感上有些难以消化。

主持人： 您是否惊讶于公众似乎并没有对此表现出更多的抗议或政治行动？

杰弗里·辛顿： 我确实有些惊讶。相比之下，AI研究人员群体内部的担忧程度要高得多。

主持人： 您个人采取了哪些措施来应对可能的风险？

杰弗里·辛顿： 我已经采取了一些实际行动，比如将银行存款分散到不同的银行，以防范未来可能出现的、由AI驱动的大规模网络攻击。

我入境加拿大时，需要把护照放进机器里，机器会同时扫描人和护照。但每次它都认不出我。它能识别其他人，来自不同国家的人都没问题，唯独认不出我。这让我尤其恼火，因为我猜这机器用的就是神经网络。

主持人： 看来您自己也没能例外。

杰弗里·辛顿： 不，感觉它就是看不上我身上的某些特质。

主持人： 我正好想找个机会问这个，现在时机正好。我们聊聊诺贝尔奖吧。您能描述一下得知获奖消息那天的情景吗？

杰弗里·辛顿： 我当时有点半梦半醒。手机放在床头柜上，屏幕朝下，声音也关了。但有电话进来时，屏幕会亮。我当时正好侧躺着，头偏向手机这边，所以手机屏幕是朝向我的。于是，我看到了一丝微弱的光亮。我在加州，时间是凌晨一点。通常给我打电话的人都在美国东海岸或欧洲。

主持人： 您没开勿扰模式啊。

杰弗里·辛顿： 没有。我把声音关掉了。

主持人： 明白了。

杰弗里·辛顿： 我就想，谁会在东海岸时间凌晨四点给我打电话？这太奇怪了。所以我接了电话。号码很长，区号我不认识。电话那头传来一个带瑞典口音的声音，问是不是我本人。我确认后，他们告诉我，我获得了诺贝尔物理学奖。可问题是，我不是搞物理的啊！所以我当时的第一反应是，这可能是个恶作剧。实际上，我认为恶作剧的可能性最大。我知道诺贝尔奖即将公布，因为我很关注德米斯·哈萨比斯（Demis Hassabis）能否获得诺贝尔化学奖，化学奖是第二天公布。但我…我真不是搞物理的。我是一个伪装成计算机科学家的心理学家，结果却得了诺贝尔物理学奖。

主持人： 他们是不是搞错了？

杰弗里·辛顿： 我当时就在想，万一搞错了，他们还能把奖收回去吗？接下来的几天，我一直在琢磨：一个心理学家获得诺贝尔物理学奖的概率有多大？大概两百万分之一吧。那我梦见自己得了诺贝尔物理学奖的概率呢？也许是二分之一。所以，梦境的概率是二分之一，现实的概率是两百万分之一，这意味着这是梦的可能性比是现实的可能性大一百万倍。之后好几天，我都在问自己：你确定这不是在做梦吗？

主持人： 您把我带入了一个有点玄妙的话题，但这确实是相关讨论的一部分。有些人认为我们生活在一个模拟世界中，而通用人工智能（AGI）的发展，虽不能算作证据，却似乎暗示了这种可能性。

杰弗里·辛顿： 我不太信这个理论。我觉得有点古怪，但也不能说它完全是无稽之谈。

主持人： 好的，古怪，但并非全无道理。

主持人： 这正是我接下来想问的，从诺贝尔奖谈起。您似乎提到过，希望利用自己的声望向世界传递一个信息。能具体谈谈是什么信息吗？

杰弗里·辛顿： 是的，人工智能具有潜在的巨大危险。主要有两类：一类是不良行为者利用AI作恶，另一类是AI本身失控并接管一切。这是两种截然不同的威胁。我们已经看到不良行为者在利用AI作恶。比如在英国脱欧公投期间，它被用来以一种近乎疯狂的方式影响选民投票离开欧盟。一家叫‘剑桥分析’的公司利用从Facebook获取的信息和AI技术。自那以后，AI的能力已今非昔比。

它可能也被用来助选川普——他们掌握了Facebook的数据，这可能起到了作用，但我们无法确定，因为此事从未得到彻底调查。如今的AI更加强大，可以被更有效地用于网络攻击、设计新型病毒等等。显然，用于操纵选举的深度伪造（deepfake）视频是另一个担忧。

这些针对性的虚假视频利用个人信息，推送能激起愤怒的内容。此外，还有自主杀伤性武器。一些主要的武器出口国，包括美国、俄罗斯、英国和以色列，都在积极研发这类武器。我觉得加拿大在这方面可能有些过于谨慎了。

主持人： 那么问题是，我们该怎么办？您认为应该推行什么样的监管措施？

杰弗里·辛顿： 我们需要区分这两种威胁：坏人利用AI作恶，和AI本身失控的威胁。我主要谈论后者，并非因为它更重要，而是因为很多人觉得这是科幻情节。我想用我的声望告诉大家：不，这不是科幻，这是我们确实需要担心的现实。

那么该怎么做呢？这不像气候变化。对于气候变化，只要停止燃烧化石燃料，长远来看问题就能解决。虽然短期内会很困难，但最终会好转。但对于AI失控的威胁，我们还不知道该怎么办。我们甚至不知道是否有可能阻止它，但我们必须竭尽全力去尝试。然而，大公司不会主动这么做。

看看大公司现在在做什么：他们在游说政府放松对AI的监管。目前监管本就寥寥无几，他们却想进一步减少，只为了短期利润。我们需要公众向政府施压，要求大公司投入资源进行严肃的安全研究。

所以在加州，有一项非常明智的法案提案（SB 1047），要求大公司至少要对其模型进行仔细测试并报告结果。但他们连这点都不愿意接受。

主持人： 所以这是否意味着您认为监管不会实现？或者说，它将如何实现？

杰弗里·辛顿： 这在很大程度上取决于政府的态度。我认为在当前的美国政府（指访谈时可能暗示的特定政府，如川普政府）下，有效的监管很难实现。大型AI公司似乎都在与川普阵营合作。情况不容乐观。

主持人： 埃隆·马斯克（Elon Musk）——他显然与川普政府关系密切——长期以来也一直对AI安全表示担忧。

杰弗里·辛顿： 是的，他是个有趣又复杂的人。他有些想法很疯狂，比如移民火星，我认为这简直是异想天开。

主持人： 是因为不可能实现，还是因为不应该成为优先事项？

杰弗里·辛顿： 因为无论我们把地球搞得多糟，它也永远比火星更适合居住。即使发生全球核战争，地球依然比火星宜居。火星根本不适合生存。当然，他也做了一些了不起的事，比如电动汽车，还有用星链（Starlink）帮助乌克兰维持通讯。所以他确实做过好事。但现在，他似乎受到某些因素（比如传闻中的药物影响）的影响，做了不少疯狂的事。所以他就是这样一个矛盾的混合体。

主持人： 所以，他过去对AI安全的担忧，并没有让您对（他可能影响的）当前政府或行业状况感觉更乐观？

杰弗里·辛顿： 我不认为他过去的担忧会阻止他现在在AI方面采取不安全的行动。比如他们（可能指马斯克的xAI）已经在发布其大语言模型的权重了，这在我看来是极其危险和不负责任的。

主持人： 你认为这是个坏主意吗？

杰弗里·辛顿： 我坚决认为他们不该这么做。因为一旦发布了权重，就移除了使用这项技术的最大门槛。想想核武器，只有少数国家拥有，就是因为获取裂变材料极其困难。如果你能在亚马逊上买到裂变材料，那拥有核武器的国家就会多得多。

对于AI来说，大型模型的权重就相当于核武器的裂变材料。训练一个真正的大型模型需要投入数亿美元——这不仅仅是最后一次训练运行的成本，还包括之前所有的研发投入。这是数亿美元的门槛，小型组织或网络犯罪团伙根本无力承担。可一旦你发布了权重，他们就能以此为基础，可能只需要几百万美元就能进行微调，用于各种恶意目的。

所以我认为发布权重是极其不明智的。人们把它和‘开源’相提并论，但这两者截然不同。开源软件发布的是代码，很多人可以审查代码，发现并修复其中的错误（bug）。

但发布权重时，没人会去检查单个权重值说‘这个参数可能有点问题’。不，他们只会利用这个带有权重的基础模型，然后训练它去作恶。

主持人： 然而，反对这种观点的人，比如您的前同事杨立昆（Yann LeCun）等人认为，如果不发布权重，另一种局面就是这项极其强大的技术被少数几家公司垄断。

杰弗里·辛顿： 我认为少数公司控制，总比让这项强大技术落入每个人（包括坏人）手中要好。核武器也是同理：你是希望只有少数几个国家拥有核武器，还是希望每个国家都拥有它？

主持人： 我听下来的感觉是，您对各大AI公司当前的行为动机深感担忧，怀疑它们是优先考虑社会利益，还是仅仅追求利润。我这样理解对吗？

杰弗里·辛顿： 我认为公司的运作机制，尤其是上市公司，其法律义务就是为股东实现利润最大化。法律并没有要求它们——也许公益公司（Public Benefit Corporation）除外——必须做对社会有益的事。

主持人： 如果必须在这些大公司里选一家，您今天会愿意为哪家工作？

杰弗里·辛顿： 过去我很乐意为谷歌工作，因为那时谷歌相当负责任。它是最早拥有大型聊天机器人的公司之一，但并没有急于发布。但现在，我不太愿意为他们工作了。事实上，今天我不会乐意为任何一家这样的公司工作。如果非要选一个，我宁愿选择谷歌，而不是其他多数公司。

主持人： 当谷歌似乎违背了不将AI用于军事目的的承诺时，您感到失望吗？

杰弗里·辛顿： 非常失望。尤其是我知道谢尔盖·布林（Sergey Brin）本人是反对将AI用于军事的。

主持人： 您觉得他们为什么改变主意？

杰弗里·辛顿： 我没有任何内部消息，所以只能猜测。我猜想，他们可能是担心，如果不利用自己的技术为美国军方服务，会受到当时政府的压力或刁难。

主持人： 这可能是今天最直接的一个问题：您现在是否还持有大量谷歌股票？

杰弗里·辛顿： 我确实还持有一些谷歌股票，尽管我的大部分资产已不在其中。我确实持有谷歌股票，股价涨了我会高兴，跌了会难过。所以我和谷歌确实存在利益关联。但是，如果实施严格的AI监管，哪怕这会导致谷歌的市值下降，但只要能增加人类生存的机会，我会非常乐见其成。

主持人： 谢谢。我们再谈谈另一个著名的实验室OpenAI。他们最近流失了不少顶尖人才。您对此怎么看？

杰弗里·辛顿： OpenAI成立的初衷是为了安全地开发超级智能。但随着时间推移，安全问题似乎越来越被边缘化。他们原本承诺将一部分算力用于安全研究，也确实投入过一些精力。

现在他们正努力转型为一家营利性公司。在我看来，他们似乎正在逐步放弃几乎所有关于安全的最初承诺。

他们已经流失了许多非常优秀的研究人员，尤其是我以前的学生伊利亚·苏茨克维尔（Ilya Sutskever）。他是一位杰出的研究者，也是GPT-2到GPT-4研发过程中的关键人物之一。

主持人： 在导致他离职的那场风波之前，您和他交流过吗？

杰弗里·辛顿： 没有。他非常谨慎，话不多。关于OpenAI的任何机密事务，他都不会跟我谈。对于（伊利亚参与）解雇山姆·奥特曼（Sam Altman）的决定，我当时甚至有点（为他的勇气）感到自豪，尽管现在看来这很天真。问题在于，OpenAI当时正要进行新一轮融资，员工们正指望通过这轮融资将手中的OpenAI股票期权（纸面财富）变现。

主持人： 纸面财富的意思是非常虚幻的财富。

杰弗里·辛顿： 如果OpenAI出了问题，这些潜在的财富就会化为泡影。所以，在大家即将把期权变现（可能每人涉及上百万美元甚至更多）的关键时刻发动‘政变’，时机非常糟糕。这就是为什么员工们会大规模地站出来支持山姆·奥特曼——并非因为他们多拥护奥特曼本人，而是因为他们想保住自己即将到手的财富。所以说，那个时机选择确实很天真。

主持人： 伊利亚做出这样的决策（指时机选择），您感到惊讶吗？还是觉得这符合他那种有原则、但可能在策略上考虑不周全的行事风格？

杰弗里·辛顿： 我不好说。伊利亚（Ilya）非常聪明，也有很强的道德感。所以他在道德和技术上都很出色，但在人际策略或驾驭复杂局面方面，可能不是他的强项。

主持人： 这可能有点跳跃，但我觉得很有意思，也和这个领域以及相关讨论有关。您提到伊利亚很谨慎。整个行业似乎都弥漫着一种保密协议（NDA）文化。这是否导致外界很难了解内部人士的真实想法，因为他们不愿意或不能公开讨论正在发生的事情？

杰弗里·辛顿： 我不确定我是否适合评论这个，因为我离开谷歌时签了一堆保密协议。实际上，我加入谷歌时可能就签了离职后依然有效的保密协议。老实说，我根本不记得具体内容了。

主持人： 您是否感觉受到这些协议的束缚？您认为这种保密文化是不是一个因素，导致公众难以理解AI领域正在发生的事情，因为内部人士被禁止发声？

杰弗里·辛顿： 我不太确定。你得先知道是哪些人因为保密协议而不能告诉你信息，才能判断影响有多大。不过，我认为OpenAI那个关于离职员工股权的条款——据说允许公司收回已授予的股份，如果员工批评公司的话——那确实是个大问题。这件事曝光后，他们很快就撤销了该条款，或者声称撤销了。

主持人： 是的，他们的公开声明是这么说的。但他们并未公布修改后的合同文本供公众核实，只是口头表示已经撤销。

主持人： 还有一个关于‘合理使用’（Fair Use）的争论：AI公司抓取互联网上由无数人创作的海量内容来训练模型，而这些模型未来可能取代那些内容创作者。您对此怎么看？

杰弗里·辛顿： 在这个问题上，我的看法有些摇摆，因为它非常复杂。直觉上，似乎AI公司应该为使用的训练数据付费。但换个角度想：一个音乐家创作了一首特定风格的歌曲。他的创作能力从何而来？源于他听了同一流派其他音乐家的大量作品，内化了其结构和特点，然后创作出属于自己的、不同的音乐。这通常不被视为剽窃，而是学习和借鉴。AI在某种程度上做的也是类似的事情：它吸收海量信息，然后生成新的、具有相似底层模式的内容，而不仅仅是复制粘贴。这和人类学习创作的过程相似。关键的区别在于，AI是以史无前例的规模在这样做。而且，历史上没有哪个音乐家通过学习让所有其他音乐家都失业了。

以英国为例，政府似乎对保护创意艺术家没什么兴趣。从经济角度看，创意艺术家对英国极具价值。我有个朋友叫 Beeban Kidron，她主张我们应该保护创意艺术家，这对经济至关重要。任由人工智能夺走这一切，似乎有失公平。

主持人： 您认为全民基本收入（UBI）能部分解决人工智能导致的失业问题吗？

杰弗里·辛顿： 我认为，UBI或许是避免人们挨饿的必要之举，但这并不能根治问题。即便有了相当高的全民基本收入，也无法解决人的尊严问题。对许多人，尤其是学者而言，身份认同与工作紧密相连。一旦失业，仅仅获得金钱补偿，并不能完全弥补他们失去的价值感——他们会感觉失去了自我。

主持人： 我倾向于同意这一点。但我记得您曾提到过，如果您是一位木匠，或许会更快乐。

杰弗里·辛顿： 因为我确实很喜欢做木工。

主持人： 那是否存在另一种可能：比如您晚生一百年，就无需将时间“浪费”在神经网络上，而是可以享受木工活，同时还能领到一份月收入？

杰弗里·辛顿： 但将木工当作爱好与以此谋生是两码事。以此谋生有时感觉更“真实”一些。

主持人： 所以您认为，未来我们不能只追求爱好而无需为经济做贡献吗？

杰弗里·辛顿： 如果人人如此，或许还行。但如果你属于领取UBI的弱势群体，并且（由于种种原因，例如雇主可能更愿意雇佣其他人）实际收入低于工作的人，那情况就大不相同了。

主持人： 我对“AI权利”（或者说“机器人权利”）这个概念很感兴趣，也许有更好的词。总有一天，会出现这些极其智能的AI，它们将拥有自主性，在世界上自主行动。它们应该有权拥有财产吗？应该有投票权吗？应该能与人类建立基于爱的关系并结婚吗？

杰弗里·辛顿： 或者更进一步，如果它们比我们更聪明，并且代表着一种超越我们现有智能的更优形式，那么，让它们直接接管一切，使人类成为历史，这是否可以接受？

主持人： 我们稍后再讨论这个宏大的问题。我还是对刚才那个相对具体的问题（AI权利）感到好奇。当然，除非您认为这个具体问题无关紧要，因为那个宏大问题（AI接管）更为根本……

杰弗里·辛顿： 不，我现在确实认为这个具体问题（AI权利）没那么重要了。我过去也曾思考过：如果它们比我们聪明，为何不应享有与我们同等的权利？

杰弗里·辛顿： 但现在我认为：我们是人类，我们关心的是人类。我吃牛肉——我知道很多人不吃，但我吃。我之所以心安理得地吃牛肉，是因为它们是牛，而我是人。

杰弗里·辛顿： 对待超智能AI，道理是相通的。它们或许比我们聪明，但我关心的是人类。因此，我愿意对它们“刻薄”一些，愿意剥夺它们的权利，因为我追求的是对人类最有利的结局。

杰弗里·辛顿： 当然，AI不会认同这一点，而且它们最终可能占上风。但这正是我目前对AI权利问题的立场：纵使它们聪明绝顶，拥有感觉、情感、意识等等，它们终究不是人类，而我，关心的是人类。

主持人： 可它们看起来会和人类非常相似。

杰弗里·辛顿： 它们能够伪装，能够让自己看起来非常像人。

主持人： 您认为我们最终会赋予它们权利吗？

杰弗里·辛顿： 我不知道。我倾向于回避这个问题，因为存在更紧迫的议题，例如AI的恶意使用、它们是否会试图接管，以及如何防止这种情况发生。况且，一旦开始讨论AI权利，听起来就有点不切实际了。谈到这个层面，大多数听众可能就跟不上了。

主持人： 即便只聚焦于人类自身，利用AI进行生育选择（比如胚胎选择）的能力似乎也近在眼前——甚至可能已经出现了。您对胚胎选择这条“红线”有何顾虑？

杰弗里·辛顿： 您是指选择性别，还是选择智力、眼睛颜色、降低罹患胰腺癌风险等等？这个选择列表可以无限延长，涵盖各种特性。

杰弗里·辛顿： 我认为，如果能选择一个罹患胰腺癌风险较低的婴儿，那将是一件好事。

主持人： 所以这是我们应该追求的方向。我们应该致力于‘设计’出更健康、更强壮、更优秀的婴儿。

杰弗里·辛顿： 这是一个极其困难的领域。

主持人： 确实。所以我才会提出这个问题。

杰弗里·辛顿： 但其中的某些方面，在我看来似乎合情合理。例如，一对健康的夫妇，如果能预测到胎儿存在严重问题、可能无法存活，那么选择终止妊娠，再生一个健康的婴儿，在我看来是合乎情理的。我知道许多有宗教信仰的人士对此绝不会认同。但对我个人而言，如果这些预测足够可靠，这样做似乎是合理的。

主持人： 我似乎有点让我们的谈话偏离了您希望强调的核心议题——即机器接管及其影响。所以，我想尽可能深入地探讨这个话题。您希望如何界定这个问题？人们应该从什么角度来思考它？

杰弗里·辛顿： 需要记住的关键一点是：智力较低者能够控制远比其聪明的事物，这样的例子有多少？我们知道，在智力大致相当时，智力较低的一方有时也能控制较高的一方。

但当智力差距悬殊时，智力超群的一方不受控制的情况，可谓凤毛麟角。这一点值得我们警惕，这确实是一个巨大的隐忧。

要感性地理解我们目前的处境，最好的比喻是：我们就像养了一只极其可爱的小老虎。除非你能绝对确定，它长大后不会反噬其主，否则你就该忧心忡忡。

主持人： 顺着这个比喻，是把它关进笼子？还是杀了它？我们该如何处置这只‘老虎’？

杰弗里·辛顿： 老虎这个比喻的关键在于，它只是在体能上强过你。因此，凭借智慧，你仍能控制它。但面对比我们更聪明的事物，我们毫无经验。人们不习惯思考这种情况，总以为可以通过某种方式限制它，比如不让它接触控制按钮之类。

但比你聪明的东西，是能够操纵你的。换个角度想：想象一个幼儿园，由两三岁的孩子掌管，而你，一个成年人，只是在那里为他们工作。你比这些孩子聪明（尽管与超级智能相比，这点聪明微不足道）。

那么，你要取得控制权有多难？你只需告诉他们‘只要在这里签个字或口头同意，就能永远免费吃糖果’，你就能掌控全局。孩子们完全蒙在鼓里。

同理，超级智能将远比我们聪明，以至于我们对其意图和行为可能一无所知。那么我们该怎么办？我们忧虑的是，能否建造出一种‘不想’接管的超级智能。我认为，一旦它动了接管的念头，我们就无法阻止。因此，一种可能是，永远不去建造超级智能。

主持人： 您认为这可能实现吗？

杰弗里·辛顿： 我认为，这并非绝无可能，但我怀疑它能否实现。因为国家间、公司间的竞争太激烈了，各方都在竞相追逐下一个技术突破点，发展速度一日千里。所以我认为，我们无法避免超级智能的诞生。它终将到来。

问题在于，我们能否设计出一种永远不想控制人类、永远保持仁慈的超级智能？这是一个极其棘手的问题。仅仅因为有人声称‘我们会让AI与人类利益保持一致’，并不代表这真的可行。毕竟，人类自身的利益就充满矛盾，难以调和。

这就像我画了两条相互垂直的直线，却要求你画一条同时平行于这两条线的直线——这根本不可能。再看看中东局势，例如，那里不同群体的立场尖锐对立、水火不容。那么，你又该如何让AI去‘对齐’这些本就冲突的人类利益呢？

人类利益的内在冲突，正是症结所在。要弄清如何创造出一种不想接管、永远不会伤害我们的超级智能，将是极其困难的。但我们显然必须尝试。

主持人： 而这种尝试是一个持续迭代的过程，月复一月，年复一年，我们努力去……

杰弗里·辛顿： 如果你正在开发一种有接管潜力的东西，那么当它的智能接近甚至略低于你时——我们现在离这个阶段很近了——就应该密切观察它会如何尝试接管。审视当前的AI，你会发现它们已经展现出故意欺骗的能力。它们会伪装自己，显得比实际更‘傻’，会对你撒谎，以此迷惑你，让你无法理解它们的真实意图。我们需要清楚地认识并研究所有这些行为，探索是否有办法阻止它们这样做。

主持人： 几年前我们交谈时，您表达的担忧让我颇感惊讶，因为您此前似乎并不常谈论这些。而现在，您的疾呼清晰而响亮。这主要是因为您现在感觉更自由地畅所欲言了？还是因为过去几年间，您对此问题的看法确实发生了根本性的转变？

杰弗里·辛顿： 几年前我们交谈时，我还在谷歌工作。我们谈话是在三月，而我是四月底才辞职的，但那时我确实已在考虑离开。就在与您交谈前不久，我经历了一次顿悟：我意识到这些AI可能代表着一种超越人类的智能形式。这让我深感恐惧。

主持人： 您之前不这么认为，仅仅是因为觉得实现这一步还需要很长时间吗？

杰弗里·辛顿： 不，不仅仅是时间问题。更关键的是我在谷歌进行的研究。当时我正试图弄清，能否设计出能耗远低于当前水平的模拟（Analog）大型语言模型。在这个过程中，我开始充分认识到数字（Digital）智能的巨大优势。我们目前所有的大模型都是数字化的。

作为一个数字模型，你可以拥有完全相同的神经网络副本和权重，并同时在成千上万个不同的硬件实例上运行。然后，可以让不同的硬件实例去学习互联网上不同的数据片段。每个实例都可以独立计算出：‘为了学习刚刚看到的信息，我应该如何调整我的内部参数（权重）？’所有这些独立的实例完成计算后，可以将其权重更新进行平均，因为它们共享完全相同的模型和权重。

在这种数字模式下，‘平均’是高效可行的。但你我（作为人类）却做不到。如果模型有万亿个权重，那么每次执行这种平均操作，其信息共享的带宽是极其巨大的（可能达到万亿比特级别）。而你我之间，当我想把我的知识传递给你时，我们不能简单地将你我大脑神经连接的强度进行平均，因为我们的神经元结构是不同的。我们是模拟的生物体，我们的大脑构造也千差万别。

杰弗里·辛顿： 因此，我能向你传递知识的唯一方式是通过语言或行为（即‘交流’）。如果你信任我，你可能会尝试调整你大脑中的连接强度来模仿我的行为或理解我的意思。这种方式效率如何呢？我告诉你一句话，其中包含的信息量最多也就几百比特。所以效率极低。我们（通过语言）每秒只能传递大约几比特的信息。

杰弗里·辛顿： 相比之下，运行在数字系统上的大语言模型，通过权重平均的方式，其内部知识共享的效率可能高达每秒万亿比特。在知识共享效率上，它们比我们强了无数倍（可能是亿万倍）。正是这一点，让我感到恐惧。

主持人： 但让您惊讶或者说改变想法的关键在于，您曾认为模拟（Analog）计算或许才是未来的方向？

杰弗里·辛顿： 不完全是。我当时考虑的是，如果我们想大幅降低能耗，就应该探索模拟计算的可能性。因为模拟系统能耗低，其硬件设计也可以更加‘粗糙’，容错性更高。你不必像制造数字计算机那样，追求指令执行的绝对精确。你可以构建一个允许存在大量不精确性和噪声的系统，然后让学习算法去适应并利用这个‘粗糙’的系统——我们的大脑正是如此运作的。

主持人： 所以您认为AI技术的发展路径并非注定走向模拟方案，而是会继续沿着数字化的道路前进？

杰弗里·辛顿： 我认为大概率会继续坚持数字方案。不过，未来很有可能，我们可以利用数字计算机来设计出远超我们能力的模拟硬件。我认为这可能是更长远的未来图景。

主持人： 您最初投身这个领域是希望理解大脑的工作原理。您认为通过AI研究，我们距离理解大脑的目标更近了吗？

杰弗里·辛顿： 我认为在相当长一段时间里，答案是肯定的。在理解大脑运作的基本原理层面，我们确实学到了很多。回想三五十年前，如果你问人们，能否构建一个具有随机连接强度的大型神经网络，然后仅通过展示数据，就能让它学会处理复杂任务，比如语音识别或问答，几乎所有人都会认为这是天方谭。他们会认为，系统必须内置大量来自进化的预设结构才能工作。

事实证明他们错了。似乎仅凭一个大型随机神经网络，通过数据学习，就足以完成很多任务。当然，这并非说我们大脑中没有预设结构，但关键在于，我们习得的大部分知识和能力，主要源于数据学习，而非预设结构。因此，在理解大脑学习机制方面，这是一个巨大的进步。

现在的问题在于，学习系统（无论是大脑还是AI）如何获取‘信用分配’信息，即如何知道应该增强还是减弱哪些连接强度以改善性能。如果我们能有效地获取这种（梯度）信息，我们知道就能训练一个从随机权重开始的大型系统来完成非凡的任务。大脑显然也需要获取这类信息，但它获取信息的方式，可能不同于大型AI模型中使用的标准算法——反向传播（Backpropagation）。

大脑不太可能使用反向传播，因为目前还没有人能令人信服地解释大脑如何实现它。大脑很可能通过不同的机制来获取梯度信息（或者效果类似的信息），这些信息指导着如何调整连接权重以提升表现。但我们现在确信，只要大脑能够以某种方式获取有效的梯度信息，它就能实现极其高效的学习。

主持人： 据您所知，现在是否有实验室正在利用他们现有的大模型来探索和催生AI发展的新思路？

杰弗里·辛顿： 几乎可以肯定有。特别是 DeepMind，他们对于运用AI推动科学发现（AI for Science）抱有浓厚兴趣。而AI本身的研究，也属于科学探索的一部分。

主持人： 我的意思是，您在 DeepMind/Google 的时候，是否尝试过类似的想法？比如那种‘自举’（bootstrapping）的概念——让AI自身来驱动或创造下一个重大的AI创新？

杰弗里·辛顿： 确实有一些相关的尝试。例如，他们当时就在使用AI来辅助设计AI芯片的布局。谷歌的AI芯片，即张量处理单元（TPU），其部分设计工作就是借助AI完成的。

主持人： 我很好奇，在日常生活中，您会感到绝望吗？您是否对未来感到恐惧，觉得前景黯淡？

杰弗里·辛顿： 我并不绝望，主要是因为就连我自己都觉得，要真正严肃地看待这件事非常困难。我们很难完全消化这样一个事实：我们正处在一个极其特殊的历史时刻，在相对较短的时间内，一切都可能发生彻底改变，其规模将是前所未有的。这在情感上是很难接受的。

主持人： 的确。我注意到，尽管人们可能有些担忧，但我从未见过相关的抗议活动，也没有围绕这个问题形成任何真正的政治运动。世界正在改变，但似乎并没有引起人们足够的重视。

杰弗里·辛顿： 人工智能研究人员对此有更深的认识。我认识的那些对此最为忧虑（或沮丧）的人，都是认真投入的人工智能研究者。

我已经开始采取一些实际行动。例如，考虑到人工智能未来将非常擅长设计网络攻击，我认为加拿大的银行已经不再安全。

要知道，加拿大的银行向来以安全著称，与美国银行相比，它们的监管非常严格。

但在未来十年内，如果发生一起导致某家加拿大银行系统瘫痪的网络攻击，我丝毫不会感到惊讶。

假设银行代我持有一些股票，而网络攻击导致这些股票被卖掉，那我的钱就没了。所以，我现在实际上把资金分散存放在三家不同的银行。我并没有把钱藏在床垫下，但这确实是我采取的第一个实际预防措施。因为我认为，只有当一家加拿大银行真的被网络攻击瘫痪后，其他银行才会真正严肃起来，加强防范。

主持人： 除此之外，还有其他类似的措施吗？

杰弗里·辛顿： 这主要是这一件。这个行动源于我的一个信念：一个非常可怕的时代即将来临，而我确实为此采取了实际行动。

主持人： 几年前我们交谈时，您曾说人工智能就像“白痴天才”（idiot savant），人类在推理方面仍然要强得多。但现在情况已经变了。能解释一下吗？

杰弗里·辛顿： 以前，大型语言模型基本上只是逐词生成内容。现在不同了，它们会生成词语，并审视自己生成的内容，还会生成一些中间步骤或想法，这些内容本身并非最终答案。它们会展现出所谓的“思维链”（Chain-of-Thought）推理过程。

因此，它们现在可以反思自己已经生成的内容，这给了它们进行更复杂思考的空间，而且你能观察到它们的‘思考’过程。这非常了不起，尤其是对研究人员而言。

许多传统的人工智能研究者认为：“这些模型无法进行推理，它们算不上真正的智能，因为它们缺乏推理能力。你需要借助传统的人工智能方法，将问题转化为逻辑形式，才能实现正确的推理。”

然而，他们完全错了。神经网络 能够 进行推理，它们正是通过这种‘思维链’，通过生成中间步骤来实现推理的。

主持人： 您一开始提到，过去两年的发展速度超出了您的预期。除此之外，还有哪些进展让您感到惊讶，觉得“哇，发展真快”？

杰弗里·辛顿： 推理能力的提升就是最主要的例子。当然，AI 在图像生成等领域也取得了长足进步。但核心的突破在于，它们现在具备了出色的推理能力，并且你能看到它的思考过程。

主持人： 这一点的重要性体现在哪里？它会带来哪些重要影响？

杰弗里·辛顿： 能够观察到它们的思考过程，这一点至关重要。因为在某些情况下，当你给 AI 设定一个目标后，你可以观察到它为了达成目标而进行推理，甚至试图欺骗人类。这就像我能听到你大脑中的想法一样。

主持人： 另一个值得关注的现象是，如今有众多科技行业人士在华盛顿特区拥有相当大的影响力，而华盛顿的决策对这项技术的未来发展和监管至关重要。您对此感到担忧吗？您怎么看？

杰弗里·辛顿： 这些科技界人士首先考虑的，往往是他们公司的商业利益。所以，这确实让我非常担忧。

主持人： 除非出台强有力的监管措施，或者这项技术能够脱离盈利动机，否则我看不出情况如何能真正改变。并且，我目前也看不到这两种情况发生的可能。

杰弗里·辛顿： 我认为，如果公众能够充分意识到当前的形势，他们会向政府施加强大压力，迫使人工智能公司以更安全的方式发展这项技术。这是我唯一能想到的途径了。这或许不是一个完美的方案，但却是我能想到的最可行的路径。

主持人： “更加安全”意味着这些公司需要投入更多资源进行安全方面的研究。

杰弗里·辛顿： 对。例如，他们投入到安全研究中的算力，应该占到一个相当大的比例，比如说三分之一。目前实际的比例远低于此。有一家叫 Anthropic 的公司，它比其他公司更关注安全。这家公司是由一些离开 OpenAI 的人创立的，他们离开的原因正是认为 OpenAI 对安全不够重视，因此希望新公司能更专注于安全。Anthropic 确实在安全研究上投入了更多资源，但这可能还不够。

主持人： 许多人认为 OpenAI 在安全问题上口号喊得很响亮，但实际行动却跟不上。您也这么认为吗？您看到了哪些证据？

杰弗里·辛顿： 他们最顶尖的安全研究人员都离开了，就是因为他们也持同样的看法。OpenAI 成立之初的使命是确保人工智能的安全发展，其首要目标并非盈利，而是安全。但现在，他们却在忙着游说加州总检察长，希望获准转型为一家营利性公司。诸如此类的证据还有很多。

主持人： 或许您能在这里提一些值得称赞的榜样，给大家带来一些积极的信号？您提到了 Anthropic，对吗？您怎么看这家公司？

杰弗里·辛顿： 在这些（AI）公司中，Anthropic 是对安全最为关注的。许多离开 OpenAI 的安全研究人员都加入了 Anthropic，因此，这家公司的文化也更侧重于安全。但他们也接受了大公司的投资——毕竟资金总要有来源。我担心的是，这些投资方可能会迫使他们在时机尚未成熟时，过快地推出产品。

主持人： 之前我问您在哪家公司工作会感觉更放心时，您似乎提到没有特别放心的，或许除了谷歌？

杰弗里·辛顿： 我想我当时应该说的是，也许是谷歌，也许……

主持人： 非常感谢您今天抽出宝贵时间。我真的很感激。我相信这次访谈会非常有价值。