李飞飞：AI的下一次飞跃

“当AI理解空间，人类将首次在数字宇宙中成为‘造物主’。” ——李飞飞

a16z昨天做了一期节目，由其合伙人Erik Torenberg 邀请到 World Labs 联合创始人兼首席执行官李飞飞，以及 a16z 普通合伙人、该公司早期投资者 Martin Casado，共同展开对话。他们将深入探讨“世界模型”这一核心概念——它是一种能够理解物理三维世界并进行推理，而非仅仅处理文本的人工智能系统。

被誉为“AI教母”的李飞飞将阐释空间智能为何是当今人工智能系统中一个至关重要（且当前缺失）的维度，以及她的新公司为何倾力投入以攻克这一挑战。Martin 则会分享他与李飞飞远在这一理念蔚然成风之前便已形成的共识，并揭示这一远见为何可能奠定机器人技术、创造力乃至计算本身的未来基石。

? 核心要点速览

“当AI学会‘看见’空间，人类将第一次在数字世界中成为上帝——这不是科幻，而是World Labs正在书写的现实。”

1. LLM不是终点，而是起点

“语言仅是现实的‘压缩包’，而空间才是智能的根基。”

Why：人类文明靠空间构建（从DNA双螺旋到建筑），但当前AI对此完全“失明”。

2. 世界模型 = AI的‘3D操作系统’

“给AI一双看懂物理世界的眼睛：从2D图像生成可编辑、可测量的3D宇宙。”

突破点：让机器理解遮挡关系（如“桌子背面”）、物理交互（重力/碰撞），解锁机器人、自动驾驶等万亿级场景。

3. 空间智能比语言古老5亿年

“语言脑区仅进化20万年，但空间感知是爬行脑的遗产——人类靠它生存，AI靠它落地。”

实证：李飞飞亲述因角膜损伤失去立体视觉后，驾驶时速骤降至10英里——深度感知是生存刚需。

4. 从‘一个地球’到‘无限宇宙’

“世界模型将让人类成为数字造物主：为机器人训练、科幻叙事、虚拟社交一键生成平行宇宙。”

颠覆性：创造力不再受物理限制（例：建筑师在AI宇宙中实时修改摩天大楼结构）。

5. 3D重建技术已到临界点

“神经渲染（NeRF）+扩散模型+图形学——我们正将实验室技术变为产业级‘空间引擎’。”

团队壁垒：World Labs集结NeRF发明人、GAN先驱，攻克LLM巨头忽略的硬核战场。

接下来，让我带来精心编译的播客中文文稿：

空间智能

李飞飞：空间，三维空间，我们身处的外部空间，我们意识中的内在空间——空间智能，是构成智能不可或缺的关键一环。有了它，我们便有能力创造出无限的宇宙：

有些专为机器人打造

有些致力于激发创造

有些用于促进社交

有些引领我们探索未知

有些则用来编织引人入胜的故事

它将赋予我们畅游多元宇宙的能力。对我而言，世界模型（World Model）的重要性不言而喻，无需大型语言模型（LLM）来加以印证。

李飞飞的背景

Erik Torenberg：Martin，能否请您为我们简要介绍一下飞飞？对于那些可能对她不甚熟悉的朋友，您会如何概括她对人工智能领域的卓越贡献？

Martin Casado：飞飞的成就斐然，其实无需过多介绍，她的贡献众多，我难以一言蔽之。或许，我只挑选几点与今日主题紧密相关的来分享吧。当然，她曾是 Twitter 的董事会成员，也曾担任谷歌高管，如今是 World Labs 的创始人兼CEO。

尤其关键的是，在人工智能领域，当大家普遍关注神经网络并致力于提升其效率之时，是飞飞高瞻远瞩地将“数据”这一维度引入其中。如今我们愈发认识到，数据或许才是那个更根本、也更引人入胜的课题。因此，她被誉为“AI教母”，确实当之无愧。

构建世界模型

Erik Torenberg：飞飞，您当初为何坚持选择 Martin 作为您的第一位投资者？

李飞飞：首先，我与 Martin 相识已逾十年。2009年，当我作为一名年轻的助理教授加入斯坦福大学时，Martin 正好在那里攻读博士学位的最后阶段。因此，我对他一直有所了解，况且 Martin 的导师 Nick McKeown 也是我的挚友。我也一直关注到 Martin 后来成为了一位非常成功的企业家和投资家。我们时常会面，交流各种想法。

但是，当我在构思 World Labs 的蓝图时，我内心期盼的，是一位我称之为“独角兽级别”的投资者——我不知道这个词是否恰当，但我是这么想的。

我需要的不仅仅是一位功成名就、能在创业的跌宕起伏中始终陪伴、富有洞察力且能提供宝贵知识、建议与资源的投资人；我尤其渴望的，是一位能在思想层面深度共鸣的伙伴。

因为我们在 World Labs 从事的是极具开创性的技术研发，我们正努力尝试前人未竟的事业。我们坚信这必将深刻改变世界，但我需要一位本身即是计算机科学家、人工智能领域的学者，同时又深谙产品市场、推广策略和消费者心理，能够随时随地通过电话或面对面与我进行思想碰撞的伙伴。

Martin Casado：我们最初的结缘确实颇具戏剧性。飞飞对这个想法显然已酝酿良久，远在项目启动之前，可能长达数年。她常常谈及，她对于人工智能若要真正认知世界所必需的要素，拥有一种极为深刻的直觉。

记得有一次，我们都参加了 Mark Andreessen 组织的一场斑端晚宴（也可能是午餐），席间聚集了众多AI领域的顶尖人物，大家都在为大型语言模型（LLM）的突破而兴奋不已，话题始终围绕着语言。而我，由于过往在图像识别领域有不少投资经验，也独立地意识到：故事远未结束。

就在那张餐桌旁，当所有人都在热议LLM的无限可能时，飞飞向我探过身来，低声问：“你知道我们现在缺少什么吗？”我反问：“我们缺少什么？”她回答：“我们缺少一个世界模型。”那一刻，我心头一震：“正是如此！”

是的，一切仿佛瞬间豁然开朗。因为我之前也一直在宏观层面琢磨类似的问题，但她，以其一贯的精准与洞察力，完美地将这个概念阐述了出来。她对这个问题已经深入思考了一年，与各方人士进行了广泛交流。

所以，在某种程度上，我们俩都循着各自不同的探索路径，最终抵达了高度相似的直觉认知——当然，她的思考要比我系统和深入得多，我的还只是一些零散的念头。自那以后，我们进行了多次深入的对话，双方都确认了彼此在这个核心理念上的高度契合。

李飞飞：其实，或许您有所不知，在那次午餐上，我们确实在“世界模型”这个想法上一拍即合。但在此之前，我已经与许多人探讨过这个概念，不仅有计算机科学家和技术专家，还有投资人及潜在的商业伙伴。坦白说，绝大多数人并未真正领会其深意。当我提及“世界模型”时，他们会点头示意，但我能感觉到那更多的是一种礼节性的附和。

于是，我给 Martin 打了电话，我说：“您介意来斯坦福校园和我喝杯咖啡吗？”见面后，我直接问 Martin：“您能否为我定义一下您所理解的世界模型？”我迫切地想知道，Martin 是否真正理解了我的核心思想。他所阐述的——一个能够真正理解世界的三维结构、物体形态及其组合关系的AI模型——这与我所构想的完全一致！

我当时心想：“太棒了！他是我迄今为止遇到的唯一一个真正理解了我想法的人，而不仅仅是礼貌性地点头。”

Erik Torenberg：哇，原来如此，非常精彩。我们稍后会更深入地探讨 World Labs 及其具体工作。

回顾人工智能的演进

Erik Torenberg：不过，或许我们应该先稍作回顾。我想请二位追忆一下当年攻读博士和执教的岁月。如果时光倒流，让你们带着对过去十年人工智能发展的认知回到从前，你们认为最让你们始料未及的会是什么？换言之，哪些是你们当年完全无法预见，甚至会让年轻时的自己大为震惊的突破或转折？

李飞飞：是的，这听起来或许有些讽刺，因为正如 Martin 所言，我正是将数据引入人工智能领域的那个人。然而，即便如此，我内心深处依然为数据驱动的人工智能，为那些对数据“如饥似渴”的模型所取得的进展而震撼——它们发展到今天，竟能展现出思考机器般令人难以置信的涌现行为，这着实让我惊叹不已。

那么，为何还要创办一家新的基础模型公司呢？为何不继续深耕语言模型……您知道，我的学术求索之路，其核心并非创办公司或发表论文，而是为了找到那个指引方向的“北极星”问题。所以，我并非某天一觉醒来便决定“我必须创办一家公司”。

在过去的数年里，我日复一日地沉思：语言之外，天地辽阔。语言固然是思想与信息的一种极其强大的编码方式，但在描绘我们所有动物与生命体赖以生存的三维物理世界方面，它却显得力有不逮。若您审视人类智能，便会发现其绝大部分都超越了语言的范畴。语言在捕捉真实世界时，往往是一种有损的压缩。而且，语言有一个微妙的特性：它是纯粹生成性的，在自然界中并无实体对应。

我们环顾四周，看不到漂浮的音节或文字，映入眼帘的唯有真实不虚、可感可知的物理与视觉世界。整个动物的进化史，都构建在海量的感知智能及最终形成的具身智能的基础之上。人类不仅依赖这些智能生存、生活、工作，更在此基础上构建文明，不断塑造和改变着世界。所以，这便是我渴望攻克的核心问题。

为解决此问题，学术研究无疑至关重要，作为一名学者，我为此倾注了多年心血，且乐在其中。但我逐渐清晰地认识到，尤其是在与 Martin 深入交流之后，时机已然成熟：唯有通过集中的、工业级的、目标明确的努力——整合顶尖的计算资源、数据和人才——才能将这一愿景化为现实。是的，这便是我创办 World Labs 的初衷。这太令人振奋了。

3D理解的重要性

Martin Casado：是的，Erik，你可以做一个非常简单的思想实验，它能清晰地揭示语言与空间感知的差异。

假设我把你带进一个房间，蒙上你的双眼，然后仅用语言向你描述房间的布局，再让你去完成一项特定任务。你成功的几率会微乎其微。

比如我说：“你前方大约十英尺处有个杯子，左手边是某某物体……”这是一种极其不精确的现实传达方式，因为现实世界是如此复杂，且要求极高的精确度。

反之，如果我摘下你的眼罩，让你亲眼观察这个空间，你的大脑实际上就在实时重建三维场景，这时你便能自如地操作物体、触摸感知。对吧？

所以，我们可以这样理解：我们进行大量的语言处理，用以交流思想、传递高阶概念等等；然而，当涉及到在真实世界中导航和互动时，我们真正依赖的，是世界本身以及我们大脑重建空间的能力。

Erik Torenberg：您是在何时、又是如何意识到仅凭语言可能不足以支撑真正的智能呢？因为这似乎并非一个广为人知的观点，我并不经常听到类似的讨论。

Martin Casado：嗯，您知道，若要问我何为人工智能领域最令人意外的突破，那无疑是语言处理技术率先取得了巨大进展。

要知道，我们先前在机器人技术上已倾注了何等巨大的努力！对吧？在我看来，单以自动驾驶汽车行业为例，我们恐怕已投入了近千亿美元。我还记得2006年，当 Sebastian Thrun 赢得 DARPA 无人驾驶挑战赛时，我们都欢欣鼓舞，以为自动驾驶的时代即将来临。

然而，时至今日，差不多二十年过去了，在耗费了千亿美元的巨资之后，我们才勉强触及目标，而且这在很大程度上仍是一个二维层面的问题。所以，我们最初的探索路径是尝试解决真实世界的导航问题，这条路异常艰难。

紧接着，这些大型语言模型（LLM）仿佛横空出世，它们不仅展现出良好的单位经济效益，而且几乎是立竿见影地解决了诸多语言难题。这确实让我始料未及。

其实飞飞的阐述非常精辟：我们大脑中负责处理语言的区域，其进化历史相对较短，因此我们处理语言的效率并不算高，对吧？所以，计算机在这方面表现更优，并不足为奇。

然而，大脑中负责导航，即空间感知的那部分，其历史却悠远得多，可能长达百万年，爬行动物的大脑甚至可能有四百万年的历史，这部分能力是历经无数磨砺进化而来的——那是如同经历“切肤之痛”般的磨砺，长达五亿年的进化史啊。

解构进化：为何3D智能比语言更难

Martin Casado：这几乎就像我们正在逆向解构进化的历程，对吧？语言能力对于高层次概念的理解和处理，以及类似“知识型工作”而言，的确至关重要，这也是目前大型语言模型（LLM）主要影响的领域。

然而，一旦涉及到空间认知——这涵盖了从机器人技术到任何需要构建物理实体的应用场景——你就必须攻克这个难题。我们从自动驾驶（AV）的研发历程中深知，这是一个极端棘手的问题。

值得一提的是，生成式人工智能的浪潮为我们如何应对这一挑战提供了一些宝贵的启示。因此，我们感觉，真正的时机已经到来。

李飞飞：嗯，我的心路历程则截然不同，因为我一直深耕于视觉领域，对吧？所以，我并不需要大型语言模型（LLM）来向我证明世界模型的重要性。

我先强调，我们并非在此贬低语言的价值。我对此感到无比兴奋，事实上，目睹 ChatGPT、LLM 以及其他基础模型取得如此辉煌的突破，极大地鼓舞了我们，让我们意识到，世界模型的时代也日益临近。

但是，Martin 的概括非常精彩：空间，无论是三维的宏观空间，我们周遭的客观世界，还是我们脑海中构想的微观空间——正是这种使人类能够完成诸多超越语言范畴任务的空间智能，构成了智能至关重要的核心部分。

它贯穿了从远古生物的生存本能到人类最具创新性的科学发现，例如DNA的结构，对吗？那种精妙的三维空间双螺旋结构，绝非仅凭语言就能推导出来的。这便是一个例证。

我个人非常钟爱的另一个科学实例是富勒烯（Buckyball）——哦，是的，那种结构巧夺天工的碳分子。这类例子无不彰显出空间和三维世界所蕴含的深邃与奥秘。

从单一现实到无限虚拟宇宙

Erik Torenberg：让我们……让我们更具体地畅想一下未来。当 World Labs 成功实现其愿景，或者说当世界模型的技术愿景得以实现时，将会涌现出哪些实际的应用或用例？能否为听众描绘一些具体的场景，让这个概念更加触手可及？

李飞飞：是的，应用前景非常广阔。例如，创造力本身就高度依赖视觉。我们有来自设计、电影、建筑、工业设计等各个领域的创造者。

创造力不仅服务于娱乐，更能驱动生产力，应用于机械制造等诸多行业。这本身就是一个对视觉、感知和空间能力要求极高的领域或工作集群。

当然，我们也提及了机器人技术。在我看来，机器人技术泛指所有具身化的机器，不仅仅是人形机器人或汽车，还包括介于两者之间的万千形态。但它们无一例外，都必须以某种方式理解其所处的三维空间，必须经过专门的训练来认知三维环境，并且必须能够执行任务，有时甚至需要与人类高效协作——而这一切，都离不开空间智能的支撑。

当然，我认为尤其令我心潮澎湃的一点是：在整个人类文明的漫长历史中，我们所有人都共同栖息于一个三维世界，那就是我们脚下的地球这个物理的三维空间。虽然曾有少数先驱踏足月球，但毕竟人数寥寥。那也仅仅是一个世界。然而，正是这项技术——我们应该深入探讨这项集生成与重建能力于一体的技术——赋予了数字虚拟世界令人难以置信的魔力。

由此，我们便能真正创造出无限的宇宙。有些宇宙专为机器人而设，有些为激发创意而生，有些用于社交互动，有些引领我们踏上奇幻旅程，有些则用于编织动人的故事。它将使我们得以在多元宇宙中穿梭往来，这种前景的想象空间是无穷无尽的。

Martin Casado：这些对话听起来或许有些抽象，但其本质并非如此。它们显得抽象，恰恰是因为这项技术具有真正的横向通用性，正如大型语言模型（LLM）一样，对吧？比如，若问LLM擅长什么，我们会发现，同一个LLM，我们既可以用它进行富有情感的交流，也可以用它编写代码，还可以让它列出清单，我们甚至用它来辅助实现个人成长与价值，对吧？

所以，我认为我们可以非常具体地阐述这些世界模型究竟能做什么。

借助这些模型，你可以捕捉现实世界的一个视角，比如一个二维图像，然后在计算机内部构建出一个完整的三维表征，这个表征甚至包含了那些在原始视图中不可见的部分，例如桌子的背面。也就是说，仅凭一个二维输入，你就能获得完整的空间信息。

那么问题来了：拥有了这些三维信息后，你能做些什么呢？例如，你可以操纵它、移动它、测量它、堆叠它——任何你能在真实空间中进行的操作，都可以在这个数字化的三维表征中实现。对吧？这意味着你可以进行建筑设计、工业设计。

不仅如此，这种补全桌子背面信息的能力，也意味着你可以生成那些原本压根就不存在的全新内容，对吧？比如说，我仅仅拥有一张物体的二维照片，我就能创造出它360度的完整立体影像。如此一来，你就拥有了完全的生成能力。这又意味着什么呢？这意味着电子游戏、创意产业等等都将因此而改变。

所以，这是一项极具横向性的关键技术，它能让计算机通过一个或多个视角观察世界，并据此创建一个完整的三维表征，然后计算机便能基于这个表征采取行动。由此可见，从机器人技术到电子游戏，再到艺术与设计，这都是一个非常具体且具有枢纽作用的核心要素。

Erik Torenberg：如此说来，我们似乎直到现在才开始充分认识到三维组件的重要性。这种看法是否公允？

李飞飞：这种看法是公允的。事实上，我认为，进化本身就历经了漫长的岁月，三维感知绝非一个轻易就能解决的问题。

但我常常回想起多年前与我六岁孩子的一段对话，当时我们讨论为什么树木没有眼睛。最根本的答案是：树木不会移动，因此它们不需要眼睛。正是整个动物界生命活动的基础——移动、行动和互动——赋予了感知能力和空间智能以生命力。

反过来，正如 Martin 所指出的，空间智能也将以其横向渗透力，深刻重塑人类工作与生活的方方面面。

3D vs 2D：为何2D对机器而言不够

Erik Torenberg：那么，这种理解一定要是三维的吗？或者说，仅仅使用二维信息是否可行？

李飞飞：物理规律在三维空间中运作，世间万物的互动也在三维空间中展开。导航至桌子的另一侧，需要在三维空间中进行；无论是构建物理世界还是数字世界，都离不开三维的框架。因此，从根本上讲，这是一个三维的问题。

Martin Casado：我们可以这样设想：如果是一个人类观察一段二维视频，他或她的大脑能够自然地在意识中重建出三维场景，对吧？但是，如果你要求一台计算机执行此任务——例如，我有一个机器人，它接收来自某个模型的输出——如果这个输出是二维的，然后你指令机器人去判断距离或抓取物体，那么关键的空间信息就缺失了。

您知道，我们有X、Y、Z三个空间维度，如果只有二维信息，那么Z轴（代表深度）就完全不存在了，对吧？因此，对于许多涉及空间操作的任务，你必须向计算机提供三维信息，它才能在三维空间中有效地导航和作业。

所以，二维视频对于人类观察者而言是足够的，因为我们的大脑具备将其转化为三维理解的能力；但对于任何计算机程序而言，三维信息都是不可或缺的。

李飞飞的个人故事：失去立体视觉

李飞飞：其实，我想分享一段我的亲身经历。大约五年前，颇具讽刺意味的是，由于一次角膜意外受伤，我曾有数月时间失去了立体视觉。这意味着，在那段时间里，我几乎是完全依靠单眼来看世界。正如 Martin 所说，我的一生都习惯于双眼形成的立体视觉，所以即便当时只能用一只眼睛，我大致上还是能感知到三维世界的轮廓。

但作为一名视觉科学家，那对我而言是一段极为奇妙的“实验”时期，让我得以亲身体验世界的不同呈现方式。有一件事给我留下了极其深刻、甚至可以说是刻骨铭心的印象——我变得非常害怕开车。

首当其冲的是，我完全不敢上高速公路，那种车速对我来说是无法驾驭的。即便只是在我非常熟悉的社区里开车，我也发现自己无法准确判断我的车与路边停放车辆之间的距离——尽管我对自己的车有多大、邻居停着的车大致尺寸以及那些日复一日行驶的路况都了如指掌。但就是在那样熟悉的环境下驾驶，我也不得不把车速降得极慢，大约只有每小时10英里，才能确保不会刮蹭到其他车辆。这段经历，恰恰生动地说明了我们为何如此需要立体视觉。

Martin Casado：这确实是一个绝佳的例证，完美地阐释了为何在进行某些信息处理时，三维感知就如同游戏中的“经验值”一样关键，对吧？是的，所以我并不建议大家轻易尝试，但如果你执意要蒙上一只眼睛去停车，再用这种方式开车上路感受一番，那后果可要自负了。

World Labs的研发

Erik Torenberg：我们知道，在大型语言模型（LLM）领域，许多突破性的研究都是在大型科技公司内部完成的。那么，在您们所专注的这个领域（即世界模型/三维智能），目前的研究生态是怎样的？

李飞飞：与LLM相比，这无疑是一个更为新兴的研究领域。当然，说它“全新”也不尽然，因为在计算机视觉学科内部，我们多年来一直在进行相关的基础性探索。

例如，3D计算机视觉领域的一项里程碑式的革命，便是神经辐射场（NeRF）技术的出现，这项成果由我们的联合创始人之一 Ben Mildenhall 及其在伯克利的同事们共同完成。大约在四年前，这种运用深度学习进行3D重建的方法，确实给整个领域带来了风暴式的影响。

我们团队还有另一位联合创始人 Christoph Lassner，他的许多开创性工作，是推动高斯泼溅（Gaussian Splatting）表示法近年再度兴起、并成为一种主流三维体数据表示方法的重要原因之一。

当然，还有 Justin Johnson，他曾是我的学生，如今也是 World Labs 的联合创始人。作为第一代深度学习计算机视觉领域的学者，在Transformer架构问世之前，他们就在图像生成方面做出了大量奠基性的工作——那时我们主要使用生成对抗网络（GANs）进行图像生成，随后又发展出风格迁移等技术，这些早期的探索都为我们今天正在从事的工作的许多核心组件或要素的形成与普及奠定了基础。

所以，无论是学术界还是工业界，相关的研究与尝试其实一直在进行。

而在 World Labs，我们抱持着坚定的信念，决心倾尽全力，专注于攻克这个单一而宏大的“北极星”问题，将计算机视觉、扩散模型、计算机图形学、优化算法、人工智能以及数据科学等各个领域全球最顶尖的智慧汇聚于此，组成一个精英团队，力求将这一愿景变为现实，并最终实现其产品化。

Martin Casado：坦白说，从一个外部观察者的视角来看——我并非这些细分领域的专家——但我深切地感到，要真正解决这个复杂的问题，你需要一个跨学科的顶尖团队：既要有深谙数据处理与模型构建（例如实际模型架构设计）的人工智能专家，也要有精通如何在计算机内存及屏幕上高效表示三维对象的计算机图形学专家。因此，要成功攻克这一难题，确实需要一支能力极为特殊且卓越的团队，而飞飞已经成功地将这样的团队凝聚在了一起。