李飞飞：人也不是全靠现实数据学习啊

时隔近两年，李飞飞终于再做客a16z，畅谈空间智能和World Labs在机器人赛道上的全盘布局。

全程信息密度拉满，完全不敢眨眼！

我们的目标是将空间智能打造为AI的下一个前沿。

在物理空间中行动的能力，仍然是未来AI世界中最令人兴奋、也最具深远意义的能力之一，而机器人正是其中的核心。

机器人是空间智能落地的第一块试金石，也是世界建模重要的应用场景。

SceniX解决的正是机器人领域最困难的问题：训练数据和评估数据都非常匮乏。

要让机器人真正工作，我们必须释放scaling law（缩放定律）的力量。

真实环境评估不仅慢，而且还危险而昂贵。相比之下，仿真环境具备完全的可控性与可解析性；在可靠性和效率两方面都能提供独特价值。

具体用哪个模型其实不重要，因为模型总会换代，但基础设施不会。

视频刚上线，评论区网友的脑洞就彻底放飞了。甚至还有人策划起了带机器人版的“鲁滨逊漂流记”，连需要带的装备都安排得明明白白！（啊这这这，这对吗？）

不得不说，这届网友的精神状态实在是太美丽，让人忍不住想立刻递上场记板喊一声“Action”。

最近，World Labs宣布收购SceniX，并计划与SceniX合作，为机器人打造一个可规模化的数字训练场。

紧接着，World Labs CEO李飞飞便与SceniX的联合创始人李昀烛共同做客了a16z最新的一期访谈《Fei-Fei Li is Solving the Hardest Problem in Robotics》，首次公开剖析了双方正联手解决的核心难题：让AI不仅能看懂世界，还能动手改变世界。

有趣的是，李昀烛还曾是飞姐亲自指导的博士后，究竟是一段怎样的故事促成了这次合作？

我们在不改变原意的基础上，由AI对访谈内妊棠字实录进行了精校。

Enjoy～

为什么机器人是空间智能落地的第一个试金石？

Martin Casado（主持人）：飞飞，能否先为不熟悉World Labs的听众介绍一下公司的工作？

李飞飞：好的，World Labs是一家成立两年的初创公司，也是一家前沿模型实验室。

我们的目标是将空间智能打造为AI的下一个前沿。

简单来说，就是让AI能在真实或虚拟的空间中，自如地生成、理解、推理和交互。

构建大型世界模型是通往空间智能的一条路径，也是World Labs目前最关注的方向。

主持人：你从一开始就强调，机器要能够感知空间、对空间进行推理并在其中行动。我原以为在空间中行动还是很遥远的目标，但你们现在收购了一家机器人公司。为什么已经到了成熟的收购时机？这次收购的意图是什么？

李飞飞：机器人并不是在空间中行动或与空间交互的唯一方式。在VFX（后期视觉特效）、游戏和设计等创意领域，人们早已能在虚拟空间中构建世界并进行沉浸式交互。

World Labs始终有一个判断：我们所生活的世界可以成为一个多元宇宙，而我们可以创造技术，让用户、创作者和开发者在不同空间中行动。

不过，在物理空间中行动的能力，仍然是未来AI世界中最令人兴奋、也最具深远意义的能力之一，而机器人正是其中的核心。

World Labs一直认为，机器人是空间智能落地的第一块试金石，也是世界建模重要的应用场景。邀请SceniX及其团队加入World Labs，正是我们长期愿景和使命的一部分。

主持人：昀烛，你是SceniX的联合创始人。能否简要介绍一下你的背景，以及SceniX主要做什么？

李昀烛：大家好，我是李昀烛，我是SceniX的联合创始人，也是哥伦比亚大学的助理教授。

我的研究经历始于在MIT读博士的阶段，之后在斯坦福跟随飞飞老师做博士后。我的职业目标一直都很简单，就是想帮助机器人更好地感知物理世界并与之交互。

我是一个非常务实的人，希望机器人能在真实的物理环境中工作。

我们有注意到，目前通用机器人面临许多瓶颈，大多都集中在训练和评估环节。因此，我们正在开发一条real-to-sim-to-real管线，把真实环境映射到与其高度对齐的数字世界。

所谓对齐，指的就是在数字世界中发生的事情，也应当能在真实环境中发生。

这样一来，原本必须在真实环境中完成的数据采集和评估，就可以部分由数字世界中可规模化生成的数据替代。SceniX正是由此起步。

我们组建了一支覆盖机器人、机器人学习、仿真和渲染的团队，并正在尝试构建一个完整的real-to-sim-to-real技术栈，以解决这些关键瓶颈。

李飞飞：这里还有一段很有趣的故事（笑）。你可能会以为，因为昀烛曾是我的博士后，所以我们很早就在讨论SceniX和World Labs合并的事儿。

其实不是。SceniX最初是作为客户来到World Labs的。

世界真的很小。去年冬天，大概是11月或12月吧，我们发布了生成模型Marble的第一个版本，SceniX第一时间注册并使用了它。

一开始我甚至不知道那是昀烛的公司。后面发现之后，我才给他打了电话，意识到World Labs和SceniX有很多合作空间。

主持人：能不能简单介绍一下Marble？

李飞飞：Ok。Marble是World Labs持续训练和迭代的基础模型。目前公开版本的核心能力，是接收单张或多张图像、文本或这些模态的组合，并把它们转化为一个几何一致的世界。

这个世界看起来非常真实且不会穿帮。

而SceniX所解决的正是机器人领域一个极其困难的问题：训练数据和评估数据都非常匮乏。

这与语言模型很不一样，语言模型可以从互联网上获得丰富数据，但机器人不行。

要让机器人真正工作，我们必须释放scaling law（缩放定律）的力量。

那这些数据究竟从何而来？这是整个机器人界都在不断追问的深层问题。

World Labs与SceniX如何互补？

主持人：你们都组建了很有实力的团队。那么双方的能力有多少重叠，又在多大程度上扩展了World Labs的能力？

李飞飞： 我认为两支团队高度互补，并且拥有共同的使命。

昀烛是SceniX的技术联合创始人之一。另一位是郑昌熙，他是哥伦比亚大学教授，也是世界级的仿真技术专家，拥有VFX背景。他曾在腾讯工作，也有过创业经历。

胡晓晨（Sonny）则是一位出色的工程负责人，曾就职于一家后来被亚马逊收购的初创公司，并在亚马逊参与过多种计算机视觉技术栈的工作。

昀烛带来了机器人领域的思想领导力和技术实力，能力覆盖硬件到全栈机器人。他在斯坦福跟随我做博士后时，就已经是一名横跨建模与硬件的全栈机器人研究者。昀烛的学生以及SceniX团队，补充了World Labs此前尚未拥有的人才储备。

昌熙则带来了极强的仿真能力。World Labs的工作与仿真世界有大量衔接，而SceniX相对欠缺的是生成模型和基于计算机视觉的三维重建能力，这恰好是World Labs的强项，也是SceniX所需要的技术。

双方结合后，能力版图会更加完整。

主持人：昀烛，在决定继续独立发展还是加入World Labs时，你如何判断双方是否契合？为什么最终作出这个决定？

李昀烛：一开始，我们考虑过继续独立发展。但与飞飞老师交流并看到双方的协同效应后，我们认为一同推进非常合理。

SceniX的real-to-sim-to-real工作涉及对环境进行稠密重建（Dense Reconstruction），包括捕捉环境的外观、几何结构和动力学，也就是施加动作后环境将如何变化。目前，稠密重建的任务仍然相对繁重。

World Labs则在稀疏重建和生成方面拥有深厚能力。我们看到很多机会，可以利用Marble及其他相关能力，更高效地完成环境重建和建模。

主持人：我们可以期待World Labs推出机器人基础模型吗？

李飞飞： World Labs正在构建基础模型，我们当然不排除这个方向。

李昀烛：是的。机器人基础模型本质上需要的是多模态模型。

它必须处理帧、文本、图像、深度和其他模态，而动作是其中非常关键的一种模态。如果把帧和动作作为输入，模型就可以充当模拟器，预测执行特定动作后环境将如何变化。

如果把动作当成输出，它本质上就是一个policy model，预测机器人为了接近某个具体目标，应当在真实环境中采取什么动作。

这类Omni-Model不仅可以帮助具身智能研究者与开发者更好地理解环境建模及决策规划，也可以作为基础鼻干模型，针对具体机器人应用进行微调，从而达到客户所期望的可靠性和效率。

为什么强调三维和仿真？

主持人：目前很多机器人公司采用纯视频模型路线，而你们强调三维和仿真。两种路线有什么区别？

李昀烛： 要创建机器人能够在其中工作的世界，这个世界必须捕捉问题的本质结构，其中一个必要条件就是一致性，包括空间、时间、不同视角和不同交互方式上的一致性。

我们正是在这里看到了与Marble的强协同。Marble生成的世界能够提供机器人所需基础设施的一部分。

试想，机器人尝试着把一个物体向前推，物体却离奇失踪了。许多现有视频预测模型都可能出现这类问题，这样的结果不足以给机器人提供正确行动的信号。

视频模型正在快速进步，但我们构建的基础设施可以为数据飞轮提供初始动力，使之从更偏仿真驱动的模型，逐步走向能够在真实环境中执行的机器人策略模型，再收集新数据并反馈回来。

模型不必只依靠物理，也不必只依靠学习。它可以位于两者之间，既捕捉问题的本质结构，又能随着数据积累不断扩展和改进。

主持人：飞飞长期以来一直有一个围绕三维与空间智能的理念“北极星”。你是否也有类似的理念？还是会更务实，先把系统做出来、再让它运行？

李昀烛： 我的北极星就是让机器人在真实的环境中工作。我是一个非常务实的人。

在跟随飞飞老师做博士后期间，我们合作构建过一项benchmark，并向公众调查他们希望机器人替自己做什么。在我们收集的一千多项任务中，有三分之一与清洁有关。人们不喜欢这些脏活累活，而这些正是我们希望用机器人解决的场景。

李飞飞：我真正欣赏的是SceniX联合创始人们极其务实的工作方法。

尽管他们大多来自学术界，但还是第一时间选择了与真实产业中的设计者和客户合作，进入实验室、仓库和电子装配等真实场景。

这种研发机器人的方式令人耳目一新，也让我非常期待与他们合作。

主持人：机器人系统必须相当精确，但创意应用可以容忍和接受错误，有时候甚至错误反而会成为创意的缪斯。从技术角度看，昀烛觉得该如何协调这两种要求？

李昀烛：我觉得两者可以协调起来。环境模型不必完美，机器人模型也不必完美。

主持人：模型不必完美，具体是什么意思？它至少仍要非常接近现实吧？

李昀烛：模型一直是多种机器人应用发展的重要基石。无人机、扫地机器人、四足机器人和双足机器人，都需要依赖模型才能工作，并从模拟环境迁移到真实环境。

运动机器人可以在雪地或灌木丛中行走，但模拟器并不需要精确复刻每一处灌木和积雪。

仿真需要捕捉问题的本质结构，并在数字环境中支持不同形式的随机化。

我们正在研究，应当以怎样的保真度对机器人周围的世界建模，才能让在模拟环境和数字世界中训练的机器人系统迁移回真实场景。

以仿真为支柱的路线是否可行？

主持人：有些研究者认为，模拟最终总会偏离物理世界，因此真实世界数据采集至关重要。以仿真为支柱的路线是否可行？

李昀烛：我认为两者并不矛盾。模拟本质上是在预测施加动作后环境会如何变化，也就是对世界进行建模。

这个模型不必是纯物理模型，可以结合物理和学习。我们正在收集真实世界数据，也会在数据飞轮的不同阶段使用这些数据。

在初期，我们可能会更强调物理，我们会先让机器人学习世界，以确保其具备合适的学习节奏和知识结构，从而能够顺利学习。

随着我们通过数据采集和客户合作积累起更多的数据，环境建模就可以逐步转向更强的学习驱动。这种转变和数据流能够把物理、几何与一致性的优势，同数据和算力的力量结合起来。

李飞飞：是的，这并不是“要模拟”还是“不要模拟”的二元选择。所有要素必须结合起来，才能让机器人真正工作。

就比如我们人类在行动前，会在头脑中进行大量模拟。模拟承担了真实世界数狙剔法承担的一个重要角色，也就是“反事实推理”。

人们会推演尚未发生、无法发生，或缺乏足够真实数据的事件，并在推演中学习应当如何行动。人们总是会这么做，机器人也可以。

我相信，每场足球比赛的规划都会包含某种模拟，无论是数字模拟、白板推演还是其他形式。模拟的作用就是支持反事实推理。这对机器人至关重要，因为我们不可能为所有情况收集足够的真实世界数据。

自动驾驶汽车就是一个现实案例。Waymo曾表示使用了数十亿小时的仿真数据，而且其路线高度依赖仿真，并非只依赖真实世界数据。

汽车还属于相对简单的机器人问题，因此仿真显然在机器人学习中发挥着重要作用。

李昀烛：模拟可以带来两个层面的收益：可靠性和效率。

就可靠性而言，要让机器人系统在真实的环境中稳定工作，数据必须系统覆盖机器人可能遇到的状态空间和变化。

在模拟中，我们可以系统地随机化并控制光照、几何类型和物理参数，以确保其充分覆盖机器人的状态空间，从而提高机器人系统的可靠性。

第二个收益是效率。很多团队通过遥操作采集数据。使用现有遥操作设备和外骨骼时，数据采集速度甚至可能慢于人类直接执行任务。

对很多客户而言，人类采集的速度还不够，他们希望机器人比人更快。但让机器人加速并不等于简单地提高驱动速度，因为重力是恒定的，单纯提速无法解决由此带来的动力学失衡问题。

而在模拟中，我们可以系统地加快机器人行为，同时训练机器人考虑环境动力学的变化。

所以，仿真在可靠性和效率两方面都能提供独特价值。

SceniX如何利用平台训练和评估机器人？

主持人：SceniX如何利用自家平台训练和评估机器人？

李昀烛：核心用途有两个：训练和评估。

先说评估，它在机器人领域经常被忽视；训练机器人模型时，我们必须知道模型表现如何，而评估正是推动迭代的信息来源。

主持人：AI从业者都理解评估，但每个人对这个词的理解都可能不同。你这里所说的评估具体指什么？

李昀烛：我认为，评估指的是理解某个具体checkpoint的表现，例如成功率是95%还是99.9%。

行业中的一个衡量评价方式的关键标准，是看用这个标准区分一个表现为90%的checkpoint与另一个表现为92%的checkpoint，需要多长时间。如果每次都要把模型部署到真实物理世界里去跑测试，才能来验证这2%的提升，那验证周期会漫长得让人无法忍受。

目前，真实世界中的机器人评估，其迭代速度比语言模型评估慢多个数量级。机器人任务本身也高度多样化。机器人必须真正执行动作、在空间中移动，并服从物理定律。

机器人演示视频经常以8倍或10倍速播放，就是因为机器人行动非常缓慢。

真实环境评估不仅慢，而且还危险而昂贵。所以，一些客户需要能用来评估机器人系统的数字环境。

由于我们的数字环境已经被证明与真实世界具有对齐关系，如果某个checkpoint在仿真中表现更好，它在真实环境中也很可能表现更好。我们可以利用数字环境中的信号，对机器人系统进行更安全、可扩展且快速得多的评估。

此外，在训练方面，可控性至关重要。

我们希望控制状态、参数、光照、摩擦力及其他物理参数，乃至物体几何类型的各种变化；训练必须充分覆盖足够多样化的场景，才能生成信息量足够的数据，让机器人具备Robustness（稳健性）。而这在真实环境中极难实现。

通过遥操作采集数据，不仅速度慢，还会受到机器人数量、远程操作设备数量以及一系列数据运营问题的掣肘。

相比之下，仿真环境具备完全的可控性与可解析性。

在数字世界中，你能明确界定数据分布的覆盖范围，并确信机器人在该分布内的可靠性。这种确定性、高效性与可扩展性，正是客户选择数字世界训练机器人系统的核心动因。

李飞飞：是的。早在SceniX与World Labs接洽之前，就有客户主动寻访Marble，印证了此类需求的真实存在。尽管当时我们尚不具备服务能力，但已收到大量机器人公司的咨询，其中既包括早期模型研发团队，也有致力于落地实际应用场景的企业。我们正在关注这些需求。

主持人：当人们听说World Labs进入机器人领域，可能会以为你们要制造硬件、开发机器人大脑。但你们似乎不是在做这件事。你们位于机器人开发生命周期的哪个环节？与生态伙伴的边界在哪里？

李昀烛：我们构建的是一套基础设施及配套软件，让开发者创建机器人可以在其中学习和接受评估的世界。这套基础设施天然不绑定特定模型，也不绑定特定机器人形态。

主持人：也就是说，你们不是在制造机器人，而是在构建环境，让其他公司把自己的机器人大脑放进去导航和学习？

李昀烛：我们的平台不挑机器人，也不挑模型。不管是单臂的或双臂的、固定的或移动基座的，甚至是各类夹爪与复杂末端执行器的，都能直接放进我们的数字世界里跑。

目的就一个：让它们在真实环境里干活时又稳又快。

模型也一样。我们生成的数据，既能从头训练新模型，也能拿来微调现在流行的VLA（视觉-语言-动作）模型或World Action Model。

具体用哪个模型其实不重要，因为模型总会换代，但基础设施不会。

简单说，我们不站队硬件，也不押注算法。我们只做一件事：搭好一个通用的数字世界，让任何机器人都能在里面练出真本事，到了真实世界照样靠谱。

机器人该按怎样的路线落地？

主持人：你曾提到，外界对人形机器人的预期或许过于激进，短期内更现实的落地点是仓库这类受限场景。这种判断会如何影响World Labs的工作重心？

李昀烛：这是个很好的问题。真实世界的机器人落地，通常遵循一条演进路径：从完全结构化环境，到半结构化环境，最后才是非结构化环境。

完全结构化环境就像工厂或汽车产线，所有变量都已知可控，这类场景我们已经自动化了几十年。

半结构化环境则像亚马逊仓库、餐厅或酒店——环境大体可控，任务也针对机器人做了适配，但总会出现衣物等无法预料的干扰物。

而非结构化环境，比如你我的家，那里才是机器人领域的终极圣杯。

Robustness（稳健性）源于对场景的充分覆盖。至少在现阶段，先攻克半结构化环境，比直接闯入完全非结构化环境更可行。我们终将走向后者，但希望走一条更可持续、更务实的路。

李飞飞：人形机器人通过模仿人体来适应非结构化环境，而人已经通过进化适应了非结构化环境。

我们的手指和双腿并不是执行任何单一任务的最佳工具。如果人类作为一个物种的唯一目标是爬树，我们很可能会拥有不同形态的手指。

人类最终进化出的，是一种通用性很强、但在单一任务上未必最优的身体形态。因为这种形态有利于在非结构化环境中生存。

但从商业和务实的技术角度看，非结构化环境加上通用身体，是最难解决的问题。

对某个具体问题而言，这甚至未必是正确的路线。更专用的身体形态，可能更适合解决更窄的任务。

因此，SceniX面临的挑战是保持对机器人形态的中立，让基础设施能够服务不同身体形态和不同半结构化环境。

主持人：生成式语言模型可以远快于人类、也更便宜地生成文本或代码。但人类的大脑和身体在三维导航和物体操作方面非常高效。在可预见的未来，机器人能否在日常体力任务中达到人类的能量性价比？这需要五年，还是几乎不可能？

李昀烛：我觉得这需要很长时间。机器人要在真实的环境中工作，说到底是一个系统问题。

我们必须认真考虑硬件、软件和“大脑”如何协同，甚至包括手指摩擦系数这样的细节。要让系统真正落地，既需要许多要素共同到位，也需要持续迭代。

但令我兴奋的是，机器人学习的技术前沿一直在以超出我预期的速度推进。我现在研究的问题，和刚读博士时已经完全不同。这说明整个生态系统正在快速演进，构建机器人系统所需的各种组件也开始汇聚。

但我们必须校准自己的预测。未来会有大量进展，不过要达到人类级别的能量性价比和整体能力，仍然需要更长的时间。

李飞飞： 当下AI最难做到的，就是保持恰如其分且经过校准的乐观。

即使是大型语言模型，也没有人脑的能效。人脑的运行功耗大约只有30W，所以目前差距还很大。

主持人：不过我觉得，在图像生成或软件工程这类狭窄任务上，能量性价比可能正在接近人类水平。只是机器人领域可能还差得很远。

合并两年后的目标是什么？

主持人：加入World Labs是否改变了团队的战略轨迹，或者说，提升了你们能够追求的目标上限？

李昀烛：它以非常深刻的方式改变了我们的轨迹。我们看到许多能力被释放，尤其是与World Labs合作后，我们可以用更高效、更可扩展的方式完成整个环境建模流程。

当前语言模型的能力令人惊叹，但你可能仍然不会完全不看就放手让它替你预订机票或酒店，通常还是要有人检查模型的输出结果。

而机器人就不同了，一个开箱即用的机器人模型，必须能够在真实的环境中可靠地工作。

目前，我们既没有足够的数据，也没有完整拥有让机器人开箱即用、可靠工作的全部基础设施。

因此，创建机器人可以在其中学习和接受评估的可扩展数字世界，将释放出巨大潜力。

我们可以借助数字世界中生成的数据，替代真实环境中昂贵或不安全的数据采集，让机器人实现可扩展的学习与评估。

主持人：那么双方会立即整合，还是会先让SceniX保持相对独立，以更长期的节奏推进？

李飞飞： 我们会审慎推进，并不急于立刻整合全部代码库和团队。SceniX已经拥有一套经过深入思考、相对完整的技术栈，也有自己的客户和产品。我们会留出时间。

不过，整合一定会发生。我们已经开始讨论仿真，以及潜在的基础模型和动作条件模型，SceniX也正以内部客户的身份使用Marble。

我们会逐步推进整合，但不会急着把团队一下子搅成一盆“沙拉碗”。（笑）

主持人：那团队会留在原地吗？

李飞飞：昀烛会带着部分团队成员搬到旧金山。搬好后，World Labs就将正式成为一家横跨美国东西海岸的公司。我们公司的总部在旧金山，我住在帕洛阿尔托。我们将在纽约设立办公室，这让我很兴奋，因为它能帮助我们吸引东海岸的人才。

我们还讨论过在两地办公室都部署机器人，以便测试和完善远程操作机器人的工程技术栈。不管怎么说，我们最终也需要为客户提供这样的能力。

主持人：如果要把目标说得具体一些，两年后最理想的成功案例是什么？届时你们会拿出什么样的产品，这些产品谁在使用，又是怎么使用的？

李飞飞：两年后，如果SceniX团队和World Labs能在少数几个重要垂直用例中获得经过验证的客户，并证明我们的系统和基础设施确实有助于满足他们的自动化需求，我会非常满意。

这些客户将成为灯塔案例，帮助我们进一步扩大业务。