看了20万小时“人类干活实录”,机器人悟了

2026-07-19 23:25:23 · chineseheadlinenews.com · 来源: 量子位

刚刚,机器人圈公认最难的“家务大考”RoboCasa-365,榜首换人了。

新纪录62.6%,比之前的SOTA直接高出8.4个百分点。

要知道,这个榜上大部分模型还在50%以下挣扎。

更有意思的是,登顶的这个名字,之前几乎没人听说过:Riemann-1.0,黎曼动力。

一查,好家伙,首秀。这个模型才刚在WAIC 2026上正式发布。

跑分说明不了一切,我又去翻了它的真机视频。

随手点开一段机器人收拾餐桌的demo,只能说,榜单没骗人。

薄薄贴在桌面上的勺子,夹得起来;碗里剩的汤,知道先倒了再收;完事了还顺手把桌子擦干净。

(完了,估计连老妈以后的台词都要改了:连机器人都比你眼里有活儿~)

再往上扒,黎曼动力背后站着的是昆仑万维——前者正是昆仑万维专为具身智能方向成立的子公司。

一个新面孔,凭什么首秀就登顶?

答案藏在它的“食谱”里:23.2万小时训练数据中,占大头的根本不是机器人数据,是人的视频。

没错,人做饭、叠衣服、收拾桌子的第一视角视频。

造机器人大脑,行业吵出了新共识

为什么是“人的视频”?这还要从具身智能领域吵了一年多的路线之争说起。

VLA和世界模型,谁代表机器人的未来?行业曾为此分裂成鲜明两派。

两派各有优劣,为便于大家做对比,这里我直接放了一张AI生成的图表:

△图片由AI生成

简单总结就是,VLA属于“直觉派”,快但容易翻车;世界模型则属于“深思派”,稳但是又慢又贵。

吵着吵着大家发现:算了,既然各有优劣,那不如来一个取长补短?

于是,两条路线开始合流。

今年6月,英伟达西雅图机器人实验室发布了一篇长文综述,文章的核心判断是:

World Action Model(WAM,世界动作模型)已经从VLA研究里的小众分支,迅速长成了机器人基础模型的第二条主路线,而下一代机器人基础模型,大概率是两者的混合体。

△图源:英伟达官方技术博客

ICML 2026上,包括LeCun团队在内的多篇论文也在往同一个方向使劲:

从海量无标注的野外视频(in-the-wild videos)里学习潜在动作世界模型。

△图源:ICML官网

把这些工作放在一起看,一条正在被越来越多团队验证的训练范式浮出水面:

先用大规模开放世界视频做预训练,让模型看遍人类怎么和物理世界打交道,攒够物理直觉;再用少量真实机器人数据做动作对齐,把直觉翻译成可执行的控制信号。

这就解释了,为什么下一代机器人大脑,都盯上了“人的视频”。

对机器人来说,人类每天的生活就是一场不间断的操作示范。做饭、叠衣服、整理房间,这些第一视角视频里,藏着人类怎么感知环境、规划动作、处理意外的全部秘密。

而且这类数据要多少有多少,场景丰富,还在源源不断地增长。

实际上,行业里少部分前沿玩家已经看到了这点。比如Being-H0.7用了20万小时第一视角人类视频,Generalist AI的GEN-1更是砸了50万小时可穿戴设备采集的人类数据。

作为其中之一,Riemann-1.0的独特之处在于:

它是国内较早把这条范式完整工程化跑通的选手,从仿真Benchmark到真机均获得验证的那种。

而它之所以能跑通,关键在于解决了一个核心难题:人类视频里没有机器人动作标签。

没错,再漂亮的范式,也有自己的问题要解决。

人叠衣服的视频看得再多,机器人手臂该转多少度、夹爪该用多大力,视频里一个字都没写。

看得懂,做不出。

20万+小时人类干活的视频,怎么变成机器人手上的活儿?

这正是Riemann-1.0故事的起点。

23.2万小时视频,怎么变成机器人的手艺

Riemann-1.0,一款面向通用机器人操作的世界模型(World Action Model)。

从名字就能看出来,它正是前文说的“混合体”:

VLA的手它有(直接出动作),世界模型的脑它也有(预演世界演化),两派的活儿,一个模型全包了。

而它要攻克的,正是行业面前那道共同的坎:

怎么把没有动作标签、来源五花八门的开放世界数据,变成机器人可执行的控制能力,而且要跨机器人本体通用。

Riemann-1.0的解法,用做菜来类比,可以拆成三步。

Part 1:准备食材

数据就是食材。

仔细一扫Riemann-1.0的案板,只见上面摆着这样“三道菜”:

“广菜”:20万+小时人类第一视角视频;

“精菜”:1.2万+小时UMI与外骨骼手套数据;

“准菜”:2万+小时机器人真机与仿真轨迹。

三种数据来源,23.2万小时训练数据,覆盖41种机器人本体、数千种交互方式。

就这个规模,不得不说,已经足够机器人把人间烟火看个遍了(doge)。

不过,食材多,不等于能直接开席。

尤其是占大头的那道“广菜”:20万+小时人类视频,没洗没切,连动作标签都没有,没法直接下锅。

怎么办?先备菜。

Part 2:备菜

黎曼动力为此自研了一套自动化人类数据处理流水线,专门负责洗菜切菜。

这套流水线怎么干活?不妨在头脑中想象,你正在跟着一段视频走一遍:

一段“人在厨房切菜的第一视角”视频进厂,第一件事是摆正。

鱼眼镜头的畸变、歪了倒了的画面,统统矫正成正视图,方便后面下刀。

接着VLM上场,把长视频切成一个个细粒度动作,给每一段配上任务描述、动作指令、场景和物体信息。

切完还得过两轮一致性校验,标得对不上的,推倒重来。

切好的片段紧接着过质检。

画面里人太多的、动作没意义的、遮挡严重的、活儿没干完的、不是第一视角的、手出了画面的,六类废片,直接进垃圾桶。

活下来的片段,迎来整条流水线上最核心的一步:给手建3D模。

系统检测并追踪画面里的手,重建出完整的手部姿态,再配合相机位姿估计,把手的运动轨迹换算进世界坐标系,最后做整段平滑。

到这一步,视频里“手怎么动”,第一次变成了机器可读的3D坐标。

当然,重建的质量也得把关。

手看不清的、动得太快的、镜头晃太狠的,按阈值再筛一轮,和前面的语义质检互为补充。

最后一步是装盘:按场景、任务、动作、技能、物体五个层级分好类,均衡配比,防止模型偏食。

一段段视频这样走下来,海量“人类干活的录像”,就变成了一本机器人能读懂的“动作教材”。

P.S. 另外两道菜由于自带夹爪传感,业界已有相对成熟的处理流水线,这里就不多展开了。

Part 3:炒菜

食材备好,现在终于可以开火了。

炒菜讲究方法和火候,对应到模型上,就是架构和训练策略。

架构上,Riemann-1.0基于扩散架构,提出了全因果动作-视频联合建模框架,把视觉动态、环境状态和机器人动作序列,放进同一个生成过程中统一学习。

这意味着,模型不只是知道“眼前看到了什么”,还在学习“动作会如何改变环境,以及下一刻世界可能变成什么样”。

而为了让同一个模型适配41种不同形态的机器人本体,Riemann-1.0进一步设计了本体专属的动作映射模块:

共享对世界的理解,同时保留不同机器人的“肢体适配能力”。

说到底,它试图打造的是一个负责理解环境、预测变化的“通用世界大脑”,然后通过不同机器人的动作适配器,把这种理解转化为具体的执行能力。

再说火候。

训练分三段,秘诀藏在一组数字里:动作损失权重0.1→0.5→0.9。

第一阶段,小火慢炖。用Latent Action Model从海量人类视频里提取伪动作信号,动作权重只给0.1,让模型安心看片,先学会物理世界的运行规律。

第二阶段,中火调味。引入UMI和机器人真实动作数据做校准,权重拉到0.5,把伪动作空间平滑过渡到真实控制空间。

第三阶段,大火收汁。纯机器人数据集中强化,权重推到0.9,火力全开练出能直接上岗的真功夫。

从“以理解世界为主”渐进切换到“以执行动作为主”,有点像大模型训练里从预训练到对齐的路径,只不过载体从文本换成了物理世界的动作。

好了,菜出锅了,该尝尝味道了。

加一味人类视频,猛涨14.4个百分点

首先要验证的就是那个灵魂问题:绕这么大一圈用人类视频,真的有用吗?

消融实验给出了非常硬的答案。

在专门考察长序列家务能力的RoboCasa-365上,模型从头训练,成功率38.2%;加机器人数据预训练,43.4%,涨5.2个百分点;再加UMI数据,48.2%,又涨4.8个百分点。

然后,加入人类视频数据:62.6%。

一下子猛增了14.4个百分点,比前两类数据的增益加起来还多。

Riemann-1.0团队认为:

这说明人类数据带来的远不止“更多训练样本”,它给模型灌进了更丰富的物体交互方式、动作语义和任务先验,直接抬高了模型在没见过的场景里的泛化上限。

另一组严格控制变量的实验更狠。

在专为双灵巧手人形机器人设计的EgoVLA基准测试中,同样的模型、同样的机器人数据,仅仅比较加不加人类视频预训练:

长程多阶段任务的成功率,从42.96%干到71.11%,暴涨28个百分点;

换成完全没见过的视觉背景,也从26.36%提到43.33%。

任务链越长、场景越陌生,人类数据的价值越大。

搞定这个基础性问题,最后来看整体成绩单。

先看仿真端的三张考卷:

LIBERO,业内常用的标准操作评测,考基本功,Riemann-1.0成功率99.0%;

RoboTwin 2.0,主打双臂协作任务的仿真基准,成功率94.3%;

RoboCasa-365,前面说的最难家务大考,62.6%,登顶SOTA。

显而易见,Riemann-1.0基本功评测稳居第一梯队,而优势最明显的,恰恰是RoboCasa-365这种强调家庭长流程、跨场景泛化的考试。

不过,仿真刷榜终究是模拟考,真机上岗才是真考验。

上岗之前,团队先给模型安排了一轮“岗前实训”:针对真实落地场景的专项后训练。

他们搭建了四类代表性的家务考场:有序积木堆叠,考精准操控和指令理解;柔性布料折叠,考形变物体的交互处理;桌面杂物整理和厨房餐具收纳,考杂乱居家环境下的长流程连续操作。

示范数据靠人工遥操作采集,四类场景合并做联合训练。

为了公平,参与对比的开源基座模型也拿同样的数据、同样的训练步数做了后训练,站在同一条起跑线上。

结果Riemann-1.0平均成功率85.00%,过程完成度(衡量长流程中间步骤推进的指标)94.43%,两项都在所有对比方法里排名第一,领先最好的开源模型15个百分点。

而且四类任务成功率全部超80%,每项的过程完成度都在91%以上。

翻译翻译,不光结果能干成,中间每一步也走得稳,长流程不掉链子。

从仿真登顶到真机上岗,Riemann-1.0把“看人类视频学干活”这条路,从头到尾走通了。

One More Thing

最后说回黎曼动力本身。看到这家公司第一眼,我就在想:

昆仑万维,一个印象中涉足AI游戏、AI音乐、AI短剧等内容赛道的公司,怎么突然干起机器人了?

还专门成立一个子公司独立运营?

理了理,背后其实是两条逻辑线的交汇。

一条属于行业。为什么人人都在谈具身智能、世界模型这些?本质上是因为交互方式正在发生变革。

人和AI的交互,前几年靠文字、图片、音视频;接下来,AI要开始伸手碰物理世界了。

内容公司做机器人,看似突兀,放进这个大转向里,只是早晚问题。

另一条属于昆仑万维自己。它的下场,早有铺垫。

早前那些高频的模型更新就不说了,就说这次它主办的《世界模型与多模态范式跃迁》论坛,其实一共亮相了三款模型:

Matrix-3.5世界模型(升级):可交互能力实现跃迁,打通数字孪生与具身智能底层底座;

Mureka v9.5(升级):AI音乐创作走向量产级落地;

机器人模型Riemann-1.0(首发):打通世界模型与实体机器人交互闭环。

看出门道了吗?前两个管数字世界的生成,第三个开始伸手碰真实世界。

尤其是世界模型这块底座,一头连着游戏和视频;另一头,第一次连上了实体机器人。

数字牌打满,下一张落在物理世界,水到渠成。

两条线在这里交汇,就有了黎曼动力。

至于为什么单独成立公司?昆仑万维的逻辑并不复杂:

机器人这种硬核赛道没有速胜,得让核心团队独立发展、配上专属资源、做长期投入。

母公司出算力、出生态,团队专心跑技术,各展所长。

一套动作下来,昆仑万维,这家几年前就把“实现AGI”写进公司使命的玩家,第一次真正把手伸进了物理世界。

AGI的上半场在屏幕里,下半场,在屏幕外。

方向已明,剩下的,就看谁跑得快了。


    24小时新闻排行榜更多>>
  1. 美国“爆发性腹泻”扩大 27州生菜紧急召回
  2. 王沪宁访朝“受辱” 党媒这句话揭行程目的 习非一尊?
  3. 最新研究!加州两大断层积累能量千年罕见 恐爆发…
  4. 包办三项大奖,西班牙成最大赢家
  5. 世界杯首次举行中场秀引争议 鲁尼直言“糟透了”
  6. 中朝升温,图们江15公里的战略交易?
  7. 两大央企继续增持
  8. 西班牙公主姐妹花再次捧到“大力神杯”
  9. 香蕉皮成习近平新外号被封禁?其实它好处多多
  10. 教粉丝当野人,这博主爆火我心服口服
  11. 中共“内鬼”靠预告官员落马谋利 黑灰产业链打脸习
  12. 世界杯首创“美式冠军戒指” 开96年历史先河
  13. 伊朗5天开轰4次 美官员:伊朗飞弹库存充足
  14. 阿根廷队集体背对领奖台,被批“可耻”
  15. 美伊发动新一波攻击 全球能源危机恐卷土重来
  16. 白宫宣布:禁止非法移民使用银行账户 促其自行离境
  17. 靠“绝杀玄学”夺冠,西班牙队有统治力吗?
  18. 连美国人都要带护照才能去的国家公园
  19. 广州火锅店招牌掉落,砸中女店员
  20. 纽约淹了!暴雨灌爆画面惊人 车辆险没顶 一片汪洋
  21. 2米的远古巨虾?当时海洋中体型最大之一
  22. 台湾外交历险不退 马博元勉原青有“冻逃”
  23. 欧弟自曝全家移居日本
  24. 世界杯决赛三大赢家:国际足联 阿迪达斯和国税局
  25. 被关进笼子里的律师与媒体
  26. 金融时报警告:美股估值已接近1929年崩盘前
  27. 越来越难防,俄罗斯为何“拦不住无人机”?
  28. GDP缩水、地铁烂尾……这些副中心城市怎么了
  29. 邓炳强如何粉碎习近平的梦想
  30. 川普“大赞梅西”阿根廷遭绝杀,力挺3队全输
  31. 龙蟒组合,夺冠
  32. 4年后的世界杯,中国队能否上场
  33. 北京驳斥川普指控,但回应相对克制
  34. 川普世足颁奖硬挤合照!全场8万人狂嘘
  35. 美军失联遗体寻获,伊战阵亡升至18人
  36. 王小洪旧部谭权被免职 或任重庆公安局长 魔咒说再起
  37. 阿根廷卫冕失利,主帅泪崩道歉
  38. 超级厄尔尼诺席卷加拿大
  39. 中国官媒视频将菲律宾描绘成猴子,马尼拉提出抗议
  40. 破150年罕见纪录!美副总统范斯"任内喜迎第4胎"
  41. 云南暴雨成灾 昆明大商超被淹 传1000多露营者险被冲走
  42. 川普称握有涉华干预大选证据 里面到底有什么?
  43. 谢霆锋父亲谢贤去世,享年89岁
  44. 匈牙利总统换人,总理拟提名她
  45. 你的手机密码,凭什么要交出来?
  46. 美军轰伊朗核电站,霍尔木兹2油轮爆炸
  47. 香港"禁书"书商林荣基逝世,曾遭中国当局绑架监禁
  48. 高盛解读新易盛财报:维持“买入”评级
  49. 金价涨了又崩 罗杰斯:恐慌抛售的人都搞错一件事
  50. 李承鹏:世界杯普及帖—中国人为什么踢不好足球
  51. 世界杯冠军战梅西未进球
  52. 倒楣也许是慈悲
  53. 你还信吗?167年前的一个假说 人是由猴子变的
  54. 看了20万小时“人类干活实录”,机器人悟了
  55. 台南市法轮功学员纪念反迫害27周年
  56. 谢贤遗嘱公布:90%留给谢霆锋两个儿子
  57. 几句话就能看穿一个人?“怪人名言”引发热议
  58. “美制”世界杯,人们记住了什么?
  59. 9名中港官员获解除制裁 CFHK表震惊并强烈反对
  60. "阿根廷脏"热搜爆了!本届世界杯犯规超100次创纪录