问你个问题 机器人领域 最羡慕AI大语言模型领域的什么 答案是数据 你猜对了吗 我们没有用于训练机器人的数据 网络上没有 现有的视频数据远远不够 真的不够 当Scaling Law（缩放定律） 让大语言模型一路狂飙 用万亿参数 涌现一代又一代更强大的智能之际 机器人领域却被数据荒漠所困

让具身智能的泛化性和自主性进展迟缓 为什么AI能用的数据 机器人用不了 机器人的四层数据金字塔是如何运作的 每一层的进展和技术困境分别是什么 以及我们如何才能解决掉 机器人的数据难题呢 大家好 小伙伴们 欢迎回到《硅谷101》 我是陈茜 这期视频继续我们的“机器人专辑” 之前我们已经讲过了

灵巧手、机器人闭源模型 还有开源模型 那这一期我们来聊聊 这个领域非常核心的部分 数据 为此 我们飞到上海 走进了机器人数采工厂 甚至我们亲自有机会尝试了一下 “遥操作采集员”这份工作

以及和Sharpa等机器人公司们聊了聊 机器人数据的技术路线与未来发展 它的难点就在于 这些数据天然是不存在互联网上的 操作员是感受不到机器人的感受 面对这个数据荒漠 我们算是种下第一棵树 希望将来能变成一片森林 很难对齐物理世界的环境 和现实世界环境的迁移 目前还需要一些科学方法上的创新 那大家就跟随我的脚步 一起走进机器人的数采工厂吧

首先我们来回答一个问题 什么是机器人数据 它跟AI大语言模型 以及图片和视频模型的数据有什么不同呢 大语言模型是靠“吃掉互联网”变聪明的 GPT-4的训练数据量以万亿token计 相当于把人类有记录的知识积累全部摄入 简单来说 AI生文、生图 以及生声音、生视频的模型参数 都可以在互联网上找到

大语言模型用的是“世界的文本语言” 包括文本、代码以及标注过的结构化文本 来帮助AI理解和生成“语言序列” 类似的 图像模型用的是“世界的瞬间截图” 声音模型用的是“世界的震动信号” 而视频模型用的是“世界的连续变化” 而这些数据都大量存在在互联网上 当然 这是不考虑版权的前提下 而机器人需要的数据

需要的是具身本体在真实物理世界里 和具体物体发生具体交互时 产生的多维度传感器信号 视觉、力觉、关节位置、电机控制量 全部要精确同步 时间戳对齐 才能够构成一条有用的训练轨迹

这些信息从来没有被系统性地记录过 也没有任何理由会被动地产生 完整的数据 这里面会包括各种传感器所带来的数据 有视频 还有一些其他的 力触觉传感器等等的 它的输出 是对身体上每一个电机关节的一些控制量 能够控制全身多达几十个自由度的关节 能够协调一起去完成具体的一些事情 那么它的难点就在于

这些数据天然是不存在互联网上的 它需要我们去以某种方式去采集它 这里面无论是在真实的环境里面去采集 还是在一些虚拟的世界里去采集 它都需要去首先布设机器人 搭建场景 再次就是要引入 像我们后面看到的这些工作人员 我们叫做遥操人员 控制机器人去采集这类数据 我觉得数据最大难点是在于

我们没有办法采集到机器人去操作的数据 我指的机器人去操作 就是机器人自己在那里干活的数据 而我们更能采集到是人在操作的数据 比如一些MOCAP data（动作捕捉数据） 比如一些YouTube data（数据）

所以要去做好teleoperation（遥操作） 让机器人去操作其实是比较困难的 主要的原因是因为 操作员是感受不到机器人的感受 这就是整个行业数据困境的根源 每一条高质量的数据都必须从零开始生产 我们来用几个数字 试图展示一下这个缺口有多大 谷歌DeepMind在研发机器人模型

RT系列第一代的时候 调动了13台机器人 在办公室 厨房环境里面 持续采集了整整17个月 才累积了大约13万条的操作轨迹 覆盖700多项技能 为了训练RT-2 谷歌联合了全球34所的研究机构 把60个已有数据集全部合并 加上来自22种机器人平台的真机数据 才凑出了Open X-Embodiment

这样的一个包含超过100万条操作轨迹的 开源数据集 而这已经被认为是目前全球最大的 跨机构真机数据集了 但是即便如此 它涵盖的527项技能和对应的场景 和现实世界的需求之间 依然是以数量级计的差距

面对如此难获得的机器人数据 怎么办呢 如今 行业摸索出了四条并行的路线 它们的质量是由低到高排列 构成了一个金字塔 每一层都有自己的优势、上限 和真实的代价 接下来我们就一层一层地给大家拆解

金字塔的顶层就是遥操数据 又被称为“真机数据” 遥操员通过外骨骼或者遥操系统 实时操控机器人在真实场景里完成操作 机器人所有的传感器全程录制 这层数据信息最完整 真实的物理接触、真实的不确定性 真实的失败和恢复 是今天让机器人 真正能在现实场景落地的核心原材料 我们也正好有机会来到上海

走进智元机器人的数据采集工厂 看看真机数据是怎么采集的 我们这里有200台机器 每个机器它至少有一个采集员 有一些任务它还会配备一位同事 来搭配它来布置场景 你以为遥操员是一个很简单的工作吗 不 答案是并不是 反正我在现场是试了一下 发现这个工作还是挺有门槛的

这个真的比我想象中难很多

我现在全身都很僵硬 快了

太不容易了 我应该没有办法成为金牌的数据采集员了 一个数据采集员他需要什么样的资质 才能把这个数据采集好 我觉得最重要的是天赋 这个需要什么样的天赋 好的数据采集员和差的数据采集员 他可能是3倍的效率的差 我认为一个有天赋的数据采集员 首先是一个协调性非常好 然后空间感特别好的一个人

因为他在采集数据的过程中 其实是隔空在控制另外一个身体 它是没有直观的反馈的 更多只能通过自己肉眼来闭环 机器人的手臂和人的手臂构型也不一样的 人很多能达到的姿态 机器未必的能够到 所以他也要去预判 机器人怎样才能更高效地去够到 去设计自己的一些轨迹 其次就是说 你对空间的这种精度判断要很准

空间比较差的话 明明你想要让它去抓那 但你自己就抓过了 或者够不到 或者一夹滑了 这种都是非常常见的 还有体力好 一天下来其实非常辛苦的 有些人是站着采的 有些人是坐着采的 两种感觉不一样 从刚入门的一个采集员

到你这样的金牌采集员需要多长时间 来的话就是需要有一个周的培训时间 培训过后你先入门 入门过后任务的难度逐级递加就行了 即使是有天赋的采集员 从零基础到现在九成功力 一个月时间估计也是要的 Zero to hero（从平凡到英雄）要一个月吧 对于一位专业的金牌数据采集员来说 我刚才失败了N次的

机器人摆放字母的任务 他一次就搞定了 而这样的数据采集 为的就是机器人的精确控制能力 专家水平 金牌数据采集员的水平 但就算是专家水平的遥操员 也不一定是每一条 都可以被算作是有效数据的 人类遥操的这个数据它的成功率是多少 当然你说 可能根据任务的难易程度也不一样 然后我只是很好奇说

这个效率是怎么去算 效率对吧 像一个专业的这种遥操员 8小时的工作 大概能平均产出2-3小时的有效数据 因为这中间他一定会涉及到一些 两个采集之间一些场景的布置 有时候可能数据的一些上传操作界面

再到操作总有一些失败的时候 他可能要丢弃掉 重新尝试 所以就大概1/4 所以大家可以看出来 真机数据的优势是准确 更容易直接部署、后期调参成本也更低 但是它的代价也非常直白 贵 并且慢 不容易指数级扩张 数采工厂涉及到硬件成本、场地成本 人工标注和监督成本 以及时间成本 与互联网数据相比

规模完全不在一个量级 我们今年真机的产能有200万小时 它对应的话 我们已经有接近2000台机器人 和背后采集员的这样的规模了 这个规模会越来越大吗 真机我们今年差不多目前稳定在这个水平 当然看市场的一个动态的需求吧 我们也会去相应地做一些扩产 我相信人力成本一定会是

将来竞争力和效率里面非常重要的一环 不可否认 所以这也是为什么在中国发展起来 大量的数据采集 在美国相对来讲进展比较缓慢 因为在美国 之前也看到过特斯拉的招聘 他采集员的招聘50美金一小时 如果是100万小时

100万小时今天放在全球就一定是绝对 非常碾压式的这种存在了 但是问题是100万小时就能解决问题了吗 100万小时我觉得在一些特定的领域 应该是可以达到非常好的一个效果了 因为今年我们也在接触了 很多数据需求的客户 作为觅蜂的话 我们也在看很多客户的需求 提出100万小时的单个客户已经非常多了

这只是第一步 我觉得大家到了100万 一定会去想1000万 但即使是1亿小时 对于每年这种大的 人工智能公司的基础设施投入来讲 也还是非常可控的一部分 顺便说一句 觅蜂科技正在将真机数据做成一站式的 物理AI数据服务平台 想要解决的就是当前机器人行业 面临的真机交互数据荒漠的问题

觅蜂科技押注的是构建物理AI数据基础设施 实现真机遥操、无本体采集 仿真数据全范式覆盖 并且想要打通 硬件、软件、平台、运营的全链路 觅蜂科技2026年的真机遥操产能 接近200万小时 同时规划采集大约800万小时的

Human-Centric数据 背后是将近2000台机器人 和对应规模的采集团队 在中国国内以及东南亚多地同步运作 我们可以看出来 这就是机器人行业中的“石油业务” 而数据生态正在迅速地崛起 并且需求量非常大 好 聊完了最顶层 我们接着来看一下 机器人数据金字塔的第二层 就是仿真合成数据

金字塔从上往下的第二层 就是“仿真合成数据” 这条规模效应最极致的路线了 这也是黄仁勋的英伟达重点押注的路线 顺便说一个小八卦 听说黄仁勋的一儿一女 都在英伟达的Physical AI仿真部门 可见老黄对这一块是有多看重 简单来说 这不是从真实世界采集 而是在虚拟环境里面“生成出来”的数据

与一条一条训出来的真机数据做个对比 英伟达Isaac Lab 可以在单台GPU上并行运行 成千上万个虚拟机器人同时训练 规模可以是无限的 你想要多少数据 就有多少数据 比如说 机器人公司Sharpa 在2026年CES上面 超火出圈的乒乓球机器人 就是花了40个小时用纯仿真数据

训练出了0.02秒量级的击球反应速度 这就是这条路线的一个具体案例 仿真还能做到一件真机采集做不到的事 就是生成现实中极难遇到的边缘场景 机器人在仿真里面 可以反复地摔倒、反复地失败 所有的失败都会成为数据

而不造成任何真实的损失 此外 Sharpa的研究科学家还告诉我们 仿真技术 让“触觉”这样真机更难采集的数据 有了新的突破 我们最近跟英伟达合作了一个 触觉仿真的工具 叫Tacmap 它其实做了这样一个事情 就是对于传统的视触觉而言 你需要在simulation（仿真）里面

去建模这样的一个视触觉的指尖 其实你可以考虑的事情是 你不可能在simulation（仿真）里面去装一些摄像头 去看这个marker（标记）点的形变 所以我们提出了Tacmap 它是用了物体和指尖穿膜的这个深度图 作为一种介质 然后在仿真里面我们可以高效地 得到这样的一个Deformation

map（形变图） 并且它有很好的物理特性 在现实环境之中我们也通过类似的方式 得到这样的一个deformation map（形变图） 然后通过大量的数据采集 训练了一个翻译模型叫translation model 然后把raw

image（原始图像） 翻译成了deformation map（形变图） 基于这样的一个deformation map（形变图） 我们其实实现了一些技能的Sim-to-Real（从仿真到现实） 它能够做精细化的一些操作 当然这个路线有一个巨大的漏洞 就是刚才我们嘉宾提到的 Sim-to-Real

Gap 这个字面的意思 就是“仿真到现实的鸿沟” 问题的本质是 机器人在虚拟环境里面练得再好 放到真实世界里面往往会出现问题 为什么这么说呢 因为仿真环境 是人用代码构建的物理世界的近似 但是真实世界的物理要复杂得多 举一个最简单的例子 机器人在仿真里面学会了抓一个塑料杯子 仿真里面这个杯子的

重量、摩擦系数、形变方式 都是固定的参数 但是在真实世界里 湿手拿杯子和干手拿杯子的摩擦系数 是不一样的 杯子里有没有水重量也不一样 光滑桌面和粗糙桌面上的杯子 滑动方式也不一样

这些细节仿真里面要么没有建模 要么建模不够精确 总的来说 运动学层面的问题 包括关节怎么弯、手臂走什么样的轨迹 相对容易在仿真里面做好 放到真机效果上也还行 但是真正难的是动力学的层面 比如说物体之间接触的时候 力怎么传递、软性材料怎么形变 液体怎么流动 这些现象对今天的物理引擎来说

还很难完整地复现 结果就是机器人在仿真里面 练了一万次叠衣服 但是放到真实的毛衣面前 因为布料的柔软程度 和仿真里面的参数对不上 动作就会出错 这不是模型不够聪明 是它从来没有经历过真实的物理接触 目前行业中的解决办法包括了域随机化 也就是说不去做一个完美的仿真 而是做很多不一样的仿真

逼模型去学会忽略差异 抓住本质 第二 还有把仿真做得更好更真 这也是英伟达主要在做的事情 第三是用少量的真机数据去做微调 但是张凯峰就认为 最终还需要一个更加创新的解决之道 现在很难解决的一个 动力学的Sim-to-real

Gap（从仿真到现实的鸿沟） 是环境的dynamics（动力学） 也就是说你很难对齐物理世界的环境 和现实世界环境迁移的这种 我们所谓的Transition Model（状态转移模型） 所以这个我觉得是 目前还需要一些科学方法上的创新 除了Sim-to-real（从仿真到现实）

Real-to-Sim Gap（从现实到仿真到鸿沟） 也是目前行业中的核心挑战 这个词你看和Sim-to-real它是反过来的 意思就是说你没有办法把真实世界 准确地“搬进”仿真里面 因为现实世界实在是太复杂了 咱们的真实环境里面有无限的细节 噪音和不规则的事件 还有很多难以预测的参数

所以仿真世界其实没有那么好建 这里面的细节我们这个视频就先不展开了 仿真数据值得单开一期视频来详聊 我们已经在采访当中 记得先关注我们的账号 不要错过我们的深度更新 现在我们继续 往机器人的数据金字塔下面走 来到第三层

也就是动作捕捉数据

动作捕捉数据集 被称为MOCAP 这个派系是用光学设备或者视觉算法 追踪人手的运动轨迹 比纯视觉多了“怎么动”的信息维度 动捕数据的本质是记录“人是怎么动的” 然后再把这个动作“映射”到机器人上 比如说机器人算法公司 Physical Intelligence的π0系列 就大量地使用了这类数据

而π0.5在大约400小时移动操作数据 和大规模网络数据的基础上 实现了在真实家庭环境里面 完成长程任务的能力 它的优点是数据质量高 尤其在运动结构上 能够大幅度减少无效数据 对复杂动作特别有效 大家看到的很多很fancy（花哨的）的 机器人跳舞、武术等等任务 都是用到了动作捕捉的数据收集

而这是纯强化学习很难达到的效果 但是这个路线除了成本贵 还有数据覆盖有限之外 还有一个很关键的劣势就是 人毕竟和机器人的结构不一样 这就是Embodiment Gap（具身鸿沟）

一个方面是你看到的视觉上它是人的手 而不是机器人的手 所以它有视觉上的这种gap（差异） 第二个问题是 它有state（状态）上面的gap（差异） 比如说你通过动捕或者其他的一些方式 得到了这个state（状态） 它其实是不准确的 它会有一些自遮挡的问题 它会有一些被物体遮挡的问题

所以你得到的动作也是不准确的 Embodiment Gap的意思是 人的身体和机器人的身体之间 有一道操作语义上的沟壑 人手在操作的时候 依赖皮肤上密布的触觉感受器 每抓一个物体 神经系统都在实时根据触觉反馈调整力度 而机器人没有这套系统 所以即使动作轨迹被精确复制 完成任务的能力也不会自动跟上

除了Embodiment Gap 还有另外一个没有克服的难题 叫做Functional Retargeting 它的意思是 机器人只是在模仿动作的形状 而不是理解这个动作要完成什么 也就是意味着你把人的动作

映射到机器人动作上之后 它只是做了一个运动学上的对应关系 它没有真正地去实现 这个操作本身语义上的对应 也就是说 动捕数据会出现 比如说关节角度超限、力矩不够 平衡失败等问题 这就让这个层级的数据在一定程度上 和一会儿我们会讲到的 第四层的视频数据 一起被认为是“低质量数据”

从YouTube到抖音 人类完成各种任务的视频海量存在 这是今天具身智能训练里面 唯一真正“不缺”的原材料 但它能够教会机器人什么呢 更多是让我们机器人的模型大脑 去学习一种通用的表征 就是说简单的认知 以及说很多物理规律的一些粗浅认知 但是它还只停留在一个认知的阶段 姚卯青用了一个有趣的比喻

看再多别人打乒乓球的比赛视频 你第一天拿起球拍 也接不住球 视频给机器人建立了 关于物理世界的基础认知 知道乒乓球是什么形状 知道打球大概是什么动作 但是从“知道”到“会做”之间 隔着一道鸿沟 视频里面根本就没有动作信号 只有结果 互联网上的海量视频数据 也被Sharpa称为是最低质量的数据

YouTube videos最大的劣势是 它没有力和触觉信息 它的优势是它的量非常大 它能够给我们一些信息 这些信息包括世界是怎么变化的 我们常常讲World Models（世界模型）

就是利用好了这种in-the-wild（自然场景下）的数据 来训练这样的一个World Models（世界模型） 第二个事情是 它能够给我们一些操作的信息 比如说affordance（预设用途）是什么 这个信息对于我们操作来讲 其实也非常关键 在进一步聊视频作为机器人数据之前

我们引入两个很关键的概念 分别是Egocentric和Human-Centric 这两个分类是视频数据中 被认为对机器人最有用的数据 Egocentric的意思是“自我中心数据” 也就是“以机器人的视角看出去” 看到桌子、杯子、自己的机械臂 甚至还有遮挡、接触和动态变化

这样和行动绑定的“第一视角视频” 并且能够直接用于决策的数据 被称为Egocentric 为什么这个视角很重要呢 是因为机器人从它的摄像头 特别是人形机器人 它看到的视角就是这样的 苹果在2025年5月发布了一个 Egocentric的数据集

名为EgoDex 用Apple Vision Pro 采集了829小时第一人称视角视频 每一帧都配有手部 每个关节的精确3D追踪数据 覆盖系鞋带、折叠衣物等 194种的桌面操作任务 数据集完全开源 希望能推动机器人灵巧操作研究 最近 我们刚才提到的觅蜂科技 也是推出了MEgo系列 无本体数据采集设备

MEgo Gripper和MEgo View 搭配MEgo Engine 一站式数据治理服务平台 试图去降低物理AI数据采集 对实体机器人本体的依赖 让高质量的第一视角数据 走向轻量化、规模化和全场景化 另外一个词 Human-Centric数据的意思 就是围绕着人类、行为和意图

以及偏好或示范来构建 用来让机器人学习人类想要的行为方式 比如说人类抓杯子、人类开门 人类折叠衣服这类的 人直接做给机器人看的视频 能够让具身智能理解 人想达到什么样的目标 以及人类标准中的正确做法

而Human-Centric的数据可以是第一视角 也可以是第三视角 来 我们来总结一下 Egocentric是第一人称视角视频 但是任务不一定和人相关 而Human-Centric是人类意图的视频 这两者交集的那个区域 就是Egocentric+Human-Centric

人类在第一视角下完成任务的数据 这是被视为视频数据当中最有价值的部分 比如说 英伟达在今年3月推出的EgoScale 就使用超过20000小时的人类视频 进行预训练 涵盖数千个独特的任务和环境 精确的骨骼手部追踪使模型能够提取 并且重新定位21个人体运动关键点 从而构建统一的机器人运动空间 所以

虽然YouTube data（数据） 被机器人专家们各种嫌弃 但是你想想 因为它的海量存在和低成本效应 如果某一家公司通过某种技术突破 让这些互联网视频变得“更可用” 能够大幅度提升机器人的表现 那不就赚大发了

这正是目前各大公司押注的重点 特斯拉在2025年6月 做了一次重要的策略调整 把此前依赖动作捕捉套装 和VR头显的采集方式 换成了摄像机头盔 让工人戴着装有5个摄像头的装备 录制日常操作视频 再用这些视频训练Optimus 公司内部表示 这样能够“更快规模化” 顺便说一句

自动驾驶不就是Egocentric的数据吗 而且FSD不就是用视频数据驱动汽车 这个物理本体的案例吗 所以Optimus 会在视频数据路线上再次地押注 我也是一点都不意外 这也是非常符合马斯克的第一性原理了 而同时初创公司们 也在如何将“低质量数据”变得更可用 这个路线上有着非常积极的尝试

在今年年初 Sharpa发布了CraftNet 他们用一套触觉反射层 System 0做补偿 机器人上层策略 只需要给出粗糙的动作意图 底层触觉感知系统根据实时力反馈 自动完成精细调整 这个设计从硬件层降低了 对上层数据精度的要求

使得低质量动作捕捉和视频数据 也可以被利用起来 因为有了这样一个System 0的话 所以我们可以达到一个点石成金的作用 就是能够把大量的低质量数据用起来 因为我们的System 1 只需要给出一个粗糙的动作 粗糙的手势以及它的操作意图 就能够去实现一个 fine

manipulation（精细操作）的能力 好 我们说完了 机器人数据的四层金字塔结构 各自的优劣势 以及各层级正在发生的进展 你会发现那个真理 鱼与熊掌不可兼得 真的是有道理的 你看 最精确、最高质量的真机数据 是最少最难获取的 而最容易获取的视频数据 又是质量最低、最不可用的数据

所以行业现在的做法是 我把它们混合起来用 能不能又平衡数据质量 又能平衡一下成本呢 那么这个混合的配方又是如何实现的呢

我们在业界跟很多机器人公司聊 目前一个普遍的共识是 这四层金字塔代表着数据的不同来源 并且也要适配不同的具身本体和模型 没有一个统一的标准 每个公司都会有自己的配方和天平 它到最后可能是一个整合的solution（解决方案） 对 它会是一个整合的solution（解决方案）

它们中间的比例大概是什么样子 现在来讲我觉得很难说 究竟什么样的一个比例是黄金配方 因为它不是一个简单的配比 然后达成一个单一目标的问题 因为现在首先在技术路线上 还有很多多路径的探索 它并没有说归一到一种确定的范式 大家一个确定的配方 就能完成一个非常好的效果 其次 我们训练机器人模型

目前的目标和目的也不是唯一的 在有一些情况下 可能我们训练一个机器人 就是要让它在某一特定的场景干到极致 让它去达到 比如说工业场景 人的这种节拍效率 100%的成功率 但有一些场景 它可能更考虑是一个泛化性

它能接受你成功率没有到100 也许98 99 它是可以接受的 甚至是允许人去在过程中做一些干预 做一些接管兜底 但它对泛化性要求很高 面向于这种不同的目标、不同的要求 其实大家用到的数据比例也会不一样 而对Sharpa来说答案也很类似 对于不同的任务 他们采取了不同的数据策略 我们的乒乓球机器人

其实是在仿真里面训练的 它大概是训练了40小时左右 我们的发牌机器人 其实用的是imitation（模仿学习）的方式 来训练的 它大概是用到了两三百小时的 Teleoperation data（遥操作数据） 以及一些Egocentric的数据 张凯峰也给我们一个非常平均的估算

在训练较为复杂的任务当中 各层数据之间的轨迹数量比大约是 遥操数据和动捕数据的比是1:100 动捕数据和互联网视频的数据是1:100 换算下来 遥操数据在整个数据池里面 大约是万分之一的存在

但就是这万分之一往往是最终决定模型 能否在真实场景里落地的关键 如果非要我选择一个更重要的点 我会选择数据质量 因为只有有高质量数据 你才能够训练出有用的模型 但是如果我们的数量很难去规模化 其实我们需要做一个折中 这个折中可能就像我刚刚讲的 这种数据金字塔的方式 把每一部分的数据都能够利用起来 它能够去理解环境的变化 也能够去理解操作的语义 最终能够帮我们完成这样的一个操作任务

以上我们聊到了 智元这样的中国机器人公司 如何去处理数据问题 太贵、太慢 就直接把它做成工厂 利用人力成本和效率优势来打造护城河 但在人力成本高昂的硅谷 几家最受关注的机器人公司 却不得不走数据的“捷径路线”

比如说Physical Intelligence的数据策略 就是靠精度加迭代 他们在旧金山Dandelion Chocolate工厂 部署了一台机器人 整天打包巧克力盒子 同时在办公室提供咖啡服务 员工在Slack里面发 “我要一杯拿铁” 机器人就会去做 创始人Sergey Levine的哲学是

就去看当机器人不得不在真实世界里面 完成任务的时候会发生什么 以及这类部署的数据 能如何继续地改善系统 在这个基础上 PI试图让机器人在真实部署里面 通过强化学习（RL）去持续地自我改进 2025年11月发布的π0.6 用的一套叫做RECAP的方法 在折叠衣物、装纸箱 做浓缩咖啡等任务上

把最难任务的吞吐量提升了一倍以上 失败率降低了大约一半 2026年3月发布的RLT方法 引入了一个特殊的输出token 作为VLA模型 与轻量级RL策略之间的紧凑接口 只需要几小时真实操作练习

机器人在精细操作任务上的速度 就能提升三倍 某些动作甚至超过人类遥操员 这条强化学习路线的吸引力在于 机器人自己产生自己的训练数据 绕过了人工采集 但是它有三个 今天还没有好答案的真实问题 第一是奖励函数 衣服叠得“够好”的标准很难量化 定义不准机器人就会去找捷径 比如说把衣服揉成一团塞进角落

因为这样“占用空间最小” 是满足了某个错误的优化目标 第二就是安全边界 机器人在客户生产线上试错 每次失败都有现实代价 损坏产品、影响节拍 甚至伤到工人 第三就是数据归属 强化学习数据是机器人用客户的 物理空间和物理资产试错产生的 所有权比遥操数据更加模糊 遥操好歹有明确的人工生产主体

但是强化学习没有 如今Physical Intelligence 在π0.6上面验证的场景 是相对结构化的任务 在受控实验环境里运行了13小时 距离真实工厂大规模部署 在陌生场景里面稳定运行 还有相当的距离

除了强化学习RL路线 PI同时在探索 用我们上面提到的Egocentric视频 去补充训练数据 PI在2025年12月发布的研究显示 一旦机器人技术模型 积累了足够的真实操作经验 加入第一人称人类视频之后 各个泛化任务的平均成功率接近翻倍

2025年9月 Figure AI与全球最大另类资产管理公司 Brookfield签署战略合作 Brookfield管理着超过10万套住宅 5亿平方英尺的商业办公室 和1.6亿平方英尺的物流空间 Figure的计划是 在这些真实的家和写字楼里面 让人带着摄像头拍视频 再用这些视频训练Helix模型

它的目标是建成全球规模最大 最多样化的人形机器人预训练数据集 Brookfield同时是跟投了Figure 超10亿美元的C轮融资 Figure随后是发布了初步结果 Helix模型在只用第一人称人类视频训练 没有任何机器人数据的情况下 已经能够根据自然语言指令 在杂乱的真实房间里面导航移动了

还有一家更小的创业公司Sunday Robotics 走的路是更极端的 他们直接付钱让普通人在家里面 录自己做家务的视频 然后用这些视频去训练机器人 把数据采集员直接变成众包经济的工作 如果我们看看不同机器人公司 如何押注数据路线 我们会发现 不同的市场因为生态不同 做出了不同的决策

整个硅谷是在往视频数据靠的 减少对遥操的依赖 押注可以被动规模化的采集方式 这和中国公司的方向还是形成了差异化 但是这两种选择可能也无所谓对错 因为我们还在行业的一个超级初期 任何的尝试都是有意义的 特别是对于数据来说 开源更是一件广受欢迎和好评的事

2024年 智元做了一件让行业困惑的决定 把自己辛苦采集的百万条遥操数据 打包成了 AgiBot World（智元世界）的数据集 免费向全球开放 但是这背后有一个被大多数报道 忽略的行业困境 2023年到2024年 具身智能公司大量涌现 但整个行业面临一个根本性的认知危机 没有公共的数据基准

就无法判断一个模型的训练方法对不对 谷歌的RT系列和开源模型OpenVLA 在学术界引发了广泛的关注 开创了VLA这个范式 但是因为训练数据全是学术级的数据集 在实际场景里面的效果依然很有限 这导致这个范式的真实潜力 长期得不到验证 这个事情一定得有人迈出第一步 工业界的人有人得迈出第一步

因为否则谁也无法去真正 训练出高质量的模型 且有一个公允的 Benchmark的数据集去做Benchmark 面对这个数据荒漠 我们算是种下第一棵树 希望将来能变成一片森林 而这棵树发芽了 2025年3月

英伟达在GTC大会上 发布了第一代具身基础模型GR00T N1 而GR00T N1训练所用的 真实世界数据里面 大约80%都来自AgiBot World 而开源的连锁效应还不止于此 越来越多的学术团队 在用了AgiBot World之后 转而去采购智元的机器人本体做研发

因为在同一款本体上面采集的数据 在这款本体上训练出来的模型效果会更好 也就是说数据开源带来了生态 生态带来了硬件销量 而硬件销量能够产生更多的数据 说到这里 我们看到 机器人的数据工厂在建 开源生态正在形成 下一个问题是 具身智能能否形成真正的数据飞轮呢 这是绝对会存在的

具身智能跟大语言模型其实它一样的 数据飞轮的核心要义就是说 我在模型部署之后 在用户的使用过程中 它还能够持续地接收到反馈 然后利用这些反馈去不断提升自己的能力 最终变成用户体验的提升 机器人现在其实更需要这样的飞轮 也更会催生这样的飞轮

因为语言模型相对来讲 它的容错度是比较高的 今天大语言模型跟你絮絮叨叨说一堆话之外 里面可能说错几个字 似是而非一些 你觉得还好 机器人它如果是作业 你进工厂打螺丝 你这个就是毫米级的东西 你差一点点可能就不行了 一定是需要在现实的部署过程中 遇到了很多失败的这种场景

然后把这些数据采集回来不断地去提升 才能达到我们刚刚说进工厂 （接近）人类的节拍 百小时、千小时MTBF（平均故障间隔）这样的一些级别 这样的一个数据飞轮 比如说你要类比 大语言模型的Scaling Law（缩放定律） 它们是一回事吗 还是有区别的 其实它们就基本上还是一回事

数据飞轮就是一定要在使用的过程中 在真正实地部署的这种形态下 去持续收集数据 这一套其实我们现在已经是在 我们所有的机器人产品上 作为一个标配搭售的 在用户许可的情况下 我们会像现在自动驾驶的这种功能一样 它去收集那些高优的数据

部署的机器人收集到数据当中 大概有多少的比例就可以回流回来 再给咱们进行训练 大概的比例 我估计也就是可能在5%以内吧 因为大部分时间它这个数据对我们来讲 并没有提升的意义 它因为都是成功的 属于是已经会的东西 所以你们只需要失败的 我们只需要还不会的 要不然天天这么多车在路上跑

全世界的存储都存不下这些实时的数据 大家都是触发一些高价值的数据 但飞轮能转 不代表转速能够达到预期 这里有一个比飞轮更基础的问题 具身智能的Scaling Law（缩放定律） 是否成立呢 在语言模型里面 这个问题有着明确的答案 数据翻倍、模型变大 能力就会涌现 但是机器人行业目前还没有答案

至少我们需要看到 随着数据量的增加 随着模型规模的变大 我们可以看到它能够有这种智能的涌现 它能够实现任务级的泛化能力 我认为现在还没有看到有任务级别的泛化 我们现在能够看到的泛化往往是一些 比如物体的泛化

比如说我看到过很多的物体能够实现 物体层面的泛化 也能够实现环境层面的泛化 但是在任务层级的泛化我们还没有看到 这里就是关键区别了 物体泛化 也就是见过类似物体就能够处理 和任务泛化 也就是从来没见过这类任务也能举一反三 这是两个完全不同量级的能力 前者在今天已经在一定程度上实现了

但是后者还没有可信的证据 而这个证据是整个机器人行业 走向下一步进化的钥匙 而在机器人大规模部署之前 我们可能都不会有答案 PI的创始人Sergey Levine教授 在他的Substack上面写道 在美国有大约1万家麦当劳 一旦每家麦当劳各放一台机器人 每天工作两小时 一年就能够产生

1000万小时的具身智能训练数据 比现有全球积累的总量还要多几个数量级 在今年3月底 智元率先在产量上 突破了1万台具身机器人 我们距离找到这把机器人的数据钥匙 是否更近了呢 我们拭目以待 好啦 这就是我们的“机器人系列”的

最新一期内容了 接下来我们将带大家走进 机器人的本体测试工厂 聊聊机器人的本体与硬件供应链 之后我们也准备就仿真数据这条线 再进行深度的挖掘 大家不要忘记关注《硅谷101》 之后的内容会更加的精彩 以上就是这期视频的全部内容了 你们的点赞、留言和转发 是支持我们《硅谷101》 做好深度科技和商业内容的最佳动力 我是陈茜 那我们就下期视频再见啦 拜