具身智能的起源:双猫实验与代理权
Jim Fan在演讲开篇分享了一个启发他博士研究的经典案例。1963年,科学家Held和Hein设计了一个巧妙的旋转木马装置,将两只新生小猫放入其中。一只为“主动猫”,可以自由移动并观察世界;另一只为“被动猫”,被限制在篮子里,虽然视野与主动猫完全同步(数据相同且镜像对称),但无法控制身体运动。几天后的测试显示,只有主动猫建立了健康的视觉-运动回路,能应对“视觉悬崖”或避开障碍物;而被动猫尽管看到了同样的景象,却无法做出相应反应。这一实验证明,代理权(Agency)而非单纯的数据输入,是视觉系统发育的关键。Jim Fan指出,当今的ChatGPT就像那只“被动猫”,而人类婴儿则是通过触摸、品尝甚至破坏物体来实验和失败,从而成为“摇篮里的科学家”。具身与主动代理权构成了人类智能的核心,因此他坚信未来属于具身AI。
为何选择人形机器人:社会接受度与基础设施适配
在GTC大会上,NVIDIA发布了Project GR00T计划,旨在为人形机器人打造AI大脑。Jim Fan解释了选择人形形态的三个核心理由:首先,人类体型已证明能产生所有具有经济价值的体力劳动;其次,在人机协作时代,人形机器人比蜘蛛状等不可预测的形态更具社会接受度,人类更容易预判其行为;最后,现实世界的基础设施(如医院、超市的工具和设备)都是为双手、双腿和五指设计的,人形机器人能无缝融入现有环境。此外,硬件成本的大幅下降也推动了这一趋势。2001年NASA的Robonaut造价超过$1.5百万,而近期宇树科技发布的G1机器人成本约为$30k。由于人形机器人的原材料仅占汽车的4%,其制造成本有望进一步趋近于原材料成本,当前正是进入该领域的最佳时机。
Project GR00T的战略:从专家系统到通用智能体
Project GR00T代表“Generalist Robot 00 Technology”,其核心战略是打造通用机器人技术。Jim Fan回顾了自然语言处理(NLP)领域的演变:2019年前,NLP由众多专家系统组成,每个任务(如情感分析、摘要)都需要独立的训练和数据管道;直到2021年ChatGPT出现,通用模型(Generalist Model)通过提示即可处理各种任务,随后再通过微调或蒸馏转化为特定领域的专家模型。这种“专精化的通用智能体”比原始专家系统更强大且易于维护。相比之下,当前机器人领域仍停留在“专家”阶段,依赖特定硬件、算法和数据管道。NVIDIA的策略是借鉴NLP的成功路径,在Santa Clara实验室中利用合作伙伴的多种人形机器人硬件(如Tesla Optimus、Boston Dynamics Atlas等),开发通用的AI大脑,而非自行制造机器人硬件。
借鉴NLP范式构建机器人基础模型
团队的核心战略是复制自然语言处理(NLP)领域的成功路径。我们期望 Project GR00T 能成为机器人领域的“通用时刻”或基础模型爆发点。在这一阶段,我们首先构建通用的底层能力,随后通过提示工程(prompting)、知识蒸馏和微调技术),将模型重新适配回特定的专用场景。这种“先通用后专用”的策略旨在打造比当前所有机器人系统都更强大的专业化通用机器人。为了实现这一愿景,团队确立了三个指导原则:数据金字塔原则、矩阵原理以及基础智能体(Foundation Agent)原理。这些原则不仅指导着演讲者的日常工作,也是整个团队研究的核心基石。
莫拉维克悖论与真实数据采集的物理极限
机器人之所以比NLP更难,根源在于莫拉维克悖论(Moravec's paradox):对人类而言容易的任务对机器却极难,反之亦然。造成这一困境的主要原因是数据获取方式的差异。互联网上存在太字节级的高质量文本数据,但电机控制信号无法从网上下载,机器人领域必须自建数据集。在真实机器人数据采集中,我们面临一个根本性的物理限制:每台机器人每天最多只能采集24小时的数据。尽管数据量有限,但真实硬件演示是与物理现实直接对齐的金矿。为了解决采集效率问题,团队引入了Apple Vision Pro进行遥操作。用户佩戴头显后,系统实时追踪手部姿态并将其重映射到机器人上。“你实际上被传输到了另一个载体中,现在处于人形机器人的身体里”。这种类似电影《阿凡达》的体验使得非专业人员能在10分钟内学会数据采集,极大地降低了门槛。
利用NVIDIA Isaac Lab突破时间瓶颈
鉴于真实数据获取缓慢,仿真(Simulation)成为扩大规模的关键。NVIDIA作为图形公司起家,其GPU技术使得并行物理仿真成为可能。Isaac Lab工具允许在单张显卡上以比实时快10,000倍的速度运行仿真,从而打破了24小时的物理限制。为了直观展示这一效率提升,演讲者引用了一个极具代表性的案例:“这个角色通过相当于10年高强度训练的过程,仅用单张GPU上的2小时计算时间就掌握了令人印象深刻的武术技能”。这正如电影《黑客帝国》中尼奥在虚拟空间中快速学习功夫的情节,仿真环境成为了机器人的“格斗道场”。此外,得益于硬件加速的光线追踪技术,Omniverse平台中的渲染场景已跨越“恐怖谷”,所有像素均为实时生成。这种高保真仿真不仅用于动作学习,还因其能提供每个对象的真实状态和分割掩码(ground truth states),从而训练出更精确的机器人视觉感知模型。
数据金字塔结构与矩阵原理初探
完整的数据体系由三部分构成,形成数据金字塔(Data Pyramid)结构。塔尖是稀缺的真实机器人遥操作数据;中间层是利用Isaac Lab生成的仿真数据,其规模可达每GPU每天太字节(TB)级,且包含像素与动作标签;塔基则是互联网上海量的文本和视频数据,规模达到每太字节甚至更多(exabytes)。虽然互联网数据量最大且噪音最高,但机器人仍需从中学习物理常识。这种分层结构引出了第二个原则——矩阵原理(The Matrix principle)。该原理强调利用仿真环境中的高保真、多模态数据(像素+动作)来加速训练,正如电影《黑客帝国》中在虚拟时间里进行长期训练一样。通过结合真实数据的准确性、仿真数据的大规模高效性以及互联网数据的广泛常识,团队试图构建出具备强大泛化能力的机器人基础模型。
模拟环境:机器人进化的核心战场
演讲者首先抛出一个引人深思的问题:我们是否生活在一个由外星文明超级计算机运行的模拟矩阵中? 尽管这一假设的真实性存疑,但演讲者确信一个事实:机器人的未来将生活在模拟环境中。这是因为在模拟器中训练机器人,能够打破人类24小时生理极限的障碍,从而收集数以万亿计的高质量数据令牌(tokens)。其核心逻辑在于一句关键结论:模拟一个问题比解决它更容易。这一观点在AI历史中已有诸多佐证,例如2016年AlphaGo击败李世石的事件。围棋规则极其简单,整个游戏可以用大约500行Python代码模拟,但其策略复杂度却极高。另一个典型案例是《我的世界》(Minecraft),这款仅几百兆字节的 executable 游戏展现了惊人的涌现行为,玩家甚至能在其中逐块建造霍格沃茨城堡或构建功能完整的CPU电路。鉴于此,演讲者介绍了其早期项目 MineDojo,这是一个为AI提供模拟器API并整合互联网海量数据的框架,旨在训练具备通用能力的智能体。
强化学习与模仿学习的数据生成范式
在确立了模拟的重要性后,演讲者探讨了AI科学家面临的核心问题:如何从模拟中生成数据? 这对应两种主要的数据获取方式,进而衍生出两类学习范式:自我生成数据(Self-generating data)与复制/模仿数据。前者对应强化学习,后者对应模仿学习。以强化学习为例,其机制类似于巴甫洛夫的狗:通过设定奖励函数来指示期望或不期望的行为,智能体随后进行大量的试错以最大化该奖励。强化学习的优势在于能够训练出那些人类甚至无法完全理解其内部运作机制的行为。例如,维持人体平衡、站立或行走等看似简单的动作,实际上涉及大量潜意识层面的神经处理。对于人形机器人而言,这被称为全身控制(Whole Body Control),而在强化学习语境下则称为神经全身控制。这种技术对于导航、桌面操作以及波士顿动力机器人那种在保持平衡的同时进行局部物体 manipulation 至关重要。
HOVER模型:构建机器人的“小脑”
针对如何构建类似人类潜意识处理能力的机器人控制中枢,演讲者给出了一个令人惊讶的数据:仅需150万个参数即可构建机器人的“小脑”,而非通常认为的十亿级。为此,团队训练了一个名为 HOVER 的神经网络模型,该模型能够协调人形机器人的手臂和腿部电机,以支持运动和操作。HOVER 的核心优势在于其灵活的命令格式兼容性。它可以接受多种形式的输入作为“提示”,包括: 1. 运动学位置追踪(如所有关节的位置); 2. 局部关节角度(如手臂之间的夹角); 3. 根节点追踪(即需要移动到的目标速度或位置)。这种设计使得HOVER能够接受任意组合的提示,从而支持多样化的控制接口。例如,使用 Apple Vision Pro 进行头部和手部姿态追踪以维持站立平衡;利用RGB摄像头结合计算机视觉模型实现全身姿态追踪;穿戴外骨骼进行高精度的全身关节追踪;甚至仅使用PS5手柄指定根节点命令。这种 versatility 使得HOVER不仅能用于遥操作控制,还能高效地收集数据。
模拟训练中的特权信息优势
在讲解HOVER的训练过程时,演讲者强调了模拟器与真实世界之间的关键差异。训练流程相对简单直观:在模拟环境中,系统可以向模型传递所有控制模式信息以及特权信息(Privileged Information)。所谓特权信息,是指那些在模拟器中可以轻松查询和获取的数据状态(如精确的物理参数、内部传感器读数等),但在现实世界中由于噪声、延迟或硬件限制而难以直接获取。利用这些特权信息,模型可以在模拟中学习到更鲁棒的控制策略,进而迁移到现实世界。正如演讲者所言:“模拟一个世界比在其中做任何有趣的事情都容易。” 这种从简单规则到复杂行为的涌现,正是通过模拟环境中的大规模试错和数据积累实现的。
特权信息蒸馏与可提示的全身控制策略
在机器人强化学习中,存在一种被称为“特权信息”的现象。尽管我们可以精确知道机器人体内每个关节和原子的位置及速度,但这些信息在现实世界的机器人中是不可获取的。基于这些特权信息训练出的强化学习策略(Oracle Policy)虽然有效,但实际上是一种“作弊”,因为它查询了现实世界中不存在的数据。为了解决这一问题,研究团队采用了两阶段蒸馏(Two-stage Distillation)的方法:首先移除这些特权本体感觉信息,然后利用监督学习将其蒸馏到一个学生策略中。直接进行强化学习往往不稳定,因此先在容易的环境下训练基础模型,再在更困难的问题上进行监督学习是更为有效的路径。通过屏蔽不同的信息输入模式,HOVER 策略变得具有“可提示性”(Promptable),能够接受任意组合的输入。
"We simply mask out different control modes. And then we distill it into a student policy using supervised learning."
这种策略允许机器人执行多种任务,例如头部追踪、全身追踪或仅追踪机器人的三个点。此外,还可以结合路线速度进行跟踪,实现既保持姿态又向前移动的效果(类似僵尸行走)。在 Isaac Lab 这一 GPU 加速的并行模拟器中,可以运行数万个类人机器人来测试不同地形和障碍物。HOVER 具有具身无关性(Embodiment Agnostic),适用于任何能在 Isaac 中模拟的机器人,最终输出能够同时保持平衡、行走并遵循特定姿态的全身控制策略。
生成式仿真框架 RoboCasa:自动化资产与场景构建
除了控制策略,仿真的另一个关键用途是支持模仿学习。然而,使用 Apple Vision Pro 等设备收集人类演示数据非常耗时且昂贵。在短短一小时内仅能收集约 20 个演示样本,数据量极其有限。为了突破这一瓶颈,研究团队提出了 RoboCasa 框架,旨在通过 AI 自动化生成仿真环境中的三大核心要素:手工对象、精心设计的场景和任务。
对于手工创建的对象(Handmade Objects),团队利用先进的文本到 3D 模型生成大量资产并实例化到仿真中。对于场景纹理(Textures),使用 Stable Diffusion 等 AI 模型替换原有纹理,无需人工艺术家参与。对于场景布局(Layouts),由于 USD 格式本质上是代码,团队利用 NVIDIA 的 ChatUSD 工具(针对 LLM 微调)生成不同的场景布局。对于任务代码(Tasks),则直接提示 GPT-4 或 Claude-3.5 等大语言模型生成 Python 代码。通过这种全自动化流程,RoboCasa 能够在一个矩阵中生成100,000 种不同的厨房环境。只要计算资源充足,仿真系统并不关心环境的多样性上限。
"We present RoboCasa, which is a generative simulation framework where every part of it... are generated by different AI models."
数据增强与 MimicGen:从视觉到运动轨迹的扩展
在 RoboCasa 框架下,团队将现实世界中的一个真实人类演示回放并乘以 N 倍,生成多样化的仿真数据。实验结果显示,仅使用真实世界数据训练的策略性能有限,而混合 RoboCasa 生成的多样化仿真数据(包括视觉变化)后,模型性能显著提升。这种提升是开箱即用的(Just out of box)。在 Omniverse 渲染中,可以看到同一个动作可以在 10,000 个不同的地点执行,这有助于训练出极其强大的感知模型。
然而,仅增强视觉还不够,运动轨迹的收集依然困难。为此,团队构建了 MimicGen 系统来解决这一问题。以“将两个部件组装在一起”的任务为例,MimicGen 允许通过改变物体的位置和机械臂相对于物体的姿态来编辑人类演示。即使改变了配置,只要回放该演示,任务依然能成功完成。这种机制使得机器可以生成成千上万种不同配置下的有效演示,从而实现了“让机器教机器”的目标。MimicGen 是一个通用框架,可应用于多种任务场景。
"Let the machines teach the machines. And this system we built... is called MimicGen."
MimicGen:从单臂到多任务的数据自动化生成
MimicGen 的核心机制在于通过改变物体配置来自动生成新的成功运动轨迹,从而无需人类反复演示即可免费获取大量数据。这种技术不仅适用于单臂机器人(如常见的 Pan Arm),还能在硬件足够接近时实现跨机器人的泛化,解决了博士生资金有限、只能拥有一台机械臂的痛点。通过调用 MimicGen,研究人员可以直接获得其他昂贵机器人手臂的数据支持。
该技术特别擅长处理长视界(long horizon)的多步骤任务,例如准备咖啡、厨房杂务或垃圾分类。以制作咖啡为例,系统需要完成从抽屉取出胶囊并放入咖啡机的复杂序列。如果仅靠人类遥操作,学习一个良好模型需要数千条轨迹,而 MimicGen 能自动生成这些数据。此外,它还能处理高精确度任务,如确保钉子与孔位对齐的工厂级操作或齿轮安装。MimicGen 能够生成海量数据,且这些数据在真实世界中同样有效。
"You call MimicGen, and you also get data on other robot arms that you can't afford."
数据缩放效应与双臂协同任务分类
随着 MimicGen 生成数据的增加,训练策略的性能呈现上升趋势,但存在边际收益递减现象。例如,当数据从 1,000 条增加到 5,000 条时,性能提升并不显著。这主要是因为任务相对简单,且系统本身对多样性的上限有限制。原始 MimicGen 工作主要应用于单机械臂,后续研究自然扩展到了双手操作场景。
双臂任务被细分为三种子类型: 1. 并行子任务(Parallel Subtask):双臂可平行执行抓取动作,仅在最后阶段需要一定程度的顺序配合。 2. 协调子任务(Coordination Subtask):双手需精确同步,如同时抬起托盘、盖子并放入盒子。这要求变换正确应用到手部,以确保回放轨迹的准确性。 3. 顺序任务(Sequential Tasks):存在前置和后置条件,后续动作必须在前置条件满足后才能发生。例如人形机器人先将球倒入碗中,再将其放置在绿色积木上。
"If you want a human just to keep teleoperating, then you need thousands of trajectories to learn any good model."
DexMimicGen 与 Real2Sim2Real 闭环
DexMimicGen 是 MimicGen 的后续版本,专注于灵巧操作(dexterous manipulation)。在拥有更大规模数据集后,研究对比了不同神经网络架构,发现扩散策略(diffusion policy)在所有任务中表现最佳。由于灵巧操作难度更高,MimicGen 管道展现出更明显的缩放效应:若人类仅收集 100 条演示数据,成功率不高;但利用 AI 生成 50 倍的数据后,任务性能显著提升。
为了实现从仿真到现实的转移,团队采用了 Real2Sim2Real 管道。首先由人类进行遥操作收集真实轨迹,然后将其重放至仿真环境(数字孪生)中。接着运行 DexMimicGen 生成海量数据集,最后将这些数据应用回真实世界。这种“仿真在环”的方法通过模拟环境中的乘法效应,显著提升了现实世界的性能。
"We have a human teleoperate. And then we have this Real2Sim pipeline where the real trajectory is replayed in simulation... You multiply."
基础智能体原则与 MetaMorph 概念验证
最终的原则是基础智能体(Foundation Agent)原则,这也是构建 GR00T 基础模型的思路。机器人研究可映射为三个轴:掌握的具身形态数量、技能数量和现实世界适应性。核心问题是能否用单个神经网络控制所有不同类型的机器人,从而避免为每种机器人开发单独的流程。
两年前的 MetaMorph 工作提供了概念验证:训练一个单一神经网络控制数千种程序生成的简单机器人。其原理是将机器人的关节图(运动学树)进行深度优先遍历,将其展平为带有物理属性的标记序列。RoboCasa 将一次演示扩展为 N 次,MimicGen 进一步将其扩展至 $N^2$。在 Omniverse 上运行的人形机器人演示展示了高质量的渲染和运动轨迹生成。这一技术旨在避免人类像特斯拉 Optimus 视频中那样,通过重复遥操作来训练机器人。
"Can we have a single neural network that can control all of them so we don't need to develop a separate pipeline for each robot?"
MetaMorph:统一多形态机器人的单一神经网络控制
MetaMorph 的核心创新在于将机器人本体结构(morphology)转化为类似自然语言的序列,从而利用 Transformer 架构实现“一个模型控制所有机器人”。研究者将不同形态的机器人映射为可变长度的句子,并通过 Tokenization 处理后输入序列模型。这种设计使得单一神经网络权重结合强化学习与加速仿真,即可训练出通用于多种任务的通用控制器。在 GTC 大会上展示的众多不同人形机器人身体结构中,MetaMorph 2.0 的目标正是实现对这些细微差异的兼容控制。实验涵盖了平坦地形行走、复杂地形导航及障碍物规避等任务,证明了该方法在单一模型统治多种机器人形态方面的有效性。这种将机械结构文本化的思路,为解决异构机器人控制难题提供了全新的范式。
Eureka:利用 LLM 自动化生成超人类水平的奖励函数
在技能习得方面,研究引入了 Eureka 框架以解决复杂技能(如指尖转笔)中奖励函数难以手动设计的问题。传统上,编写针对物理仿真器的奖励函数需要深厚的领域知识,但 Eureka 通过让 LLM(如 GPT-4)直接生成 Python 代码形式的奖励函数,实现了自动化。研究者向 LLM 提供 Isaac Lab 仿真器 API 上下文,LLM 能够正确实现大多数情况下的奖励函数逻辑。生成的代码随后被部署在单张 GPU 上的 10,000 个并行副本中进行强化学习训练,仅需约 15 分钟即可完成一个完整的 RL 循环。这一过程不仅速度快,还利用了 LLM 的自我反思能力进行迭代优化。
"We give the LLM a prompt, saying that-- please find a reward function that can make the shadow hand do pen spinning."
在迭代过程中,LLM 会进行非平凡的代码修改,包括调整超参数、改变奖励函数的函数形式,甚至添加追踪角速度或关节角度惩罚等新组件。经过几次迭代后,Eureka 生成的奖励函数在性能上逐渐超越专家手动编写的版本。这种自动化方法具有通用性,能够针对不同轴向的转笔任务自动区分并生成相应的奖励函数,甚至解决了逆重力旋转等高难度技能的学习问题。
DrEureka:基于领域随机化的零样本 Sim2Real 迁移
为了将仿真中训练的策略迁移到真实世界,研究提出了 DrEureka 框架,其核心原理是领域随机化(Domain Randomization, DR)。由于仿真物理永远无法完美复刻现实,DrEureka 不追求构建绝对精确的单一仿真环境,而是通过随机化重力、摩擦力、重量和尺寸等物理参数,生成成千上万种不同的“现实”变体。其核心逻辑在于:如果 AI 模型能够掌握 10,000 种不同的物理参数分布,它极有可能泛化到第 10,001 种现实世界。同样地,DrEureka 也利用 LLM 自动生成这些随机化的参数配置代码,替代了传统依赖专家经验的手动设置。
"If you have an AI model that can master 10,000 different physical parameters, then it may very well generalize to the 10,001st reality..."
通过 Eureka 循环生成奖励函数,并结合 DrEureka 生成的领域随机化参数,研究实现了从仿真到现实的零样本(Zero-shot)迁移。实验展示了机器狗行走和 Allegro 机械手操作立方体两个案例,策略在未经过任何微调的情况下直接部署到真实硬件上并成功运行。这证明了自动化生成奖励函数与领域随机化参数相结合,能够有效解决 Sim2Real 的鸿沟,使得机器人能够在未见过的新环境中保持鲁棒性。
DrEureka:从刚性模拟到现实世界的惊人跨越
在机器人控制的探索中,团队尝试了一项极具挑战性的任务:让机器狗在瑜伽球上行走。这一任务的难点在于瑜伽球的弹性特性极难模拟,绝大多数模拟器无法正确处理这种物理交互。在初步实验中,由于仿真环境中的球体被简化为刚性物体而非弹性体,物理引擎完全失真。然而,当应用 DrEureka 系统并将策略迁移至现实世界时,学生成功操控机器狗在街道上从容地走在瑜伽球上。这一成果引发了公众的强烈反响,甚至有人尝试让自家真狗复刻该动作但未能成功。
"I wouldn't call this superhuman, but I think this is perhaps some super dog level intelligence."
这一案例不仅展示了 DrEureka 的强大能力,也揭示了当前技术在特定领域已超越普通生物本能。DrEureka 的核心突破在于它不仅能编写奖励函数,还能自动生成 Sim2Real(仿真到现实)的配置参数。这标志着从单纯的算法优化向自动化系统配置的演进,为解决复杂物理交互问题提供了新的路径。
Eureka++ 与 GR00T:构建通用基础代理的愿景
回顾 Eureka 系统,其本质是一个双循环架构:外环利用大型基础模型进行推理并生成奖励函数代码,内环则通过强化学习训练小型神经网络以控制机器人。Eureka++ 的愿景是进一步扩展 LLM(大语言模型)的工作范围,不仅限于奖励函数和配置编写,而是让 AI 自主生成新任务、全新仿真环境甚至未知的训练算法。团队梦想实现全自动化的研发流程,使得团队成员可以休假而系统仍能持续迭代。
这一愿景指向了一个终极目标:单一的基础代理(Foundation Agent)能够掌握多种身体形态,执行多样化技能,并在不同仿真及现实世界中实现泛化。正如 ChatGPT 通过海量互联网文本数据训练出通用的序列模型一样,NVIDIA 计划构建名为 GR00T 的机器人基础代理。该模型将输入具身规范(Embodiment Specification)和自然语言指令,输出控制动作。通过扩展训练数据至海量现实世界交互记录,GR00T 有望成为解决机器人通用智能的关键钥匙。
三计算平台与 OSMO:支撑具身 AI 的基础设施
为了训练如 GR00T 这样庞大的基础代理,NVIDIA 提出了"三计算问题"(Three-computer problem)作为底层算力架构。第一类计算机是 OVX,负责生成 Token(令牌),运行 RoboCasa、MimicGen 和 Eureka 等仿真工作负载;第二类是 DGX(如 H100/H800),负责学习并压缩生成的 Token,训练 Transformer 基础代理模型;第三类是 AGX(Jetson 系列),部署在机器人本体上,负责推理和运行这些智能模型。
"We talked about three principles, the data pyramid and The Matrix that supply the data to train the foundation agent. And then we talk about the three computers as a computing platform that enable all of these research to happen."
整个流程通过 OSMO 软件编排框架进行调度,以管理异构计算工作负载。从数据金字塔和 The Matrix 获取训练数据,到三计算平台完成生成、学习与部署,这一闭环构成了具身 AI 的研究基石。尽管解决机器人通用智能可能需要很长时间,但团队坚信这是"最后一个也是最难的 AI 问题"。随着具身智能的发展,机器人市场有望从当前的零价值增长至万亿美元规模,而 AGI 的实现离不开具身化(Embodiment)。GR00T 被视为通往这一未来的关键,团队呼吁社区共同参与这场迈向月球的旅程。
结论
具身智能的核心在于通过“代理权”实现从被动数据输入到主动物理交互的跨越。NVIDIA Project GR00T 借鉴 NLP 范式,利用数据金字塔、仿真加速及自动化生成框架(RoboCasa/MimicGen/Eureka),构建了通用机器人基础模型。该策略通过特权信息蒸馏、领域随机化及多形态统一控制(MetaMorph),有效解决了 Sim2Real 迁移难题,实现了零样本部署。尽管面临真实数据采集的物理瓶颈及简单任务边际收益递减等挑战,但“三计算平台”架构已验证了从仿真到现实的规模化训练路径。这证明了具身 AI 是通往通用人工智能的关键,且当前技术已具备从实验室走向万亿级市场的可行性基础。