语言模型的通用性启示与机器人学的挑战

基础大语言模型（LLM）的一个重要里程碑并非仅仅是聊天或解题能力的提升，而是在充分预训练后能够从上下文中泛化到全新任务。这种能力依赖于语言作为一种高度压缩且信息丰富的符号系统，能够通过少量词汇指定目标、描述对象或解释程序。一旦语言模型足够强大，上下文窗口本身便成为一种临时的学习机制。随着GPT-3展示了这种“上下文学习”（In-context Learning）行为，图像、视频和语音生成随后也出现了类似现象。然而，机器人学被视为更具挑战性的领域。在物理世界中，信息并非以离散标记的形式整齐打包，机器人必须持续推理视觉、位置、接触力、运动及其行动后果。即使微小的变量变化，如物体移动一厘米或摩擦力改变，也会导致两次相同任务的执行结果截然不同。因此，获取所需数据量远超语言或视频生成领域，且成功难以像预测下一个标记那样被简化为清晰的指标。大多数人曾预期这种泛化能力在机器人学中需要更长时间才能出现。

Gen 1.5的突破：无需微调的即时模仿

2026年8月，Generalist AI发布了Gen 1.5模型，展示了令人惊叹的机器人泛化能力。该模型的核心承诺在于：无需从头训练新行为，只需向机器人展示动作即可复制。经过大量物理交互数据的预训练后，Gen 1.5展现出了类似LLM的上下文学习特性。具体而言，只需向机器人展示几秒钟的全新任务演示并将其放入上下文窗口，机器人即可在不改变权重的情况下立即尝试执行。Gen 1.5拥有约30秒的视频记忆，结合其他传感器、本体感觉（Proprioceptive）和语言输入。其中，本体感觉指身体通过内部受体感知自身位置、运动和力的能力。3到12秒的演示或视频提示可直接作为感官运动序列插入上下文，以每秒100赫兹的频率包含机器人所见及其采取的动作。模型随后据此推断并复现预期的物理行为。

零训练数据的泛化实验与意外纠错能力

研究人员在Gen 1.5上测试了10种不同的操作任务，包括拧开玻璃罐盖、拉开铅笔袋拉链、将方块刷入碗中、移除真空吸盘、倒入螺栓以及拉拉链等。这些演示仅作为物理提示放入上下文窗口，机器人必须即时复制任务。关键在于，训练数据中并未包含这些特定动作的显式训练样本，这意味着模型必须实时复现。这种上下文学习的魅力在于其渐进式的进步和应对意外的能力。在一个将马克笔放入杯子的演示中，机器人起初打翻了杯子并掉落了标记物。然而，它并未失败，而是主动将杯子扶正后重新放入马克笔。这种在遇到意外情况时的自我纠正能力展示了其泛化的深度。此外，该模型甚至能将从模拟器中获得的演示迁移到真实机器人上。值得注意的是，Gen 1.5在预训练阶段完全未使用任何模拟数据、渲染的模拟画面或模拟物理环境。研究人员将纯模拟器中执行的动作轨迹作为物理提示输入上下文窗口，真实机器人便能成功复现该动作。这一突破证明了从仿真到现实的零样本泛化可能性，为机器人基础模型的发展树立了新的里程碑。

从模拟器到真实世界的零样本映射

Gen1.5的核心突破在于它并非传统的“模拟到现实”（sim-to-real）迁移学习，即不是在模拟器中训练策略再部署到实体机器人。该模型在模拟环境中并未针对特定任务进行预训练，模拟器仅作为上下文窗口中的示例存在。 当模型观察到模拟机器人执行动作时，它会进行一种抽象映射：“哦，这差不多够了”，然后将其转化为符合自身物理身体结构的真实行为。这种能力具有极强的鲁棒性，即使改变使用的手部、物体的位置或尺寸等变量，模型依然能正常工作。更令人震惊的是，研究人员进一步移除了模拟器这一中间环节，直接让人类在机器人摄像头前用手演示任务。由于人手与机械夹爪的物理结构完全不同，模型必须从演示中提取更抽象的目标概念（即“要完成什么”），而非机械复制动作轨迹，随后将其转化为自身身体可执行的策略。这种类似“下一个Token预测”但实为“下一个动作预测”的机制，让机器人能瞬间复现人类演示的任务。

上下文组合与极低成本的快速微调

在验证物理提示的组合能力时，研究人员将两个独立的任务演示（如“拉开铅笔袋拉链”和“从里面取钱”）同时放入上下文窗口，机器人成功将这两个独立动作平滑连接成一个连贯的整体流程。尽管零样本（无梯度更新、无微调）下的平均成功率仅为59%，但仅需10次梯度步的极少量微调，平均成功率即可飙升至83%。这一适应过程极其高效：通常适配新任务需要数万步梯度更新，而Gen1.5仅需每任务约5分钟（约50个示例）的演示数据。具体案例中，扫帚清扫任务的成功率从37%跃升至99%，开罐子从60%提升至86%，拉开拉链袋从55.5%升至86%。值得注意的是，微调后模型权重在保留任务上的变化不足0.15%，表明底层知识并未发生剧烈改变。研究人员指出，随着8个多月的预训练深入，任务适应所需的梯度步数从数百步逐步降至零（即上下文学习），海量预训练数据是实现这一极速适应的关键。>

"This fast adaptation did not randomly appear... the huge pre-training data was definitely the key to all this."

物理泛化与涌现的工具使用能力

Gen1.5在微调后并未被锁定在特定演示行为中，而是展现出强大的物理泛化能力。模型能理解目标本质，并在面对新物体、新环境或不同抓取方式时自动调整策略。例如，在开罐子任务中，模型原本只用单手旋转瓶盖，但在某些 rollout 中会自发引入第二只手采用不同的接触策略。更惊人的是工具泛化：当训练数据仅包含用刷子将立方体扫入球状容器时，若提供香蕉作为替代物，机器人会将其视为临时刷子使用；而若提供簸箕，模型甚至完全改变策略——它没有强行模仿扫的动作，而是将立方体铲起并倒入容器中。研究人员强调，预训练和微调数据中均不存在使用簸箕完成此任务的案例。这意味着模型在没有语言指令指导的情况下，自主创造了一种全新的接触序列和工具使用逻辑，展现了超越简单模仿的深层物理理解与创新能力。>

"The model creates a completely new contact sequence without language telling it what the dustpan is or how it should use it."

泛化的物理常识与自发排序行为

Gen 1.5模型展现出了超越特定任务指令的广义物理常识。研究人员发现，即使该模型仅经过微调以执行“将一块积木放入一个球中”这一单一任务，它有时也会自发地根据颜色或类别对多个积木进行排序。这种行为并非来自特定任务的示范教学，也非提示词所引导的结果。相反，模型似乎是从预训练阶段汲取了更广泛的组织行为模式，并将其应用到了当前的物理操作中。这种能力被研究者称为一种泛化的形式，表明模型不仅仅是在机械地执行指令，而是在理解物体属性及其空间关系的基础上进行逻辑归类。这种从预训练知识中提炼并应用通用规则的能力，标志着机器人智能在概念抽象层面的重大突破。

即兴纠错与无监督问题解决能力

模型在遇到意外物理障碍时表现出的即兴 improvisation 行为令人惊叹。在一个实验中，当机器人操作乐高积木时，一块积木意外卡在了其中一个机械爪的指尖上。这显然不属于原定任务的一部分，但Gen 1.5并没有继续执行原本会导致失败的动作。相反，它主动调动另一只手移除卡住的乐高积木，随后无缝地回归到原始任务中。整个过程完全在没有任何监督的情况下完成。模型不仅识别出“不该发生的事发生了”，还实时构思了解决方案，并在问题解决后自动恢复原任务流程。这种在动态环境中即时调整策略、处理未预见干扰的能力，展示了其具备类似人类的现场应变能力。研究者对此评价极高，认为这种无需监督的自主纠错机制是机器人技术迈向通用智能的关键一步。

零样本推理与上下文学习里程碑

Gen 1.5在零样本（Zero-shot）场景下的推理能力同样出色。研究人员仅用一步梯度微调让模型执行“将积木放入球中”，随后在实验中将纸片覆盖在球上。由于训练数据和微调数据中均未出现“被纸张覆盖的球”这一场景，模型必须依靠对物体属性的理解来应对。它成功推断出纸张位于球的上方，于是先移开纸片，放入积木，有时甚至会在完成后将纸张重新盖回。此外，当模型被放置一个从未在预训练数据中出现过的物体（如钱包）时，它并未表现出困惑。起初它会像把玩指尖陀螺一样翻转和摆弄钱包，显示出对物体形态的基本认知。当被提示“从口袋中取出钱”时（尽管模型只训练过对 pouch 的理解），它仍能准确执行动作。这证明模型具备强大的上下文学习能力（In-context learning），能够根据提示词和物体特征进行泛化推理。Gen 1.5可能成为证明机器人具备真正通用能力的首个重大里程碑。

结论

Gen 1.5证明了基于大语言模型架构的机器人基础模型具备显著的零样本泛化与即时适应能力。通过上下文学习，该模型无需微调即可复现未见过的物理任务演示，甚至实现从模拟器到真实世界、以及人类手部动作的零样本迁移。其核心优势在于极速微调（仅需约10步梯度更新）及涌现的工具使用与即兴纠错能力，表明模型已掌握深层物理常识而非机械模仿。

然而，零样本成功率仅59%，且当前成果主要基于特定操作任务。尽管预训练数据量是极速适应的关键，但模型在复杂动态环境中的长期鲁棒性及大规模部署成本尚未得到验证。这标志着机器人通用智能的重要里程碑，但距离完全可靠的自主操作仍有差距。