基础语言模型发展的最大里程碑之一，不仅仅是它们变得更擅长聊天或能够解决高中水平的数学题。而是经过充分的预训练后，它们开始具备仅凭上下文就能泛化到全新任务的能力。如果你在上下文中提供聊天对话的示例，它们就能变成一个聊天机器人；如果你提供一些数学问题，它们无需任何微调就能全部解答。
诚然，语言也是实现这一点的完美媒介。语言本身就是一个极其压缩且信息丰富的符号系统。寥寥数语即可指定目标、描述物体、解释流程，或提供一个全新任务的示例。因此，一旦语言模型变得足够强大，利用上下文窗口本身作为一种临时学习机制便顺理成章。
当这种行为在语言模型中出现后，下一个问题随之而来：“这种能力是否也能在其他模态中涌现？”在 GPT-3 论文展示上下文学习行为几年后，图像、视频和语音生成也很快出现了类似的能力。然而，最令人期待的莫过于看到这一关键时刻在机器人领域重现。
除了事实是：机器人在物理世界中面临的问题要困难得多。信息并非像离散令牌那样整齐打包，机器人必须持续对视觉、位置、接触力、作用力、运动及其自身行为的后果进行推理。即使是完全相同的任务尝试，也可能因为物体移动了一厘米、抓取打滑或摩擦系数改变而呈现出不同的结果。
此外，与语言或视频生成相比所需的数据量要大得多。而且，成功本身很难像预测下一个令牌那样被简化为清晰的指标。因此，我认为包括我在内的大多数人原本预期这种泛化能力在机器人领域出现需要更长的时间。
然而，2026年8月的一个普通周三下午，Generalist AI 发布了 Gen 1.5。在他们的演示中，他们确实展示了一些我见过的最出色的机器人成果，特别是在泛化能力（即上下文学习）方面。在深入探讨之前，如果你还不熟悉大语言模型的基础知识如上下文学习，并希望深入了解研究人员设计的架构如何导致这种迷人的行为，我的平台 intuitive.ai.academy 可能是你开始学习的地方。
我们从头讲解大语言模型，包括基础架构以及混合专家系统和优化等高级主题。不仅如此，我们的主要重点是帮助你直观地理解关键思想，这意味着我们不会用复杂的数学公式轰炸你，而是专注于确保你完全掌握高层逻辑。我们还刚刚发布了一章关于直观解析线性注意力的内容，探讨了 Kimi 和 Qwen 等模型所基于的最新前沿概念之一。
因此，如果你在工作中使用大语言模型、转型进入该领域或希望从事相关研究，请查看描述中的链接并使用限时代码“back to school”享受年度会员五折优惠。无论如何，机器人基础模型的一大承诺始终是：无需从头训练每种新行为，最终只需向机器人展示该做什么，让它复制动作即可。
Gen 1.5 可能是证明这一可能性的首批里程碑之一。因为在大量物理交互数据上进行充分预训练后，这家机器人初创公司 Generalist AI 发现他们的机器人开始展现出一种与语言模型上下文学习惊人相似的能力。机器人的上下文长什么样呢？基本上，你只需向机器人展示一个全新的任务几秒钟，将该演示放入其上下文窗口中，机器人即可在不改变权重的情况下立即尝试执行。
他们的 Gen 1.5 拥有约 30 秒的视频记忆，以及其他传感器、本体感觉和语言输入。作为参考，本体感觉是指身体通过内部受体感知自身位置、运动和力量的能力。因此，时长为 3 到 12 秒的演示或视频提示可以直接作为感觉运动序列插入该上下文中。
这个上下文窗口基本上包含了机器人在 100赫兹频率下看到的内容以及采取的所有动作。模型随后继续运行，并尝试推断它应该复制的物理行为。Generalist AI 的研究人员在10种不同的操作任务中测试了这一点。其中几项在博客上进行了回放，唯一的指令是放置在上下文窗口内的简短物理演示。机器人需要做的就是复制该任务。
这包括拧开玻璃罐的盖子、拉开铅笔袋拉链、将立方体刷入碗中、移除真空吸盘、将螺栓倒入杯子以及拉拉链。但在观看所有这些演示后，你可能会想：“我以为机器人很久以前就能做到这些了。”
这里的关键在于：训练数据中并不包含任何这些动作。从未针对这些动作进行过显式训练，这意味着机器人模型必须即时复制它们。这正是上下文学习的美妙之处，它很神奇，并且表现得越来越好。
当你遇到意外情况时会发生什么？在这个将马克笔放入杯子的例子中，人类演示后机器人开始复制动作。哎呀！它把杯子碰倒了。那么接下来你会认为机器人会怎么做？好吧，它掉了马克笔，这可能不太理想，但它去把杯子扶正，然后放入了马克笔。这难道不酷吗？
在官方预告片开头，我最喜欢的是背景中研究人员看到机器人完美模仿他们的动作时那开心的样子。老实说，看着这个我也很开心。更棒的是，这种泛化能力超越了人类使用手持机械爪进行演示的情况。在其中一个上下文学习实验中，他们基本展示了演示可以来自仿真环境。
问题是，Gen 1.5 在预训练时没有任何仿真数据、没有渲染的模拟画面也没有模拟物理引擎。但研究人员在这里采用完全在模拟器中执行的演示，将该仿真轨迹作为物理提示放入上下文窗口，然后让真实机器人执行。
现实世界中的任务。最重要的是，这并非通常的“仿真到真实”迁移过程——即在模拟器中训练策略，然后将该已训练的部署到真机器人上。Gen 1.5 甚至没有在模拟器中执行过该任务进行训练。仿真仅仅是上下文窗口中的一个示例而已。因此，模型以某种方式观察到一个模拟机器人执行动作
并心想：“嗯，这差不多够了。”随后它执行了映射到其自身真实物理身体的行为。即使改变使用哪只手或场景中物体的位置和大小，它依然有效。但随后他们更进一步，因为机器人技术和上下文学习的未来实际应用场景中，人们既没有模拟器来实时编程
也没有机械臂来演示动作。所以在另一项实验中，研究人员直接用双手在机器人摄像头前执行任务。没有任何辅助工具，仅仅是裸手演示。在某些情况下，Gen 1.5 能够观看人类演示并立即使用其自身的机械手复现任务，这令人惊叹。
更令人印象深刻的是，人手和机器人夹爪在物理上无法执行完全相同的动作，这意味着模型必须从演示中提取更抽象的内容，比如正在完成什么目标，然后弄清楚该目标如何映射到其自身的身体上。这可能是他们发布内容中最令人印象深刻的结果之一。
它的工作原理类似于下一个词元预测，但这里是“下一个动作”预测。一个动作之后，机器人立即开始复现该任务。至于最后一个上下文学习实验，他们测试了这些物理提示是否真的可以组合在一起。想象一下，与其向机器人展示一个完整的长任务
不如给它两个完全独立的演示示例。在他们的例子中，第一个演示展示了如何拉开铅笔袋的拉链；第二个则展示了如何从里面取钱。这两个演示是独立录制的，没有任何示例展示从一个任务过渡到另一个任务的衔接过程。他们只是简单地将两个演示都放入 Gemini 1.5
的上下文窗口中，让机器人自行解决其余部分。当然，它能将这些两个动作平滑地连接成一个连贯的动作序列。然而，尽管结果看起来非常令人印象深刻，机器人的成功率却并不那么高。由于没有对模型进行梯度更新也没有针对特定任务的微调
在所有 10 个任务中，它的成功率仅为约 59%。有些任务的执行效果优于平均水平，但当然这是平均值。那么如果你真的针对这些任务进行微调呢？性能会大幅提升吗？答案是肯定的。但更有趣的是，所需的微调量非常少。
通常将机器人策略适应到一个全新的真实任务可能需要数万次的梯度更新，有时甚至更多。但使用 Gemini 1.5 Generalist 时，他们收集了每个任务仅约 5 分钟的演示数据（大约 50 个示例），然后对模型进行了仅 10
次梯度步骤的微调。仅此一项就将平均成功率从 59% 提升到了 83%。而在某些任务上，提升幅度巨大。例如用刷子清扫的任务，单样本模型的成功率仅为 37% 左右，但在经过 10 次梯度步骤后达到了 99%。打开罐子从
60% 提升到更高，拉开铅笔袋拉链则从 55.5% 提升到了
86%。据 Generalist 称，他们甚至没有对此适应过程进行重度优化。他们使用了与预训练相似的超参数，并没有专门执行扫参以从这些少步实验中榨取最佳性能。这使得感觉模型不像是在从头学习一个全新的任务，而更像是你只是将其
引导向它几乎已经知道如何做的事情。证据也支持这一观点。经过梯度步骤后，模型在保留任务上的权重变化不到 0.15%。基本上，底层模型没有任何改变。这种快速适应也不是随机出现的。Generalist 表示
随着 Gen 1.5 继续预训练超过 8 个月，他们观察到新任务适应所需的梯度步骤从数百次减少到数十次、一次，最终变为零，这基本上就是上下文学习。因此，庞大的预训练数据绝对是这一切的关键。而在大量预训练数据上训练的另一个结果是
你将能够实现物理泛化能力。因为在将 Gen 1.5 适应到某个任务后，模型不仅仅是在重放确切的演示方面变得更好。它还能泛化到新物体、新环境、不同的抓取方式、不同的手、障碍物，甚至是实现同一目标的不同物理策略。
因此在一个特定任务的演示中（使用一只手旋转罐盖），在某些 rollout 过程中，Gen 1.5 会自发地引入其第二只手并使用不同的接触点和运动策略来打开罐子。此外，在一个针对 5 分钟数据进行了 10
次梯度步骤微调以拧开罐盖的模型，可以泛化到它从未见过的杯子和瓶子上。因此即使经过微调，它也未必被锁定在所展示的确切行为上。这展示了它在实现目标时理解意图并采用不同方法的能力。但最好的物理泛化例子可能是这个：
他们在 5 分钟的演示数据上微调了 Gen 1.5，其中用刷子将立方体扫入球状区域。然后他们拿走刷子，转而给机器人一系列不同的随机物品比如香蕉。但任务仍然是相同的：用工具将立方体扫入球状区域。作为回应，机器人基本上
决定香蕉可以用作刷子并将其当作临时的清扫工具使用。然后在另一个例子中，他们给它一个簸箕，它做出了更有趣的事情。Gen 1.5 没有强行将相同的清扫动作应用到完全不同的工具上，而是完全改变了策略。它将立方体铲到簸箕里
举起并倒入球状区域中。据研究人员称，无论是微调数据还是据他们所知预训练数据都没有包含像簸箕这样的工具以这种方式用于该任务。因此模型在没有语言告知它什么是簸箕或应如何使用它的情况下，创造了一个全新的接触序列。
还有一个我也非常喜欢的奇怪涌现行为：一个模型被
仅经过微调以将一块积木放入一个球中，它有时会超出实际任务范围，开始按颜色或类别对多个积木进行排序。这种行为并非特定任务的示范所教导或提示的内容，它似乎只是从预训练中提取了一些更广泛的组织行为并加以应用。他们称这是一种广义的物理常识形式。由于拥有大量的物理知识，还会涌现出即兴发挥的行为。
在一个实验中，机器人正在操作乐高积木时，一块砖意外卡在了一个夹爪的指尖上。显然，这不是任务的一部分，但Gen 1.5没有继续执行原始动作并失败，而是动用了另一只手，移除了卡住的乐高积木，然后继续操作。这绝对令人震惊。
它意识到发生了本不该发生的事情，并当场想出了解决问题的方法，然后回到原始任务中，整个过程没有任何监督。未来真是太酷了，我都快哭了。这里还有另一个例子：模型仅经过一步梯度微调以将积木放入球中，研究人员就用一张纸盖住了那个球。
当然，在那5分钟的特定任务数据以及训练数据中，都没有纸盖在球上的情况。但模型理解到纸上覆盖着球，所以它把纸移开，将积木放入球中，有时甚至事后又把纸盖回去。另一方面，研究人员还在X平台上分享了一些博客中没有的非常迷人的内容：如果不给模型任何提示，只是在它面前放置一个物体，会发生什么？
起初，你可以看到它的“提示”只是胡言乱语，机器人被递给了一个钱包。你只能看到它只是在玩弄那个钱包，翻转它，然后最终合上钱包。有点像在摆弄手指玩具（fidgeting）。但你绝对能看出它对所递给的物体有一定的理解。
请记住，钱包这个物体在预训练数据中并未出现过。最后，他们只是提示从钱袋里把钱拿出来（钱包是预训练期间未见过的项目），它就直接开始执行了。看到这一点绝对令人着迷，但它肯定见过类似钱包的东西，比如钱袋，从他们提示的方式来看，你可以感觉到它只接受过关于“袋子”的训练。
是的，机器人技术的进步可能比我们想象的更快。尽管我们已经看到许多机器人在执行一些极其复杂的任务，但这些还尚未真正具备泛化能力。但这个Gen 1.5模型可能是第一个证明机器人能够实现上下文学习的大里程碑，其结果看起来非常迷人。
到了这个阶段，也许几年后我的频道会转型为机器人技术频道。如果你想随时了解最新的研究论文，你应该查看我的时事通讯，我每周都会涵盖最热门、最劲爆的论文。现在加入20,000人的行列，让论文直接发送到你的收件箱。
感谢大家观看。特别鸣谢通过Patreon或YouTube支持我的Spam Madge、Chris Ladue、Deegan、Robert Zaviasa、Marcelo Ferreira、Proof-of-Any-New、DX Research Group、Alex、Midwest Maker以及许多其他人。如果你还没关注我，请在Twitter上关注，我们下期再见。