通用模型开启“Robot Use Agents”新纪元

过去几年，编码代理（Coding Agents）在不同领域的突破令人惊讶，而前沿研究者现在展示这一能力同样适用于控制机器人。麻省理工学院教授 Philip Isola 在一篇引发病毒式传播的文章中提出，我们可能正进入“Robot Use Agents”（机器人使用代理）时代，通用目的模型有望让不同类型的机器人变得更加强大。为了深入探讨这一趋势，主持人邀请了 Waddle Labs 和 RoboCurve 的创始人 Jaime 与 Jay。Jaime 来自 Waddle Labs，他们致力于构建能够高效控制机器人的大语言模型（LLM），主要通过建立让 LLM 有效执行任务的框架，并收集数据以训练更优秀的模型。Jay 则是 RoboCurve 的联合创始人，这是一家专注于物理人工智能（Physical AI）评估的公司。RoboCurve 测量任何机器人、任何模型的表现，包括 LLM 以及传统的视觉-语言-动作（VLA）和世界动作模型。他们评估的对象涵盖机械手、夹爪、手臂、人形机器人和四足动物等各种形态，旨在为这一新兴领域提供标准化的性能基准。

从 RT2 到代码代理：架构与推理的演进

早期利用 AI 控制机器人的成功方法之一是 RT2 论文，该研究使用在网页文本和图像上预训练的 LLM 来控制机器人。RT2 的核心在于它是一个经过微调的 LLM，不再输出英语文本，而是直接输出来自“末端执行器姿态”的坐标数据。这些坐标随后被转换为关节指令以控制机器人。Jay 将这种早期的 VLA（视觉-语言-动作模型）比作大语言模型的“思维链”前夜。他解释道，就像早期的数学题回答需要强制输出特定格式一样，“RT2 基本上必须输出一个动作，没有为更复杂的任务分配更多计算资源的空间”。相比之下，现在的代码代理允许模型进行更深层次的推理。Jaime 指出，这类似于“思维链”时刻的到来，“我们允许它实际上进行思考……然后才给出行动或答案”。通过代码，模型可以利用更低的柯尔莫哥洛夫复杂度（Kolmogorov complexity），用紧凑的代码表达复杂逻辑，从而在无需重新微调的情况下直接执行任务。这种转变意味着模型不再仅仅是映射输入到动作，而是具备了类似人类“思考”的过程。

“少即是多”与数据模态的迁移红利

Jaime 认为，这一趋势的核心在于“少即是多”（bit of less）的原则。如果给予 AI 模型更多的自主权和资源，它实际上能完成比微调所限制的范围多得多的事情。Jay 进一步从架构角度分析，指出 VLA 本质上构建在 LLM 之上，因此具备推理和写代码的潜力。他认为，“关键 lesson 可能不在于你构建什么架构，而在于哪些数据最有用”。长期以来，VLA 领域一直受限于“数据瓶颈”，进展缓慢。新的思路是利用 LLM 已经精通的模态——即自然语言和代码数据，将原本处于分布外（out-of-distribution）的机器人任务转化为模型熟悉的分布内任务。Jaime 补充道，RT2之所以表现优异，是因为它利用了 LLM 预训练阶段吸收的海量网页图像和标签数据。这种跨模态的数据迁移，使得模型能够利用其在通用领域学到的丰富知识来增强在特定机器人任务上的表现。通过让 LLM 编写代码或调用工具，模型可以利用其在上下文学习（in-context learning）方面的优势，更好地探索环境并制定复杂策略。Jay 强调，“模型现在在工具使用方面变得更好……它们能编写复杂的代码策略，并利用工具探索环境”，这正是传统 VLA 所缺乏的灵活性。

通用大模型作为机器人基础架构的必然性

在机器人智能的研究路径上，核心分歧并非在于具体的网络架构，而在于训练方法的取向。研究团队主张采用“苦涩教训”（Bitter Lesson）原则，即充分利用所有类型的数据资源。这意味着不仅要注入计算机使用数据，还要将编程代码数据大量灌入机器人模型中。这种做法的最终结果是生成所谓的“通用大语言模型智能体”（General-Purpose LLM Agents）。基于此逻辑，研究者认为与其训练一个严重依赖机器人专有数据、专门针对特定任务优化的模型，不如构建一个强大的基础大语言模型（LLM）来直接控制机器人。这种思路认为，通用模型的泛化能力优于专用模型。

上下文学习的非线性改进与性能天花板

在机器人智能体的训练过程中，非单调性提升（non-monotonic improvement）是一个显著且令人惊讶的现象。性能表现并非线性增长，而是呈现出“变差、变好”的剧烈波动趋势。更关键的是，这种提升会迅速达到饱和点。实验数据显示，当上下文中的示例数量增加到 20 到 40 个之后，模型的性能基本不再提升。此时继续向上下文窗口中注入更多示例，不仅无法带来性能增益，反而可能因模型智能利用上下文的能力受限而导致效果下降。这一现象揭示了后训练阶段中，多轮交互和自我反思能力的局限性。

确定性代码与动态策略的混合架构

在机器人任务执行中，许多动作如接近瓶子、抓取等具有高度确定性。一旦完成几次练习，这些步骤可以通过代码自动化处理。核心思路在于将变化点嵌入到策略图中，而非让所有环节都依赖不可控的模型输出。例如，当检测到物体时，可以调用视觉语言模型（VLM）作为工具的一部分；或者在任务失败时，需要判断故障原因并决定后续动作。这种灵活性通过将 VLM 置于循环内部来实现，从而在确定性的代码逻辑中保留必要的动态响应能力。这种架构允许系统在既定框架内处理意外情况，是构建鲁棒机器人代理的关键。

从归纳到程序诱导：智能测量的范式转移

这一部分的讨论深受 François Chollet 关于“智力测量”观点的影响，特别是传导（Transduction）与程序诱导（Program Induction）的区别。Chollet 指出，传统的传导方式即学习一个从输入 x 到输出 y 的函数映射 θ，这种方式缓慢且信息效率低下，需要大量的 x-y 数据对。如果只有少量数据，则必须依赖强大的归纳偏置（Inductive Bias）来充当生成器。而程序诱导则是另一种路径：给定少量 x-y 对，模型输出一个函数 f，该函数本身负责映射从 x 到 y。代码本质上就是这种能够生成映射函数的产物。在编程面试中，给出问题和示例后写出函数，正是发射一个能处理输入输出的 f 的过程。这种方法将问题的难度从寻找映射转移到了构建正确的归纳偏置上，而大模型似乎正在解决这一难题。

柏拉图表征假设与通用模型的崛起

基于上述逻辑，讨论引入了 Filippo Olla 提出的柏拉图表征假设（Platonic Representation Hypothesis）。该假设借用了“洞穴寓言”的概念，认为不同训练策略下的语言模型和数据表征正在收敛于一种对世界的一致映射。证据表明，随着数据量的增加，模型间的学习表示趋于一致。如果这一假设成立，那么强大的语言模型必然拥有与强大机器人模型相似的世界表征。这意味着，“痛苦教训（Bitter Lesson）”的最佳体现是：无论架构如何，一个真正强大的通用模型将优于任何特定的、稍弱的专用模型。因此，语言模型的进步直接转化为机器人控制能力的提升，因为两者共享底层的物理世界理解。

计算机使用数据对空间智能的贡献

针对最新模型（如 Astra）在空间智能上的显著突破，分析指出其预训练数据中包含大量计算机使用（Computer Use）数据和 CAD 数据。虽然直观上难以理解点击屏幕的数据如何帮助物理世界理解，但这些数据结构化的交互逻辑与机器人操作有内在联系。计算机使用数据教会了模型对物理世界的类似理解，这与机器人训练数据的效用重叠。尽管仅针对计算机使用进行训练的模型不能直接应用于机器人领域，但大规模的多模态预训练赋予了模型卓越的空间推理能力。这种能力的提升使得通用大模型在基准测试中表现出比半年前模型更显著的性能跃升，特别是在处理 3D 图像生成和复杂空间任务时。

计算机使用数据对提升机器人推理能力的关键作用

视频深入分析了为何将“计算机使用”（Computer Use）数据融入大模型能显著提升机器人的操作能力。所谓计算机使用数据，指的是用户在屏幕上拖拽光标、旋转CAD对象以在Blender等软件中进行设计的交互记录。这些看似简单的操作实际上蕴含了空间推理的核心逻辑，例如上下、左右等方位概念。这些概念正是控制机器人所需的底层认知基础。通过让模型学习人类在数字界面中的空间交互模式，LLM能够更有效地理解并执行物理世界中的复杂任务。这种数据不仅限于机器人自身的遥操作记录，还包括第一人称视角的视频等多源异构信息。

结论

通用大模型通过代码代理架构与计算机使用数据，正重塑机器人控制范式。其核心优势在于利用LLM的推理能力与空间智能，将任务转化为模型熟悉的分布内问题，实现无需重新微调的复杂策略生成。然而，该方法受限于上下文学习的非线性瓶颈（20-40示例后饱和）及动态策略的混合复杂性。结论表明，强大的通用模型凭借共享的物理世界表征，在泛化性上优于专用VLA；但需解决上下文利用极限与确定性代码嵌入的平衡，方能真正发挥“少即是多”的红利。