Why Robotics Still Isn't Solved - But Could Be Soon | YC Paper Club

十年承诺与现实：机器人行业的停滞与瓶颈

在过去十年中，每年都有人预言机器人时代即将到来，但这一承诺始终未能兑现。Y Combinator Paper Club 召集了 AI 和机器人领域的顶尖研究者，旨在揭示当前面临的真正障碍以及未来的发展方向。讨论首先聚焦于阻碍行业发展的核心难题：sim-to-real gap（仿真到现实的差距）、动作表示（action representation）、感知运动问题（sensorimotor problem）以及具身漂移（embodiment drift）。这些技术瓶颈使得机器人在从实验室走向实际应用的过程中举步维艰。

"Every year for the last decade, someone has promised that the era of robotics is just around the corner. But we're still waiting."

除了上述基础问题，讨论还深入探讨了赋予机器人策略记忆、教导模型识别值得推理的内容、在仿真中完全学习灵巧工具使用等前沿课题。此外，演讲者还指出，下一代伟大的机器人公司将始于遥操作（teleoperation），并探讨了如何在不依赖每机器人两个 GB200 超级计算机集群的情况下运行世界动作模型。这些议题共同构成了当前机器人技术从理论走向落地的关键路线图。

多尺度具身记忆：赋予视觉语言动作模型长期记忆

Marcel Torne 介绍了 MEM（Multi-Scale Embodied Memory），这是一种专为视觉语言动作（VLA）模型设计的多尺度具身记忆机制。传统的 VLA 模型往往缺乏长期记忆能力，导致机器人在执行复杂任务时无法利用过去的经验。MEM 通过引入多尺度的记忆存储和检索机制，使模型能够在短期动作执行和长期任务规划之间建立有效连接。这种架构允许机器人记住之前的交互结果，并在后续操作中引用这些信息，从而显著提升复杂场景下的表现。

该研究的核心在于解决记忆容量与检索效率之间的平衡问题。MEM 不仅存储原始感官数据，还提取高层语义信息，形成不同粒度的记忆表示。实验表明，具备多尺度记忆的模型在需要回溯历史状态的任务中，成功率显著高于基线模型。这一突破为机器人提供了类似人类的“情景记忆”能力，使其能够在动态环境中进行更连贯的决策。

"MEM allows models to retain and retrieve information across different temporal scales, bridging the gap between immediate action and long-term planning."

通过这种机制，机器人不再是一个孤立的时间切片执行者，而是一个具有连续性的智能体。这对于家庭服务、仓储物流等需要长期交互的场景至关重要。研究团队通过一系列基准测试验证了 MEM 的有效性，数据显示，在需要多步推理的任务中，引入 MEM 后机器人的任务完成率提升了显著幅度，证明了记忆机制在具身智能中的基础性作用。

自监督引导的具身推理：预测动作以优化感知

Milan Ganai 提出了 Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning，这是一种通过预测动作来优化具身推理的新方法。传统方法往往依赖大量标注数据来训练模型识别物体和场景，而该方法主张通过让模型预测自身动作的后果来学习环境的物理规律。这种自监督学习范式减少了对人工标注的依赖，使模型能够从无标签的交互数据中提取有价值的特征。

该研究的关键创新在于构建了一个动作预测器（Action Predictor），该预测器能够根据当前状态预测执行特定动作后的下一状态。通过最小化预测状态与实际状态之间的差异，模型能够隐式地学习到物体的物理属性、重力、摩擦力等常识。这种学习方式不仅提高了模型的泛化能力，还增强了其在未见场景中的鲁棒性。

"By bootstrapping from action-predictive reasoning, the model learns the physics of the world without explicit supervision."

实验结果显示，采用自监督引导的具身推理模型在零样本（Zero-Shot）迁移任务中表现优异。与依赖大规模监督数据的模型相比，该方法在数据效率上提升了数倍，同时在复杂操作任务中的成功率也更高。这表明，让模型“理解”动作的后果比单纯识别物体更能提升其智能水平，为构建更通用的机器人智能体提供了新的思路。

SimToolReal：仿真中零样本灵巧工具操作

Tyler Ga Wei Lum 介绍了 SimToolReal，这是一个专注于零样本灵巧工具操作的对象中心策略（Object-Centric Policy）。该研究的核心挑战在于如何让机器人在仿真环境中学习到的技能，能够无缝迁移到现实世界，特别是涉及复杂工具操作时。SimToolReal 通过对象中心的表示学习，将工具视为独立的实体，并学习其与机器人末端执行器及目标物体之间的交互关系。

该方法在仿真中构建了丰富的工具操作数据集，涵盖了多种形状、材质和用途的工具。通过强化学习，模型学会了如何抓取、旋转和使用这些工具。关键在于，SimToolReal 不依赖于特定的工具几何形状，而是学习通用的操作原语（Primitives），如推、拉、拧等。这使得模型在面对从未见过的工具时，也能通过组合这些原语来完成操作任务。

"SimToolReal enables zero-shot dexterous tool manipulation by learning object-centric policies entirely in simulation."

实验数据表明，SimToolReal 在现实世界中的零样本工具使用成功率达到了令人瞩目的水平。与需要针对每种工具重新训练的方法相比，该方法极大地降低了部署成本。表格展示了不同工具在仿真与现实中的性能对比，突出了其在复杂操作任务中的优越性。这一进展证明了纯仿真训练结合对象中心策略是解决灵巧操作问题的有效途径。

遥操作：下一代机器人公司的起点

Niko West 从 Rerun.io 的视角指出，下一代伟大的机器人公司将始于遥操作（Teleoperation）。这一观点挑战了完全自主机器人是终极形态的传统认知。Niko 认为，遥操作不仅是数据收集的手段，更是训练和验证机器人策略的核心环节。通过人类专家的操作，可以生成高质量、多样化的交互数据，这些数据对于训练鲁棒的 AI 模型至关重要。

Rerun.io 提供的工具使得遥操作数据的可视化和分析变得极其高效。研究人员可以实时查看机器人的传感器数据、动作轨迹以及决策过程，从而快速定位模型失败的原因。这种闭环的数据反馈机制加速了模型的迭代优化。Niko 强调，那些能够高效利用遥操作数据、快速构建高质量数据集的公司，将在机器人竞赛中占据先机。

"The next great robotics companies will start with teleoperation, not because robots can't be autonomous, but because teleoperation is the best way to teach them."

此外，遥操作还能帮助解决长尾问题（Long-tail problems）。在真实世界中，许多罕见但关键的场景难以通过仿真覆盖，而人类操作员可以在这些场景中提供正确的示范。通过收集和标注这些长尾数据，机器人模型能够学会处理极端情况，从而提升整体安全性。因此，遥操作不仅是技术路径，更是商业策略的核心。

世界动作模型：超越 VLAs 的未来

Bill Jiao 和 Guanming Wang 来自 General Instinct，他们探讨了世界动作模型（World Action Models）以及视觉语言动作（VLAs）之后的发展方向。当前的 VLA 模型主要关注将语言指令转化为动作，但世界动作模型旨在预测未来状态，即给定当前状态和动作，预测下一时刻的环境变化。这种能力使机器人能够进行更复杂的规划和推理。

General Instinct 的研究重点在于如何高效地运行这些庞大的模型。他们提出了一种新的架构，能够在不依赖每机器人两个 GB200 集群的情况下，实现实时推理。通过模型压缩、量化以及分布式计算优化，他们显著降低了硬件门槛。这一突破使得世界动作模型在边缘设备上的部署成为可能，极大地扩展了应用场景。

"World action models represent the next step after VLAs, enabling robots to simulate futures and plan accordingly without massive hardware overhead."

实验数据显示，优化后的世界动作模型在推理速度上提升了数倍，同时保持了高精度的状态预测能力。表格展示了不同硬件配置下的性能对比，证明了该方案的经济性和可行性。随着计算效率的提升，世界动作模型有望成为通用机器人智能体的核心组件，推动机器人技术进入新的发展阶段。