Generalist GEN-1.5引发的泛化性思考
具身智能领域近期出现了一个重要信号,Generalist公司发布了GEN-1.5模型。该模型仅给机器人观看一段3到12秒的动作示范作为物理提示,不做微调、不更新参数的情况下,机器人就能当场尝试完成新任务。在10项任务的测试中,平均成功率达到了59%。
这一成果之所以引起业内关注,是因为它触及了具身智能的核心命题:机器人能否像人一样,到一个新环境里看一遍就会做? 传统的机器学习遇到新任务往往需要微调或重新训练,而GEN-1.5展示了一种无需更新参数即可适应新任务的能力。这种能力被视为机器人从“专用”走向“通用”的关键一步,也是研究者徐梦迪长期关注的方向。
“机器人能不能像人一样到一个新环境里,看一遍就会做呢?”
徐梦迪是清华交叉信息研究院的助理教授,今年30岁半。她的研究核心正是让机器人在现实场景中不断学习、持续提升自己。GEN-1.5的成功并非偶然,而是基于对上下文学习(In-Context Learning, ICL)和测试时训练(Test-Time Training, TTT)等适应能力的深入探索。这标志着业界开始意识到,仅靠预训练和海量数据不足以解决所有问题,适应能力成为破局点。
从车辆工程到机器人学的跨界轨迹
徐梦迪的成长路径看似曲折,实则暗含逻辑。她本科就读于清华大学车辆工程系。虽然从造汽车到做机器人看似跨度巨大,但她认为这一选择非常正确。车辆工程提供了全面的机械设计、汽车电子和算法课程,实现了从机械到算法的跨学科涉猎。
真正转向机器人学的契机在大二,她跟随机械系阎绍泽老师研究蜜蜂翅膀的超弹性恢复。这一生物力学课题让她意识到机械结构精妙之处,并打开了研究大门。大三暑假在卡内基梅隆大学(CMU)豪伊·乔塞特教授组期间,她设计了爬管子的蛇形机器人,工作重心正式从机械设计转向机器人算法。这种对机械结构的热爱源于童年拼四驱车的经历,她认为将细小零件组装成精密仪器是“特别酷”的事情。
“真正转向机器人学的契机在大二,她跟着机械系的阎绍泽老师做科研……这个生物力学的课题打开了一扇门。”
在CMU读博期间,徐梦迪获得了系里最佳博士论文奖。她的论文《构建可适应的通用型机器人》核心思想是:预训练有用,但缩放定律(Scaling Law)不是全部。她深受斯坦福教授Chelsea Finn的MAML算法影响,认为机器人必须具备类似人类的快速学习能力。现实世界是开放的、任务不断变化的,机器人不能仅依赖预训练知识,必须在进入真实环境后适应具体变化并自我迭代。这种对泛化性的执着追求,贯穿了她的整个学术生涯。
上下文学习与测试时训练的技术路线
为了解决机器人的泛化问题,徐梦迪的研究主要沿着两条技术路径展开:上下文学习(ICL)和测试时训练(TTT)。
- 上下文学习(ICL): 源于2021年的工作《Prompt Decision Transformer》。灵感来自GPT-3,即通过给模型一段提示(如机器人示范),让模型直接调整输出而不更新参数。这种方法高效且无需在部署端重新训练,适合快速适应不同任务。
- 测试时训练(TTT): 后续工作《Hyper-Decision Transformer》采用此路线。她设计了超网络(Hypernetwork),将元知识注入其中生成一个仅占Transformer参数量0.5%的小适配器(Adapter)。部署时只需更新这极小部分的参数,平衡了适应新任务与遗忘预训练知识之间的矛盾。
“她当时就想:机器人能不能也具备这种能力呢?那个工作从相对基础的设定切入,给模型一段机器人的示范让它快速适应不同的移动和操作任务。”
徐梦迪认为,虽然目前超网络在小样本预训练下见效快,但随着数据量和预训练规模的积累,未来的核心方向依然是上下文学习。通过提示方式解决问题,避免频繁修改参数或收集海量多任务数据。她还关注DeepMind的算法蒸馏(Algorithm Distillation)工作,该观点认为模型参数应等价于一个强化学习算法,通过上下文窗口中的历史失误不断修正未来行为。尽管该思路在导航任务中成功,但在精细操作上仍面临挑战。
斯坦福博士后:基准测试与可控性研究
在斯坦福大学做博士后期间,徐梦迪师从李飞飞和吴佳俊。两位导师风格迥异,赋予她不同的研究视角。
- 李飞飞的视觉驱动与宏观视野: 李教授强调跳出单个项目思考本质问题。在BEHAVIOR挑战赛(仿真基准测试)中,她负责生成双臂移动操作数据集,提出MoMaGen方法。李飞飞指出过程指标(如进度百分比)仅用于调试,最终成功率才是真正重要的愿景。她引用爱因斯坦的话:“凡事应力求简单,但不能过于简单。”
- 吴佳俊的实操与品牌构建: 吴教授注重项目选型和具体设计的深度推演。他建议徐梦迪打磨自己的研究品牌。她将其理解为源于真正兴趣、愿意投入5-10年深挖的问题。这种信念与创业相似,必须从内心深处相信的事情出发。
“李飞飞直接点破:这些指标里哪个是真正重要的?只有最终的成功率。过程指标是用来开发调试的,不是最终愿景。”
这一时期她还完成了两项重要研究:一是围绕机器人的可控性(Steerability),让机器人遵循多样化人类指令;二是关于创造性工具使用(Creative Tool Use)的基准测试。该研究基于“Affordance”概念,即人类根据功能而非名称使用工具(如无刀时用叉子切蛋糕)。评测维度包括多模态大模型的工具挑选、非刚体3D/4D重建以及技能迁移能力。这些工作旨在让机器人具备类似人类的创造性适应能力。
回国清华:自由度与系统落地的抉择
2024年初,徐梦迪选择回国加入清华交叉信息研究院(IIIS)。这一决定面临工业界与学术界的权衡。
在Google实习期间,她体验到了工业界拥有算力资源支持大规模实验的优势。然而,她也感受到了自由度的缺失。对她而言,自由度至关重要。她希望时间能最大化分配到认为重要的问题上,并将机器人做成一个整体系统进行实际落地。学术界提供了相对更好的选择。
“工业界有算力支持,可以把小想法更容易地规模化。但同时会有自由度的缺失……综合下来回国做教职是最优选择。”
叉院的吸引力在于强大的学生群体(姚班毕业生)和跨学科平台,能支持她将大脑算法与硬件整合。导师姚期智院士建议她专注真正重要的问题,避免时间分散。另一位老师问她为何确信5年后能成为顶尖研究者,她最初仅凭自信回答,后来明白关键在于找到真正感兴趣的课题(如让机器人进入千家万户并自我提升),沿着正确道路研究5年,结果自然不会差。
具身智能的现状:泡沫、Scaling Law与数据闭环
徐梦迪对当前具身智能领域持乐观但清醒的态度。她认为存在大量实际进步,但也伴随泡沫。
- 技术路线之争: 业界焦点从数据转向世界模型,又回归关注数据。她更相信世界模型,因为它是任务不相关的,而任务穷举不可扩展。若机器人能学习世界变化规律,将是更基础的能力。
- Scaling Law的信号: 她看到了一些信号,如预训练数据从10万小时扩展到100万小时后效果提升。但她指出关键问题:损失(Loss)与成功率不直接挂钩。例如拿杯子任务共20步,前17步拟合完美但第18步接触误差大导致失败。因此,只有当数据增多、模型变大时未见任务的成功率逐渐升高,才是有意义的Scaling Law。
- 数据闭环的挑战: 最可能导致失败的难点是跑通稳定的数据闭环。需要终端用户愿意教机器人做事,且半小时后有明显进展。这涉及“鸡生蛋”问题:基础模型需足够好以快速学习,又需进入场景激发能力。目前她团队在桌面双臂和灵巧手场景中尝试根据人类修正指示改变行为。
“现在大家测的更多是损失,而在机器人领域损失和成功率不是直接挂钩的……如果之后的缩放定律能够展示出数据增多、模型变大在没见过的任务上成功率逐渐升高,那才是真正有意义。”
数据融合与实验室建设理念
在数据采集方面,徐梦迪主张融合派策略,根据不同数据特性匹配使用场景:
- 遥操作数据: 最接近机器人本体,适合后训练阶段,与目标域直接相关。
- 仿真数据: 易制造视觉泛化(位置、贴图),适合预训练阶段,相对干净且能激发大规模模型能力。
- 通用操作接口(UMI)数据: 介于中间,成本较低。
- 人类数据: 成本最低。她认为人是成熟本体,能快捷采集场景数据。从人类数据中学的是场景和物体的变化,与具体形态无强相关。若有好的形态迁移方式,作用巨大。
“有人觉得人和机器人形态差别太大,但她认为人本身就是一种形态……本质上是用什么数据要用到对的地方。”
在实验室建设上,她将建组比作初创公司。面试博士生时会直言需要承担杂活以建设实验室。她采用双周一次的组会,前30-45分钟从科学史角度梳理领域发展或流派,后15-30分钟学生讲解项目。她希望构建不仅是工作伙伴而是长远相信的朋友的实验室氛围,尽管自己是INTJ性格,但具备强共情能力。
结论
徐梦迪的研究与实践揭示了具身智能从“预训练主导”向“适应能力驱动”转型的趋势。Generalist GEN-1.5的成功证明了上下文学习在零样本适应中的潜力,而徐梦迪通过超网络、算法蒸馏及创造性工具使用等研究,进一步夯实了机器人快速学习的基础。
她明确指出,当前的Scaling Law信号尚不充分,因为损失函数与任务成功率存在时序不平衡。真正的拐点在于数据规模扩大后未见任务成功率的持续提升。在技术路线上,她倾向于世界模型以应对任务的不可穷举性;在执行层面,跑通终端场景的数据闭环是最大风险点。未来3-5年将是关键期,只有将机器人真正放入实际场景并实现自我迭代,具身智能才能迎来类似GPT-3的范式转变。目前行业约完成马拉松10公里(四分之一)的路程,仍需乐观且坚定地推进落地。
“做具身、做AI都得乐观。悲观特别容易正确,只有乐观才可能成功。”