大家好，这里是最佳拍档，我是大飞。最近具身智能领域有一个信号：前不久一家叫Generalist的公司发布了GEN-1.5模型，只给机器人看一段3到12秒的动作示范作为物理提示，不做微调、不更新参数，机器人就能当场尝试完成新任务。10项任务的平均成功率大约59%。这个消息在业内引起了不小的关注，因为它触碰到了一个核心命题：机器人能不能像人一样，到一个新环境里，看一遍就会做呢？
今天这期内容的主角，正是持续押注这个方向的年轻研究者。她叫徐梦迪，清华交叉信息研究院的助理教授，今年30岁半。从清华车辆工程系出发，途经约翰斯·霍普金斯大学（JHU）、卡内基梅隆大学（CMU），再到斯坦福大学做博士后，师从吴佳俊和李飞飞。2024年初选择回国加入清华叉院，她的核心研究方向就是让机器人在现实场景中不断学习、持续提升自己。
我们先从她的成长轨迹说起，这条路径本身就很有点意思。徐梦迪本科在清华读的是车辆工程系。你可能会想，从造汽车到做机器人，这中间几乎隔着一个变形金刚？但她自己回看，觉得选汽车系是个非常正确的决定。汽车系学得很全面：机械设计、汽车电子跟电子系交叉很多，还有大量算法课程。从机械到算法都有涉猎，真正转向机器人学的契机在大二。
她跟着机械系的阎绍泽老师做科研，研究的是蜜蜂翅膀的超弹性恢复。蜜蜂在采蜜时，翅膀频繁碰撞环境却不受损，因为翅膀结构本身具有超弹性。这个生物力学的课题打开了一扇门。大三暑假她去了CMU豪伊·乔塞特（Howie Choset）教授的组，他们组最出名的方向就是生物机器人学。她在那边设计了一个爬管子的蛇形机器人，从那开始工作重心从机械设计转向了机器人算法。
说到更早的经历，徐梦迪的中学是衡水中学。她对衡中的体验整体是正面的。当时她是物理竞赛生，竞赛班的管理跟高考班不太一样，更需要激发学生的自主驱动力。作息依然很严格：早操、上午操，时间表极其严格；高一到高三错峰去食堂。但她回忆起这段经历强调的是另一件事：竞赛班的同学目标高度一致，从解一道题到冲省一、拿金牌。
所有人的内驱力极强，完全不觉得苦。教练引导得也很好，在班里大家更像并肩作战的同伴，从零开始抱团解决问题。这种战友式的情谊比竞争坚固得多。还有个小细节挺有趣的：小学时她有个爱好是拼四驱车，赶上动漫《四驱兄弟》大火，买零件自己拼。拼车费钱，几个小朋友就琢磨着赚钱：那怎么赚呢？方法就是放学路上捡废品。
废弃的钢铁零件有人回收，卖掉还挺赚钱。徐梦迪自己说这其实是她后来选车辆工程的原因之一：她一直觉得机械结构特别酷，能把很多细小零件组装在一起，凝结几代工匠的知识积累，变成一台精密的仪器。这些早期的经历跟她后来做机器人的路线其实埋着一条暗线：在CMU读博期间，徐梦迪拿到了系里的最佳博士论文奖。
那一届只给了两个人，那篇论文叫《构建可适应的通用型机器人》。核心思想是预训练当然有用，她也相信缩放定律（Scaling Law），但预训练不是全部。说到她进入这个研究方向的契机，就要提到CMU时期对她影响很大的一个工作：当时她在CMU做机器人学习（那时候还不叫具身智能这个花哨的名字），实验室里大家经常交流论文，看的方向很杂。
她注意到斯坦福教授、Physical Intelligence联合创始人切尔西·芬恩（Chelsea Finn）有一项非常有名的成果叫MAML。MAML厉害的地方在于，它能让机器人学到没见过的任务。徐梦迪当时就觉得这才是机器人未来的方向，她一直沿着泛化这条路走下来。因为她觉得机器人不能只依赖预先学到的知识：人类之所以有很强的泛化性，有两个层面——一是人有很多先验知识，二是人学新知识学得非常快。
真正的泛化是希望让机器人具备类似人类这种快速学习的能力。这里面的逻辑其实很直觉：现实世界是开放的，任务在不断变化。你家今天有20个物体，一周后可能有30个，品类还完全不同；不同人在不同场景下的偏好也在变。你不可能指望机器人光靠预训练就变成一个百分之百成功的全能个体，它进入真实环境后必须能适应具体变化。
而且在变化中自我迭代。当时的解题路径主要有两条：第一条是上下文学习（In-Context Learning，简称ICL），就是让机器人根据当前场景里的交互信息来调整行为，不动参数；第二条是测试时训练（Test-Time Training，简称TTT），在部署阶段只调整模型的一小部分参数。上下文学习这条线源于她2021年做的一个工作，叫Prompt Decision Transformer。
当时的灵感来自GPT-3：GPT-3有一个让很多人震撼的能力——传统的机器学习遇到新任务就得做微调，但GPT-3是给一个提示词，模型根据提示词直接调整输出。这种方式高效直接，不需要在部署端重新训练。她当时就想：机器人能不能也具备这种能力呢？那个工作从相对基础的设定切入，给模型一段机器人的示范，让它快速适应不同的移动和操作任务。
之后又做了一个续作叫Hyper-Decision Transformer，走的是测试时训练的路线。这里有个很精巧的设计：她用了一个超网络（Hypernetwork）将元知识注入其中，再由它生成一个只占整个Transformer参数量0.5%的小适配器（Adapter）。部署时只需要更新这0.5%的参数。这个设计是在平衡一个矛盾：调参数虽然能解决当前任务，但是调多了又会遗忘预训练的知识。
实测下来，在小样本预训练的前提下超网络更容易见效；但是徐梦迪判断随着数据量和预训练规模的大幅积累，未来的核心方向依然是上下文学习——通过提示的方式解决，不用频繁改参数；或者等收集到足够多的多任务数据后，再做批量的参数更新。她在这个方向的研究过程中提到了DeepMind一个叫算法蒸馏（Algorithm Distillation）的工作，视角非常特别。
它问了一个更本质的问题：模型参数到底应该等价于什么？现在大家都在用视觉-语言-动作VLA模型，是把模型参数当成任务知识的载体，把专家示范通过模仿学习蒸馏到参数里。而算法蒸馏认为模型参数应该等价于一个算法，具体来说就是一个强化学习算法：它把次优的轨迹放进上下文窗口，让模型根据过去的失误动作和历史不断修正未来的行为。
Transformer结构由此具备了自我提升能力，参数本身就是一个强化学习算法。这个思路在模拟器里跑通了，但是任务偏向于导航和移动（比如走迷宫），用在精细操作上依然很难。类似的工作还有Skild团队的LocoFormer，用Transformer基于上下文学习做腿足机器人的适应；以及英伟达的RoboTTT，让机器人观察人类长程操作视频通过测试时训练层改变行为，复现出类似演示里的动作。
这些解法听起来挺发散的，那有收敛的迹象吗？徐梦迪的观察是：业内对适应能力的重视度明显高起来了。大家逐渐意识到仅靠海量数据和海量参数预训练，或者单纯依靠基于专家演示的模仿学习无法彻底解决机器人应用。于是在这个基础上的适应能力就成了破局点，但之前也不是不重视，而是有个先后顺序的问题。
在真实场景中机器人如果只有自适应能力而没有足够扎实的基模底座，试错代价会非常可怕（比如把家里的杯子全打碎）。所以先做强先验再做适应，这个路径是合理的。从CMU到斯坦福徐梦迪在博士后期间做了三个自己很满意的工作：第一个是BEHAVIOR挑战赛，这是李飞飞组里倾注了大量心血的仿真基准测试试图回答一个根本问题：机器人到底应该解决什么样的现实任务？
里面有极其丰富的家庭和学校场景资产，她负责生成数据集提出了一种叫MoMaGen的方法生成双臂移动操作的数据。比她过去的工作更贴近实际落地，第二个是围绕让机器人更具备可控性（Steerability），让机器人能遵循更多样化的人类指令适应不同人的偏好。第三个叫创造性工具使用（Creative Tool Use）的基准测试，探索机器人能否拥有人类那种创造性使用物理工具的能力。
说到这个创造性工具使用的研究，有个角度挺有意思：人在使用工具时从来不是看工具的名字而是看功能（也就是机器人学里常说的Affordance）。比如想切蛋糕，手边没刀用叉子或者筷子一样能切开；想清理桌面没有扫帚拿书本甚至用手臂一划也能搞定。人类懂得创造性地利用环境里的物体，这个研究就是希望机器人也具备这种行为。
他们从三个维度进行评测：包括多模态大模型挑选工具和规划轨迹的能力；针对非刚体和柔性物体的3D和4D场景重建能力；以及能否将人类灵巧使用工具的技能迁移到机器人上。在斯坦福期间徐梦迪有两个导师：李飞飞和吴佳俊，两人的风格很不一样给她的收获也不同。
李飞飞非常视觉驱动她总会抛出一些让你跳出单个项目去思考的问题，比如：“未来10年这个领域最本质的问题是什么？”“你在其中要扮演什么角色？”徐梦迪提到一个细节：当初定基准测试指标时她们试图定很多细粒度的过程指标（比如进度百分比或者各阶段的耗时），李飞飞直接点破：“这些指标里哪个是真正重要的？只有最终的成功率。过程指标是用来开发调试的，不是最终愿景。”
她当时还引用了爱因斯坦的一句话：“凡事应力求简单但不能过于简单”。吴佳俊则非常实操，从项目选型到具体设计都会深度推演。在徐梦迪迷茫时推动她去打磨自己的研究品牌，所谓“研究品牌”，她理解为必须发源于你真正的兴趣：如果一个问题能让你心甘情愿投入5到10年去深挖，它自然就变成了你的研究品牌。这跟创业很像：必须从内心深处真正相信的事情出发。
2024年初徐梦迪做了一个重要选择：回国，加入清华交叉信息研究院。这个决定并不容易她在考虑时主要面对的是工业界和学术界的选择：当时她在Google实习了很长时间，体验非常好。工业界确实有资源做更大规模的事情，但最终促使她做决定的还是心里真正想要什么。工业界有算力支持可以把小想法更容易地规模化，但同时会有自由度的缺失；对她来说自由度非常重要。
她希望时间能最大化地分配到她认为重要的问题上，学术界是相对更好的选择。她还提到机器学习里有个概念叫“没有免费的午餐”：做一个决定就要承担它相对弱的一面。经过很多考虑，她最看重的还是自由度以及希望把机器人做成一个整体的系统去实际落地。综合下来回国做教职是最优选择。
面试叉院时她跟很多老师聊了也包括姚期智。叉院有几个吸引力：一是学生非常强，姚班毕业生里有很多各个领域的顶尖研究者；另一个是她做机器人需要把大脑和硬件整合在一起，叉院能提供这个平台。姚期智给了她一个让她在博后阶段非常受益的建议：把注意力更专注一些。真正重要的问题没有几个，一个人的时间非常有限；如果把时间摊到太多事情上结果可能并不好。
还有一个问题让她印象深刻：有位老师问她“你为什么觉得你5年之后一定能成为自己领域的顶尖研究者？”她当时的回答不太好，只是很自信地说“我觉得我一定可以”。但后来她逐渐想明白了：如果找到了一个真正感兴趣的课题（比如让机器人真的能进入千家万户、在实际环境中不断提升自己），那么沿着正确的道路研究5年，一定不会差。
在外人看来徐梦迪的经历可能像是一帆风顺，但她自己不这么认为：她说踩了很多坑经历了多次转型（每次从机械设计到学习算法再到模型都有坎坷）。但总结成长经历，她更愿意用“幸运”这个词：在每一个阶段都有非常好的朋友、老师和导师支撑她。关于幸运，她有一套自己的理解：一个人成长成什么样一部分是自己决定的，另一部分是你选择的环境。
环境会反过来影响你：选环境时她更看重能不能在里面发挥出最大的作用、最大化自己的兴趣点和能力。好不好是个通用指标，但对个人发展来说要选最适合自己的。有意思的是她自己也是个内向型的人，但是在专业领域需要最大化自己的方法：即便是内向的人也可以按一些规则来行动。
比如让AI帮你起草邮件，自己先写一个初版让AI润色得更合适。关键是要正确表达需求：她发现研究者里很多人非常热心，只要你真诚地表达了需求大家是愿意互帮互助的。她现在也经常收到学生发来的邮件有一类邮件她直接不回：就是那些明显纯是AI写的、看不出来任何诚意的邮件。发邮件最重要的是表现出诚意，而诚意体现在你真的对这个领域和方向有了解能把兴趣点落实到实际工作上。
有想法的学生她都愿意多聊聊。回国后这一年多徐梦迪接触了大量具身智能领域的研究者和创业者，她的整体判断是：有非常多实际的进步但是也会存在一些泡沫。这两者不互斥：好的地方在于从材料、传感器到本体、数据再到模型都能看到国内公司在做攻关，也有非常多的资源投入。长远来看她非常乐观；同时泡沫也一定存在因为具身智能的技术路线还没有收敛，大家沿着各自相信的方向下注。
焦点在不断转移：从之前做数据慢慢变到世界模型，后来又开始回来关注数据。她用了一个控制论里的比喻：就像PID参数没调好会有超调和震荡一样。世界模型和VLA模型的路线之争，她自己的判断很明确：更相信世界模型因为它是任务不相关的。任务太容易变成一个不可扩展的方式，任务太多了很难穷举；如果用世界模型让机器人学到世界变化的规律其实是更基础的能力。
说到具体关注哪些公司或实验室，她的视角主要看哪些跟她研究方向和信念比较相关。美国的话物理智能（Physical Intelligence）肯定关注；大公司像Google、英伟达；初创公司像Generalist，还有Rhoda（Rhoda最近在做上下文学习的尝试路线挺有意思）。国内也有一些她喜欢的工作，比如灵波科技最近发的LingBot-VLA 2.0也是沿着上下文学习的路线在做。
那么，有没有看到缩放定律的信号呢？徐梦迪说看到了一些：比如有公司把预训练数据从10万小时扩展到100万小时后，在没见过的测试集上能有比较好的效果。但是她紧接着指出了一个很关键的问题：现在大家测的更多是损失，而在机器人领域损失和成功率不是直接挂钩的。她举了个很具体的例子：去拿一个杯子可能一共花20步，前17步跟杯子没有接触。
即使前17步拟合得非常好如果第18步跟杯子接触时误差较大任务就很容易失败。也就是说时序上存在不平衡，导致损失和成功率大部分时候不是直接相关的。如果之后的缩放定律能够展示出数据增多、模型变大在没见过的任务上成功率逐渐升高，那才是真正有意义、她想要见到的缩放定律。
关于机器人有没有自己的GPT时刻徐梦迪说她会非常相信缩放：她把现在主流的具身模型类比为GPT-1的时刻，还需要针对性的后训练或微调才能解决对应任务。她真正希望做到的是相对GPT-3的时刻：通过上下文学习和提示的方式不需要微调，只通过上下文告诉模型需要做什么。但是她也强调机器人和语言模型有领域的独特性：比如安全性需要更前置，部署前需要做类似压力测试的事情比语言模型更关键更急迫。
而且机器人的上下文更多样：因为有身体、灵活性更强，观测周围环境时上下文里有更多不同含义。实时性也非常重要不能指望机器人20分钟给你一个反应，它需要实时跟周围环境交互。徐梦迪总体上认可英伟达Jim Fan关于具身发展对应语言模型阶段的观点，但侧重点会有不同。
再来说说上下文学习在具身智能里到底意味着什么？徐梦迪举了个非常贴近生活的例子：大家看到很多机器人演示是叠衣服都给叠成方块了，也就是潜意识里假设每个人家里的衣服都是叠成方块的。但实际上不是：她自己用胶囊衣橱，衣服都是卷起来的。她希望机器人到家后告诉她：“你看，我的衣服是这么卷起来叠的。”另一个人可能希望衣服按颜色摆放；有些人甚至不用叠挂起来就行。
上下文学习想解决的，是让模型具备被终端用户定义的能力：用户可以根据偏好去改变模型具体的能力和行为。假设机器人最开始不会做某道菜，你示范一次；它学了1000个类似场景后最初可能需要半个小时适应。慢慢地只需要10分钟甚至更少，训练的是模型快速学习新任务的能力。铺到更多家庭和服务场景后不断强化这种学习能力它会学得越来越快。
但是她也坦诚最可能导致失败的难点在于能不能跑通稳定的数据闭环：这需要结合实际场景放到终端家庭或服务场景中，需要有合适的人教机器人做事。而且教了半个小时之后它得有显而易见的进展终端用户才愿意用，数据闭环才能转起来。这就有鸡生蛋蛋生鸡的问题：基础模型需要足够好学习速度才足够快；但又需要先进入场景让用户用起来把基础能力激发出来。
所以呢能不能跑通数据闭环是最有风险的点：目前她团队在做桌面任务，根据人的修正指示或示范来改变机器人的行为。在双臂场景上做同时也有灵巧手最终想做的是全身灵巧操作。在数据采集方面徐梦迪自认是融合派：不同数据能学到的东西不一样。
遥操作数据最接近机器人本体，适合放在后训练阶段，让它跟目标域直接相关。仿真数据容易造出位置、贴图、颜色等视觉上的泛化，在预训练阶段更有用，而且相对干净，能用来激发视频大规模预训练模型的能力。通用操作接口UMI数据介于中间，更像机器人数据但采集成本更低。
成本最低的是人类数据，她本人非常喜欢人类数据，因为人是成熟的本体，能快捷方便地帮着采集场景数据。成本低所以可以大量铺到不同场景里。有人觉得人和机器人形态差别太大，但她认为人本身就是一种形态，如果有好的形态迁移方式，作用非常大。
而且从人类数据里学的应该是场景的变化和做任务时物体的变化，跟具体的形态没有强相关。本质上是用什么数据要用到对的地方，正确构建数据和模型能力之间的链接。说到叉院，大家可能会想到许华哲、高阳、陈建宇这些在创业领域很活跃的助理教授。
徐梦迪说大家私下都挺忙的，没有固定时间全部坐下来聊，但私下会有沟通。大家大的愿景是一样的，都是让机器人通过规模化落地到应用场景中，做到实际有用。但是细节上的下注方向有所不同，有人更押注世界模型，有人想做VLA加上世界模型的融合路线。
短期来看这是好事，因为技术路线还没有最终收敛。共同的话题是如何让模型规模化，包括讨论数据相关的课题，以及如何让模型进入人类的场景里。说到给年轻学生的建议，她给了两条：第一是多看，要吸收得足够多。
她跟学生聊的时候发现他们对一些概念感兴趣，但认真问兴趣点在哪时又比较模糊。本质原因是知道得不够多。书越读越厚，再越读越薄，先知道得足够多，才能抽丝剥茧了解自己真正感兴趣的地方在哪。
第二是实际上手干活。很多人对具身感兴趣，把兴趣转化成行动的能力越早培养越好。实际去上手，才能了解这个领域真正难的地方在哪。比如真机部署是非常消耗经验的事情，早期有一些积累会比较好。
她面试博士生时有一个必问问题：你最感兴趣的一篇文章是什么？或者换个问法，你觉得哪篇文章做得最好？这个问题挺难回答，前提是学生对领域有了一定了解，并且知道自己的兴趣点在哪。
她听过最好的答案之一是一个对扩散模型非常感兴趣的学生，但他引的不是扩散策略，而是扩散模型最初的原初论文。她觉得这个学生看的领域非常广，不局限在应用层面，能够追溯到文章真正的发源地。
这种刨根问底、找到最初起点的能力非常好。作为年轻的助理教授，她也在构建自己的实验室。她说这有点像建初创公司，不是一个人的事情，是她和博士生一起构建的。
面试博士生时她会直接告诉对方：来我这读，需要建设实验室，可能会做一些看起来比较杂的活。学生们都非常愿意接受挑战。她带本科生，组会以教程的形式进行：前30到45分钟以科学史的角度讲整个领域的发展，或者把一个课题分成不同流派来讲。
最后15到30分钟由同学讲自己的项目，实际执行下来是双周一次。学生来做教程讲解，她会提前讨论话题：第一遍带他们梳理组织方式是否正确，慢慢地学生就能自己做总结了。
说到性格，她是典型的INTJ，但她说自己其实共情能力很强，能敏锐地观察到别人情绪的变化。在集体里是一个更照顾别人情绪的角色。团队凝聚力是靠关键的人凝聚起来的，在非工作时刻比较感性，能拉近跟同学和合作者的距离。
她不希望大家仅仅是工作上的伙伴。跟一个年轻的助理教授读博士本身就是一个有风险、很有挑战性的选择，她挺感谢她的学生们。大家的信任磨合得挺好，每个人在正确的地方贡献自己的能力和时间。
前两天还一起唱歌团建。她希望构建的实验室氛围，不只是工作或学术上的合作者，而是能长远相信的朋友。日常她用ChatGPT比较多，最近ChatGPT和Gemini会轮番着用。
它们在一些事情上给的观点蛮不一样的。以前用AI偏知识性，比如总结内容或做调研；最近开始跟它有一些非工作的对话，聊聊对事件的看法。
最近有意思的事情是给实验室起名字：给AI一些关键词和初步的名单，让它帮忙润色或提议新的。给出的名字都还挺好的，不过实验室名字还没定下来，需要多想一想。
说到当下论文大爆发的现象，她能明显感觉到机器人学领域的论文在翻倍增长，很多都是AI写的。她摄取论文的方式是每天刷关注的研究者宣传的文章，作者名单相当于做了一层筛选，能看出他们真正自豪的文章有哪些。
她也能明显看出有些文章AI写的成分非常多：比如第一眼看起来详实，但是实际论证漏洞百出、内容没有多少的论文。如果发现是AI写的文章，她的兴趣就会打折扣。
最后，主持人问了一个很多人关心的问题：如果用马拉松来比喻具身智能，42公里的路程，现在跑到几公里了？徐梦迪的回答是：大概10公里，四分之一的位置。
真正重要的还是把机器人放到实际场景中应用，强调泛化性和通用性的智能机器人实际落地还没看到。还有挺长的路要走，但她整体比较乐观：未来3到5年能看到通过缩放带来明确的范式转变或拐点。
未来3到5年是非常关键的时间阶段。主持人Koji在最后说了一句挺到位的话：做具身、做AI都得乐观，悲观特别容易正确。只有乐观才可能成功。感谢收看，我们下期再见。