大家好，这里是最佳拍档，我是大飞。同样一个迷宫导航任务，单层世界模型的成功率是18%；换成三层结构，成功率到了73.3%，而且规划花掉的算力反而更少。任务没变，数据没变，变的只是模型内部的组织方式。这是杨立昆（Yann LeCun）刚刚交出的一份作业。这位图灵奖得主从Meta出来，创办了公司高级机器智能AMI（Advanced Machine Intelligence）。最近，公司发布了论文H-JEPA，全称是分层联合嵌入预测架构（Hierarchical Joint-Embedding Predictive Architecture）。代码和预训练模型权重已经全部开源，研究者可以直接下载加载，复现里面的规划实验。
73.3%这个数字背后，是杨立昆对整个AI行业的一次下注。他一直认为大语言模型这条路走不到人类级的智能，能走过去的是世界模型。而这份论文，就是他念叨了很多年的想法第一次变成了一个可以运行、可以复现、可以下载的完整系统。今天我们就来聊聊这篇论文，那他为什么非要做一个分层的世界模型呢？这件事得从2022年说起。那年他还在Meta当首席AI科学家，就提出过分层JEPA的构想：让模型在不同的抽象层级、不同的时间尺度上做预测，再通过分层规划把复杂目标落实成具体动作。
这个说法有点抽象，但是他自己举过一个例子很形象：假设你坐在纽约大学的办公室里准备去巴黎。规划整趟行程的时候，你脑子里想的是目的地、航班和时间安排，不会去想办公室楼梯每一级台阶有多高。等你真的走出办公室、开始下楼了，注意力就变了，变成了眼前的地面、楼梯还有下一步先迈哪只脚。规划航程的时候，台阶的高度不重要；下楼的时候，这个细节却会直接决定你怎么迈步。人就是这样在不同时间尺度之间来回切换的。
机器人面对的问题也一模一样：高层的规划要理解任务目标、环境关系和未来方向，低层的控制要抓住具体动作和身体细节。两边需要的信息根本不同。于是问题就变成了：怎么让模型的不同层级各自学到适合自己的表征，再把高层的计划一层一层落实下去呢？这就是H-JEPA要回答的问题。不过在讲它怎么做之前，得先说说这类模型的通病：现在的JEPA世界模型大多在单一潜空间、单一时间尺度里做预测和规划。
这带来了两个麻烦：一个是老问题，长程任务要滚动预测很多细粒度的步骤，预测误差会一路累积，动作搜索空间也会跟着膨胀。另一个更为本质：同一个潜空间要同时伺候两件事——分别是低层的动力学建模和高层的目标匹配。一个装满快速变化细节的潜空间， modeling 动力学很在行；但是如果你拿它去衡量离目标还有多远，效果就很差。尤其是目标比状态更抽象的时候，模型就懵了。比如任务是让机器人到达某个位置而不是摆出某个姿态，四足机器人哪怕已经走到了目标位置，只要腿部姿态跟目标画面不一样，模型仍然可能会觉得它离目标很远。
其实分层的想法不新，杨立昆团队今年4月发过一篇HWM（Hierarchical World Model），把时间尺度拆开了：高层看远、低层看近，中间用子目标衔接。在真实的Franka机械臂上做抓放任务，分层成功率是70%，单层是0%。但是那篇论文里藏着一个前提：就是所有层级要共享同一个表征空间。所以它解决了时间拆分的问题，没解决表征的问题。而H-JEPA改的正是这一条：每一层都要长出自己的表征空间，上层可以理直气壮地丢掉自己预测不了的细节。
那具体怎么搭呢？论文给每一层配了三个组件：首先是状态编码器，负责提取当前环境的表征。最底层直接读图像，更高层不碰像素，对下层的潜状态做处理，保留这个时间尺度下重要的信息。其次是动作编码器，负责描述动作带来的变化：低层是具体动作，高层把一段连续动作压缩成更粗粒度的变化。还有一个预测器，结合当前状态和动作预测未来的状态。层级之间的步长是两倍，也就是说高层的一步对应低层的两步。
训练是端到端的：每一层在自己的潜空间里做预测，上层的梯度会一路回传穿过下层的编码器。这里有个细节值得说一下：高层要求下层交出可预测的特征，这件事不是人工设计的，是梯度自己压出来的。训练世界模型还绕不开一个经典问题叫做“表征坍塌”：编码器要是把所有输入都压缩成同一个向量，预测器只要输出这个常量也能拿到很低的预测误差，但模型实际上什么都没学到。
H-JEPA用了杨立昆团队在LeJEPA里提出的SIGReg方法，把嵌入分布往各向同性高斯上推从而约束表征不退化。不过这个方法自己也有软肋：当表征开始坍塌时，梯度也会跟着衰减；坍塌越严重，修正信号反而越弱。所以说H-JEPA的防坍塌机制本身还是个开放问题。那架构搭好了，规划怎么走呢？答案是自上而下，像接力赛一样：当前的观测和目标画面会被所有层编码一遍。最顶层先优化宏观动作，让它预测的最终状态离目标最近；顶层预测出来的那串中间状态逐级下发给下一层当子目标。
下一层再优化动作去追这些子目标，再一路细化到第1层最终输出可以直接执行的动作。闭环控制的时候每层只匹配第一个预测子目标，执行一小段动作重新观察环境再规划一轮。这样做的好处是每层只需要对眼前够得着的短时程负责就行了，长程的一致性是由上层兜底的。顺带说一句这个结构跟大脑皮层有点像：神经科学研究发现皮层区域按内在时间尺度分层排布，越高层的地方表征变化越慢。论文把这个当成了设计依据不是随手打了个比方。
那实际效果怎么样呢？团队把模型放进四个仿真环境，分别是两个导航任务、两个操作任务。主力战场叫Visual AntMaze，让一只四足机器人穿越迷宫。结果就是开头我们说的那组数字：在50个任务的评估里，三层H-JEPA成功率73.3%，单层的扁平模型只有18.0%。而且以每回合的计算量来衡量，分层模型的规划开销反而更低。比数字更有意思的是模型内部发生的变化：研究者把各层的内部表征还原成图像，看到了一个很清晰的规律。
层级越高，蚂蚁腿部姿态的表征越模糊；到第2层、第3层快速变化的躯体姿态已经没法恢复了，但蚂蚁在迷宫里的全局坐标每一层都保持得很清楚。另一个导航环境里还放了一个干扰物——一个蓝色小点，在迷宫里自己动偶尔还瞬移。随着层级升高这个干扰物在表征里越来越模糊最后几乎消失，而模型对机器人本体的感知一直很稳定。也就是说，模型自发学会了取舍：该忽略的忽略，该保留的保留。这个结果不是人为设计的特征选择而是预测步幅变大之后自然长出来的结构。
论文还做了量化：把数据里变化最快成分和最慢成分的频率比值叫做“实体频率间隙”。发现间隙够大的环境才会出现明显的选择性抽象；对于间隙小于2倍的环境（比如那几个操作任务），高层基本上什么都不丢。那涨的分到底从哪儿来呢？这篇论文最扎实的部分就是它把这个问题拆开了：分层规划其实同时干了两件事——把搜索在时间上拆小，以及让候选的未来在一个更抽象的空间里被打分。
论文设计了一个很干净的消融实验：保持第1层的世界模型和规划器完全不动，只换一个地方——就是用来计算离目标多远的那个空间。把预测和目标都过一遍上层编码器再量距离，不做任何分层规划只换量距离的地方。结果有点意外：光是这一步就能把迷宫任务的成绩从18%抬到20.7%到31.3%之间。而且最优的投影规划器在每个深度上都超过了单独训练的单层基线。换句话说，很多人以为分层规划的好处来自搜索被拆小其实相当一部分来自目标函数换了个空间。
前者是算法工程，后者是表征学习；而后者才是JEPA这条路线真正押注的东西。时间分解的作用也单独验证了：论文测了代价曲线沿着专家轨迹的单调性，追子目标的单调性在四个环境里达到0.89到1.00；而直接拿离最终目标多远当代价，单调性只有0.48到0.75。这个差异意味着后者的信号本身是抖的会卡住，而拆成子目标之后它才变成一条真正往下走的坡。讲到这里都是仿真里的好消息，接下来这部分是我个人觉得整篇论文里最有意思、也最扎心的部分。
团队把模型搬到一个叫DROID的真实机器人数据集上做离线评估。这个数据集是人类遥控真实机械臂拍的操作视频，场景、光照和被操作的物体每个集合都不一样。于是麻烦就来了：在单段视频里房间背景比机械臂稳定得多，如果训练只要求模型预测后续表征、同时要求表征之间保持差异，模型会找到一条省事的路。比如记住厨房、办公室或者某张工作台就能区分大量的视频；如果同一段视频里背景不怎么变，下一时刻的描述也比较容易猜。至于机械臂怎么动、夹爪怎么接近物体这些真正要紧的细节反而被扔掉了。
论文管这个现象叫“慢特征坍塌”。注意这里的坍塌不是说所有画面被压成同一个数字，模型照样能区分很多场景只是丢掉了行动需要的信息。相当于模型记住了机器人在哪个房间却没记住机器人该干什么。论文附录里甚至给了构造性证明：只要正则项只看嵌入的边缘分布，这种偷懒的解就永远可行。数据也印证了这一点：DROID的潜在方差有75%来自不同回合之间（也就是场景差异），而固定相机、固定场景的Cube任务这个比例只有28%。所以Cube上不会塌，DROID上必塌。
解法是加一项逆动力学损失（Inverse-Dynamics Model），让模型根据前后两个状态反推中间执行的动作。模型要答对机械臂朝哪儿动了就必须保留跟动作有关的信息。这一项不需要人工标注但是要求训练数据带动作信息。加上这个约束之后，单层模型从几乎无效变成了一个像样的基线；第二层再在它之上继续加分。还有个工程细节值得一提：DROID的原始数据大约有5.5TB，反复训练不现实。瓶颈不在GPU在视频解码，于是团队重建了一份语料压到127.6GB、74530个回合，体积只有原来的大约45分之一。
解码快了17.9倍然后跟构建脚本一起开源了。当然，这篇论文不是没有短板有几处我们得说清楚：先说层数它不是越多越好。Push-T这个推T形块的任务里两层模型表现不错，加到三层反而退步。原因大概率在数据层面：训练片段必须落在单个回合里，Push-T的回合太短三层模型每个周期能用到的训练转移量只有单层模型的58%，其他环境能保留75%到88%。高层的胃口是更长的片段，数据喂不饱它就学不好。
再说一个容易被忽略的点：容易预测不等于对任务重要。忽略难以预测的细节有时确实让长期规划更有效，但一次转瞬即逝的抓取接触可能直接决定任务成败；而静止的背景好预测得毫无难度。这条界限怎么划H-JEPA并没有彻底解决。真机上的闭环控制论文也只是放在了下一步计划里。学术圈也有反对的声音，有研究者从因果哲学的角度批评认为统计预测产生不了因果理解。JEPA学到的抽象状态轨迹虽然能规划出路径但是它从来没有理解它拿到的是一套好用的操作性表征而不是对物理障碍的语义认识。
这些批评不是否定工程价值但提醒了一件事：在潜空间里预测未来和理解世界为什么这样运转是两个不同层级的问题。好了，技术部分讲得差不多了咱们把镜头拉远看看这场实验背后真正的争论：杨立昆对大语言模型的判断这几年基本没变过。今年9月在瑞典马尔默举行的欧洲计算机视觉大会上，他的演讲幻灯片上又出现了那句话：“如果你对人类级AI感兴趣就不要研究LLM。”这张幻灯片传到社交平台有人怀疑是假的，他回复说“包是真的”。
他随后补充基于LLM的AI工具非常有用大家都在用，但是他认为单靠LLM本身走不到人类级智能。他的逻辑是这样的：大语言模型做的是复现，本质是重现训练数据里的统计规律核心任务是模仿；而世界模型做的是预测必须在一个未知的环境里判断行为的物理后果。语言是人类智能的输出接口不是智能本身，人理解世界靠的是多尺度、多时间跨度的内部模型不是一边走路一边做下一个词的预测。这个分歧往深了看是两种世界观的碰撞：LLM的底层假设是世界知识可以全部序列化压缩进token序列；而JEPA的假设是物理世界包含大量没法序列化的结构（空间关系、因果动力学以及连续时间里的多尺度依赖），这些东西必须在潜空间里直接建模。
到底什么才算理解双方给的是不同的答案，而且这不是杨立昆一个人的执念：2025年AAAI的一次调查显示76%的AI研究者认为仅靠扩大LLM的规模不太可能实现通用人工智能。这个数字不是在否定LLM的价值而是对规模万能论的一次修正。再看整个赛道，2026年这一波世界模型的热度已经分出了三条不同的技术路径：H-JEPA代表抽象预测路线，不追求像素级还原在紧凑的潜空间里学世界的因果结构好处是计算效率高天然适合规划和控制；李飞飞World Labs的Marble走结构化3D重建做几何准确和可编辑的三维空间但本质上偏静态缺内嵌的物理模拟；谷歌DeepMind的Genie 3在像素空间做预测能以每秒24帧实时生成交互式3D环境可视化程度高Waymo已经拿它做自动驾驶仿真但是计算开销大场景一致性只能维持几分钟。
三条路的分工也比较清楚：Marble回答世界长什么样，Genie 3演示世界怎么变，JEPA琢磨世界的结构是什么。它们不是谁替代而是从不同侧面逼近同一个目标。杨立昆的赌注是要让智能体真正理解物理世界、做长程规划，结构比像素更根本。73%对18%就是这个赌注拿到的第一个可量化证据。最后说说公司本身：杨立昆是2025年11月离开Meta的，AMI在2026年3月完成10.3亿美元融资投前估值35亿美元。据报道是欧洲历史上规模最大的种子轮，投资方里能看到英伟达、三星、淡马锡和Toyota Ventures。
公司由杨立昆出任董事长，亚历山大·勒布伦（Alexandre LeBrun）担任CEO，谢赛宁任首席科学家，冯雁（Pascale Fung）负责研究与创新，迈克尔·拉巴特（Michael Rabbat）负责世界模型他也是这次H-JEPA论文的作者之一。客观来说研究成果归研究成果外界对AMI的另一个期待是产品，至少目前从官网看展示的还是技术方向、团队和招聘信息没有面向公众的产品入口。不过动作已经有了：医疗AI公司Nabla宣布和AMI建立独家战略合作拿到世界模型技术的优先访问权探索能理解工作流程、预判后果的医疗智能体。
结合论文把下一步放在真机闭环验证上，这家公司瞄准的方向其实能看出个大概。回头再看这篇论文：一个端到端训练的分层世界模型，每层有自己的表征规划自上而下迷宫成绩从18%提到73%，计算量反而更少了。涨点被拆成了两个可以分开测量的来源，在场景多变的真实数据上团队诚实地展示了自己方法会踩的坑并且给出了一个修补方案。短板也摆在明面上包括层数怎么定、数据怎么喂、真机闭环表现如何这些都还是未完成的问题。一眼望过去这篇论文里没有一句口号全是消融表、代价曲线和一张重新编码过的数据集清单。
杨立昆说过很多次：理解世界、预测行动后果、做规划是通往更高智能必须的能力。把口号落成别人可以下载、可以复现、可以接着改的实验可能比口号本身更有说服力。究竟这条路线能不能在几年内撼动大模型的主导地位现在谁也说不准，但是答案不取决于任何人的预判取决于接下来有多少研究者会去加载这套权重跑一遍实验然后决定自己的下一步。那大家觉得世界模型和大语言模型这两条路最终会殊途同归还是越走越远呢？欢迎在评论区留言讨论。感谢收看，我们下期再见。