分层世界模型的起源与核心痛点

视频开篇通过一组对比数据引出主题：在同一个迷宫导航任务中，单层世界模型的成功率仅为18%，而采用三层结构的H-JEPA（分层联合嵌入预测架构）成功率跃升至73.3%，且规划所需的算力反而更少。这一成果来自图灵奖得主杨立昆（Yann LeCun）创办的公司AMI发布的最新开源论文H-JEPA，其代码和预训练权重已全部公开。杨立昆长期认为大语言模型（LLM）无法通向人类级智能，而世界模型才是通往AGI的正确路径。H-JEPA正是他多年构想的具象化落地，旨在解决单一潜空间模型在长程预测和抽象目标匹配上的根本缺陷。

“如果你对人类级AI感兴趣，就不要研究LLM。”

这一构想并非凭空而来。早在2022年，杨立昆在Meta任职时就提出了分层JEPA的雏形。他通过一个生动的例子解释分层的必要性：当人规划从纽约去巴黎时，关注的是航班和时间等宏观信息；而当真正下楼行走时注意力则集中在台阶高度和脚步细节。人类智能在不同时间尺度间切换，机器人同样需要高层理解任务目标、低层控制具体动作。现有的JEPA模型大多在单一潜空间和单一时间尺度下运行，导致长程任务中预测误差累积、动作搜索空间膨胀。更本质的问题在于，同一个潜空间难以同时兼顾低层动力学建模和高层目标匹配：一个充满快速变化细节的潜空间擅长描述物理状态，但在衡量抽象距离时往往失效。例如四足机器人即使到达目标位置，若腿部姿态与参考图不符，模型仍可能判定其偏离目标。

H-JEPA架构设计与表征学习机制

为了解决上述痛点，H-JEPA对每一层配置了三个核心组件：状态编码器、动作编码器和预测器。最底层的状态编码器直接处理图像像素，而更高层则不直接接触原始数据，而是对下层的潜状态进行处理，保留当前时间尺度下的关键信息。动作编码器负责描述由动作引起的变化，低层编码具体动作，高层则将连续动作压缩为更粗粒度的变化。预测器结合当前状态和动作来预测未来状态，且层级间的步长呈两倍关系，即高层的一步对应低层的两步。这种设计使得每一层都在自己的潜空间中进行预测，且上层梯度会回传穿过下层编码器。值得注意的是，高层要求下层提供可预测特征并非人工设定，而是由梯度自然压制的结果。

“高层要求下层交出可预测的特征这件事不是人工设计的，是梯度自己压出来的。”

在训练过程中，H-JEPA引入了SIGReg方法来防止表征坍塌（Representation Collapse）。当编码器将所有输入压缩为同一向量时，预测器只需输出常量即可降低误差，导致模型未学到有效信息。SIGReg通过将嵌入分布推向各向同性高斯来约束表征不退化，尽管该方法在严重坍塌时修正信号会减弱。规划过程采用自上而下的接力赛模式：顶层优化宏观动作以最小化与目标的距离，生成的中间状态作为子目标逐级下发。在闭环控制中，每层仅匹配第一个预测子目标并执行短时动作，长程一致性由上层兜底。这种结构与大脑皮层按内在时间尺度分层排布的神经科学发现一致，高层表征变化更慢，低层处理快速细节。这种设计让模型能够自发地忽略无关干扰（如迷宫中的移动蓝点），保留本体全局坐标，实现了基于预测步幅变化的选择性抽象。

实验结果与消融分析：涨点来源拆解

团队在四个仿真环境中评估了H-JEPA的性能，主力战场为Visual AntMaze。结果显示，在50个任务评估中，三层H-JEPA成功率为73.3%，而单层扁平模型仅为18.0%。更有趣的是，分层模型的规划开销比数字显示的计算量更低。通过可视化内部表征发现，层级越高，蚂蚁腿部姿态等快速变化细节越模糊，但全局坐标保持清晰；干扰物在高层表征中几乎消失。论文通过量化“实体频率间隙”发现，只有当环境中变化最快与最慢成分的频率比值足够大时，才会出现明显的选择性抽象。在间隙小于2倍的操作任务中，高层几乎不丢弃信息。

论文通过消融实验深入分析了性能提升的来源。保持第一层世界模型和规划器不变，仅将目标距离计算移至上层抽象空间进行投影。结果显示，仅替换量距空间就能将迷宫任务成绩从18%提升至20.7%-31.3%，且最优投影规划器在各深度均超过单独训练的单层基线。这表明分层规划的优势不仅来自时间搜索的拆分，更源于目标函数在抽象空间中的优化。此外，验证了子目标单调性（0.89-1.00）远高于直接距离的单调性（0.48-0.75），说明拆分子目标能提供更稳定的下降信号，避免直接优化长程距离时的抖动和卡顿。

真实世界挑战与工程落地细节

在DROID真实机器人数据集上的离线评估揭示了现实世界的复杂性。由于视频背景稳定而机械臂动作多变，模型容易陷入“慢特征坍塌”，即记住场景而非行动细节。数据显示，DROID潜在方差中75%来自不同回合间的场景差异，而在固定场景的Cube任务中该比例仅为28%。为破解此局，团队引入了逆动力学损失（Inverse-Dynamics Model），要求模型根据前后状态反推动作。这一无需人工标注的约束迫使模型保留与动作相关的信息，使单层模型从无效变为可用基线。工程上，团队将5.5TB的原始数据重构为127.6GB、包含74,530个回合的语料，解码速度提升17.9倍，并开源了构建脚本。

“DROID的潜在方差有75%来自不同回合之间，也就是场景差异……所以Cube上不会塌，DROID上必塌。”

论文也坦诚了方法的局限性。在Push-T推T形块任务中，两层模型表现优于三层，原因是训练片段必须落在单个回合内，而该任务回合过短导致三层模型每个周期可用的训练转移量仅为单层的58%。此外，容易预测不等于对任务重要，忽略难以预测的细节虽利于长期规划，但可能丢失决定成败的瞬间交互。学术圈亦有批评指出，统计预测无法产生因果理解，JEPA学到的是操作性表征而非物理语义。这些批评提醒我们，在潜空间预测未来与理解世界运转机制仍是不同层级的问题。

行业格局与公司战略展望

杨立昆对LLM的质疑贯穿其职业生涯。他在欧洲计算机视觉大会上重申：“基于LLM的AI工具非常有用，但是单靠LLM本身走不到人类级智能。”他认为世界模型通过预测未知环境的物理后果来构建理解，而非仅仅复现统计规律。2025年AAAI调查显示76%的研究者认为仅靠扩大LLM规模难以实现AGI。当前世界模型赛道分化出三条路径：李飞飞的World Labs Marble侧重结构化3D重建，谷歌DeepMind的Genie 3在像素空间实时生成交互环境但开销巨大，而H-JEPA代表的抽象预测路线则在紧凑潜空间中学习因果结构。Marble回答世界长什么样，Genie 3演示世界怎么变，JEPA琢磨世界的结构是什么。

AMI公司于2026年3月完成10.3亿美元融资，投前估值35亿美元，投资方包括英伟达、三星等。杨立昆任董事长，Alexandre LeBrun为CEO。尽管官网暂无公众产品入口，但已与医疗AI公司Nabla达成独家合作，探索能理解工作流程的医疗智能体。H-JEPA论文没有口号，只有消融表和代价曲线。杨立昆将理解世界、预测行动后果的能力视为通往更高智能的必经之路，而开源这一可复现的系统比口号更具说服力。未来世界模型与LLM是殊途同归还是分道扬镳，取决于研究者是否愿意加载权重、复现实验并探索下一步。

结论

H-JEPA通过分层架构和独立表征空间，成功将迷宫导航成功率从18%提升至73.3%，并降低了规划算力开销。其核心突破在于利用梯度自然形成的选择性抽象和自上而下的接力式规划，解决了单一潜空间在长程预测和目标匹配上的矛盾。尽管面临真实场景中背景干扰导致的表征坍塌、数据长度限制以及因果理解缺失等挑战，该研究通过逆动力学损失和工程优化提供了可行的修补方案。杨立昆借此赌注世界模型路线，认为其通过预测物理后果构建的理解能力是LLM统计模仿无法替代的。随着AMI公司的成立和开源社区的介入，这一路线能否撼动大模型主导地位，将取决于后续实证研究的积累与技术路径的融合。