李飞飞发布最新世界模型Atlas | World Labs | 世界模型 | 3D重建 | 视频生成 | 空间智能 | 高斯泼溅 | 机器人仿真 | 多模态AI

Atlas的核心能力：从模糊意图到精确空间控制

李飞飞的World Labs于9月1日发布了新一代世界模型Atlas，该模型的核心突破在于能够同时处理文字、图片、视频和3D数据。与传统生成模型不同，Atlas不再依赖模糊的文字描述来猜测画面内容，而是引入了精确的相机位姿控制。传统模型中，用户输入“镜头向左移动”，模型需在像素空间猜测下一帧；而Atlas直接接收相机在三维空间中的位置和角度，结合参考图片生成对应视角的画面。这种可检验的约束机制使得镜头运动不再是意图猜测，而是精确的空间定位。

“让镜头向左移动是一句意图描述...而指定相机在空间中的位置和朝向，是一组可检验的约束。”

这一能力解决了视频制作中场景重复使用的难题。用户可以设计具体的运动轨迹（如前进、旋转），并生成连续画面，确保空间关系的一致性。此外，Atlas支持将多张参考图片放入同一空间上下文，生成连接两者的过渡空间。例如，World Labs展示的案例中，两张无关联的场景图片被置于不同位置，Atlas生成了连接它们的门和走廊。这意味着参考图不仅是视觉风格指引，更成为生成空间的一部分。在视频生成方面，Atlas支持1-6张输入图片配合人工设计的相机路径，生成长达一分钟、分辨率1440p的视频。

空间重建机制：从单图推测到多源融合

除了生成，Atlas具备强大的真实世界空间重建能力。该机制遵循“模型看到得越多，需要想象的就越少”的原则。输入图片越少，模型需补充的区域越多；随着真实空间信息增加，推测部分减少。World Labs通过花园、房屋和小屋的案例展示了这一过程：仅有一张照片时，其他区域需模型推测；增加第二张、第三张照片后，场景还原度显著提升。通常两三张图片即可得到较为忠实的重建结果，而Atlas最多可利用超过一百张图片作为空间上下文。

“模型看到得越多，需要想象的就越少。”

值得注意的是，Atlas区分了真实信息还原与常识补全。相机拍到的部分为真实还原，未拍到部分由模型根据常识补全。用户甚至可选择关闭“想象模式”，仅进行精确重建。在斯坦福大学主方庭的重建案例中，Atlas仅接收25张地面拍摄图像，便生成了从校园上空俯瞰的飞行路径画面，将草坪到教堂马赛克装饰组织进同一空间。重建结果不仅包含新视角图片，还输出点云和3D高斯泼溅（Gaussian Splatting）。输入单张图片时可同步生成新视角和3D几何结构；输入视频时则可预测每帧深度并组合成完整的高斯泼溅场景，填补点云空缺。World Labs称这些高斯泼溅可在设备端以高分辨率和帧率渲染，与其Marble产品保持一致。

时间维度与机器人仿真：从静态空间到动态模拟

在3D空间基础上，Atlas进一步处理时间变化与物理交互。World Labs展示了类似《黑客帝国》子弹时间的案例：仅用3-5台普通手机或运动相机从不同方向拍摄动态事件，Atlas将这些视角重新对齐并建立空间模型。用户可在事后从现实中不存在的摄影机位置观看同一瞬间，无需专业同步摄像机系统。工程师和研究人员用普通手机、三脚架和小型夹具即可完成拍摄，体现了低成本获取高自由度视角的能力。

“你可以在事件已经发生以后，再从现实中根本不存在的摄影机位置观看同一个瞬间。”

这一能力同样应用于机器人仿真（Real-to-Sim）。Atlas从真实环境视频重建空间，随后模拟机器人在该环境中移动时机身摄像头可能看到的RGB图像和深度数据。World Labs展示的两个大型环境仅使用手机视频中的24帧画面进行重建，即可模拟不同机器人沿不同路径移动。对于物体交互任务，Atlas能处理刚性、带关节及可变形物体，改变物体位置、机器人运动、光照和背景，从同一真实场景生成不同条件用于训练。这为机器人提供了低成本、可重复的测试环境，避免了现实中的设备重置和损坏风险。

底层架构：多模态自回归扩散Transformer

Atlas之所以能同时处理生成、重建和模拟，源于其从头开始训练的多模态自回归扩散Transformer架构。该模型处理文字、图片、视频、相机位姿和3D深度图时，将所有信息放入同一序列。每张图像和深度图与明确的相机位置绑定，组成共享的空间上下文。模型不仅知道画面内容，还知道拍摄空间位置。

“简单理解就是：模型不仅知道这张照片里有什么，还知道这张照片是从空间中的哪里拍出来的。”

视频在Atlas中表示为连续图片序列，不同任务组织成不同的数据序列（输入接输出）。自回归部分基于Transformer架构，利用KV缓存、分离式服务等技术；扩散部分采用整流流（Rectified Flow）模型，通过调整去噪步骤在生成速度和质量间取舍。World Labs认为该架构融合了大语言模型、图像和视频模型的技术优势，如扩散蒸馏、无分类器引导等。这种统一底座使得多任务处理成为可能，而非简单拼接。

基准测试数据：相机控制与3D重建表现

World Labs公布了两项量化测试结果，分别针对相机控制生成和3D重建。在相机控制测试中，模型接收一张输入图片及1-3种电影式相机运动指令（平移、推轨、升降）。Atlas直接接收精确相机路径，而其他模型通过文字描述。第三方评测判断生成结果是否符合指定路径。

“相机轨迹越复杂，Atlas的优势越明显。”

在3D重建测试中，模型接收带相机位姿的图片组，预测每个输入像素对应的3D点。对比对象包括Pi3X、π立方、VGGT-Ω 1B、Depth Anything 3和MapAnything。按照统一测试协议，Atlas的平均点图重建误差为千分之25.3，为该组测试中最低（指标越低越好）。World Labs指出，由于世界模型涉及生成、重建和模拟，难以用单一指标衡量全部能力，因此重点公布这两项结果。此外，团队观察到随着训练计算量增加，模型获得新能力，表明Atlas遵循Scaling Law（缩放定律）。

技术路线辨析：空间搭景 vs. 时间演进

Atlas与Seedance等视频生成模型存在本质差异。虽然都使用Transformer，但Seedance像导演，关注画面随时间的物理交互和实体变化；Atlas更像搭景师，先构建空间一致性。Seedance学习人转身、水飞溅等时间序列自然衔接；Atlas则从图片出发，补全原图未拍到的墙面、走廊等空间信息。

“初代World Labs模型生成的世界，因此更像一套搭好的布景：空间存在，时间却没有真正启动。”

Atlas虽比初代模型强（支持多模态输入、逐步补全空间），但主线未变：它不关心下一秒发生什么，只关心走到没拍到的地方会看见什么。公开演示中未见物体碰撞或用户动作改变未来的例子。子弹时间依赖已拍好的多机位视频，扩展空间时需暂停；机器人部分仅构建仿真世界而非预测碰撞后变化。自回归Transformer在此主要用于下一个相机位置的画面预测，而非时间性和物理性预测。从时间出发和从空间出发的路线暂时尚未汇合，Atlas代表了从空间侧推进的统一模型尝试。

行业背景与World Labs的发展脉络

Atlas并非孤立产品，而是World Labs长期技术积累的结果。2024年初，李飞飞与Justin Johnson、Ben Mildenhall（NeRF共同一作）、Christoph Lassner等创立World Labs，团队背景集中在视觉、图形学和三维表示。2024年9月，投资方披露公司目标为感知、生成和交互三维世界。2024年12月展示浏览器中可探索的持续性3D世界；2025年9月重点转向更大环境，Marble进入早期测试；2025年11月12日Marble正式向所有用户开放。Marble允许用户编辑、扩展场景并导出高斯泼溅或网格，更接近创作者工作流。

“Marble的意义是把研究结果变成能够继续加工的资产。”

2025年10月，团队公开RTFM（实时帧模型）研究线，通过给画面绑定空间位置、检索相关帧而非处理全部历史来解决记忆问题。Atlas与RTFM思路连续，上下文包含空间位置信息。2026年1月World Labs推出World API，让开发者程序化调用Marble能力。此外，2026年7月World Labs收购机器人公司SceniX，聚焦学习式仿真与真实机器人闭环。10月发布Real-to-Sim-to-Real进展，展示线缆操作、试管转移等任务，部分演示报告连续一小时无需人工干预。这标志着公司从研究演示转向产业应用接口。行业其他玩家如Google DeepMind的Genie 3、英伟达Cosmos 3也都在推进多模态世界模型，但定义和侧重点各异。

局限性与未来展望：物理模拟的挑战

尽管Atlas展示了空间智能的实质性进步，但仍存在明显局限。目前尚未公开模型参数规模、训练数据量和算力，且处于早期访问阶段，缺乏独立第三方测试。World Labs此前将世界模型分为渲染器、模拟器（几何/物理）和规划器三类，Atlas目前主要承担渲染器和部分模拟工作。距离真正模拟现实世界仍有差距：未公布碰撞、摩擦、材料特性及复杂动力学的系统性测试，也未证明模拟环境能稳定提高机器人真实世界成功率。

“一段视频看上去符合现实，不代表它能充当可靠的训练环境。”

机器人训练中最大的风险是仿真到现实的差距（Sim-to-Real Gap）。视觉上合理的世界可能在物理上错误，例如抓取杯子时偏移是否滑落、动作改变后结果一致性等。生成一万间真实房间不等于获得一万个有用的训练环境。物理模拟的准确性是世界模型领域的共同难题。Atlas代表了从生成画面走向建立空间、再迈向物理仿真的明确技术路线。它通过统一架构降低了多任务部署复杂度，为机器人、VFX和游戏预留了接口。

结论

Atlas的发布标志着World Labs在空间智能领域迈出了关键一步，其核心价值在于构建了以空间为核心、融合多模态理解与3D重建的统一底座。通过精确的相机位姿控制和自回归扩散Transformer架构，Atlas实现了从模糊文字到可检验空间约束的跨越，并在相机控制生成和3D重建基准测试中表现优异。然而，当前模型仍侧重于空间一致性与视觉渲染，在物理交互、动态演化及仿真到现实的迁移能力上尚未经过充分验证。与侧重时间序列演进的Seedance等模型相比，Atlas代表了从空间侧构建世界模型的独立路线。未来，随着Scaling Law的持续应用及物理模拟难题的突破，Atlas有望成为连接虚拟生成与真实机器人训练的重要桥梁，但距离真正“预测现实物理世界”的目标仍有较长路径。