Atlas的核心能力：从生成到模拟
昨天是World Labs发布新一代前沿模型 Atlas 的大日子，反响热烈。Justin首先介绍了 Atlas 的三大基本能力：生成、重建以及模拟。在生成方面，Atlas拥有出色的相机条件生成能力，用户只需输入一张图片加上 相机轨迹，模型即可按照任意视角引导视频帧的生成。在重建方面，它擅长 稀疏3D重建，仅需输入一帧至多一百帧现实世界画面，即可穿梭于空间中生成全新视频或显式3D重建。此外，Atlas还具备模拟能力，展示了吸引大量关注的“子弹时间”视频以及机器人模拟。
关于 子弹时间（Bullet Time），这一概念源自《黑客帝国》。在电影中，为了实现尼奥倒下的慢动作环绕镜头，制作团队使用了数百台相机围绕绿幕拍摄。然而，使用 Atlas 后，这一过程被极大简化：最少只需三台相机（如架在三脚架上的 iPhone），无需影棚、绿幕或昂贵校准。通过拍摄投篮或草莓落入牛奶碗等日常场景，Atlas 能够重新构图，实现时间静止与镜头飞越的惊艳效果。
“我们真的只要把三台 iPhone 架在三脚架上，用来拍一段正在发生的事情……光靠这三段 iPhone 视频，我们就能重新构图。”
新视角预测与空间上下文的统一
Atlas 最核心的原则是 新视角预测（New View Synthesis/Prediction）。这是一种基础模型中前所未有的全新元语，正如大语言模型建立在 next token prediction 之上、视频模型建立在 next frame prediction 之上一样。Atlas 将场景的几个视角或描述作为 空间上下文，隐式地定义世界；用户可在时空任意点放置虚拟相机，Atlas 便能理解该位置的世界样貌。
Ben指出，与以往依赖单图输入或首尾帧插值的视频模型不同，Atlas 的关键在于 空间依据。在 Atlas 中，每张图片都关联着一个 三维相机位姿，这意味着模型可以以极高精度完成重建。如果输入房间的四个视角，Atlas 能精准复现所见内容，而非像传统视频模型那样依靠文本提示词进行“拉老虎机”式的随机猜测。这种架构允许用户通过精确摆放图像位置和相机运动，构建出具有明确意图的运镜穿梭。
在架构上，Atlas 实现了 生成与重建的统一。历史上，3D重建是计算机视觉中独立的子领域，而生成则是扩散模型的强项。Atlas 首次将这两者融合在同一模型中，支持 原生多模态输入：文本、图像、视频以及作为原生输入的3D相机位姿（表现为深度图）。李飞飞强调，这是半个多世纪以来首次将像素生成和像素重建统一起来。通过锚定视点估计，Atlas 解决了空间几何理解这一基本问题，为迈向 空间智能迈出了艰难但重要的一步。
“这是我们第一次把像素生成和像素重建统一了起来……这是一个非常优雅的模型，它通过锚定试点和试点估计，把重建和生成这两个问题结合并统一了起来。”
从稠密到稀疏：技术演进与规模化
World Labs成立两年半，此前发布的 Marble 模型主要输出高斯泼溅（Gaussian Splatting）形式的3D世界。虽然高斯泼溅易于渲染且兼容游戏引擎，但将其作为唯一输出模态构成了瓶颈。Atlas 重新设计了架构，让不同模态在模型内部更统一地协同工作。新视角预测成为最基础的机缘，它既可以生成RGB视频，也可以生成3D结构。当需要时，Atlas 仍可输出高斯泼溅世界；但当不需要时，不再受限于该表征。
Ben作为 NeRF 的创造者，分享了从 稠密重建到稀疏化的技术路径。在早期研究中，为了获得高质量的3D重建，必须要求场景中每一个角落至少被三四个视角拍到。这种 稠密重建 类似于科学或医学成像，极度繁琐且耗时：扫描一个普通房间可能需要拍摄100至300张照片，甚至花费数小时。这种数据驱动的重建与人类直觉中的“脑补”存在巨大鸿沟。
Atlas 的目标是将这一数量级降低 50到100倍，从数百张照片降至约三张。这种转变彻底颠覆了重建逻辑：用户可以使用现有的现成图像、网络素材甚至随手拍的视频进行场景构建。这一进步源于对 暴力扩展（Brute-force Scaling） 威力的信念，即在微小规模上验证稠密重建的可扩展性后，逐步迭代出能高效处理稀疏输入的最终架构。
“我们想做的是把它降到大概三张……关于什么样的拍摄素材能用来做重建的逻辑就彻底被颠覆了。”
从稠密采集到稀疏重建：五十倍的效率革命
传统空间智能的重建过程极其繁琐且耗时。例如，扫描一个多房间环境往往需要花费两小时进行密集拍摄以获取足够覆盖率。稠密采集意味着仅为了重建一个房间，可能需要拍摄一百、二百甚至三百张照片。而 Atlas 的目标是将这一数量级降低至三张左右。这种从数百张到个位数的转变，代表了拍摄素材逻辑的彻底颠覆，实现了五十至一百倍的效率提升。这使得利用现有网络图像、随手拍视频甚至旧素材进行高质量 3D 重建成为可能。在开发过程中，团队尝试将过去无法用于重建的旧素材输入系统，甚至丢弃 95% 的照片后仍能通过模型“脑补”出传统 NeRF 或高斯泼溅无法生成的视角。官网演示中，仅用 3 到 25 张地面角度拍摄的照片，就能重建出斯坦福主方院的鸟瞰视角。尽管输入照片来自地面，但生成的所有细节均严格遵循重建规律，展示了生成与重建结合的潜力。
我们说的是减少五十到一百倍，到了这种量级，关于什么样的拍摄素材能用来做重建的逻辑就彻底被颠覆了。
生成与重建的融合：超长上下文下的空间一致性
传统三角测量要求从多个视角观察同一点，导致未拍摄区域在 3D 重建中形成空洞。因此，模型必须引入生成机制来填补这些不可避免的空白（如麦克风底部、桌底缝隙）。这本质上是一个带有超长上下文的生成过程。正如语言模型（LM）通过扩展上下文长度提升性能一样，图像和视频领域此前缺乏对长序列视频检索能力的探索。Atlas 通过构建可平滑扩展的上下文窗口，解决了这一难题。与上一代产品 Marble 不同（后者受限于无法输入过多图片），Atlas 能够处理 64 张照片并生成整套房子的漫游效果。其核心机制是：将稀疏的真实拍摄作为锚点，利用自回归模型生成其余视角，再结合传统重建技术确保3D 一致性。用户可交互式地选择输入照片，模型则像虚拟摄像机一样生成连贯的漫游路径。尽管扩散模型在视觉上表现优异但精度存疑，团队凭借对扩展假说（Scaling Hypothesis）和下一点预测的坚定信念，成功实现了首轮预训练即可跑通新架构的目标。目前该模型主要受限于算力瓶颈，而非数据或规模本身。
重建其实就是带有超长上下文的生成，你往里面塞了大量的东西……这才是真正建立这种连续体，把这两件事儿连接起来的途径。
应用场景拓展：从创意工作流到机器人仿真
Atlas 的应用价值体现在对现有工作流的简化与增强。在创意领域，用户常需经历多阶段流程（图像生成、视频拼接、后期剪辑），且面临不同视角下物体位置不稳定的痛点。Atlas 提供了3D 一致性锚点，允许用户在虚拟空间中持久化地编辑和交互场景元素。这种能力对于建筑、施工及展会展位设计至关重要，因为传统 3D 软件修改流程耗时且缺乏直观性（如将口头反馈映射回模型需耗费大量人工）。Atlas 能够大幅降低这一环节的摩擦，支持从粗略草图到精确虚拟复刻的快速迭代。
在机器人领域，Atlas 是连接 Real to Sim（真实到仿真）的关键拼图。收购的 Synyx 团队此前依赖痛苦的稠密重建来构建训练环境，这严重拖慢了仿真迭代速度。机器人策略的训练需要大量数据及随机化场景（如电线弯曲方向、物体位置变化），而真实世界数据采集极难。Atlas 能够高效生成多样化的仿真环境，解决数据稀缺问题，从而加速机器人策略的训练与部署。这一技术不仅服务于布线等特定任务，更旨在解决当前机器人领域最核心的数据瓶颈。
从静态重建到动态世界：Atlas 的架构演进与数据策略
在机器人领域，Real-to-Sim（真实到仿真） 的数据获取至关重要。由于收集机器人在真实世界作业数据极其困难，且需要对环境进行随机化处理（如改变电线弯曲方向、盒子尺寸与位置等），仅靠互联网数据无法满足需求。Atlas 作为全模态模型，不仅能接收多种输入并生成输出，其架构从根本上支持动态内容。虽然之前的 Marble 模型受限于静态架构无法处理动态，但 Atlas 在预训练阶段已接触大量动态数据。尽管当前发布版本的后训练（Post-training）侧重于静态空间移动以优化三维重建，但模型内部已蕴含潜在的动态能力。这种从“完全静态”到“包含动态”的架构转变，解决了传统仿真中难以规模化获取纯静态数据的痛点，为未来生成可交互的四维视频世界奠定了基础。
神经仿真器与“AI 完全”：新视角预测作为智能的元语
训练机器人策略与传统 AI（如生成代码或图片）有本质不同，因为机器人必须在真实世界中应对不可预见的突发状况。因此，仿真不仅是测试场，更是训练核心。除了传统物理引擎建模外，数据驱动的神经仿真器成为关键方向：通过训练模型理解世界对动作的反应，使其既能作为策略训练的试验场，也能直接转化为规划器。这引出了“AI 完全”（AI-complete）的概念，类比于图灵完备性。正如 Next Token Prediction 是 LLM 的 AI-complete 任务，新视角预测（Novel View Synthesis） 则是空间智能的 AI-complete 元语。因为只要解决了“在移动中预测新视点”这一进化赋予动物的核心能力，就能约化并解决绝大多数空间智能问题。