在通往空间智能的路上，生成真正具备空间上下文、落到实处的像素，这就是 Atlas 跨出的非常艰难的一步。我可以在里面走动吗？昨天是个大日子，你们发布了一个新的前沿模型。反响特别好，现在好评还在不断涌来。我觉得聊这个话题可能比较好的方式是先具体讲讲那到底是什么，然后我们再回顾历史，一路顺着梳理上来。Justin，要不你先讲讲昨天发布了什么，以及为什么它很重要。
好，LLaS是我们新一代的世界模型，它有三个基本能力，它可以生成、重建以及模拟这个世界。在这当中包含了几个不同的主要功能，它有非常出色的相机条件生成能力，所以你可以输入一张图片，再加上相机轨迹，去引导这个模型。让它按照你想要的任何视角生成视频帧。它非常擅长稀疏三 D 重建。你可以输入一帧或者多到一百帧现实世界的视角画面，用它们来重建现实世界。
这种重建既可以是穿梭在这个空间里的全新视频，也可以是该空间的显示三D重建。最后，它还可以用来做模拟。针对这一点，我们展示了那些超酷的子弹时间视频，在网上吸引了很多关注。另外，还有机器人模拟。什么是子弹时间视频？子弹时间视频，这个出自《黑客帝国》第一部。《黑客帝国》电影里有个著名的镜头，尼奥好像要倒下去。
记得那个名镜头里，他像是要倒下去，画面是慢动作，镜头在飞速移动，绕着整整转了一圈。他们当时拍那个镜头的做法，就是围了一圈，大概几百台相机。他在影棚里往后倒的时候，他们用几百台相机在绿幕前对着那个角度拍，然后用这几百上千台相机做出了《黑客帝国》里那个著名的镜头。但现在用 Atlas，我们最少只要三台相机就能做到，不需要影棚拍摄，不需要绿幕，也不需要昂贵的校准。
我们真的只要把三台 iPhone 架在三脚架上，用来拍一段正在发生的事情，比如有人投篮，有人把草莓扔进牛奶碗里，然后光靠这三段 iPhone 视频，我们就能重新构图。想象一下，让时间静止，在牛奶溅起的一瞬间，让镜头飞过去。拍出这种令人惊艳的时间定格画面，我们只用几台相机就能做到。你能用最简单的话概括一下 Atlas 是做什么的吗？
比如输入什么，输出什么？好，阿乐最核心的原则之一，最根本的一点就是它做的是新视角预测，这是一个非常基础的元语，我们觉得非常让人兴奋，是基础模型里前所未有的全新元语，对吧？我们知道大语言模型是建立在 next token prediction 之上的，我们也看到视频模型是建立在 next frame prediction 之上的。
而 Atlas 做的其实是新视角预测，对吧？只要给出某个场景的几个视角，或者对这个场景的描述，这些就会进入我们所谓的空间上下文，隐式的描述出我们想探讨的到底是一个怎样的世界。然后你可以在时空中的任意一点放置一台虚拟相机，Atlas 就能理解从时空中的那个位置看过去，世界应该是什么样子。Ben，现在市面上有无数的视频模型，都声称自己是世界模型，都声称能做新视角。
你能更具体的梳理一下，这和之前出现的无数模型到底有什么不同吗？对，我觉得Justin刚才提到的空间上下文这一点。在这里非常重要。现在有很多视频模型，很多视频模型其实是靠单图输入或者首尾帧插值一举成名的。现在我们开始看到一些模型能用二十三十五十张图片做这种全方位的参考。但 Atlas
的关键在于，你输入给它的每一帧其实都有某种具有空间依据的意义，所以它不只是一张让模型随心所欲去理解的图片，你也不用在文本 prompt 里去跟它较劲，好让它做出某种特定的效果。
在 Alice 里，每张图片其实都关联着一个三维相机位姿，这意味着你可以以极高的精度来完成重建任务，对吧？所以，如果我们有这个房间的四个视角，每个角落各一个，你可以把它们输入给模型，然后完全复刻出你在房间里看到的一切。它不会去瞎猜另一个角落里有什么，比如物体之间的关联。它只会精准复现你给它的东西，而且你也可以在创作或想象的层面上这么做。
如果你从不同的 AI 生成内容或现实场景中取两张照片，你完全可以摆放并编排它们，构建出这种带有明确意图的运镜穿梭，完全由你放置内容的精确位置以及相机要看哪里和怎么移动来决定。我觉得这非常不一样，不像现在的视频模型那样，往往像拉老虎机一样，只能靠那种更高维度的文本控制，一次又一次的反复去抽。这只是传统视频模型显而易见的大号放大版，还是说它是一种全新的架构？
我觉得它是一个挺新的东西。原因有这么几个，我们聊到的其中一点是，它在同一个模型里同时做生成和重建，就像班说的，这东西可以接收这个房间的几个视角，然后把你看到的这个房间里的一切精准重建出来。而在历史上，重建在计算机视觉里一直是一个独立的子领域，有它自己专门的任务，有自己专门的模型。而生成则是所有文本、所有文生视频模型真正擅长的，就像过去几年我们看到的所有大型扩散模型那样。
那些模型在创意应用上非常棒。我想想象一个以前从未存在过的东西，但现在有了 Atlas，我们第一次把视觉智能的这两个不同部分融合到了一个模型里，让它能在同一个架构下同时做 3D 重建和生成。为了做到这一点，我们必须做出几项改变。一是我们必须从一开始就把它做成多模态的，所以这东西原生支持文本、支持图像、支持视频，它也原生支持把相机位姿作为模型的原生输入。
我觉得在预训练阶段以前，从来没有人这么做过。而且它把 3D 作为自己原生支持的一种模态，所以这东西从一开始就被设计成了原生多模态。我觉得其他人都没有做到这种程度。不好意思，我对这个领域不是特别了解。你说的三D是指像深度图，还是模型，还是指这是什么意思？好，我们目前采用的表述形式是深度图，对吧？所以现在你有一帧画面，里面有一台虚拟相机，标出了它在三D空间里的位置。
那个相机位置和相机参数就是模型的原生输入，然后附带在那个相机位置上的，你可以有 RGB 图像来告诉你空间中的那个位置长什么样，也可以有一张深度图来告诉你那个位置在三 D 空间中的空间结构。这样一来，文本、图像、视频、三 D 相机就成了多模态输入，它把这些模态全都结合在一起处理。我想补充一点，因为我觉得 Justin 刚才说的其实太重要了，Ben 说的也很重要，但他被低估了。
这是我们第一次把像素生成和像素重建统一了起来。在计算机视觉的世界里，这个领域已经存在了半个多世纪。我坐在这里，在这个领域待了几十年，我都数不清有多少篇博士论文是专门研究重建或新视角合成问题的。而且传统上，我们这个领域有好几个赛道。你去参加一个计算机视觉会议，有像素生成赛道，有识别赛道，还有三D重建赛道。
而这是一个非常优雅的模型，它通过锚定试点和试点估计，把重建和生成这两个问题结合并统一了起来。这真是无比强大。你能，我们能不能退一步？然后也许你先梳理一下，你们刚创立公司的时候，我记得你说过你们想做空间智能，对吧？而现在我们有了这个新模型，感觉我是说作为一个外行，我觉得它非常通用。我们有下一个预测，而这个是下一个新视角预测，新视角预测，对吧？
对。所以你能拿到一个视角或一组视角，然后得到一个新视角，你能不能勾勒一下这怎么就成了迈向空间智能这个通用问题的重要一步？也许可以先从描述什么是空间智能开始。空间智能最终必须让我们既能生成空间的内容，能在其中推理，还能在其中进行编辑和交互。现在我们可以争论它是三D还是四D，归根结底加上时间维度它是四D，但哪怕仅仅是三D，这些也是人们必须要做，或者空间智能必须去支持的基础任务。
然后我们再说，有了它，你就能渲染、能模拟、能规划动作。但要做到这些，一个要解决的基本问题就是理解空间的几何结构和物理规律。而我确实认为，Atlas是向前迈出的重要一步。因为现在对于每一帧，你都能生成和估计出一项重要的信息，也就是视点相机位姿，那是关于空间几何最关键的信息。而且它能带来我们在模型的下游看到的那些涌现行为，我们已经在播客里展示过了。
所以在通往空间智能的道路上，生成像素确实是一个早期步骤，这我们在无数的模型里都已经见过了。但是，生成真正具备空间语境和依据的像素，绝对是另一个重大步骤，而这正是 Atlas 前出的非常艰难的一步。我们肯定还有，我们完全可以在这里继续往下走，对吧？比如还有时间这个第四维度，它会引入动态，而且还会有更高保证度的空间模拟与刻画。
所以这是空间智能路线图的一部分。太好了，我是说我肯定很想深入聊聊它的发展方向。但首先，也许我们先聊聊是怎么走到这一步的。World Labs 成立多久？两年了。半两年半，两年半对。那你们其实之前就发布过模型，那为什么不直接一步到位做Atlas呢？问得好，它太神奇了，对吧？Justin 的团队需要很多芯片。
是的，要把这东西真正做大，需要大量的 GPU。去年我们发布了 Marble 世界模型，那是我们推出的第一个大型主力世界模型。它支持着我们目前的 Marble 产品。Marble 真得很酷。Marble 可以接收图像，可以接收视频，可以接收文本提示词，并用这些来生成 3D 世界。但 Marble 和 Atlas 之间最大的区别之一，恰恰就在于输出模态到底是什么。
Marble当时其实非常聚焦于把高斯泼溅作为输出表征，所以无论你输入什么，它都会输出一个以高斯泼溅形式表现的三D世界。高斯泼溅非常有用，对吧？它们非常不错，很容易渲染，在移动设备和VR设备上都能高效渲染。它们可以与其他游戏引擎、仿真引擎互操作。高斯坡建有很多优点，但我认为这在之前的 Marble 模型里算是一种瓶颈。
所以我们在 Atlas 上做的是稍微重新设计了一下。我们意识到我们需要更早的分流这些模态，让所有这些模态在模型里以一种更统一的方式协同工作。所以现在到了 Atlas。最基本的机缘就不再是一个高斯泼溅世界了，就像我们说的，最基本的机缘是新视角预测，它可以生成 R G B 真，可以生成三
D。当你需要的时候，我们也可以用它们生成漂亮的高斯泼溅世界，但当我们不需要的时候，就没必要把输出卡死在高斯泼溅这个瓶颈上了。
为了搞清楚这些不同表征各自的优缺点，确实付出了很多心血。对，这是其中一方面。另一方面就是你得一步步往上扩展规模，对吧？你得一步一步往上做，做更小的实验、更小的模型，去建立起对什么能行、什么能扩展的信心。要是你能立刻知道什么东西能扩展，那你直接做就是了。但我们刚创办公司的时候，外界的环境跟现在大不一样，当时根本没有空间智能的 scaling law。
没错，我们创办公司那会儿，整个环境大不一样，技术也处在完全不同的阶段。我们对它的走向有很多雄心，但也经历了几次迭代，才最终敲定了这种我们觉得确实可行的形式，觉得就是它了。这个方向是能扩展开来的。Ben作为NeRF的创造者，你做了很多3D和重建方面的工作。对我来说，有了多个视角，就能真正弄出一个3D的东西，这并不是那么显而易见的。
但你整个人生基本都在做最终弄出一个三D的东西这件事。我们对它的走向有很多雄心，但也经历了几次迭代，才最终敲定了这种我们觉得确实可行的形式，觉得就是它了。这个方向是能扩展开来的。所以能不能稍微聊聊这中间的那一步？所以能不能稍微聊聊这中间的那一步？好啊，就像你说的，我职业生涯花了很多很多年，绝大部分时间其实都在研究怎么从图像生成三D。
这其实也是我们在公司早期经常讨论的问题：这到底会不会是生成三D的正确路径？对吧？我们是要合成多个视角，再由此构建三D吗？还是说我们要尝试直接生成三D？这个领域里一直有很多不确定性，大家不知道哪种方法会胜出，或者哪种能在早期占得最大的先机。但我确实有很强的信念，主要是看到了我几乎称之为暴力扩展的威力。
那是在非常非常初期的微小规模上的扩展，不是真正的模型扩展，而是过去三年我们看到的稠密重建的扩展。基本上我们发布了。为什么是稠密重建？叫稠密，对，稠稠密，因为我知道后面要聊到稀疏，我想确保大家能明白什么是稠密，什么是稀疏。好的，我觉得，即便在商业化和业务层面上，这也是从底层把 3D 重建技术做成产品的一大难点，对吧？
大家往往不太平常，大家会觉得，我拍了这个物体的三张照片，或者这个房间的六张照片，我看这些照片，脑子里能想出他们是怎么拼在一起的，我能脑补出来。但这种纯靠数据驱动的鲜艳和那种硬算出来的稠密重建之间，其实从来就没能真正调和过。而我们在稠密重建里做的事儿，其实更像是科学或医学成像，对吧？你基本上必须要求，我想要重建里出现的每一个角落，都至少得有三四个视角拍到它。
如果你想想看，哪怕只是这个房间，对吧？麦克风底下、桌子底下每一处缝隙、角落、植物叶片之间，对吧？要真正拍出一套能覆盖每一个角落的照片，你得绕着房间走，这是一件非常繁琐、极度费力的事情。我想你们都见过我到处跑着去采集各个地方。对，对于受过良好训练的人来说，可能需要几分钟；但如果你随便给一个普通消费者，甚至是一个第一次尝试干这个的专业人士，一台普通的手机或采集设备，他们大概得花一个小时。
我见过有人第一次尝试扫描多房间的环境，花了两个小时在里面走来走去才拿到足够的覆盖率。那真的是个非常非常繁琐且耗时费力的循环。所以，我们说稠密的时候，那是真叫稠密。就像这个房间，我得拍大概一百张照片，极多的照片，对吧？要拍下这个房间，我需要一百、二百甚至三百张照片。而我们想做的是把它降到大概三张。三张，对吧？
哇，我们说的是减少五十到一百倍，到了这种量级，关于什么样的拍摄素材能用来做重建的逻辑就彻底被颠覆了。你可以回过头用已有的现成图像，可以用网上的素材，甚至用那些直接把场景建出来，你可以用随手拍的视频。发掘出大量过去我们根本不认为能拿来做重建的素材，回头把它们变成生动的三D。在做Atlas的过程中，我们一直在反复尝试这种事情，对吧？
比如拿旧素材来说，我把自己以前拍的一大堆根本建不出来的旧素材放进系统。然后差不多第一次看到了重建结果，或者拿我以前拍的素材，扔掉百分之九十五的照片，去脑补出以前用Nerf或高斯泼溅这类传统重建根本不可能得到的视角。官网上那些 demo 里有个大家没怎么注意到的地方，就是斯坦福那个，对，那个 demo 里，般展示了大概在三到二十五张张图片之间，就能把整个斯坦福的主方院重建出来。
但关键在于，我们展示时必须用鸟瞰视角。可输入的每一张照片都是 Ben 站在地面上，从地面角度拍的。你看到的所有东西都是生成的，但又完全遵循重建的规律。这太神奇了！这里就是生成和重建需要相互结合的地方，要从根本上解决这个问题。因为按照 Ben 刚才说的那种经典重建逻辑，之所以需要那么多视角，是因为需要多张图像，要在三 D 空间里对这个点做三角测量，得从多个视角看到它。
这意味着，在传统版本里，这是必须的。反过来说，凡是在这些视角里没拍到的东西，比如在任何一个输入视角里都不可见的像素，在三D重建里就会变成一个空洞，因为从本质上讲，如果某个东西在输入视角里没出现，你就必须靠想象来填补这些空白。而这根本上就是一个生成过程，所以哪怕就在这个房间里，就算我们让 Ben
拿着单反放开拍拍上几百个视角的画面，哪怕是全世界做这种稠密采集最顶尖的专家，也依然会漏掉一些角落，比如他不可能拍到所有麦克风的底部，或者所有桌子的底下，或者所有椅子腿之间的缝隙。
无论你拍了多少个视角，总归会漏掉一些东西。这就需要在模型里把生成作为另一种机制，因为你不可能把所有东西都拍全，所以模型必须具备一定的生成能力去脑补。根据目前看到的内容，先对能看清的做三角测量，再去填补那些不可避免没拍到的空白。对，而且这里面有个特别酷的地方，LM早就深刻理解这一点了，对吧？前几年差不多一直在打这种上下文之战，当时大家都在说我们做到了一百二十八、二百五十六到五百一十二，再到一百万，对吧？
现在大家在很实在的层面上都理解了，当你用代码模型的时候，把上下文长度拉到最高是有价值的，这是个难题。大家对此都有感觉，但在图像和视频模型这边，根本没有人以同样有章法的方式去推这个方向，根本没人去试着把一段长达一小时的视频放进去，大海捞针般去检索第三十三十七分钟某一帧的画面。而在重建生成这边，其实是完全一样的事情。
重建其实就是带有超长上下文的生成，你往里面塞了大量的东西，对吧？这才是真正建立这种连续体，把这两件事儿连接起来的途径。像 Atlas 能够做到的，这是我们以前用 Marble 永远做不到的事儿。Marble 有个根本的阻碍，就是说实话你根本塞不进超过几张的图片。但用 Atlas，我真的可以拿一组六十四张照片的素材，做出一整套房子的漫游穿梭效果，所有东西都有据可依，要么是看到的，要么是快看到的。
要么是根据没看到的部分稍微推断出来的，但你能拿到的是我把自己以前拍一套多房间房子用的两千张照片直接砍到大概三四十张输入，而漫游看起来基本上一模一样，这在以前是完全无法想象的，而这一切都得益于构建了这种可以平滑扩展的上下文窗口，你可以把东西一股脑塞进去。那理解的方式是不是这样？稀疏的部分是你实际拍下的照片，然后 Atlas 作为模型生成剩下的所有视角，接着再用传统的重建技术，大概可以这么理解吗？
还是？某种意义上来说，对，是的，我是说，这就是 Atlas 的妙处。无论你有多少张输入，哪怕只有单重视角，你几乎都可以把 Atlas 当作这个渲染引擎去生成你想要的任何其他东西，对吧？你可以在里面漫游，就像一个虚拟摄像机。对，没错，你完全可以说。好，我这里有一张照片，我想那儿、那儿还有那儿的照片，你可以生成几张这样的，然后组织出一段稠密的漫游穿梭。
你可以按顺序一步步做，因为它是一个自回归模型。这完全取决于你在生成的过程中，你可以交互式的挑选要把什么加进上下文里，对吧？让我大开眼界的是，听着。我脑子里的理解模型非常简单，我有四张照片，然后我得让模型在它们之间做推断。而且当你掌控视角时，它还得严丝合缝，它必须是3D的，因为我总觉得这些扩散模型在视觉上很棒，但并不精确。
我都不知道这算不算一个问题？怎么能做到让整个房间严丝合缝的？它是怎么保持3D一致性的？单纯是因为数据量大吗？还是？部分原因是对扩展假说的信念，对吧？你懂的，全凭信念。顺便问一句，不过我必须得问，你们刚开始做这事儿的时候就知道它一定能成吗？我当时挺有把握的，好吧？什么？你确定能成？我觉得我们三个人对 scaling 模都有十足的信念，这一点我觉得我们确实有。
我确实觉得具体的架构选择和数据配比才是魔鬼所在的细节。我看着 Justin 和他的团队从我们真不知道这要花多久，到哦，好像有点苗头了。再到哇，这真能成，因为之前没有人做成过。但我觉得那两个假说，一个是scaling落假说，另一个是下意识点预测，这两件事我们很早就有坚定的信念。所以我觉得我当时非常坚信它能成，但我没把握能成得这么好这么快，对吧？
我是觉得我们有可能把这个做出来，用全新的架构和全新的范式去预训练一个新模型，第一轮预训练就能跑通，这本身就不可思议。所以我当时觉得可能得把那个预训练周期多转上几轮，才能达到我们想要的质量水平。那这种架构路线的扩展，我们差不多走到头了吗？我们需要另一次突破，还是说，不不，我们才刚起步，真的吗？是的，在不改变架构的情况下。
对，我觉得我们基本上才刚起步。我觉得我们基本上才刚起步，眼下主要受限于算力，对吧？就像飞飞常说的，数据非常重要，但凡事儿都有瓶颈。我觉得继续扩展这套东西的主要瓶颈其实是训练算力，对吧？在研发过程中，我们训练了一系列模型。我们在博客文章里稍微提过这事儿。我们训练了几个模型，算是沿着扩展阶梯爬了最初几档。
每次我们把模型做大，每次训练更久，每次用上更多芯片，效果都会明显变好。我们在播客里展示的那个模型，显然是我们训练过最大最好的一个，但限制它的并不是规模或者数据之类的，纯粹是因为我们当时有个发布截止日期，所以倒推出来在那之前能负担得起多少训练量。不过这里有个内部小故事，对吧？Justin和团队当时从比较小的模型训到稍大一点的，做着这些路线图规划。
然后在夏天初夏的某一天，那时候的模型甚至还不是现在Atlas的尺寸，是个更小的模型。然后Ben把数据喂进试点生成，还记得那张著名的桌子吗？就是NeRF论文和好多论文里的花园桌子。那天半夜，我收到一条 Slack。我是说，我们都看到了 Ben 发来的 Slack。我们的视角直接从桌子底下穿过去了。旁边还有个足球。
对，还有个足球。那个足球是模型涌现出来的，还是原图里就有？它本来就在，是真实存在的，对吧？好吧，那天早上我们三个人面面相觑，说成了就是这个，我们要把这个做出来。我们五秒钟之内就做了决定，因为这种效果之前根本没人见过。Ben，你能更具体的讲讲应用场景吗？World Labs之前一直有很多创作者用户，他们用来做比如一致性，不管是二D图像、电影还是三D和游戏等等。
那你能不能讲讲这怎么拓展了用力，或者怎么满足现有用力的需求？然后我们其实还可以聊聊机器人。行，没问题。其实这事儿还挺有意思的。我们之前看到大家用 Marble 的一种主要方式，正好就契合了这个新视角预测的用力。Marble 是你们上一代产品。不好意思，对 Marble 是我们上一款产品，大家会拿那款产品放一张图进去，拿到一个高斯泼溅格式的完整 3D 场景，从几个不同视角截几张图就走人，对吧？
我们就觉得其实我们可以直接生成这些图，那都是数据问题，对吧？所以我觉得这里面有挺多画质损耗的。他们会觉得泼溅的效果还可以更好看。我们就想，那要是我们直接用生成式方法去对那些试点建模，同时保留一模一样的控制方式呢？所以我觉得，光是视角合成这个核心能力，在学术界就已经是一个研究了很久的问题。但在做这种非常稠密的采集这个意义上，生成式视角合成其实是一个相对挺新的课题。
而且我们看到，很多人在创意工作流里，大家走的是多阶段流程，对吧？我觉得没有任何一个人只靠一个单一的大模型，甚至连 CLIPs 之类的都不算，就能搞定全流程任务。大家会一堆分镜和情绪板。这些图是从他们最喜欢的一批图像模型里挑出来的，然后他们会转到不同的视频工具里，把这些拼成关键帧。之后再去剪辑和后期，对吧？
所以当时我们看到 Marble 有这么一个算不上主流，但非常具体的用力，就是提供一种踏实感，让你能把生成的内容锚定在某种三 D
一致的世界里，对吧？大家，我跟各种图像模型较过劲，让他们给我一间房子的不同视角，每次只要一看就会发现东西变位置了，它不稳定。我觉得哪怕只是这么一颗小小的用力种子。其实也释放出一个信号，这里是有价值的，而且在表象之下，几十年来大家早就习惯了持久化的三 D 状态，在虚拟世界里模拟自己在现实里会做的事儿。
有一个舞台，有道具，上面摆着各种元素，不管是为了拍电影、做节目、拍宣传片，还是搭建游戏环境，这种带状态和持久性，对大家理解空间推理以及随时间演变一个环境来说太关键了。大家思考是不是那种转瞬即逝的逻辑，生成一个东西，再生成一个东西，然后扔掉。只留着文本 prompt，大家是想搭建这么一套资产库，按那种方式去构建一个世界。
所以，我们想提供的还是借助空间上下文机制这些东西。我们想提供那种程度的控制力和精准度，以及接入不同模态输入的能力。从带位姿的图像起步，但往后我们想让大家对自己看到的场景里的元素有更多控制权，包括编辑、交互等等。我觉得这不仅能在我们已经看到的那些领域解锁更多用例，还能拓展到任何大家想对需要建造的现实空间做虚拟复刻或者做前期构想的地方，对吧？
比如建筑和施工。我之前跟一个做展会展位的人聊过，对吧？世界上有太多你平时想不到但需要制造出来的东西。而这里面的每一件，基本都要经历一段相当费劲的虚拟设计阶段，而在那个流程里，进入三D软件的那部分，目前算是最费力、最耗人工的环节之一。比如，根据口头意见、草图，或者从创意总监、设计总监、建筑师那里拿到的一些非常粗略的东西，去修改三D设计。
把这些意见再映射回三D表征里，大概就占了百分之九十五的工作量，对吧？开个会拿到反馈，回去就得改上一整个星期。对，这纯粹是因为我们的软件到现在差不多有几十年历史了。它从来没有变得像玩乐高、做陶艺、用手操作或者拿铅笔画草图那么直观，而这正是 AI 真正能帮大家在流程中释放巨大价值的地方。不管是创意类应用，还是偏工业设计之类的事情，这真的很激励我去把我们的模型做成不同的版本，来满足这部分人的需求。
对，我能理解他怎么帮到创意人群，因为 Marble 之前就是干这个的，也能理解这怎么延伸到设计或建筑之类的领域。但费费，你们收购了一家机器人公司，所以这就没那么成问题。我们两周前才聊过这事儿，我知道，但我看不太出来，特别是在 Atlas 的语境下，这怎么跟机器人联系起来？所以能不能麻烦你给大家梳理一下？
好，啊，其实 Atlas 是拼图里非常关键的一块。我们收购的这家公司以前叫 Synyx，他们的核心技术是什么呢？目前他们的核心技术是一套从 Real to Sim 再到 Sim to Real
的系统。在机器人领域，这意味着什么呢？你想训练机械臂，让它学会怎么布线，比方说在工业环境里，你首先需要一大堆数据来训练机器人策略，让它学会做布线这一套动作，然后你要评估这个机器人策略做得好不好，最后再把机器人部署到布线环境里。
为了做训练，Cynex这家公司，也就是我们现在的机器人团队，以前做的事情跟Ben刚才说的一模一样，就是稠密重建。你拍下一处场景的照片，然后去尝试重建那个环境，这个过程极其痛苦，耗时很长。非常费人工，而且它严重拖慢了机器人仿真的迭代速度，也就是 real to sim 这块，对吧？所以 Atlas 真的是面向那个环节的下一代技术。
而且这绝不仅仅是针对机器人布线之类的场景，我们应该把视野放宽，认识到目前机器人领域最大的难题其实是数据，以后迟早会变成芯片，但目前先这样。怎么说？就是数据问题，因为要去收集机器人在真实世界中作业的数据太难了，而且你不仅得收集，比如布线或洗碗之类场景的数据。还有一个非常重要的步骤叫随机化，也就是你必须针对同一个环境，把各种条件随机化。
这样电线就不仅能往这边弯，也能往另一边弯，或者盒子的尺寸、颜色、盖子可以各不相同，出现在场景的不同位置。所以，除了从互联网获取的其他数据之外，你必须通过 real to sim 这个过程来拿到足够多的这类数据。那这个 real to sim 的步骤，Atlas
确实能帮上大忙。这也仅仅是第一步，也就是用现有技术满足机器人的需求，因为我们目前还没有一个足够稳健能直接用在机器人上的前沿基座模型，但 Atlas 是一个全模态模型，一个多模态模型，它能接收不同类型的输入，并生成不同类型的输出。
你完全可以想象，下一步就是 Atlas 接收动态数据，那就能真正开始打通动作规划机器人技术与 Atlas 输出之间的鸿沟。所以这都在路线图上。你刚才是不是想说什么？对，我刚才想说，训练机器人策略这件事儿，跟我们之前见过的几乎所有其他 AI 应用相比，都有本质上的不同。那就是，如果你是在生成一段代码、生成一张图片或者生成一段视频，模型从根本上说是在创造一个制品。
而关于这种制品，你可以去网上或者别的地方收集到大量的现成样本，对吧？你想生成图片，外面有大量的图片；你想生成视频，外面有大量的视频；你想生成代码库，外面也有大量的代码库供你学习。但机器人策略是完全不同的东西。它产出的不是一个静态的东西，它是一个要走进真实世界、采取行动、努力去达成目标的策略。而这个世界的反应并不总是符合你的预期，对吧？
意料之外的事情总会发生，所以机器人策略本质上就是一个在真实世界里跟现实互动、面对各种突发状况的
agent。其中很关键的一部分就是这些策略在训练期间必须接触到部署过程中可能出问题的每一种情况。这就是为什么仿真对机器人来说至关重要，对吧？那针对这个有两个切入角度，一个是那种传统的仿真，你可以打开你常用的物理引擎，作为人类设计者去发挥创意，想象在完成这项任务时可能会发生的所有情况，然后尝试写出明确的代码，把它们全部建模出来。
这是一个角度。而且在代码 AIGC 的加持下，这个方向其实也会变得非常强大。但还有另一个角度，就是尝试做更多数据驱动的仿真，对吧？比如我们能不能训练一个模型，让它能理解环境、理解世界，会对动作做出怎样的反应？而且有时候可能还会做出出人意料的反应。那我们能不能用尽可能多的数据去训练这些神经仿真器，然后把这些学出来的神经仿真器当做训练机器人策略的仿真试验场？
这是 Atlas 一个非常有意思的未来方向，但还不止于此，对吧？一旦你有了这个学出来的仿真器，它在脑子里基本上就已经理解了这个世界，理解了世界会对动作做出怎样的反应。那为什么仿真器本身不能直接变成规划器呢？对。对吧？这就是我们围绕世界模型及其通用性所持的核心论点。一个模型要想生成世界、模拟世界、理解他们在不同场景下的样貌，就必须掌握一些核心的东西。
而理解世界对某种动作会做出什么反应，跟想象出我需要采取什么动作才能让世界产生特定反应，这两者是高度相关的。Then.我收到了一个反馈，顺便恭喜你们发布，评价是压倒性的好评。我觉得这可能是今年最重磅的模型发布了。我听到的全都是赞美。不过我发短信问过一位这个领域的专家，问他觉得怎么样，他说东西很棒，非常棒，太神了，但还需要更多动态效果。
所以看来，至少在机器人领域是这样。但总的来说，能拥有一个会动起来的世界，其实挺理想的。那能不能多聊聊这方面，以及你们方便分享，同时觉得值得探讨的其他未来方向？好啊，动态效果显然是必然会有的。我们已经有雏形阶段的动态了。其实我们已经有这种雏行动态了，我觉得大家可能还没太注意到这点。我们在博客里确实没怎么强调，但之前的
Marble 世界模型从根本上就是完全静态的，那个模型根本就处理不了任何动态，这从模型架构、训练方式上就写死了，整个东西本质上就是静态的。
做完 Marble 之后，我们就知道这是个大问题，而且在 Atlas 里就已经把它解决了，对吧？对。Atlas 架构从根本上就已经支持动态了。Atlas 的训练数据本质上就包含动态。如果你仔细看我们发出来的几个视频，其实里面就有。我看到了。水波有有一点点，对水波水里的波浪，对，比如有些例子里水面有波浪，还有几个生成的俯瞰视角里有小汽车在开来开去，所以这个模型里其实已经有动态了。
不过顺便问一句，如果要从多个视角做三维重建，动态效果，在我看来好像非常棘手，确实棘手。对吧？所以这两者是有冲突，还是说没有？其实我们在这里的一个核心论点是：如果要做好最根本的三维重建，你其实希望完全没有动态。你会希望在时间完全静止的状态下，对场景的精确视角进行建模，但这其实正是我们之前 Marble 方案的一个痛点，对吧？
在那种做法下，你可以试着去找完全静态的数据，但那很难 scale，也很难拿到更多。而我们意识到的事情是，哪怕我最终要的是静态输出。最好的获取方式反而是让模型去接触动态数据，对吧？就是把你手头能拿到的动态内容、静态内容尽可能多的喂给模型。让模型自己去搞清楚怎么把动态部分剥离出去，所以尤其是在，哦，有意思。
所以在 Atlas 的预训练里，它其实在预训练阶段就已经看过大量的动态内容了。然后我们针对这个 checkpoint，针对这次发布做的 post training，就更多的聚焦在静态内容上，更多的关注空间上的移动，而不是时间上的变化。但是我很确定，这个预训练 checkpoint 本身就已经包含很多潜在的动态能力了，而这正是我们接下来要大幅改进的方向。
那 Ben 这意思说，我们以后会有四维视频吗？你可以走进去到处逛逛。我是觉得，我你看他们脸上的笑容就知道了，所以。所以，我其实能看出来，哪怕你们现在就停下来，只去把规模做大、速度做快、效果做更好，几乎就能撑起一整个行业了。这感觉像是一个非常底层的通用基建。哪怕你们不做别的，但在单纯做大做快之外，针对你们专注的应用方向，也就是更多偏向内容创作和三维这块，还有哪些东西是让你们感到兴奋的？
对，我非常期待把那种多模态的能力推向更深。我觉得不同的控制模式在这一步太关键了。我觉得这一点被严重低估了，尤其是在学术界，大家没意识到给这些模型加上控制条件，把里面的潜能激发出来有多关键。说实话，这种动态与静态的对立，就是我甚至不确定我有没有听懂那些。用大白话来解释，就是不同的可编辑性。我觉得可编辑性才是这里的关键。
对我们已经在单图模型里看到了这种能力，而且从今年开始，视频模型也开始解锁这方面的能力了。也就是能实现多轮交互，或者真正直观的理解。比如我想要这个人、这个物体以及发生这件事，然后把这些全部融合成一个整体，不需要对系统做大量的繁琐手动操作。他自己就能理解，目前前沿的图像模型在编辑方面差不多已经达到这个水平了，对吧？
但我们还没看到它同样强劲的延伸到视频领域，进而延伸到世界模型里，对吧？我们在这些实时模型里看到过一些挺像玩具的例子，比如我输入一句话就会出现一只恐龙之类的。但我想把它提升到真正工业级的强度，把它做出来，因为这里的门道在于你得加入控制。同时又不能牺牲模型的质量，否则它基本上就只是个小把戏而已。你想，如果你给了他们更多调节旋钮，但质量却下降了，没人会认真考虑把他们正在用的前沿顶尖视频模型换成你的模型。
所以我觉得这其实就是一场博弈，我们怎么既能保持当前模型产出所立下的高标准，又能加上大家会找我们要的各种有意思的东西，比如想和场景互动、控制布局、控制我们看到的物体的特征和内容，或者控制时间，对吧？而且我觉得这是一个能打开大量非常有趣的产品和界面工作的维度，你加入的复杂度越深、丰富度越高，就越能让你真正去思考。
如何几乎从零开始重新设计人们在计算机里与这种带状态的三D世界交互的方式？这其实就是终极目标，也就是获得构建那种系统所需的全部能力。太棒了！关于新功能，你还有什么想补充的？让你兴奋但又不仅仅是更大更好的东西吗？我觉得对我来说，我们回到智能的第一性原理吧。在涉及到空间和物理空间时，智能绝不是呆呆坐在那里，只看着某样东西或者解读某样东西，对吧？
它其实是在看、体验与交互之间完成闭环。所以，光是想着顺着那个阶梯往上走，就正如Ben刚才说的。我觉得这里有个很有意思的概念，就是 AI 完全这个概念。你之前听过这个吗？听过，我听过，大家。对，顺便说一句，我听说 AI 完全是在 LLM 语境下聊的，没错，也就是你基本上必须得是最聪明的大语言模型才能回答最聪明的大语言模型需要回答的问题，或者说你必须解决通用人工智能。
不，它基本上是对应了图灵完备，对吧？它的意思就是在经典复杂度理论里，如果我可以把这一类里的任何问题都约化到那一个问题上，那么一个任务就是图灵完备的。对对对对对对对对，三CT就是最好的例子，对吧？你可以把任何NP难问题约化到三CT，所以你就能用三CT来解任何问题。对，就是这样。对对。关于 AI 完全的宽泛定义，差不多是存在这样一个基本元语，它是一个 AI 任务。
但如果能在最广泛的普适性上把它解决掉，就能解决所有的，它就能解决任何智能问题。在大语言模型里的经典例子就是 next token prediction，它是 AI 完全的，因为我可以用有个经典例子，我想是来自 Ilya，就是有一本悬疑小说，模型必须读完整本悬疑小说，而这本悬疑小说的最后一句话是凶手是，然后预测下一个 token。
所以你基本上可以把任何形式的智能任务都用它来表述。所以很显然，大家认为 next token prediction 是 AI 完全的对。但我觉得我们现在开始意识到一件事儿。Ben 今天早些时候也聊过这个，就是新视角预测。我们在 Atlas 里的这个元语，尤其是生成式的新视角预测，and 这也是 AI 完全的，对吧？
而且因为我可以输入类似这样的东西。你可以放一整部电影，把电影的所有帧都放进去，然后凶手走出来，接着你就能准确预测走出来的是谁。一点没错，没错。不仅如此，我还可以说，我想要构建一个世界，在这个世界里，Martin正在黑板上写黎曼猜想的证明，然后镜头转到了下一块白板上。他就解开了那个谜团，所以好从进化的角度来看，对吧？
新视角预测正是进化通过让动物移动而必须解决的问题。对，大自然给了动物眼睛，但大自然没有给树木眼睛。眼睛为什么？因为当你移动时，你会看到一个新的视点。而这就是不管你叫它AI完全还是智能完全，所以我们非常坚信下意识点预测就相当于next token prediction。太棒了！那说到这儿，祝贺你们各位完成了一次非凡的模型发布。
我们对未来要发布的模型非常期待，也感谢你们的到来。谢谢。对，非常感谢。