我真不敢相信我们能免费获得这些成果，这到底是什么？请坐稳了，各位学者朋友。你只需提供一张图片，它就能从中创建一个可探索的3D世界，太酷了。他们称之为Lyra 2.0。这听起来好得不像真的，而往往确实如此，我会告诉你原因。我布达佩斯长大，现在住在匈牙利南部另一座美丽的城市——佩奇。每当我回布达佩斯时，都喜欢在我长大的街区漫步，那种感觉总是令人难以置信。我在想，如果我们能用研究技术传达哪怕是一小部分这种感觉，那就太棒了。或者，如果你只有一张图片，比如街景图片，它也能从中创建一个电子游戏世界。你可以放入一个机器人并在那里训练，让它安全地学习如何成为一个好机器人。

这个概念的不同变体称为Cosmos，它略有不同。它为训练机器人与自动驾驶汽车创建模拟数据。我最近在旧金山试过一辆自动驾驶车，那简直不可思议……尽管其训练只有一部分来自模拟数据，但这一部分至关重要。这证明了模拟的重要性与实用性。它们为棘手的问题解锁了意想不到的解决方案。但别急，事情没那么简单，因为不幸的是……我们有一个大问题：这些世界会崩溃。等等，DeepMind之前也做过这个吧？Genie 3。图片输入，游戏输出。它甚至可以是绘画、涂鸦或任何你想要的东西。那这有什么不同？是一样的吗？不，好吧，让我试着解释一下。

一年多前出现了一款惊人的AI，声称观看了100万小时的Minecraft视频，从而为我们重制了粗糙的Minecraft游戏。有趣的是：我们看着某物，移开视线再看回去……哎呀！是的，你没看错。确实发生了这种情况。当我们问：“小AI，那里刚才有什么？”它说：“我不知道。”它没有物体恒存性。几乎每个幼儿都具备这一概念，所以它的记忆非常有限，长期一致性真的很难实现。但Genie 3只需一张图片就能生成交互式世界，并保持多分钟的一致性。这一切进展都发生在一年多时间里，真是疯狂。然而这仍不够实用，因为几分钟后它还是会忘记。我想要看到的是长期连贯性。

那么解决方案是什么？我们如何从照片中获取一个不会崩溃的世界？这甚至可能吗？亲爱的学者朋友们，这里是Károly Zsolnai-Fehér博士的《两分钟论文》。大多数这些技术将2D像素视为平面屏幕，没有3D几何结构，只是一堆用于表示像素颜色的数字。这里的核心生成器是一个扩散变换模型（Diffusion Transformer），有点像OpenAI的Sora，这并不新鲜。但等等……它似乎总是能记住什么？这些世界从未崩溃过。在这个例子中，移开视线再看回去总会让你看到之前看到的景象。这对于由艺术家制作的具有3D几何结构的电子游戏是可能的，但……这种系统怎么可能做到这一点？这正是关键所在——几乎完全就是这样！

你看，它使用的是每帧3D几何缓存。这是什么意思呢？这意味着它会保留场景的一小块3D记忆。简单来说，它不是原样记住整个世界，而是只记得世界的脚手架（结构框架）。然后它能够一致地重建其余部分。所以当你移开视线再看回去时，它不会从头开始编造新东西，而是会想：“等等，刚才那里有什么？明白了！”它并非原样存储整个场景，而是拥有深度图（他们称之为下采样点云）和一些相机运动信息。这太棒了，但事实证明……光这样还不够完美。这个深度图并非针对整个全局场景。

因为如果你试图将所有内容融合成一个巨大的3D世界，其方式会导致误差随时间累积。微小的错误开始堆积，随着时间的推移，它变得越来越损坏。这就像是对某物进行复印，然后再对复印件进行复印……你知道结果如何吗？每一步的质量都会越来越低。这不好。那么现在的解决方案是什么？相反，它为每个视角保留一个独立的3D快照。随后当它再次回到该位置时，它可以询问：“哪些早期的视角最能看清这个地方？”并使用这些作为记忆。这是一个惊人的想法。

那么这真的有效吗？消融研究揭示了答案。这是一篇优秀的论文，它提出了一系列“拼图碎片”，并没有简单地将它们打包成一个模块就说：“看！有效！”不，它在隔离状态下测试每一个新的拼图碎片，并告诉我们每个部分为整体贡献了多少。如果你全局存储整个场景，风格一致性会略有恶化，而相机控制……天哪，那是一场灾难。我们能看看这看起来是什么样吗？这是一篇好论文，所以答案是……是的！天哪。如果你采用全局场景的方法，它开始产生错误的相机视角；而完整的提议技术与应有的显示效果非常接近。这确实证明了这些概念在实践中是有效的。

这就是为什么他们提议按帧记住场景的脚手架，好多了！我很喜欢。请注意论文中还有更多内容，我们这里只是浅尝辄止。但即使这项技术也不是完美的，存在局限性：第一，仅限静态场景，没有移动物体；第二，它继承了训练数据的缺陷。具体来说，如果你的数据集存在光度不一致性，它就会继承这一点。这意味着什么？如果你喂给它具有不同光照和曝光的数据，这些不一致也会出现在其预测中。当然会这样，训练数据告诉它世界是如何运作的，而它会认为光照和曝光可以随意改变。

第三，我们从中获得的3D几何结构可能包含伪影以及奇怪的漂浮物（floaters）。嗯……为什么呢？问题在于生成的视图彼此之间并不完全一致，当你试图从中重建3D时，这些微小的不一致性会变成漂浮物和噪声。在我看来，对于此类工作的第一版（或本例中的第二版）来说，这些都是非常典型的问题。而且通常所有这些缺陷都会在下一篇论文中被解决。请记住论文的“第一定律”：不要看我们在哪里，要看两篇论文之后我们将到达何处。

最后，我们只需一张照片，就能创建出不会崩溃的惊人数字世界。我们要终于拥有了这一切，这太棒了。而且我们免费获得所有这些——模型和代码？是的！活着真好！这是给我们的学者和极客们的一份伟大礼物。非常感谢你们提供这一切。