大家好，欢迎来到灵姐说AI。谷歌刚刚发布了Genie 4。看完这次演示啊，我脑子里面冒出来第一个想法，可不是说我们又能玩一个多么厉害、多么牛的游戏了，而是想到了另外一个更大的课题。就是对于AI来说，它的下一课从哪里来？因为过去啊，我们人类是把我们写过的文字、拍过的视频交给AI，让他从记录里面学习。而现在这些公司开始在尝试另外一件事情，叫做让AI生成一个能够回应行动的环境，然后让人和AI能够走进去。

我认为啊，这才是世界模型非常值得盯住的变化。它开始触碰到智能最昂贵的原料：经验。除了谷歌之外，字节、阿里、李飞飞、黄仁勋，都在全力的押注世界模型这个赛道。但是他们握在手里面的东西，和他们现在的进展很不一样。在这期节目，我也会深度的去聊一下这几家公司的布局、世界模型的发展。当然在这之前，我们先来把Genie 4它有哪些亮点，来认真的看看。

我们来看谷歌的世界模型。我们能够用键盘上下左右前后走动，在AI生成的世界里面去走这件事情，实际上在Genie 3已经出现并且实现了。在去年8月份的时候，谷歌他公布Genie 3的时候，他讲的就是能够实时导航，并且在一定时间内，几分钟保持一个连续的动态的环境。也就是说，我们按照一个方向往前走，模型会接连的生成我们可能会看到的画面。

这个事情其实早就在这个世界模型，在谷歌的研究路线和方向里面了。你可以把这个过程想象成说，本身是没有一个提前的视频交给你的。你采取对应的行动，比如说往前走或者往后退，模型呢就持续的接上对应的观察，出现对应的环境。世界模型的这种表达方式，它和传统的游戏引擎的交互，一个事先已经确定好的场景，它的做法是不同的。

看上去你的人都可以在里面去逛，但是背后的世界它怎么表示，能够保持多久、能够控制到多细，对于模型的处理来说，完全是不同的课题。所以在Genie里面，他比较新鲜的并不是说人、AI能够走进去。我认为这里面更重要的是，走进去之后，这个模型、这个环境他怎么回应你，是更加重要的一个点。

第一个变化是声音。按照谷歌的说明，Genie 4是可以和世界一起去生成环境声音、音乐，还有角色对话的。我为什么看中这个呢？其实一段风景配上背景音，这个已经很寻常了嘛。但是如果说一个世界要和你互动，这个声音本身呢，它就要承担信息：谁在说话、谁在靠近，你的行动会引发什么样的回应。

对于电影来说，声音可以帮助你去相信，在镜头之外啊，存在一个真实的空间。对于互动体验而言，声音还会影响你下一步会做什么。比如说和人物对话，远处有水流的声音或者是风声。声音就让生成的世界和对象，从眼睛看的画面，变成了一个更加具象、更加真实的可感知的环境。而里面的角色的动作和对话，也成为你生成世界可以干预的一部分。

再看人物，这一次谷歌也把人物的动作和物理的真实感，列为这一代的重点。想象一下，在这个你走进的世界里面，你会不会希望有这么一个角色，他可以走进、停下、回头和你互动。这个角色在走坐跑跳的过程中，他的身体重心会变化，人物和人物的之间的距离也会变化。而且人物和景色、不同人物之间，他们会有相互的遮挡关系。

而这一系列的动作，在这个世界里面还需要一致和连贯。仅仅通过把某一张脸画的真实，是撑不住这样的互动的。这个也是对世界模型的一个比较大的挑战的升级点。有了人物和角色的互动之后，大家会更加愿意去走进世界模型去体验，而不仅仅是看环境的变化。因为很多剧情、很多事情的发生，它往往是围绕着角色来展开的。

第二个变化，它比画质本身更值得关注。就是谷歌这一次，它把Gemini拉进了世界运行的过程。根据官网的说法，Gemini他会看当前的画面，理解目标，再把任务拆成步骤，再检查新的画面，再继续调整。而Genie则负责让场面不断的生成和变化。

比如说官网他展示了Gemini 4 Argon和Genie 4，他模拟人形机器人下跳棋的过程。他把一个目标拆成先后步骤，再引导场面往下走，就是这层推理正在做的事情。这相当于什么？把想怎么演和这一刻怎么演出来，他接在了一起。这代表他开始追求的是一个动作接着另外一个动作。

大的方向和目标确定下来之后，哪怕中途改了主意，后面也是能够持续的接上的。这个点可能会被那些酷炫的画面所掩盖住。而且难就难在，前面发生的事情必须约束在后面。比如说，在桌子上，一个人拿走了桌子上的东西，后面这个桌子上的东西可不能再存在了，必须前后的逻辑连贯。

再比如说你每次推开门，这个房间得一样吧？不能前面推开是一个房间，后面再推开这个房间，它里面的布置就换了。这样子它的前后逻辑是不一致、不严密的。所以啊，谷歌这一次他强调它的方向，叫做把混合世界模型作为后续的方向。

也就是说，让语言和代码来做结构化的推理，接上像素层的感官模拟，来完成整个的世界模型。这个选择非常有意思。就是我们做这个视频，做这个世界模型的展现，它每一帧足够漂亮还不行，必须要前后连贯、逻辑一致，这样才能撑起一个反复行动的世界。所以在世界模型这一段，漂亮只是入场券，稳定才是资格赛。

我们再把镜头拉远、格局放大，你就知道谷歌为什么要做这件事情了。SIMA 2它研究的是虚拟世界的智能体。它的团队已经把它放进了Genie 3生成的陌生环境里面，让它按照目标去导航、去行动。而另一块拼图是Waymo。今年的2月，Waymo公布了自己的世界模型。它的底座也是Genie 3，进一步适配驾驶仿真，生成相机和激光雷达观察到的情景。

这两项工作在Genie 3的阶段，已经开始展开了。到了刚刚发布的Genie 4，我们看到的是继续沿着这条路线，来推进他们的新研究。把这些动作连起来啊，故事线就更加清楚了。谷歌它正在累积一种能力，既能够生成环境，又能够让智能体在这个环境里面运作，又能够把它往具体的领域去推。

比如说VR它就是一个出口，可以让AI获得更加直接的任务经验。这个是一条更加深的线。我们再来看看字节的张一鸣。在9月的媒体报道里面，他有一个非常值得注意的动作，就是他亲自协调资源，推动字节的世界模型项目。在我看来，字节、张一鸣，是All-in世界模型的。

看创始人的态度，最在意的就是这种动作。跨部门的算力、研究和产品资源，它是需要有人把他们往一件长期的事情上面去拢的。而真正的押注，就会体现在资源往哪里走。而且字节也不是说突然就蹦到这个赛道里面。Seed官方他实际上已经把世界模型作为一个重要的研究方向。

而且他在一些公开的晚会环节，给了外界一次可以交互的世界模型的展示。我的看法是张一鸣他关注这个赛道，实际上他关心的是字节他下一轮的内容入口在哪里。今天最成功的，大家用的抖音TikTok的刷视频，它并不能够自动的、天然的、完全的保证，下一轮他也能够拿到这样体验和赛道的门票。所以他们在这一块是重点押注的。

而字节，手里的积累，它手里面的牌，远远比一款视频生成模型要多、要宽。大家知道的Seedance它可以生成视频，而Seed3D它则在做可以接进三维和仿真流程的内容。根据今年4月份公布的Seed3D 2.0的版本，他们已经在探索物件的拆分，可动关节和场景的组合。这个和画一个漂亮的物件，可是不一样的。

比如说一个柜子它怎么开门，就要考虑这个部件哪些是在动的，围绕着哪一个轴承在转，怎么交给后续的系统来处理。而Seed3D它主要是字节相关的技术积累。它实际的项目官方并没有说太多，还没有展开。但是它让我们看到了字节，它已经在补能够被系统后续使用的空间方面的内容。

再加上它本身有的内容平台，而且字节他收购了Pico这条线，关于这些XR硬件上面，他还会有更多的连接点。后续呢，我们可以重点关注啊，他是不是能够把这种生成加体验，还有加分发能够连成一条线，在空间智能这一块做出更多的进展。如果说这条线能够跑通啊，那么我认为，字节最有想象力的一步，就是原来是把内容推荐给你看，现在变成了生成世界给你参与。

你想想未来的情景可能是，你刷了一个悬疑的故事，系统呢知道你愿意留下。那么下一步，你就可能走进那栋楼，自己开扇门。然后这个故事、这个世界的创作者，他就会留下人物、目标、规则。然后观众的行动就开始跟这个世界互动起来，和它进行一个改变和交互。

也就是说未来这个工具，它是能够随时生成的。对于创作者来说，原来是生成一个稳定的视频画面，那么创作者要转向的是，要抓住观众的体验主张。不是说让观众看见什么，而是说希望观众经历什么，为什么要走进你创作的世界。而这种对观众体验的理解和表达，是未来创作者新的要求。

以后画面变得越来越容易，但是值得别人花时间去经历的东西，变得越来越宝贵。我们再来看阿里。阿里比较熟知的，他是做了一个世界模型的产品，叫做HappyOyster，快乐生蚝。但是我想讲的内容呢，是希望大家把注意力从快乐生蚝这个产品本身，移到阿里的世界模型的方面的探索，怎么向外提供能力的。

这个产品的测评呢，在节目中我也测评过。HappyOyster它是分为两种模式，一种是Adventure这个探索模式，一种是Directing导演模式。探索模式就有点像走进这个世界，你然后前后左右可以去走动。另外一种模式是让你可以去改镜头，角色和剧情，有一点像生成一段3D的视频。

在7月他做这个产品发布的时候，他就说到，他是可以面向企业和开发者进行灰度测试的，而且提供了安卓、iOS和Web开发工具和服务的接口。开发者可以围绕他做剧情，陪伴或者探索的体验。阿里他所提供的产品价值，是有可能落在底层的生成，实时传输，还有交互控制上面。

这种类型的产品路径，他所瞄准的点，他所基于的理念是认为说，世界模型要往外长，就得有人在他的基础上继续做东西。反过来也可以优化它的模型本身。这也和阿里一直以来的基因有关。阿里更加擅长的是，做生态、做平台、做规则，提供底层的基础设施。这个是他非常擅长的事情。

阿里相关的关于世界模型这一块的探索，也不止在互动内容这一块。千问团队他6月份公布了一个Qwen-RobotWorld的模型。他是用自然语言描述行动，在预测具身任务的后续的视觉轨迹。它这个模型瞄准的是训练数据、策略评估和规划信号。另外高德的ABot-Earth这个模型呢，它是把入口放到了一个可以生成、可以漫游的三维城市和地块。

而把这些动作都放在一起看，我们也会得到一个说，阿里也做了世界模型，一个更具体的印象。就是说在内容体验、机器人经验，还有城市空间上面，阿里的整个的体系都有人在往前推。这三条路线它来自阿里不同的团队。协同到哪一步呢，我们也可以看看未来的进展。也可能都在赛马，都在持续的跑。

而这种探索的宽度，我们是可以把它考虑在阿里在空间智能这一块的动作里面。我对阿里这一块的判断是，我觉得它值得去争的位置和谷歌不同。它是要把让这种造世界的能力，变成一种可被调用的服务，做基础设施、做底层。比如说这个世界模型的底层能力，它被一批开发者接走，它的变化就很大，可以做出很多有用的商业场景。

比如说有人懂旅游、有人懂教学，有人懂故事内容创作。他们就可以去调用这个世界模型的底层，去完成在他们那个业务领域的目的。就是对于阿里来说，我认为走平台路线还是他最擅长的事情。当然走平台路线，他就会有一个很硬的考验，就是不仅得接的进去，还得用的稳定。对于开发者来说，要持续的运行、可控修改，而且成本也要稳定、接口也要稳定。

而这些关键点都会变成这个产品能不能够持续活下来的一个问题。未来在这条线看的是，阿里的世界的模型，它能不能够变成别人的生意和作品。那么这条路我觉得就稳了。而我们的AI教母李飞飞，她的切入点我觉得更加锋利。她一直在追问，一个把事情讲得头头是道的AI，怎么一进入到空间里，就迷路了、误判了，而且做错动作呢？

他去年谈空间智能的这个文章，他就批评过语言流畅和真实经历之间，它是存在距离的。他看重的是感知、想象、推理、行动，他怎么连接起来。你想想人是怎么绕过桌角，为什么人能感知到这个空间，知道这个缝隙它是过不去的。我们人做这个动作，肯定不是去读一个桌角的说明书，读一个空间的说明书吧。我们是很自然的拥有了一个空间的感觉，这是一种经验的体感。

所以我的理解是，他要给智能补上的，是和环境打交道的能力。这也是他押注世界模型的一个重要的理由。也就是说下一个阶段，AI要能够拿出能够做具体事情的能力。仅仅把空间说清楚还不能够，还要对空间能够充分的理解和感知。从他团队的动作，就可以更加好的理解这条路线。

他的创业公司最先搞的产品是Marble，在我的频道里面也测评过。Marble他把这种可探索、可编辑、可导出的三维世界交到用户的面前。而且你是可以在这个空间里面去制作，去换机位、改布局，而且继续加工的。你会有一个明确的空间载体。在9月份他又继续公布了Atlas，他把相机控制、空间重建和时空的模拟，放进了更加统一的模型。

而且官方说，他会为未来版本的Marble等产品去提供能力。我非常看重李飞飞的产品，是因为说如果说一个世界，它只能在一个演示里面惊艳大家那么一下，它的价值是有限的。如果说这个世界、这个空间，它是能够被保存、复用，而且被任务反复调用的，它会更加接近我们说的那种基础设施的状态。

而对于我们现实世界里面的一些具体任务，比如说拍片、做设计、做仿真，这种世界、这种空间能被留下的能力，是非常值得追的。而且李飞飞团队今年还做了两个动作，特别能够说明问题。在7月份的时候，做机器人和仿真的SceniX，加入了World Labs，也就是李飞飞的公司。团队随后就公开了要从现实重建仿真，在里面进行训练和评估，再回到真实的机器人里面去工作。

在9月底的时候，World Labs又宣布，大家知道的签约加入了AMD。从这两个步骤里面我读到的是，这条路线它正在往两头延伸。一头接真实的任务，一头接计算硬件。就是你要把世界模型往深里做，你得有办法知道，在这个世界模型里面发生的事情，和现实究竟差了多少。同时你还得有足够多的算力，让它真正的跑起来。

所以说李飞飞和黄仁勋这两条线，他们碰到的其实是同一类的问题，就是谁能把模型、经验和计算平台接得更紧。黄仁勋的判断更加直接。物理AI要发展，这个模型必须能够感知、推理、规划，并且采取行动。而世界模型就是它反复的放进这张图里面的一个它押注的关键能力。

我觉得他的野心啊很好理解。我们的语言AI它主要就是数字化的，它是在数字系统里面工作的。但是这个机器人和自动驾驶，一旦进入到物理世界，每一个具体的动作都会付出现实的成本。所以怎么让机器更快的、更低成本的积累经验，它不只是一个研究问题，更加是一个产业问题。

所以啊，黄仁勋他压世界模型，他是抓住了一个很硬的问题，就是让这个机器在虚拟世界里面去多积累一些经验，少付出一点在现实中的试错成本。今年英伟达推出了Cosmos 3，他就把一批AI和机器人公司拉在一起去共建世界模型的生态。在我看来，他要争的就是机器人的经验从哪里来。谁能更快的、更便宜的获得这些经验，谁就有机会更大程度的去影响机器人的成长。

那世界模型怎么去帮助机器人去积累经验呢？你可以这么理解。这个机械臂，它去拿一个杯子，它就要预测伸过去之后会发生什么。同时呢，你可以去控制和改变这个条件。比如说，这个杯子换了一个位置，旁边或者是多了一个障碍，结果又会怎么样？Cosmos 3呢，它能做的一类任务就是根据当前看到的环境和给定的动作条件，预测接下来会出现什么样的画面。

那么有了这样的能力，研究人员就可以围绕同一类的任务，换场景、换条件，提前去找到比较容易失败的地方，然后再回到真实的机器人上面去验证。之前我们说的马斯克的，他的擎天柱的机器人的训练啊，练他走路上坡，也是类似的逻辑。但是啊，在虚拟世界里面练得再好，还得过现实那关。

在模型里面，杯子抓得稳稳的，但是现实里面一伸手就滑掉了。他可能还要考虑一些摩擦力呀，或者这个杯子的材质等等其他的因素。如果是滑掉了，这个模拟就没有过关。

所以在这里啊，世界模型这个画面上对不对，只是第一关。关键是要看能不能够帮助机器做对下一步，这个才是真正的考题。再把这件事情放回英伟达的整套的布局来看，就更加清楚了。机器人要学会干活，就得解决三件事情：拿什么学、在哪里练，最后怎么在真实的机器上跑起来。而Cosmos这类的世界模型，它就可以提供很多的训练数据和场景；而英伟达本身的Isaac等工具，它就提供这种仿真的机器人的开发环境，让开发者可以在里面训练和测试。最后当然还要靠机器人身上的这些计算硬件，把模型能力真正的运行起来。

就在10月21号，英伟达他又继续扩展了他的Isaac的平台，把数据、训练工具、运行软件还有参考机器人啊，继续往这里面开始一起接。那整套布局最厉害的地方是什么呢？就是从准备数据、训练数据，最后再到机器人上岗，他都想参与。黄仁勋他想争的是这个大的具身智能的赛道，这些机器人，他从学习到工作的这条路上，他希望都用英伟达的平台。

再看英伟达为什么愿意把这个模型开放出来，就更容易理解了。这是一步非常会算的棋：模型更容易拿到，那开发者就更容易进来；那拿到模型之后，还要去准备数据、训练、调试，最后部署到机器上。这些都是长期的持续的需求。如果说越来越多的团队愿意围绕英伟达的工具来做这些工作，他的平台就会越做越大。为什么会在模型、仿真和机器人这个赛道上面越走越远？因为机器人需要的经验越多，背后所需要的训练和数据也就越多，就越可能带来新的计算需求。这不就是黄仁勋想要的吗？

现在我们再把这五家公司的五条路线拼回来，看他们的动作就很清楚了。谷歌我们看的是环境：虚拟环境的智能体，和具体的应用之间的经验闭环；字节我们看的是他能否把看的世界模型的内容，推到消费者的参与体验中；阿里我们关注的是，他是否能够把这个创造世界的能力，形成别人第三方可以调用的基础的底层能力；李飞飞我下一步看他的动作是，他怎么把空间变成可以反复调用、能够留下、能够验证的底座，成为一个基础的设施；而英伟达我们看的是他怎么铺出机器学习和运行的平台。

而我认为啊，真正决定这场竞争的，是谁能让这个世界持续的产生有用的经验。这五种布局啊，他们在不同的角，但是也不是永远不变的，他们都会往这个中间再靠。这一轮世界模型的竞争啊，我觉得AI正在从学习人类的历史经验，转向如何从环境中获得反馈这个节点。就是这个机器在空间做错之后，它知道错在哪里，并且让它在虚拟的环境中进步之后，能够获得现实的反馈和检验。

Genie 4是值得兴奋的，他确实有一些进展；但是我也想追问：这个世界到底能不能够带来真实的理解、行动和作品？之前我的测评可能更多的关注是，是否又生成了一轮惊艳的世界。那未来可能我更加关注的是：在这个生成的世界里面，谁在里面行动、得到了什么反馈，又怎么确保这个反馈和响应，它是可靠的。关于世界模型的发展和未来，你有什么想说的？欢迎在评论区留下你的观点。记得订阅灵姐说AI的频道，我们下期再见了，拜拜。