大家好,这里是最佳拍档,我是大飞。最近AI圈有个新闻可能很多人没太注意,但我觉得它指向的方向,比大多数融资发布都要重要。李飞飞创办的空间智能公司World Labs,悄悄收购了一家叫SceniX的机器人仿真公司。消息出来的时候我第一反应是:李飞飞也要下场做机器人了吗?但是仔细看完她最新的访谈才发现,她根本不是要造机器人。

她要做的事情,可能是决定未来十年机器人产业到底能不能真正落地的关键一步。说出来你可能不信,现在机器人行业最大的瓶颈,根本不是你能看到的那些——既不是电机够不够强,也不是电池够不够用,甚至也不是大模型够不够聪明。真正卡住所有人的,是机器人根本没有足够的“上学”的机会。

我们今天看到的所有厉害的大语言模型,本质上都是把互联网上几十年来积累的所有文字、图片、代码吃了个遍才练出来的能力。但是机器人面对的是三维的物理世界,互联网上没有现成的、足够多的物理交互数据给它学。你总不能让一个机器人在真实世界里摔一百万次来学走路吧?

且不说成本有多高,时间耗不起,还非常危险。这就是李飞飞这次下注的核心逻辑:在她看来,语言模型只是AI的一部分;未来的AI不只会处理文字和图像,它得能生成、理解、推理,并且真正和三维空间互动。这就是她一直在提的“空间智能”,下一阶段AI竞争的重要方向。

不只是让模型在对话框里更聪明,而是让机器真正进入物理世界。而要做到这一点,你得先给机器人造一所学校——一个可以让它反复练习、不怕犯错、还能大规模加速训练的数字道场。这次访谈的主持人是a16z的合伙人马丁·卡萨多,对话的另一方除了李飞飞,还有SceniX的联合创始人李昀烛。

说起来两人的渊源也挺有意思:李昀烛是麻省理工的博士,后来还在斯坦福跟着李飞飞做过博士后,算是正经的师生关系。但是这次合作最开始根本不是师生叙旧聊出来的——SceniX最早是World Labs的客户,去年底World Labs发布了他们第一版生成模型(内部代号叫Marble),SceniX自己注册了账号试用。

李飞飞一开始都不知道这是自己学生开的公司,后来发现了才打了个电话过去。一聊才发现两边做的事情居然能严丝合缝拼到一起。我们先来说说World Labs到底在做什么吧:这家公司成立两年,定位是前沿模型实验室,核心方向就是空间智能。

简单说,他们想创造的AI不只是能看懂二维的图片,而是能真正理解三维世界:能生成三维环境、能在里面推理、能跟空间互动。这个空间可以是物理的,也可以是虚拟的。像视觉特效、游戏设计这些领域其实早就有类似需求了。实现这个目标的关键路径,就是构建大型世界模型,这也是他们一直在主攻的方向。

Marble就是他们现在对外公开的基础模型:你给它一张图、几张图,甚至只是一段文字描述,它就能生成一个几何结构一致的三维世界,可以用高斯泼溅或者网格的形式呈现出来。那SceniX又是做什么的?李昀烛说他自己是个特别务实的人,目标从读博开始就没变过——就是帮助机器人更好地感知物理世界,真正在真实环境里干活。

他们创立SceniX就是看准了通用机器人开发里一个所有人都头疼的巨大瓶颈:训练和评估。他们搞了一套流水线,叫“真实到仿真再到真实”。简单说,就是把真实环境高保真地映射到数字世界里,让数字世界里发生的物理规则、物体变化能和真实世界尽可能一致。

这样一来,就可以用数字世界里可以无限生成、成本极低的数据,替代那些必须在真实环境里才能拿到的训练和评估数据。为什么说这两家公司互补性特别强呢?李飞飞自己总结得很清楚:SceniX有从硬件到算法的全栈机器人思想领导力和技术实力,这是World Labs之前没有的;而SceniX缺的生成模型和3D重建能力,又恰恰是World Labs的强项。

两边一结合,整个技术版图一下就完整了。李昀烛也说,他们最开始也考虑过继续独立发展,但是跟李飞飞聊完看到那些协同效应,觉得合力是更合理的选择。他们原来做环境建模要捕捉外观、几何还有动力学特性,这个过程其实挺重的;而World Labs在稀疏重建和生成方面积累很深。

用Marble这些能力可以非常高效地做环境建模,这是个巨大的解锁。很多人可能会问:那World Labs是不是也要推出一个机器人领域的基础模型呢?李飞飞的回答是肯定的,他们确实在构建基础模型。未来最激动人心的会是那些“全能模型”——接受多模态输入,也产出多模态输出。

机器人基础模型跟现在的语言模型最大的不同是:它必须包含动作,不能只是描述世界是什么状态,还得输出接下来该怎么行动。李昀烛进一步解释:这种模型本质上就是多模态的,要考虑图像帧、文本、深度信息各种输入,而动作是其中非常关键的一部分。

如果模型输入是图像和动作、输出是对环境变化的预测,这就是个前向模拟器;如果输入是目标、输出是动作,这就是个策略模型。这种全能模型对整个机器人社区价值巨大:既能帮大家理解怎么建模环境,也能指导怎么在环境里行动;还可以作为一个骨干网络,让大家针对特定应用去做微调。

说到这里可能有人会问:现在很多机器人公司不都在用视频生成模型吗?那看起来是现在的主流路线啊,SceniX为什么非要走3D和仿真这条路?这不是绕远路吗?这个问题卡萨多也替大家问了。李昀烛的回答戳中了视频模型路线一个非常核心的问题:就是一致性。

为了创造机器人可以真正在里面学习的世界,你必须抓住问题的本质结构;其中一个必要条件就是一致性:你构建的这个世界,在空间上要一致、时间上要一致、不同视角看过去要一致、各种物理交互下也要保持一致。这恰恰是现在很多视频预测模型的问题:你想象一下,如果一个机器人在数字世界里往前推一个物体,结果那个物体直接在画面里消失了、或者穿模了、或者物理反应完全不对。

那机器人从这里面根本得不到正确的信号去判断对错,这样训练出来的模型到了真实世界肯定要出问题。当然李昀烛也说他们不是完全否定视频模型的路线,现在也有很多研究在努力让视频模型变得更好。只是他们看到的路径是:这种偏仿真的基础设施,可以作为启动数据飞轮的初始动力。

从仿真驱动的模型开始训练出策略模型,然后让策略模型在真实环境里执行任务、收集新的数据;数据再回来优化这个模型。最终它不一定是纯靠物理规则的,也不一定是纯靠数据学习的;而是在中间某个位置既能抓住问题的本质结构,又能随着数据增加不断扩展和变强。

聊到这里你会发现李昀烛确实是个非常务实的人,他说自己的北极星目标一点都不玄乎:就是让机器人在真实环境里真正工作。他们之前做研究的时候给公众发过问卷,问大家最希望机器人做什么?收集上来的上千个任务里三分之一都是关于清洁的。说白了,人们就是不想干那些脏活累活,这些场景才是真的需要机器人方案去解决的。

李飞飞也说她特别喜欢李昀烛团队的一点就是这种务实:很多机器人公司都在做模型,但这个团队虽然是学术界出来的第一直觉不是发论文而是直接去找行业里的设计伙伴和真实客户。不管是行业实验室、仓库还是电子组装厂,先到真实场景里去看问题。这种做机器人的方式跟很多公司都不一样也是她特别兴奋的原因。

这时候卡萨多又问了一个非常好的问题,也是很多技术人员心里会有的疑问:他说做机器人需要相当精确(虽然不用完美),但总得八九不离十吧?可World Labs做的很多创意领域的用例(比如视觉特效、游戏设计)其实不必那么精确,有时候模型犯点错反而还是一种风格。从技术角度看这两件事要怎么统一呢?还是说它们本来就统一不了会一直是两条线呢?

李飞飞的判断很明确:长远看肯定能统一。不管是环境建模还是模型本身,在机器人里其实都不必追求完美。李昀烛给大家举了几个历史上的例子:回头看机器人应用的历史,模型一直是重要的基石——最早的飞机、后来的无人机、扫地机器人再到现在的四足和双足机器人,全都是靠模型才能工作、才能从仿真迁移到现实。

我们看那些运动机器人它们能在雪地、灌木丛里走得很好,但是根本不需要精确模拟每一片灌木、每一片雪花具体长什么样。真正需要的是一个能抓住问题本质结构的模拟,然后在数字环境里做各种随机化就够了。他们现在和World Labs一起研究的核心问题就是:到底需要什么级别的保真度来大规模建模,才能让训练好的机器人系统成功从仿真迁移回真实场景?找到那个够用的边界就好。

那是不是说仿真就可以完全替代真实世界数据了呢?也不是。李昀烛特别强调这两者根本不矛盾:仿真本质上是在预测动作带来的环境变化,是对世界的一种模型。它不必是纯物理的可以是物理规则和数据学习的结合。他们当然也在收集真实数据也会用这些数据,只是在数据飞轮的早期可能更强调物理规则确保有正确的一致性和结构。

但随着跟客户合作积累越来越多的真实数据,就会朝更基于学习的方向去建模环境。这个转变过程和数据流能让他们同时获得物理、几何一致性的好处,也能得到数据和规模计算的力量。李飞飞又从更宏观的角度补充了一点:她说这根本不是在仿真和没有仿真之间二选一的问题,它们本来就是共同起作用的。

想想人类自己的智能:我们的大脑每天都在做大量模拟为什么?因为模拟有一个真实数据永远无法替代的作用就是反事实推理。你可以在脑子里推演那些还没发生、没法发生或者真实数据根本不够的场景,在推演里学会怎么行动。人类从小到大一直都在这么干这是我们学习的重要方式。

自动驾驶就是个特别现实的例子:Waymo公开说过他们用了几十亿小时的仿真数据,实际上比真实路测数据更倚重仿真。吴恩达也说过一句话:汽车其实就是最简单的机器人。具体拆解下来,仿真能提供两个层面实实在在的好处——一个是可靠性,一个是效率。

先说可靠性:机器人要在真实环境里可靠地工作你需要数据系统性地覆盖所有可能遇到的状态和变化。在仿真里你能系统性地随机化光照、摩擦、几何形状、物体类型这些参数,保证足够的状态空间覆盖这才能带来真正的健壮性。再说效率:现在很多人做机器人训练还在用遥操作(就是人远程操控机器人来做示范),这个数据收集速度比人自己完成任务还慢。

但客户要的是什么?是机器人比人更快!想让机器人更快在真实世界里你总不能简单开个二倍速四倍速吧?物理定律不允许。可是在仿真里你就能系统性地加速机器人的行为进行训练。这两点都是仿真能提供的独特价值。聊完技术本身他们又谈到了具体的商业应用,李昀烛说主要就是两个用例:一个是训练,另一个是评估。

说到评估这其实是机器人领域大家经常忽视的一件事但它真的太重要了:你在调整机器人模型的时候必须知道它表现到底怎么样,这是你迭代的唯一依据。卡萨多这里特意插了一句他说每个搞AI的人都懂评估是什么,但对非从业者来说可能概念不太一样需要具体解释一下。李昀烛说:“我说的评估就是你能不能准确知道,在某个时间点这个模型是95%的时间能工作还是99.9%的时间能工作。”

行业里有个很关键的指标:就是你得跑多久的测试才能分清楚一个90%准确率的模型和一个92%准确率的模型。如果你只在真实环境里做这件事区分它们需要的时间太长了!现在人们在真实环境里做机器人评估迭代速度比语言模型慢好几个数量级。卡萨多也附和说确实是这样:机器人任务种类繁多而且物体真的得在空间里移动,物理定律是绕不过去的。

你看网上那些机器人演示视频基本都是八倍速、十倍速在放,因为实际动作太慢了。李昀烛说它不光是慢还危险而且昂贵!所以他们的一些客户现在特别需要数字环境来评估机器人系统。他们的数字环境已经实际验证过跟真实世界有一致性:在仿真里发生的事情有很高概率在真实环境里也会发生。

一个模型在仿真里表现更好,它在真实环境里也很可能更好!这就给了客户很强的信心让他们可以用数字环境的数据和信号来做可扩展、安全、更快的评估。再说说训练,核心其实就是可控性:你要控制所有可能的状态、参数、光照、摩擦、物理属性甚至物体的几何形状和类型。你得保证对不同场景有足够覆盖才能给机器人生成有信息量的数据让它变得足够健壮。

这些事情在真实环境里做起来太难了:比如遥操作的数据收集速度比人干活还慢,还受限于你有多少台机器人和遥操作设备。但在仿真里一切都是可控的、系统性的,你确切地知道自己覆盖了什么分布能有信心地说机器人在这个分布内会正常工作。这种确定性、效率和可扩展性也是客户真正看重的。

李飞飞还补充了一件挺有意思的事:其实在SceniX跟他们开始聊收购之前Marble就已经有客户找上门来提这种需求了。他们当时还服务不了但一直能接到早期机器人公司的电话,从做基础模型的到非常务实的下游应用都有。这个需求一直就在那里!说到这里卡萨多又替普通观众澄清了一个很容易误解的点:他说一般人听说你们进入机器人领域第一反应肯定是想象你们拿出3D打印机开始造硬件给机器人写大脑程序塞进去就得到一个机器人了。

但我觉得你们根本不是这个意思:你们在整个机器人生命周期里到底处于什么位置?边界在哪里?李昀烛的回答非常明确:他们一直在构建的是一个基础设施以及围绕它的软件,让人们能构建世界让机器人可以在里面学习和评估。这个基础设施天然就是与模型无关的也不绑定任何一种机器人形态。

卡萨多特意把这点又强调了一遍因为这确实太关键了:很多人可能一下子转不过弯来。他说:“你的意思是你们不是在造机器人而是在构建一个环境?另一家公司可以把他们机器人的大脑放进去导航和学习,是这样吗?”李昀烛说没错:他们现在的客户就有各种不同的机器人像单臂的、双臂的、固定底座的、移动底盘的、用普通夹爪的、用更复杂末端执行器的什么样的都有。

他们的平台天然跟具体的身体形态无关可以很轻松地集成不同种类的机器人把它们放进生成的大规模数字世界里让它们学会在真实环境里以合适的可靠性和效率去执行任务。而且他们跟模型也无关:世界生成的数据可以用来从头训练一个新模型也可以对现有基础模型做后训练。对他们来说具体是什么模型不重要,要保证的就是有这个基础设施和所有的数字世界让机器人最终能在真实环境里可靠工作。

那具体的落地节奏呢?很多人现在一说起机器人就是人形机器人,好像未来一两年家家户户都能有一个人形机器人管家似的。李昀烛之前就表达过他觉得很多人形机器人的预期太激进了,我们更可能先看到仓库这类受限环境的大规模部署。李昀烛说机器人应用的进展其实一直遵循一个很清晰的规律:就是从全结构化环境到半结构化环境再到非结构化环境,一步一步来。

全结构化的像工厂流水线其实已经自动化几十年了大家早就见怪不怪了;接下来是半结构化的比如亚马逊的仓库、餐厅、酒店,你能对环境做一些控制让任务变简单但还有很多不可控的东西;再往后才是非结构化的就是你我的家,那是终极挑战。李飞飞在旁边还补了一句:尤其是我家——三条狗、一个五岁的孩子,那环境复杂度你想想就知道了。

为什么要这么一步步来?因为健壮性本质上来源于对机器人可能遇到的各种场景的充分覆盖。所以现阶段专注于半结构化环境更可行也更现实!他们当然会朝着非结构化环境前进,但是想用一种更可持续的方式。李飞飞又进一步解释了人形机器人的问题:人形机器人模仿的是人体,而进化把人体优化成了应对非结构化环境的通用体态。

我们的手指、腿不是为了做某件特定的事而生的最优解:如果人类的唯一目标是爬树我们肯定会长出完全不同的手。这种通用性本来就是为了在非结构化环境里生存才演化出来的,但是从商业和技术务实的角度看非结构化环境和通用身体恰恰是最难解决的问题甚至不一定是正确的解法。更好的方式其实是专业化:用更专业的身体去解决更窄的问题!

SceniX要解决的挑战之一就是让他们的基础设施不绑定任何一种机器人形态,这样才能服务于不同类型的机器人和不同的半结构化环境。聊到这里卡萨多问了一个可能是所有人都最关心的问题:就是时间线。他说大家常常从经济学角度看这个事:生成式大语言模型能比人类快一万倍、还便宜地生成文本,因为我们的大脑本来就不擅长那些机械的文字工作。

但我们的大脑和身体在3D导航、移动物体这些事情上其实是非常高效的,经过了几百万年的进化。你相信我们在可预见的未来能造出在做简单任务时能效跟人类相当的机器人吗?比如基本接近最低工资的人力成本水平,是5年还是永远不可能?李昀烛的回答非常坦诚:他觉得还需要很长时间。真实环境中工作的机器人最终是一个系统工程。

硬件、软件、大脑,甚至手指的摩擦系数,每个细节都得考虑周到。这需要大量的迭代,但他同时也说,自己感到兴奋的是:他一直处在机器人学习的前沿。这个领域进步的速度总是超出他的预期,他现在研究和关心的东西,跟他博士刚开始时已经完全不一样了。这说明整个生态进化得有多快。

但是预测也得保持校准,要看到大量进步,但要达到人类水平的效率和能力,路还很长。李飞飞也提醒大家,现在AI最难的事就是保持一种适度的乐观。就算是现在的大语言模型,也远没有人类大脑高效:人脑才30瓦功耗。在图像生成或编程这类窄任务上,性能功耗比或许还行;但在机器人方面,我们离得还很远。

那这个现实会不会改变他们的战略思考呢?李昀烛说这确实深刻改变了他们的发展轨迹,这也是为什么他们看到跟World Labs合作的价值:能以更高效、可扩展的方式去做环境建模。这本身就是个巨大的解锁。还有一点很重要,现在的语言模型能力确实很强,但你仍然不会完全信任它去订机票或订酒店,总希望有人在最后把关。

但人们对机器人的使用方式会很不同:机器人开箱就必须在真实环境里可靠工作,出问题就是物理世界的事故。可我们甚至还没有必要的数据和基础设施去实现这点。所以,创建这些可扩展的数字世界,让机器人在里面学习和评估,能用生成的数据替代真实环境里昂贵、不安全的物理数据。这真的会释放巨大的潜力。

最后,卡萨多问了些关于整合和未来的具体问题。大家都知道,科技公司收购后的整合一直是个难题:他们是现在就深度整合,还是保持相对独立?李飞飞说他们会慢慢来,不急着一上来就把代码库和团队全混在一起。SceniX有一个相当自洽的技术栈,有他们自己的客户和产品形态,他们会花时间自然融合。

当然,在仿真和基础模型的动作条件化上,他们已经开始对话了;SceniX也作为内部客户在使用Marble。整合肯定会做,但不是那种一锅烩式的生硬整合。地理上的安排是李昀烛会搬来旧金山,World Labs也算正式成为一家双海岸公司了:会在纽约设立一个办公室,帮助他们吸引东海岸的人才。

他们也在讨论要确保两个办公室都有机器人,这样能远程测试和迭代工程栈,这也是将来为客户提供服务所必须的能力。那两年之后,成功的图景应该是什么样呢?李飞飞说她非常高兴的是:SceniX和World Labs的团队能在少数几个重要的垂直领域里,拥有经过验证的客户。

他们的系统和基础设施被证明对客户的自动化需求有实实在在的帮助,这些客户会成为他们拓展业务的灯塔案例。李昀烛则说:目前他们的真实到仿真再到真实的流水线,设计得很灵活。有的客户只需要真实到仿真的部分,把他们的任务数字化去做评估就够了;有的则需要整个闭环,让策略直接在硬件上跑。

他们现在正合作的客户其实已经很接近部署阶段了:手头有几十上百个具体任务场景,一旦用机器人方案替代能立刻创造价值。李飞飞最后也发出了邀请:他们欢迎所有人来联系,不管是早还是晚,他们想了解大家的用例。如果你在做任何跟机器人相关的事,都可以联系World Labs,他们开放业务合作。

听完整个访谈我最大的感受是:这一波AI浪潮走到今天,很多人都在盯着大语言模型、盯着聊天机器人、盯着谁又发布了多少参数的新模型。但李飞飞这次的选择其实提醒了我们:AI的终极目标之一,是要走到物理世界里去的。

而要让AI真正从数字世界走到物理世界,中间还差着一整个基础设施的距离。这个基础设施不是更聪明的大脑,而是能让大脑安全、高效、低成本地反复练习的数字道场。这条路可能不会像聊天机器人那样几个月就有一次炸裂的更新,不会有那么多炫目的演示。

但它可能才是机器人真正走进我们生活之前必须先铺好的路。那大家觉得,机器人真正大规模走进普通人的生活还需要多少年呢?你最希望第一个家用机器人帮你干什么活呢?欢迎在评论区留言。感谢收看,我们下期再见。