Hello,大家好,我是小俊。进入二零二六年,中国科技业萌生了一个新的现象,出现了一批从机器人大脑出发的公司。现阶段重心不在本体上,这个现象是反直觉的,因为在过去大家认为硅谷的机器人团队更专注于大脑研究,而中国的机器人团队呢更专注于硬件和本体。在我们上期节目中,我访谈了 Physical Intelligence Pie 的研究科学家柯利一鸣。
这是一家在硅谷做机器人大脑的备受瞩目的实验室。业内人士把他们比作机器人的 Open AI。那今天呢,我邀请的是一位在本土探索原生巨身基座模型的公司,是由蚂蚁集团孵化的子公司蚂蚁灵波。目前刚发布了第二代的巨身基础模型。我与他的首席科学家沈宇军聊了聊,如何从预训练开始训一个机器人的底座瓶颈是什么,机器人的 GPT One Moment 到底在哪里?
大家也能从中感受一些中美思路的融合与差异。那接下来就是我对沈宇军的访谈,期待2026年我们和AI共同进步。我还是很坚信,呃,巨深一定会有自己的模型。嗯,就是这个观点如果不变的情况下,那它的数据必须要支撑它可以做自己的模型。如何把数据很好的 scale up 是一个至关重要的点。不急预期的有吗?不急预期数据,我觉得,呃,从现在行业来看,嗯,大脑可能是目前是落后于本体的。
如果机器人有性格的话,你希望它是什么性格啊?我希望它是个J人,它好干活。对,我觉得它核心还是要实用。Hello,已经先给观众朋友们打个招呼。大家好,我是沈宇军,现在是在蚂蚁灵波科技担任首席科学家。之前在清华,然后后来到港中文。对,讲讲你在人工智能上的一系列探索,也是阴差阳错吧。然后当时我在清华读书的时候,刚好赶上大三,然后那个时候商汤刚成立的时候。
二零一四年底商汤成立嘛,然后我们大三要求是必须要有一个这个暑期的实习,然后当时商汤就正好在清华的东门门口。然后当时反正就去了跟AI相关的这个领域吧。嗯,在那个商汤一直干到大学毕业,然后就刚好去那个港中文汤老师那边去读了个书。然后去的时候其实也比较迷茫,因为呃当时AI虽然说比较火,但是呃也不知道自己到底喜欢做什么。
嗯,然后就。哎,尝试了很多方向吧。然后像,其实其实本来那个港中文吧,港中文比较擅长的,其实像这种检测、分割啊、分类啊,这个他们当时也是拿了比较多的冠军。但其实我个人对这个就是打榜啊这个事情,最后就看一个number这个事情,我。坦白讲,我自己不是非常感兴趣。对,然后呢,呃,那个时候刚好有一个技术火起来了,当时就要对抗生成网络,就是干。
对,对对。然后那个技术火起来之后呢,其实就很多人在这方面做探索嘛。然后那个时候,我对这个事情就感觉比较有意思,因为它是能真的能生成一张图,然后让大家去看,然后甚至于你可以去做一些简单的编辑什么。然后那个时候我就从就是算是选择了,说我可能接下来要再做这个,可能是想要往这个生成模型这个方向去做。对,然后当时做的也是比较早,从一七年开始就就是做生成模型,然后。
可能做着做着,然后那个时候也是有一系列比较火的工作出现嘛,尤其是像 StyleGAN 那个系列的时候。然后做着做着,因为我刚开始做生成,然后做做生成,嗯,那个时候比较火的可能就是一些图像编辑相关的东西,就是你怎么把它按照你想要的呃方式去调整一下呀,比如说把你变得更漂亮一点啊之类的。然后但做着做着就会发现,好像做的太下游了。
然后就想把这个东西看看能不能再往前做一做,就是从编辑再往前做,那就是呃,现在可能大家会讲的更多,就是叫预训练嘛。嗯,对,那个时候其实还没有这个概念,说白了就是想训这个生成模型。对,然后但是再训一训,就会发现好像这个东西完全有点。不太不太能受自己的控制,就是你除了因为那个时候还没有说什么堆参数量啊这些,还没有这个相关的说法,然后就是感觉做着做着也不知道怎么能让这个模型变得更好了。
然后就开始想说,那我再往前一步,就是从生成之前呢,就是做表征嘛。然后可能就是这么一步一步的,从最开始对数字不感兴趣,然后对生成内容感兴趣,然后再从编辑,然后再做到底层的训练,然后再从底层训练再往前做,做到表征学习,可能,呃,基本上一路就是这么过来的吧。什么时候发现干不能 scale?这是一个挺有意思的故事啊,就是我们甚至于在今年。
今年年初的时候,还在尝试做最后一次尝试,然后还没死刑。呃,对,就是哪怕是在 diffusion 火了之后嘛,然后后面有大家又开始用自回归也去做一些这个生成,然后哪怕是这样的时候,我还是就是我们团队还是坚持做了一段时间干的 scale
up,嗯,然后。怎么说呢?其实是取得了一定的效果吧。就是我们前一阵子做的一个干的模型会 release 出来啊,然后那个时候会发现跟 diffusion 比,确实是在某一些方面没那么好。
但是也比之前的前几年的技术其实还是要进步不少的,对,就是说它还是有它的价值。但是它最大的问题还是计算量的利用效率太少了,就是因为 diffusion 毕竟它可以不断的就是它可以迭代好多次,然后生成一张图。然后我们就觉得那对于生成特别复杂内容,尤其是你想要做这种呃视频的生成的时候,因为它就是里面的内容实在是太多了,然后可能干确实不一定是一个最好的。
选择了,然后所以可能,嗯,我们会把我们在干上积累的一些技术,我感觉沉淀下来,然后 release 给公众之后,可能就也算是化身了一个。句号吧,对,不敢说圆满,但是应该也算是画上了一个句号。然后可能,呃,接下来也不太会再。干的scale
up上再做过多的尝试了,但是呃,往回说一点,就是说,我觉得干本身是就对抗生成网络嘛,它其实里面核心的一个技术还是在对抗上,就是在如果你同时想要训两个模型,然后让他们两个都在互相迭代,然后彼此博弈的这个过程中,其实在这方面我们还是积累了一定的东西。
然后这个技术本身,我觉得在抛开干本身不讲的话。之后应该还是会有用处的,嗯,对,只是可能不是在现在这些场景上,对对,嗯,可能不一定是用在这个图像生成这个领域了,嗯,对。哎,你当时从博士毕业的时候,就是在那个节点,嗯,当时商汤处于什么状态?多模态处于什么状态?对于商汤当时发展到什么样,我印象不是很深了。
然后可能像这种生成式的,就是生成内容的这个东西,当时呃还没有出现在商汤这个整个业务的大的范围里面。其实我毕业的时候加入的是我先去了字节跳动嘛,当时字节跳动倒是跟我做的东西很匹配,因为它是做抖音的嘛,抖音本来就做内容。然后他当时需要做很多特效,记我记得当时就是用我读书期间做的一些工作,当时还带火了一些比较有有趣的应用啊,因为我是做图像编辑的嘛。
然后就是看能不能通过呃一些AI的技术,比如说让你男生变成女生啊,然后变老啊,变年轻啊,就看看有有一些就是当时应该会有一些玩法,说呃比如说看看你二十年后应该长什么样子,你七十岁了应该长什么样子,就是类似的这种东西,对。然后包括怎么能够把一个人跟另一个人中间做一个完美的。就是比较连贯的那种转换,嗯,对,当时就是有一些这样的玩法是用起来了,在字节可能待了当时大概一年多吧,然后那个时候给我的感觉就是,嗯,大家每天都在想各种各样的创意,就是说,比如说今天又有一个什么好玩的特效,我们希望它变成一个爆款。
当时我就会感觉,确实还有很多自己想做但是没做的东西嘛。那个时候刚好是呃,二零二二年的时候。然后应该是蚂蚁的技术研究院在招人,就这一波还没有爆发。ChatGPT对,Chat应该是在我去我来了蚂蚁之后的年底才,那个时候也是震撼了一波。对,那个时候应该处于像你们这种人工智能学生的一个迷茫期吗?算吗?因为你加入大公司,它其实主业不是干这个的,它都是在既有的产品上去用人工智能技术赋能一下。
啊,对,总结的还是比较到位啊,相当于是做这个计算机视觉这个领域嘛。坦白讲,计算机视觉,呃,过去十几年吧,就是我感觉第一波可能是人脸识别,这个确实是一个比较比较大的一个应用了。然后第二波可能是特斯拉带火的这个。自自自动驾驶,对吧?然后就是他推出了一个纯视觉方案嘛。除此之外,好像还没有看到哪一个,就是说视觉应用,然后被大规模的用起来,然后有一个比较强的产业价值,好像还没有碰到这么一个具体的场景。
对,然后这也是为什么说,我本来从视觉现在想转到,就是当时是二四年,二四年的时候我就开始想去做这个,就是机器人这个事情。对,因为感觉,呃,视觉可能是在数字世界。可能就是怎么说呢?它它不是一个主要的发挥作用的一个地方,用武之地不够啊。对,我是这么感觉的。对,但是在物理世界离开视觉,机器人肯定是没办法工作的。
嗯,我觉得这是一个对视觉的强依赖。然后所以说,当时就开始想。嗯,二四年的时候在蚂蚁,当时就在蚂蚁技术研究院,然后本来是想在研究院说,呃,要不要做一个,就是往巨深方向开始做一些探索,当时是有这么一个想法,对。然后刚好因为就是整个蚂蚁的大的,就是有一个比较大的一个规划,就是其实其实蚂蚁本身是做这个生活服务的嘛,就是它做了很多这个数字世界的服务,就是大家比较。
比较就是听的比较多的,可能是金融相关,但其实蚂蚁做了很多像这种医疗啊,对吧?然后说这个出行啊等等这这方面的服务,就是蚂蚁做了非常多数字世界的这个生活服务相关的事情。然后呢,呃,从整个集团的层面来讲,说那数字世界的服务,如果想再往进一步延伸,肯定是要往物理世界迁移嘛。对,然后刚好就是那个二四年底的时候,就是蚂蚁是正式宣布说要成立了一家子公司,就是蚂蚁灵波科技。
然后那个时候,我在研究院也刚好跟就是当时的院长 propose 说,我也想要去做具身智能相关的事情。然后就是不谋而合,然后就是当时也就是被,呃,怎么说呢?就是相当于调动到这个,呃。宁波来,然后说一起去。我们既然要做,就不要说再当一个研究型的机构来做了,嗯,而是说我们可能是更更加的直面这个行业,跟着行业一起成长,嗯,对,所以说可能就是这么一个契机吧。
然后就是来了宁波这里,蚂蚁研究院当时是个多大的规模的组织啊?呃,有不同方向的呃研究员的探索是吧?啊,对对对,就是人工智能是它的一方面嘛。然后像它的这个隐私计算,因为就是安全是一个很重要的点嘛。我更多的理解是,这个东西像是一个一些探索性的东西,其实都会放在研究院来做。当时,对,嗯。为什么决定成立一个子公司专门做巨深智能?
我其实觉得这是一个集团应该是做的一个比较大的一个决心。我觉得,嗯,如果是还是把它当做研究机构的形式去做的话,很有可能做一做就脱离了这个行业。或者换句话说,就是研究员认为的先进的技术跟行业需要的先进技术是会有gap的。对,所以我觉得这其实是一个比较明智的一个选择,就是说,既然要干,那我们就变成一个真实的业务来干,而不是把它变成一个研究性质的,就是试验试错的一个团队去做。
对,所以说就成立了这么一个公司。你看,你经历了三个组织,分别是字节蚂蚁的研究嗯部门,然后和现在的呃蚂蚁灵波这三个部门,分别是第一个是以前的一个产品公司,然后你要用AI技术去赋能它;第二个是一个研究驱动;第三个是嗯跟产业结合的一个嗯类似于创业公司,是算创业公司吧?啊,对。算是算是创业公司,对你的感受是什么样的呀?
在这三个组织中,然后你觉得现在的AI不管是产品也好,模型也好,它应该是用一个什么样的组织方式去驱动它?从最开始就是在字节那边,我就是也是其实也是做业务,然后呢来了蚂蚁技术研究院之后,嗯,又刚好赶上这个呃,就从没见过大模型,然后到大模型爆发,然后也受了一波冲击,然后那个时候就有点。不知道,有其实很迷茫,就是研究到底是什么样的东西是好的研究?
就是你发了一篇论文,或者说你能拿到比较多的引用量,是不是就代表你很成功?就是我们到底能给这个。往小了说就是学术圈,对吧?往大了说就是这个行业到底是带来什么?就是这个研究是不是有价值?那个时候自己心里是不是很清楚的?然后再到现在的蚂蚁灵波这边,我这一次的感觉其实是比较深的。我觉得它刚好是呃两者的一个结合,就是说我们既想要去做一些呃不一样的事情。
然后这个不一样的事情呢,又能够直面真实的需求,嗯,对。然后为什么说?现在可能这是一个比较好的机会,因为呃,在这个也是在做业务的过程中,但是现在机器人不是,因为技术还没有收敛。我觉得作为技术人,可能是在这个时候能能为这个行业去。或者说,哪怕是探索一条不正确的路,也是也是一种贡献嘛,对吧?反正就是说,在这里面技术不收敛的时候,我觉得是有比较多可以做的事情。
嗯,所以,呃,在我看来,就是如果现在既想要做一些呃比较大的事情,然后又不想要说。呃,在一条完全没有创新的,然后就是纯纯是那种呃,怎么说一条确定的路上,就是只是说把庄子打得更深。我觉得从这个角度来讲,我觉得巨深反而是一个比较好的。机会就是大家在这里面既能发有发挥的空间,然后又能做一些对产业有价值的事情。
嗯,你们刚创立的时候,刚过来是什么样的感受?两两个点嘛,第一个点是,呃,感觉自己还是太天真了。天真的原因是因为二四年的时候,我不是当时在研究院就 propose
说想要做机器人嘛,然后后面就发现。呃,想做跟真的开始做完全不一样。就是这个机器人,机器人这个赛道有太多我不了解的东西了。就是可能当时对可能做对视觉啊,对模型这面会懂一点,但是真的说,比如说把一个模型用到机器人上,怎么去部署,怎么去调里面的通信什么,我感觉有太多太多的技术栈是超出了我本来的认知。
这是这是第一个感受。第二个感受呢,就是也很。怎么说呢?就是在这个过程中,从最开始来了灵灵波刚成立的时候,然后整个团队可能不到十个人,然后呃,一点点的看着这个团队就是不断的壮大起来,然后这个过程中可能。感觉这个一边在学习,然后一边又跟着行业一起变化,感觉这种,呃,这种感觉还比较奇妙。对,可能可能这两个这两点感悟可能会多一点吧。
呃,创立之初你们当时想明白后面要怎么走了吗?有些东西是很难判断的嘛。但是我们创立之初其实就明确了一个事情,就是我们希望能够。做一个,就是我们还是希望做机器人的大脑这一层,嗯,这是我们当时就已经明确下来的一个点。为什么不做本体?是这样,我们最后是希望,先说我们的初衷啊,因为我们当时成立之初,呃,是沿着整个蚂蚁集团的这个,就是。
普惠的这个想法,然后再加上他这个生活服务的推广,对我们最后还是希望说,未来某一天每家都会有一个机器人,对。然后,但是这个机器人是什么样子,其实谁也不知道,嗯,甚至于它是不是一定是同一个品牌也不一定,对吧?就像大家现在的手机也是五花八门的,对。但我们最后只是希望,呃,每家最后都能有一个机器人。然后我们希望在这个机器人里面跑的最后都是。
凌波的这个模型,或者说用的是凌波的大脑,这是我们当时做的一个比较大的决定。我们也会做一些像这种末端执行器啊什么这些,因为因为现在整个的呃模型还没有完全的收敛掉,呃,未来本体的会发展成什么样,可能我们也不清楚。就像大家现在用手机,手机也不是一个固定的就是品牌,就说大家比如说都用苹果,或者说都用华为,也也没有这样的一个说法。
所以说,嗯,在这个。还没有这个这个地方还没有明确答案的时候,我们明确的想法就像刚刚说的是我们要希望这个本体都跑了一个灵波的大脑这个事情,所以就是坚定的沿着这条路先把它就是趟出来,先把它做的比较扎实,对,这是我们整体的想法。你们团队现在是一个什么样的构成啊?是一个更偏 research 驱动的一个团队吗?
你看美国就有 Physical Intelligence 这样这样的组织。嗯,呃,其实它的好处就像我刚刚说,因为行业技术还不收敛,所以说它有一些一定是要有 research 的成分的。嗯,就换句话说,我们要不断的去探索说智能的上限在在在哪里。但这个这个探索的本身其实就是一种 research。但同时,呃,我们既然说成立之初我们就以一个公司的形式去运作这个组织。
就是不想让这个 research 太天马行空,嗯,就是我们还是希望这个东西能够跟产业有非常强的结合,所以相当于我们现在是基本上是两手抓,一手是想要去看智能的上限在哪里,另一手就是抓落地,就是说这个东西,嗯,一定要把它放到真实的。场场景应用里面去试,然后会发现就是比如说哪里不行,反过来用这个不行的点去重新反向去驱动,说我们下一步的模型迭代应该往哪些方向走。
嗯,因为模型还很早期,它可能有十个八个这种需要迭代方向,甚至可能更多。但是精力是有限的,你不可能说我全面开花,所以说。有有哪一个就是或者说哪一个特点会先去开发这个事情?可能是反而是由行业或者说由落地来决定的。对,你们从二四年底成立,然后每一年都分别做了哪些事情?呃,对,这个就是说二四年底成立的时候,其实那个时候第一步做的就是先把我们到底要做什么,我们是谁,然后要做什么这个事情先想清楚了,这是一个很关键的点,然后。
其实二五年整个一年,呃,我会觉得我们做了一个比较大胆的一个决定。当时是从二五年三月份的时候,嗯,就开始会意识到说,呃,机器人可能不单纯是一个。就是怎么说多么太理解的一个东西了,嗯,因为它毕竟要动嘛,对吧?它它跟环境有交互,那个时候其实就开始意识到,嗯。就是动态建模,或者说对对这个时序上的这种建模,可能是对于机器人最往后发展是一个至关重要的一个事情。
对那个时候其实还没有所谓的叫WAM这个技术路线啊,就是这个世世界动作模型嘛,那个时候还没有这个概念出来。但那个时候我们就比较坚定的觉得说,呃,机器人的往前走,呃,一定要从视频里学习。就是,而且学是就是从视频里学习,不是说把视频抽帧,然后还是当成图像来看,就是真的要让他学学会识趣的东西。那个时候是二五年初就做了这么一个比较大胆的决定,所以说呃,经历了基本上九个月的时间,然后在今年年初二六年初的时候,其实我们呃也是当时比较早的,应该是行业。
可能是基本上我我感觉应该是最早啊发布了并就是开源了一个呃现在就是大家叫视觉动作模型,我们叫视觉动作模型,嗯,对,就是VA,对,当时是。我觉得这一这一波应该是二五年做的一个比较大的一个决定,嗯,然后呃二六年今年又过了半年嘛,然后今年我觉得做的一个比较大的决定就是在二五年整个探索的过程中,我们发现了另外一个事情,就是嗯。
很多时候,我们因为最开始机器人我们也没有什特别多的数据嘛,然后所以很多的时候训练是依赖着数字世界的模型去做的,然后就有点像把数字世界的模型在物理世界嫁接成了一个agent,大概当时是这么做的,加了一个动作啊,对对对,但是。那个时候就意识到了一个比较重要的问题,就是很多时候,呃,数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的?
但但你这个时候你又没办法push他们去改。因为数字世界有自己的一套逻辑,他们也有自己的应用场景。对,比如说可能从就就是视频生成这个角度来说,哈,就是他就会希望这个生成的画质啊特别高,对吧?这是这是数字世界的需求。但是其实物理世界你落实到机器人动作来看,其实这个东西没有那么重要。嗯,对。但是你你不能反向去push它改模型,因为他们是有自己的迭代节奏的。
所以二十六年这一年,就是或者说这半年吧,我们做了一个。呃,我觉得是一个比较大的决定,就是那既然不能迫使他们去改,我们就全部基于物理世界的需求重做一遍。嗯,对,这可重做一遍啊!对,就是就是从头来训,对,从头来训,一点都没有用大语言模型,呃,不,语言模型是用的。我说跟视觉相关的所有的东西,我们就从头来了一遍啊。
但是语言模型还要用是吧?呃,对,LLM是用的。OK,对对对,因为那个那个的训练成本太高,而且那个我觉得数字世界跟物理世界好像也没有什么,就语言层层面上其实区别不大,哦,只是说物理世界可能更多的是靠语音交流,然后数字世界就打字。对,这这个可能我我个人感觉现在还没有到,就是就是就是我们还没在这个地方看到明显的应直接应用大语言模型的一个短板,就是感觉用起来还比较OK。
对,但是在视觉上,不管是理解还是生成。我们其实会感觉数字世界的开发的本来的就是motivation和物理世界的需求其实没有那么匹配的,嗯,对,这是可能二六年做的一个比较大的决定。二五年可能还做了一件事情,我觉得也是一个比较大的决定,嗯,可能就是第一大决定是我们就是觉得要做视频上的建模嘛。其实我觉得另一方面还有一个比较大的决定就是。
我们那个时候是非常坚定的,要从传感器出发,就真实的传感器出发去解决物理世界的问题的,因为嗯,这个事情是跟我二四年底刚来宁波的时候。呃,我不是说那个时候就是太天真了,觉得这个事情往机器人上迁移很很简单嘛。然后那个时候其实我们尝试,最开始来的时候就尝试着用很多呃数字世界的算法,或者说之前开发过的计算机视觉领域的一些模型,直接在机器人里用。
然后用的时候才发现,落地跟之前的想象完全不一样。因为在之前我做做做research做的比较多嘛,然后其实学术界有一个不太好的一个,也不能叫不太好吧,或者说大家有一个心照不宣的一个点,就是数据集都是比较干净的,嗯,就是相当于你很少能从数据集里面看到那种比较噪声比较大的一个东西。但是呃,在实际上应用应用起来的时候,因为机器人毕竟在现实世界中跑嘛,就会发现呃传感器的噪声其实是完全没有办法忽略的。
对这个东西,跟你能拿到很干净的数据是天然就是相悖的。对,所以说基于这个考虑,我们二五年也是坚持要,就是说我们可能就要从这个传感器的这个维度开始做起。嗯,对,传感器的维度就包括视觉,可能也包括触觉。嗯,对,可能是这是整个灵波现在呃整个呃。就是整个技术思路吧,两个比较大的技术主张,一个主张就是我们可能要从就是传感器开始做,然后我们会更多的或者说大家现在更好理解就叫所谓的空间智能,对。
然后另一个比较大的主张就是,可能我们要坚持从视频里学,而且要。可能就是为这个数字世界,就是为物理世界原生的这个方式重头学,对,可能是这两个是我觉得比较大的主张。你们在二五年九月是外滩大会,还有过一个炒菜的demo,这个demo跟你们当时的那条技术路线有关系吗?那个其实炒菜是一个比较长程的任务了,对,然后当时是尝试着去做了一下,发现了很多软硬件上的问题,嗯,然后这也就促生了我们。
更加更加坚定了说,我们一定要把大脑这个事情做实,因为如果没有一个比较好用的大脑的话,其实,嗯,比如说这上一次是炒菜嘛,对吧?然后如果我们想再拓展一个场景。复制的成本实在是太高了。嗯,对,所以说可能有了那一次之后,我们更加坚定的说,我们要把大脑这个事情做好。其实我觉得有两类公司,有两类思路,一个是我就要呃软硬一体化,然后一起协同往前走;对,一个是我就彻底不做硬件了,我要把脑子嗯做好。
你们选的第二条路,为什么没有选第一条呢?我们的初心就是做一个通用的脑子。所谓通用,是因为我们有一个判断是说,呃,这个行业需要的机器人,或者说它未来是可能进家庭,但中间可能还有一些to b的这个阶段嘛。我我们是觉得你很难说有一款。机器人真的适合所有的任务,就是或者说你你哪怕到了进家庭,然后你可能每个家对这个机器人也有不同的需求,嗯,对吧?
可能从任务角度出发,它就不是一个。就是可能一个通用的本体,就所有的事情全都解决的一个一个场景。我觉得这个这个事情本身可能短期内是不太会实现的,对。所以说在这个方面,我们就还是说,既然我们的主业是做大脑,那我们就从大脑出发开始做。刚好我们其实也有一直讲了一个技术主张,就是我们的大脑从最开始定义就是希望它跨本体。
就是说,希望它通用,这也是为什么我们在训练过程中可能就加入了不同的本体的数据。我们希望我们的大脑在预训练的过程中就经历过这些本体,了解他们的特性。那么在后面可能说,真的在某一个场景落地的时候,就可以快速的适应那个本体。对,这也是我们就是我们就是选择这条技术路线,也是跟当时可能跟公司整体的一个最大的战略规划,就是我们要做通用大脑这个事情是符合的吧。
通用就意味着是跨本体,呃,通用除了跨本体之外,当然还可以,就是它还有跨任务、跨场景,嗯,这些也是通用的一部分。对,但是呃,有些时候我我还是比较坚持说,可能本体跟场景是没办法完全耦,不是完全解耦的,就是什么样的本体适合什么样的场景,可能从这个本体。从产品定义最开始就已经决定了,有些事情适合它做,有些事情不适合它做。
嗯,对,大家现在可能讲的通用更多是会停留在任务和场景这个方面,但我们就是把这个硬件这个东西也考虑了进去。我们觉得通用应该就是多一层。就是你本体上也要通用,嗯,你们二六年,嗯,因为之前已经开源过呃四个模型,那是你们第一代大脑,对,然后现在又要开源呃第二代的大脑,这这次应该有六个模型。呃,对,这次是有六个模型。
在这两代的探索上,你们发生了什么样的变化?第一代做了哪些事情?第二代做了哪些事情?其实,其实从我刚刚说的,就是二五年跟二六年两个比较大的决定,其实是比较相关的。嗯,二五年的时候,我们当时两个决定嘛,一个是一定要从视频开始学,一个就是要做这个。呃,空间智能就是说从传感器开始学,然后这也是为什么就是从二五年我们那个二五年做的,或者说就是今年一月份开源那四个模型,就是第一个就是深度,深度其实就是从传感器开始,就是希望这个呃。
机器人对这个空间有更好的认知嘛?就对距离有更好的认知,这是一个从这个视频开始学,其实就催生了视频动作模型,还有一个这个世界模型。对,就是说说白了,就是一个能让它当这个仿真器,然后另一个是能让它当执行器,你可以大概这么这么这么去理解。对,然后这是三个模型嘛,然后再有一个就是 VLA,VLA 就是这个行业最主流的,然后能够真的说在场景里面去把把活干好的这么一个一条技术路线吧。
对,所以说去年呃今年年初开源的那四个模型就是这么个选择。嗯,这个模型训练多久?不同模型这个开发周期不一样,嗯,然后像我说的,可能时间就是开发的最长的,可能就是呃视频动作模型那个基本上是这经历了大半年的时间才最终把所有的事情都摸清楚。像深度这个,因为我们之前做就是在视觉上其实本来就有一定的积累,所以说可能在那个方面就是大概三个月三四个月的样子。
对,就是每个模型其实周期不太一样吧,嗯,对。这一代大脑能用到哪些场景?本体它能做什么呀?第一代大脑当时我们应该是支持了九种构型,对,然后那个时候应该是做一些简单的这个抓取任务吧,嗯,对,然后行业那个时候做的比较多的也都是这个这个这个方面的动作,对,然后一些抓取上可能解决的比较好。我们在通过跟行业去交流、去接触落地的过程中,然后催生了这一代。
模型的一个比较比较根本的一个变化啊,就是,呃,我们在真的想把 V L A 落地的这个过程中,我们会发现。嗯,有一个点,其实大家之前都没有太关注过,就是呃,之前大家做的很多 demo
也好,还是基本上都是实验室环境,对吧?实验室环境也就是说,可能所有的操作是在桌桌面上做的。但是我们这次试着想把它在这个实际场景中落地的时候,会发现机器人做很多动作其实不是在固定高度做的,它可能需要,比如说你去架子上拿个东西,它需要抬手的,嗯,抬手的时候,这个时候就会。
就是明显的突出一个说实验室场景跟真实落地场景一个gap,就是比如说头到底怎么样来看?就是头到底要不要看到你手抬那个地方,然后视角视角会不一样,而且甚至于有可能头即使抬了也看不到,嗯,对吧?然后抬起手来,就是呃,这里面就是说,那嗯,就是你的模型到底能不能控制抬头,以及说在头部相机失效的时候,你能不能只用腕部相机,或者说用其他的一些传感器就把这个事情做了?
这个事情在基模就就是说最开始的上第一版的模型预训练的时候,我们只支持了手臂的自由度,然后只支持了夹爪,然后。就是没有头,没有其他的所有的东西。嗯,对。然后九种构型,就是就是做一些简单的桌面上的一些操作任务。所以你要做抓取,你不能只考虑手,你还要考虑其他的部位。对,甚至于有些时候,假如说,因为你看最开始的很多
B L A 的这个 demo 是机器人是站在那不动的,甚至有一些大家做的呃展示出来的东西,可能跟可能都不一定是个人形,就是它可能只有两条手臂,就是实验室环境基本上大家都是这么搭的,嗯,就是把这个东西都可以 set up 好,但实际上落地的时候。
就是我们不可能让机器人就是那个点位点的那么准。就是你如果要,假如说你需要够的时候手够不到,那你是不是要移动一下?嗯,对。然后就是刚刚说头是不是要抬一下?然后有些时候,如果视视线到底在哪儿啊?对。然后你说抬就是你抓东西,那够东西是要抬手嘛,对吧?那我如果想要从下面拿东西呢,你要弯腰。对这些自由度是我们之前第一版模型完全没有考虑到,然后在这一版模型,就是说这次就是相当于二点零这个发布中,就会发现我们在这个机器人这个数据上其实做了就是比较大的一个升级,嗯,从九种构型首先是升级到了二十来,二十多,嗯,对,然后自由度是从原来的只有双臂,现在支持到带头、带腰、带底盘,甚至带灵巧手。
对,就是这个东西怎么说呢?这就是我觉得我们刚才说抓两头嘛,一面是就是就是上线的牵引,一面抓落地。我觉得这个就是落地的过程中,告诉我们到底应该就是模型迭代有那么多方向,到底应该什么是最重要的?对,对你训模型来说,你最重要的要做的事情是要找到这样的数据放到预训练里。对,你们这是一个多大的预训练规模呀?呃,这个我们这个应该是一个三B,基于当时应该是基于三点几B的一个模型去做的。
嗯,对,然后数据量大概是搞到了六万个小时。六万个小时,对第一代是两万个小时嘛,然后这一代是升级到六万小时。但其实这一代升级到六万小时跟那个第一代的两万小时还不一样,因为我们整个数据管线,因为之前就是最开始做的时候,感觉很多什么样的数据是好的还没有完全的探索明白。然后,呃,经过了第一版模型的发布之后,把很多这方面的数据也重新清洗了一下,所以相当于第一第一次发布那个两万小时数据,落到这一次的可能就剩一万多了。
嗯,对。然后我们是在这样的一个更严格的管线上。把这个数据就是又做了一个就是量的一个累积,对,然后差差不多呃四倍应该是有的,对,应该是上一版的四倍差不多吧。数据来源包括哪些呀?呃,怎么收数据?呃,收数据其实你们是真机数据拍是吧?啊,对,我们是以真机和可能还有一些 eGo 的数据,呃,eGo 就是就是人戴着头上戴个相机去做的那种。
你们仿真数据要吗?呃,仿真我们可能会更多的把它留在评测上。就是可能不太会用仿真的数据去做模型的训练,仿真数据量是可以做的很大,但是数据除了说数量之外,其实数据有一个很关键的点就是就是分布,嗯,分布就包括了说,比如说构型可能是一种分布,对吧?任务维度也是一个分布。我觉得仿真数据它可能在它擅长的方面,它可以就是瞬间就可以生成很大量的数据,这个事情是毋庸置疑的。
但是,嗯,从另一个角度说。怎么说呢?它可能分布会相对同质化会严重一点,就是就是它可能做的是差不多类似的任务,就是它的那种呃,比如说呃,尤尤其是一些这种柔性的仿真啊,或者说就是比如说你撕开一个塑料袋啊这种,其实对仿真来说,我感觉呃物理引擎的还需要点时间再去做一些迭代。迭代升级,可能那个时候仿真的数据用处会更大一点。
但是对于呃仿真现在比较好做的一些任务来说,嗯呃,比如说就是也是一些抓取啊、挪呀这种这种这种任务来说,其实从现在整个行业的发展来看,呃,真机数据的成本也在逐步的下降,降了多少?过去两年吧,我觉得至少得降了三倍不止。哦,对我我感觉是这样,因为从整个管理的。就是就是人员管理的这个逐渐成熟,然后机器也逐渐成熟,对吧?
然后可能嗯呃,数据的需求也逐渐变多,就相当于数据也在量产,量产一定会降本的嘛,对。所以说从各个方面的一个呃成熟,我感觉是让真机数据的获取的呃渠道以及这个。呃,渠道会变多,然后成本会变低,所以说可能这个我觉得也也代表了整个行业的一个就是繁荣发展的一个趋势吧。啊,对,有哪些类别的数据?准备数据上有什么?
呃,能耗吗?呃,核心的是,就是你到底要下发什么样的任务?嗯,这是一个比较比较难的点,就是你怎么能让你的任务尽可能的覆盖。我们刚刚说的所有的自由度,它有一定的通用性啊。对,就你不能说我这个这个数据里面百分之九十其实都没有用到头,只有百分之十用到了头,不是非常准确啊。我觉得可能举个更好的例子,就是说,呃,头部出现的就头部这个自由度出现的比例,跟可能腰部出现的比例。
差差距特别多,那可能会导致我们的模型就更倾向于学头,然后不太会动腰。哦,对,大概是这么,就是直观上讲,可能是这么理解会好理解一点。对,然后呃,另外一个note号可能就是数据真的拿到之后,怎么样把它清洗好,这个链路是是怎么样的?嗯,这个这个坑其实我们也趟了比较比较久啊,因为呃,这里面有一个天然的困难点,就是我们是做的是这种。
跨本体的模型,嗯,每家本体的特性都是不一样的,所以很多数据处理的方式可能是要跟本体有比较强的关系的,就是不是说真的说每家本体都可以用一种数据链路就完全处理掉。对,你可以理解成就是,比如说它的那个相机摆放的位置可能就不一样,对吧?它的自由度的这个关节的,呃,比如说几个自由度的连接方式也不一样,就是所谓的这种 configuration 嘛,啊,就是这种机器配置的不同,其实对这个数据的处理上。
带来了很大的难度,嗯,对,所以说可能我觉得核心的 no hard 应该就是这两个吧,一个是怎么下发任务,以及呃数据真的拿到了之后,怎么把它处理得更干净?有观察到什么通用性好的任务吗?通用性好的,呃,其实还是说,呃,操作越简单的,它就通用性越好,就是因为这个事情可能取决于操作员的能力了。嗯,呃,因为你越复杂的任务,可能能够把这个任务完整或者说丝滑做起来的素材员就比较少。
嗯,对,因为如果他的动作就是素材的过程中,这个动作假如说不丝滑,很有可能就导致,就是你是没办法把它修丝滑的。就一条数据嘛,对,因为那个成本就巨高了,对。如果你不能把它修的丝滑的话,可能会导致你学出来的模型就它就它以为这是一种正确的操作方式,对,就可能最后模模型在控机器人的时候,那个机器人也也也也也非常卡,对,就这个都是。
怎么说呢?就,嗯,可能素材源这个行业也在随着对对对,也也也在也在成长。对,这是你们自己的素材源还是外包的公司啊?呃,都有。对我们有,因为我们是呃,整个是一个比较,就是我们有那么多种构型嘛。对我们可能有一些合作伙伴、生态上的合作伙伴,尤其是数据侧的、本体侧的都有。然后我们可能呃会拜托他们帮我们,就是一起去把这个数据体系建立起来。
然后同时有一些呃比较难的任务,所以就是我们还保留了一定的自己的就是采集数据的这个能力,让。就至少我们先把这个 SOP 先弄清楚,就是我们的人先把这东西做一遍,然后把它就是再再再去沟通给别人,然后说这个事情能不能帮我就是补一些什么样的数据?对,所以呃很多素材方面的坑其实也是我们自己在。也是也是自己一点点的在汤对,嗯,我听过一个说法,就是有一些错误数据错误了再纠正的数据也是好数据。
呃,对,那个可能跟真机强化可能会有点关系吧,但但是那种素材其实也也一样,就是呃,你人要在旁边,就是相当于看着他,然后你你要知道他犯错了,然后你要在合适的时机打断他,然后并给他一个正确的示范。这个这个这个是这样的,就是我们现在因为为了落地嘛,为了提高成功率,其实我们也呃内部也就是。在在这个落地这个环节,其实也加入了真机强化的这一部分,就是说怎么能够让这个机器人从可能本来模型没有做的特别好,然后去纠正它,然后把这个模型变得更好,这个是有的。
但是,嗯,但是这个东西可能就,呃,更偏落地一点,可能我们没有在这个开源的这个技术报告里面去体现。嗯,对,你们这次六个模型,它们之间的关系是什么样的?哦,这个其实是。我我觉得这是一个这一次我们做的一个比较好的地方,就是,呃,我我我先大概讲一下关系吧,然后我再说一下为什么我觉得是做的比较好的地方。对,首先第一天我们会搞了两个模型,一个是这个
vision,就是灵宝 vision,然后另外就是一个灵宝 depths 的升级。
对,这两个模型是因为我们上一版就是在一点零那个版本的时候做的 depths,其实是基于 Dino 去做的。对,当时我们是用的 Dino Dino V2 当我们的 pretrain model,然后 Dino V2 其实也算是一种数字世界的模型吧。然后它可能更多的,它比较擅长的任务就是那种语义的理解。
对,但是其实我们发现语义的理解的这种预训练,可能因为因为在数字世界语义就是你理解语义其实就够了,很多时候,对吧?就是比如说知道这是一盆花,然后知道这是一只狗,这这可能就够了。对,但是我们在发现,呃,这个事情就是这种语义级别的理解跟呃,真的说想要去理解空间,或者说理解距离,好像并不是天然那么吻合。嗯,所以说我们自己重新做了一遍预训练。
这次预训练就不再是跟 Dino
不一样的是,我们是完全从几何的角度出发去做的预训练建模。几何角度,呃,怎么理解呢?我觉得你可以。粗浅的理解成点线面吧,就是说,呃,给你一张图,然后你先看有哪些,就是,比如就就或者说就是边缘。对,就是我们是从边缘出发去让这个呃模型更好的去理解几何这个概念,嗯,然后因为几何其实距离也是,就是它跟距离是比较比较相关的嘛,对,然后所以基于这样的一个呃vision,就是我们这次更新了底下的基模,然后会发现。
就比之前用 Dino V2 去做的这个 depths 要好,有一个比较比较大的一个提升。然后同时,呃,经过了半年的积累,其实我们的数据量又翻了几倍。嗯,然后所以说从我们又把这个 depths 基于我们自己的新的基模,然后以及更多的数据又迭代了一版。对,所以说有了一个更好的 depths。然后这次 depths,嗯。
我我觉得有几个比较有意思的例子啊。第一个是我我当时看到都比较震惊,就是呃,一个厨房里那种比较透明的那种水龙头,不不是透明,就是反光的水龙头,然后把水打开了,嗯,然后可以看到我们是可以清晰的看到水流的。就哪怕清晰看到水流,对,就是就是因为这个事情,对于一个机器人真的想执行一个任务来说是很关键的,就是你必须要能看到水,只要假如说就是接水,你必须要先能看到水。
你说的机器人看到水,对,哦,就是它,你要看到水的位置,不是说不是说看到水打没打开,你要知道水流在哪里。哦,它之前看不到吗?呃,之前应该是。之前他知道那个水水流是开的,但是距离肯定是不准的。基于我们的 vision 训出来的这个 depth,它能这这是一个我觉得比较有意思的点。然后第二个点,我觉得更形象了。
那个我我其实比较喜欢拿这个例子去去去做一个解释啊,就是呃我来就是可以解释一下为什么语义理解跟就是数字世界的语义理解跟这个物理世界的这个距离是不一样的。嗯,这是一个很有意思的例子啊,就是嗯就是一个假如说阳台,然后有一个玻璃门。然后外面有一只猫,你会看到我们这次的 depths 模型是完全看不到那只猫的。
因为它前面挡了一道玻璃,就是这是就相当于是如果我们人在往前行走的时候,你会先撞到玻璃,嗯,然后才有猫,所以说我们会试着把那个玻璃门拉开,拉开的过程中,你就会看到那个 depth 出来的那个猫,就逐渐的从那个门后面出现了,嗯,因为玻璃被拉开了,然后就可以看到猫了,嗯,但是从语义的理解的角度,其实那个猫一直在。
就数字世界,它只需要知道那有个猫就好了,对。但是物理世界,你就是你还需要知道前面有一个门。对,它对位置的感知在数字世界里是很弱的,对,因为它不至于说我走一走会撞到它,对,它没有这样的问题啊。对对对,其实就是这,我觉得这是一个非常好的例子,就是你能看到,但你摸不到,嗯,能看到是语义理解,摸不到是空间感知,嗯。
对,所以说这是我们第一天发布的两个模型,就是 Vision 和 Depth。嗯,对,然后呃,他们两个关系就是 Vision 是 Depth 的预训练,就是我们 Depth 之前用的预训练是 Dino 嘛,现在我们没用 Dino 了,然后我们是自己搞了一套新的预训练,然后新的预训练就是你可以理解成它是对视觉本身的一个很好的理解。
这是预训练做的事情,然后 depths 是它的下游,就是你感你你从视觉感知怎么变到空间感知,嗯,对,就是相当于把从图像变成三维,大概大概是这么一个关系。那 LLM 跟它们有关系吗?呃,没有,嗯,这个也不需要基于 LLM 对吧?对,这个是完全完全从视觉出发去做的训训练。就是一直比较戏谑的讲,我们关注的这三个事儿,就是看得更清楚,想得更明白,干得更利索。
嗯,就是机器人,就我们是觉得就这么三个三个事儿。嗯,第一个是看得更清楚。对,所以说我们先解决的看得更清楚的问题。然后看得更清楚这个事情本身是不需要语言的,就是纯视觉。视觉原生的一个预训练,对,然后这是第一天要做的,然后第二天我们其实发布了这个 VLA 嘛,然后 VLA 做了个升级,然后我刚刚说
VLA 这次的升级可能主要是从落地的角度,我们发现了一些问题,怎么把这个数据变得质量更高,然后怎么让构型变得更多,然后支持的,支持的任务可能变得更复杂,因为我们能支持头腰这些东西之后,它可能能做的事情就变多了,对吧?
对,然后。然后V L A这个事情,我觉得,嗯,可能对整个宁波来说,它最大最大的价值就是把数据要弄明白,而且把数据弄明白的是从产业的视角。把产业需要的数据,或者说把落地需要的数据弄明白,对,这是整个 VLA 这次的升级。然后刚才 VLA 讲的也比较多嘛,啊,你说,所以像比如说,呃嗯,有一些模型公司,就是以 research 为主导的公司,它的数据可能会倾向于真机和仿真数据混合来用。
那在你看来,是不是它离真实的场景是有距离的呀?呃,这个,呃,这个可能是不同公司选择的策略不一样。因为如果他做的,比如说他选择的场景是仿真可以做的比较好的,那我觉得从仿真上拿数据没有任何问题。对,然后但是我们我我们还是说想我们想要做通用的大脑,嗯,然后也是就跨本体跨任务,所以我们希望它的能支持的任务其实是越越多越复杂越好,对,所以说可能嗯现在对于这种嗯通用任务来说,仿真可能的覆盖率没有那么高,所以可能我们没有选择仿真这这条路,然后更多的可能还是希望从真机出发去做。
对,嗯,呃,反正就是说,呃,第一就是第一天的模型我们解决了看得更清楚的问题,然后第二天的模型其实就是
VLA,我们是解决了数据的问题。然后呃,其实接下来的呃,刚才说了三个模型嘛,还有三个模型。这三个模型其实我更想放在一起说,嗯呃,就是一个是video,嗯,一个是word,然后还有一个就是我们一直讲的VA,或者说现在外面会讲WAM,对,就是我们,但我我我还是会以VA来说,因为我们我们的命名是VA,对,嗯。
我们这这三个东西放在一起说,然后这个地方我记得 callback 一下我们刚才说的一个点,就是我们在上一版一点零的时候发现,嗯,很多数字世界的模型的呃开发的呃动机跟物理世界的需求是不匹配的。对,然后其实有几个明显能感受到不匹配的点,第一个。数字世界的呃,尤其是视频生成这一块,或者说大家现在比较喜欢讲这个世界模型嘛。
第一个点是数字世界在做这个视频生成之前会做一个这个语义的压缩,呃,会做一个这个视觉的压缩,因为它要求最后生成的。图像的质量要很高,嗯,对吧?然后那那它没办法做的话,它它一定要先做一次压缩,但它这个压缩其实就是,嗯,或者说大家现在比较常用的开源能拿到的这个压缩,它就是只做了一个单纯的压缩,这个压缩过程没有,就是这个压缩过程本身。
对后面的学习没有任何帮助,或者说没有任何联系。它就是单纯把一个,假如说就是把一个,呃呃,假如说是呃一百兆大小的东西,然后我先把它变成三十兆,让它更好学,可以大概这么理解吧。然后我们这一次呢,是为了让机器人在后面的学习,就是理解,就是学习的过程中,能够更好的去理解语义和动作本身。所以说我们在训练这个压缩的这个就是视觉压缩的这个模型的时候,我们就加入了语义和动作的对齐。
嗯,就是说,换句话说,这个压缩,这个这个压缩的或者我们叫编码器也好,它在编码的过程中就可以。感知到一些语义信息和动作信息,一有了这样的一个编码器之后,它在后面基于这个编码器编出来的那些个东西再去学生成的时候,它就更好的能够把语义跟动作这个东西理解,就是理解的更好。这是一个,这是一个点。然后第二个点也是就是数字世界跟物理世界不太一样的地方,就是呃,其实数字世界不是很关心效率。
呃,因为就是举个例子,就是大家说现在比较常见的就是呃,文生视频嘛。我给他一段话,然后他给我回给我一段视频,然后其实中间可能,比如说你生成一个三十秒的视频,用户可以等三十秒。就是,或者说等十秒,等个二十秒,那还是希望它能越来越快的啊!对你肯定是希望快,但是我的意思,它肯定是可以等,然后等你整个视频一起生成完。
但是机器人在实执行的过程中是没办法等的,嗯,它是即时的,对,它一定要实时,是一定是实时的,对。然后所以说基于这个,它就会诞生两个点。第一个,你的模型效率是不是能做得更快?嗯,这个其实从这个点上,对,就是因为现在大家可能用万象会用的比较多啊,然后万象其实是一个dense的模型,嗯,就是它没有用没有用moe这种形式,就是比如说它是一个十四b的模型,它在推理的时候激活就是十四b。
对,然后,但是这个事情,我觉得对于后面的加速,你哪怕是后面的加速工作做得再好,你在模型本身激活上其实没有一个。呃,如果如果就是说从框架上不不不做加速的话,可能对后面的呃,就你能加速的比例其实是固定的,你没办法真的做到非常非常快,这是这是一个点。然后另外一个点是,就就因为刚刚说的是实时的,所以它必须要就是它必须要所谓的叫单向建模,你的历史是看不到未来的,未来可以看到历史。
但是历史看不到未来,时间是单向流逝。对,但是呃,因为数字世界,你说生成模型的时候,其实它可以是双向的。对吧?因为我就是你是给他一段话,然后你等一会儿,你等的过程中,其实就相当于是你那段话的开始跟结局,其实你都知道了。然后他给你一段完整的视频就好了,他不用说在这个过程中只能往前走。嗯,这两个点是物理世界对提出的一个比较新的一个需求,但同时呢,呃,也不是说提了新需求之后,它就这个东西会变得更难,但物理世界也有一些可以被。
呃,做一些取舍的东西,就是可以被舍弃一些东西。最核心的就是画质,因为数字世界肯定大家会要求高清嘛,然后要求对吧?帧率要高,然后这个东西看起来、欣赏起来才好嘛。内容生成主要是这样。对,其实不同生物之间的那个视觉能看到多清晰是不一样的,但是它也可以在地球上生活。对,所以嘛,就是物理世界其实就是就是换句话说,你可以生成这种有点马赛克没有关系的,OK,或者说就是画质不高没关系的。
然后因为因为什么?因为我们还有摄像头啊。就是你生成的不高,但是你能看到,所以这个这个没关系的。对,然后就是就是基于刚才我说的,它有两提出两个新的需求,但是又可以舍弃掉画质本身,所以说我们在这方面又做了两个工作,一个就是我们说的video。就是我们也是把它开源出来啊,就是灵豹video本身就是一个M
O E架构原生M O E架构的一个模型,它有一个呃,其实M O E这个事情啊,就是大家可能呃听的会比较多,好像说就是那那就把一个dense的变成一个不用每次都激活,我就是比如说呃三个参数激活一个,就类似这种不就好了吗?
嗯,但其实真的想把M O E训明白。还是有难度的,因为在训练过程中,你要控制每一次的生成激活的比例是它要均衡。就比如说,你共有,一共有三十个参数,然后你每次都激活那十个。就有二十个参数,就基本上不被激活到,这个事情是不可以接受的。因为如果是这样的话,其实跟十B的蛋死就或者说十个参数的蛋死模型就没有区别了。
我们既然是想让它就是想让它就是稀疏化,那你要让它稀疏的均匀。嗯,如何能让一个模型就是M O E的训练就是均匀的把每个每个参数都就是。就是怎么说呢?以同样的概率被激活,然后把它训好,这个东西是其实是一个技术问题,对它不是一个意愿度问题,不是说我想让它少激活点就激活点,少激活点,对,所以说我们在video上就是。
因为我们自己从头训嘛,把这个 M O E 这个东西,我觉得应该算是呃,先先是趟通了吧。这个中间失败过没有?呃,失败了很多次,应该是呃把就是整个训,因为我们也想说训一个能能有训练基模的能力嘛。然后其实把整个基模训起来,整个infer打起来,数据弄起来,其实这些都是一些基本上可以理解成是确定性求解,就是都知道,呃,可能是没那么多经验,但你反正就是就是做就好了。
其中花的最大的一个部分就是 M O E, M O E 应该至少光训 M O E 想训明白,可能就花了两个月的时间。两个月,对。然后就是不然的话,就是你一直发现,嗯,他想就是他虽然虽然叫 M O E,但跟你最后期待的 M O E 是不一样的 M O E,对。所以,我我说就是 M O E 训把 M O E 训好是一个。
能力问题,它不是一个态度问题,对,所以说后来提升了哪些能力啊?呃,其实失败了几次?呃,中间失败,因为两个月嘛,我估计失败个几十次应该是有的。几十次,对,因为但失败它不是说你训到后面才失败,你训一训就会发现跟你想要的不一样,就是有些参参数激活的不均匀、不平衡,对,然后。呃,M O E这个这个事情,我觉得其实最后最最大的核心就是怎么能够让你的这些个所谓的专家被。
等概率的激活,嗯,然后这个里面可能就涉及到,呃,从你这个训练的时候,这这个 loss function 的一些选择呀,然后从你这个 sampling 的一些策略,就是,呃,对吧?一些或者说给它加一些正则呀之类的,就是加了各种各样的东西。然后现在是我们可以保证 moe 这个东西,呃,基本上这个技术本身可以。
稳定的训练吧,就哪怕说换一个框架,这个技术,因为 M O E 本身是个技术嘛,稀疏化嘛,这个应该是在这方面应该是。嗯,算是有了一个比较大的一个提升。嗯,对。然后这是说一个一个技术点,然后另外一个技术点就是说时间不能倒流这个事情。时间不能倒流,就是我们要求这个整个的 attention
其实都是单向的,因为因为 attention 就是或者说数字世界大家常用的模型基本上都是双向的,因为它要求要求画质嘛,你双向肯定是就是它你中间的连接越多,其实你的计算就越大,计算越大肯定效果就越好,这是一定的。
但是我们想把它变成单向的,这在这个地方应该是从一点零的时候就希望想把它变成单向的,然后又花了可能在这个事情上应该也是花了三四个月的时间,能够做到从头开始就单向训练。嗯,就是它还有一种另一种选择,其实可以说我先有一个双向的,然后把这个双向的变成单向的。这个过程中,我们会发现。会有一个很大的问题,就是很多模型预训练模型里面学到的一些知识,比如说就是对文字的一些理解,它其实是隐含在它的双向的这个attention里面的,就是一些knowledge是隐含在这里面的,嗯,对。
然后你强行把它变成单向的时候,单向这个事情是跑通了,但是那些knowledge有些就遗忘了。就相当于预训练作废了,嗯,它作废的一个直观表现就是,你之前可以跟他说一百句话,每一句话他都给给你翻译成一个比较好的视频,但是现在你可能再跟他说一百句话,可能只有百分之二三十的能翻译成好的视频,剩下的七十句话他已经不理解说的是什么,因为那个知识被破坏了。
对,所以说在把双向变单向这个事情上,我们也算是做了一个比较大的决定,果断的舍弃了双向变单向这个路线。从最开始设计的时候就是单向的。video这个工作解决了 moe 的问题,就是从头训练 moe,让我们就是我们具备了这种训练 moe 的能力。然后 word 那个工作其实证明了我们也可以把单向的 attention 这个训练这个事情也搞定了,然后。
把这些技术最终,我们全部应用到了巨身模型上,嗯,也就是诞生了我们最后最后一天发布的那个模型,就是VA二点零。这个模型是最关键的,对吧?呃,对,它是整个所有的技术拼到一起的一个一个模型。嗯,对,一个集合,它是对它就是因为呃,就相当于那个 video 是我们证明了 moe 这个事情,就是我们先把这个路蹚通了。
嗯,然后 word 是把 call causal pretrain
这个事情蹚通了,然后我们把这两个技术糅合在了一起,再加上我刚才说我们压缩的过程中也做了一些改进,把这三个技术点放到一起,有了一个。面向机器人,纯面向机器人控制的一个原生的基模,这个基模从每一个参数。都是完全随机化开始训的,然后再包括这个呃机器人本身采的一些数据,就我刚才说VLA不是我们搞了很多真机的数据啊,我们把这些数据都放到了这里面。
然后去从头训练了一个为了巨神设计的一个基模,嗯,这个是我觉得可能是呃这次发布里面我们一直讲巨神原生、巨神原生一个概念,可能这就是我我觉得这个东西就是我们想说的巨神原生本身。我我不知道在这个这六个模型里面,对哪一部分会用到 L L M。呃,有一种说法是说,嗯,就是 L L M 如果是大脑的话,其实机器人好多都在训练小脑。
那你觉得你们这个巨身原生的模型,它到底是?大脑还是小脑的部分,外面每个人对这个大小脑的定义是不一样的啊。在一些简单指令的执行上,灵波解决的更多是这个这个层面,比如说就你给他说一句话,然后他帮你把这个事做了,这种这个层面应该是灵波在做的。但是还有其实在这个之上还有一个更更加。智能的一个部分,那一部分现在凌波还没有解,那一部分就是真的把跟人的交互放在里面了,就是那个东西是需要很多思考。
比如说,假如说啊,就是呃,机器人今天就是一起床,然后机器人帮你拉开窗帘,它就知道帮你拉开窗帘,然后看到外面下雨了,它就要知道给你拿把伞,让你出门。对这这个层面的东西,我觉得应该在更高的智能阶段是需要做的,而那个阶段可能是跟语言模型、跟多模态模型要解决的,就是其实我觉得跟数字世界可能就更更相关了。哦,对,但是但是如果单纯的你跟他说,呃,帮我拿一把伞这种动作,我觉得凌波现在解决的是这一层面的问题。
就它不解决意图的来源问题,它只解决意图的实现。呃,它做一个动作,对,但是它的动作是简单的。呃,它可以是一段连续的动作,但是呃,但是它为什么要做这个动作,它不知道。啊,对,就是它只管意图的实现,就是你有个想法,它帮你做了,但是它不会有,它不会产生自己的想法,它不会主动帮你去想你要做什么。哦哦,对那一层面的交互,我觉得可能是更高阶的智能。
凌波现在还没有做这一层面的事情,因为你刚刚说第一代能抓取,对,嗯,第二代能做哪些动作啊?它有仿化系吗?啊,对,第二代其实就是因为我们有了这个刚刚说的,我觉得为了就是相当于我们没有再重新用数字世界的模型基于数字的模型迭代,然后我们可能是为了。巨深单纯设计了这么一个模型嘛?就是因为有了这个,我觉得有几个比较大的,呃,我觉得挺有意思的提升。
第一个是,嗯,现在它能处理随机性、处理随机问题的能力要强很多。这个大概怎么理解呢?呃,比如说我们其实有一个 demo 是跟人去就是打那种撞球,就是在那个例子里面你会发现,嗯,它这个 demo 跟一般的就是大家做的 demo 就不太一样嘛。然后因为它里面会有很强的随机性,你永远也不知道就是对面人打过来那个东西会在哪。
对,就是它它就相当于不是说我把位置都定好,对我不是说把位置都打好就是摆好就可以了。对,它一定要是看到你打过来了,我们才能打。然后,而且有一个很关键的点是,我们在整个过程中其实是只依赖了机器人自己的相机,就是没有在那个场地周围再放一圈相机,然后让那个相机去追踪那个东西的位置,就是不是靠这种方式实现的,完全是就是跟人一样,就是我就一双眼睛,然后我就看到那个东西,然后去做。
嗯,对,这个东西是处理随机性,然后另外一个是那个那个回合非常快。哦,就是因为人打嘛,就是他他对实时性的要求就很高啊。他不是一个说你你如果机器人动得很慢,或者说你动一下卡一下,动一下卡一下,其实你是打不回去的啊。这是挺好玩的一个场景啊,对,嗯,所以我觉得这这是一个点。然后另外一个,再举一个例子,比如说。
比如说,就是呃,我们还是说整理桌面这个东西,就是大家看到的,假如说就是一般都会说,假如说收纳玩具或者什么,基本上都是摆好了嘛,对吧?然后我们现在是可以支持,假如说你就是说把这个桌面上的东西都拿掉,都都都都收都收拾起来,然后我们现在是可以支持你先拿一个筐随便撒上去,撒上去以后,然后不就那个,其实就就这本身就已经带了随机性,对不对?
你中间还可以把一些东西再拿出来,它不是说就把现现在有的这些弄好,就是收拾完就好了。你会发现,你可以把它捡进去那个东西再拿出来,随便摆一个地方,它还是会把它收进去。甚至于你可以跟它一起收拾。嗯,就是有一些东西可能他他还没收到,然后你先帮他收了,那他对他来说他就不收了。嗯,其实我觉得这个这一点也是一个比较大的一个一个进步。
对这个东西就是,嗯,现在能够处理的随机性应该比一点零版本那个模型要在这方面要强很多。对,这是因为加了更多的数据。呃,不是这个东西,就是因为整个的模型的预训练不一样。你看到了模型具有泛化性的这种迹象了吗?呃,对,就是我觉得在这个刚刚说的这种例子里面,就是呃任务的泛化,就是这不是不是能说任务吧,就是位置上的泛化这一点,我觉得现在应该是有比较大的。
突破,嗯,它能够接受这种随机性,对,这意味着它不是只是通过一个RL来做的反馈,对它它不是一个固定的任务了,嗯,它是一个中间可能会有很多突发情况的一个任务,嗯,对,这是一个。我觉得这是一个,在这一个层面,就是随机性,就是泛化性,要分很多很多维度嘛。对,我觉得在位置泛化上,应该现在可以说是解的会。好一些了,然后,但是我觉得现在我们这一版模型可能对于这种任务上的泛化,任务上泛化怎么怎么说呢?
我觉得就是就你能不能够直接就是什么也不做,就直接给你一个新的任务,从来没见过啊,你就能做了。我觉得这个是一个比较难的一个事情。然后,这个我觉得这个维度可能现在还没太做好,嗯,因为它我觉得一个比较大的原因是因为机器人的数据还是不够多。就你见过的任务还是不够多,你没办法通过你见过的任务组排列组合变成一个你没见过的任务。
对我觉得这个可能还是一个即将要就接下来可能要去重点突破的一个点。那你需要他见这个任务看几次才能学会呢?就是他的学习成本有降低吗?呃,这一版应该是比上一版有。也就是我们的二点零会比一点零有,我觉得是在这方面也是有提升的。嗯,然后体现在两个方面,第一个方面是,呃,我们一点零的时候,当时其实是做了这种评测嘛,当时的评测是每一个任务要单独训一个模型。
就相当于,假如有一百个任务,你就要训一百个模型出来。嗯,就每个每个任务都要单独训一个后训练,然后再去测。但这一把我们是可以把,假如说十个任务,我把这十个任务训到一起,一起测。嗯,相当于这十个任务只用一个模型解决,这是一个方面的提升。然后另一个是,其实从这个数据量上来讲,嗯,后训练需要的数据量变少了。
我们上一版应该基本上都在一百条左右,然后现在应该是二十条左右就可以了。嗯。对,然后当然你还是没办法做到说一条甚至更少。对我觉得那个可能要随着你基模的能力再进一步提升,可能我们在试图把这个事情再再做下去。对,但整体来说这一点上应该是比一点零也是有一个比较大的。提升,嗯,对,巨深智能今天到什么阶段了?你之前说还没有到GPT一的时刻,呃,今天对,呃,今天我还是觉得也没有到这个阶段,就是巨深智能本身,对,因为呃,为为什么这么说?
因为现在还没有看到一个比较好的能够做数据scale up的方式,嗯。就哪怕是我们这次说的,呃,比如说我们用了六万小时嘛,对吧?现在有六万小时数据,但其实,呃,坦白讲,跟上一次比,还没有数量级的提升。嗯,而且这些数据应该是远远不够的。呃,我相信随着呃现在这个行业数采的方式的这种,就是大家在做各种
ego 相关的数据嘛,我觉得应该是等数采方式真的确定下来,然后可以大规模铺开的时候,可能那个时候会看到 GPT 一的时刻。
所以瓶颈还在数据。对,我觉得现在就是因为跟 GPT 相比的话,我觉得应该还是在数据的。我们这次虽然也在讲,就是我们是,我们是模型的设计上是巨神原生嘛,就是我们的模型设计都是特性是为了巨神设计的,没错。但是,呃,为了做预训练,就是巨神原生的预训练,其实我们还是用了大量的互联网数据在做的。嗯,然后互联网数据的量级应该跟就是机器人的比要就是远大于大多少几倍于机器人。
真机采集数据应该差两个数量级吧?OK啊,大语言模型能够 scale up 是因为互联网数据已经 ready 了啊。对,嗯,那所以说在这里面,虽然说我们架构上已经做到巨深原生了,但我觉得数据上还没有。嗯,所以可能当巨深的数据本身可以做 scale up 的时候,或者说能至少跟互联网达到相同量级的时候,可能说我心目中的 GPT 一的时刻吧。
你估计还有多久啊?呃,具体的时间可能就不好预估了。那个,但是现在比之前的好处是,呃,因为基建上来了。模型的开发周期跟 GPT 之前的那个时候不一样了。那个时候大家能有个万卡集群就觉得很了不起了,嗯,就是至少从语言模型那一块。但现在国美国的很多公司在做语言模型的时候,基本上都是十万卡,甚至可能到更多。
对,所以我说,我觉得整个的这个呃基建上来了之后,呃模模型的开发效率也会比之前要快。所以说,可能不一定说,呃原来的GPT一到GPT三点五,或者说叫ChatGPT,可能用了一段时间,然后可能。现在从机器人的 GPT 一出来到 G P 机器人的 Chat GPT 出来,可能又不一定需要那么长时间了。对,因为是配套的工具在成熟,你们的 infra 水平也跟着提升了,是吗?
呃,对,因为因为我们开始要做预训练了嘛。就是,既然我们想去动到原生基模这个东西,它需要的资源肯定比之前说我只把它当做数字世界的一个下游去做,需要的资源要多得多。嗯,对。你们要做原生巨声的模型,这个Bath是什么时候下的?当时纠结吗?呃,其实。不纠结,嗯,因为在发完一点零的时候,我们当时就意识到这个问题了,就是很多特性,我们当时是强行在数字世界、数字的模型上魔改,哦,强行魔改,然后发现很多东西就是不work,就是你你你你改了再再fancy,它有一些缺点还是会暴露出来。
所以在一点零发布完之后,我们当时就做了决定,就是我们必须要具备。做底层更底层模型训练的能力,算不算是一次 bet?肯定算是一次 bet,因为嗯,我们也不确定这个东西是不是能成功,是不是能训出来,因为没有之前也没有人有过这样的经历。但我觉得值得值得一赌,因为这个在我们看来,如果数字世界的那条路就是走走不了特别长远的话,那。
这是一条必经的路,如果走不通,就是或者说,如果不是我们走通,也会有人走通的,因为我觉得这可能是正确的路。嗯嗯。有什么之前怎么做都做不成的任务,到这次让你觉得有一点惊讶的吗?你有什么aha moment吗?嗯,其实我我对于刚刚说的那种跟人一起打球这个事情就比较惊讶,因为它真的是综合体现了好多能力,就是你的执行也要快。
然后你的这个随机性或者说你的预判要要好,对,然后再加上其实那个东西我们可能一共也就采了二十条数据。我就说为了执行这个任务,在预训练之后,为了做这个任务,可能就采了二十条数据。哦,对,这个比较出乎你的意料。以前需要采多少数据?以前可能采多少数据都不一定能做成,对,因为就是真的是不是能够让模型把这个随机性就是cover的比较好,我感觉之前我是没看到过有类似的东西出来。
嗯,在做原生机器人脑子这件事情上,有什么其他人的工作可以借鉴吗?比如说硅谷的一些 Frontier Lab,他的工作有可借鉴性吗?呃,我记得应该是 Generalist 的,他们就是说,因为他们的数据量。比我们要大得多,嗯,呃,我他们官方就是能那就或者说能查到的消息,呃,公开消息,然后可能应该就是几十万小时,呃,现在可能都不知道是不是可能可能有百万了,我不清楚。
然后他们的数据管线什么的,这方面应该还是比我们要成熟的。他们更早的去动到了 pretrain 这个这个这个方面吧。嗯,对。但是呃,跟他们不一样的,或者说可能只是出发说要用巨深数据做 pretrain 这个事情。是一样的,但是你要说技术本身的借鉴,其实并没有,因为我们相信一定要从,呃,视频生成这个这个这个路线里面去去学到一些知识嘛,对,所以说能够把视频生成这个做到原生的,目前还。
没有看到你怎么看 generalist 和 physical intelligence 他们的路线的区别?呃,我觉得他们两个更多的是,呃,可能有一些最后的理念的一些不一样。因为 generalist 更多,他他是能接受有后训练的,他强调的是高效后训练。嗯,然后但是派好像更多强调的是 zero shot。
他更希望不要后训练,嗯,就是我什么都会,对,所以从这个角度来讲,我觉得可能。天然选择的路可能就就不一样,听起来 generalist 更实用一些。呃,从我的感觉上可能是可以,但是但其实殊途同归啊,因为我觉得是这样,这两个能力都必须具备。就是如果我们设想未来有一天机器人真能够进家庭,你肯定希望它有两个点。
第一个点是它进到一个家庭之后,百分之八九十的活儿它自己就能干了,百分之十到百分之二十它干不了的,可能是你教它一下,它就会了。这两个我觉得都都是都是需要的能力,嗯,对,其实就是 in in context learning
吧,对,然后呃,感觉这两个其实其实不那么冲突。对,但是呃,这这是这是一个点,然后另外一个可能,呃,他们两个技术理念,我个人会感觉有点不一样的是,呃,Generis可能还是在他对优米那条那那个那个数据可能会比较他理解的比较深入,玩的也比较好,然后那个Physical
Intelligence可能还是在真机遥操上。
他们应该是在这方面做的比较扎实。嗯,对,从这个再往后看啊,就是因为现在开大家开始去讲那个 egocentric 了嘛,嗯,就是而且再往后可能说,呃,我觉得灵巧手这个东西可能也会逐步的被。提上日程,就是大家可能会越来越关关注,说需要的更复杂的一些操作任务了。那个时候可能假爪就不能满足需求,可能一定要用灵巧手了。
对,可能在呃 Ego Ego 的兴起,再加上灵巧手的不断的发展,很有可能呃真机遥操和呃五米两个两条数据的路线,可能都会发生一些变化。哦,对,就是可能他们也要去迭代升级,但有有可能最后再往后发展发展,可能就合久必分,分久必合。可能他们也会慢慢走向同一条路,这个谁知道呢?所以现在不同的路线,嗯,的核心是我怎么使用数据,或者我怎么获取数据,这是一个很关键的点。
对,这肯定是一个很关键的点。嗯,对我现在是比较坚信的一点,尤其是我们这次,我觉得算是做了一个比较比较好的一个开始。我还是很坚信,呃,巨深一定会有自己的模型。嗯,就是它为具身设计的模型,但是就是在这个这个观点如果不变的情况下,那它的数据必须要支撑它可以做自己的模型。所以数据是如何把数据很好的 scale up 是一个至关重要的点。
嗯,对,这是我我去年去上海外滩大会,他们为一个事情争得不可开交,就是说到底。呃,具身智能是一个独立于语言模型之外的一个独立的学科呢,一个独立的发展方向呢,还是它是基于大语言模型的一个方向?呃,有两派观点,一一派认为我们是基于 LLM 训练的,所以我们是呃成长在 LLM 这个上面的一个支线,然后另一派就觉得我们一定是独立的。
你是哪一派?我不能完全说是哪一派,如果硬要选一个,我可能会选择后者。具身智能要解决的问题跟语言模型,它其实是。不冲突的,就是语言模型更多的是让人听懂这个指令到底是什么,让机声听懂指令是什么。但我觉得具身智能更多需要解决的是怎么把这个一件事情做好。做好本身是不需要再理解语言的。嗯,但是它的前一步就是怎么把语言转译成,就是它的后面的一系列动作,就是第一步可能是需要依赖语言模型的。
我会认为,呃,巨深会继续拿来大语言模型当一个比较好的呃入口。嗯,然后他会成长出自己的模型。他们两个中间可能只是一个就是交互的层面。更好的当然是说我们把语言系统也内嵌到这个巨神里面嘛。但我感觉,呃,短期内巨神要聚聚焦解决的问题不是那个,他还是要先解决怎么把一个事情干明白这个这个点。但干明白这个事情,我个人会觉得。
对语言的依赖没有那么高,嗯,语言是第一个交互工具,对,嗯呃,换句话说,如果不是语言,你你你,假如说一共就一万个任务,然后你把这一万个任务就把编成固定的编码给他,可能也行,只是它没有办法在任务维度再泛化了。但语言模型本身可以在那个维度再泛化嘛?它解决的是。呃,需求泛化的问题,我感觉对,但是这个明显不是现在现在这个阶段具身智能的核心焦点。
嗯,你觉得从二四年底就是你们开始做这家公司,然后到现在为止,整个行业的突破是什么?在哪些方面?它的进步快吗?呃,其实我觉得进步是比我想象的要快得多。嗯。因为呃,首先从硬件上,然后现在呃,至少呃,像语数啊、智源啊,就是已经把这个。量产啊,已经跑通了,应该是已经可以进入到量产阶段了。然后就相当于供应链也随着这个行业发展也在成熟,这是一个点。
然后呃,从去年开始大家是夹爪,到今年开始灵巧手公司已经层出不穷,然后已经有非常多的灵巧手公司出来,然后灵巧手的发展也是,就是我觉得可能也用不了太久,可能会变成渐渐变成标配。渐渐啊,这只能说就是可能要再给他一段时间,因为硬硬件毕竟有自己的发展周期。只是说大家已经不满足于不满足于假爪了,嗯,然后再加上就是传感器层面,现在有越来越多的触觉相关的传感器,然后这些其实都是为了。
就是灵巧手啊,触觉其实就是为了让机器人做更复杂、更精细的任务嘛,嗯,对吧?这是这是从就本身硬件或者说。对这个行业里面硬件的发展来讲,我觉得是一个比较让我惊叹的一个速度。他们是不是也都是一种数据获取方式?呃,对他们一定会考虑说跟数据的关系。嗯,它更多的还是为了模型的升级嘛。我觉得还是或者说你能够提供更多的执行更多的任务,其实也是为了让模型能学到更多的知识。
对,然后这是这是硬件硬件这个层面,然后另外还有一个层面就是。从这个落地的这个层面,因为现在已经可以看到很多家都在去展示说模型可,比如说可以进工厂干活啊,像像Faker还去展示了这个物流分拣啊,对吧?然后呃,已经有越来越多的开始去提机器人的落地,而且现在的落地已经不再是通过比如说一些传统的控制方式落地,大家都在。
尝试用模型去落地,我觉得这个也是一个比我想象的要更快的一个一个一个节奏。因为去年的时候,呃,去年WIC的时候,呃,七月份的时候,我感觉更多的还是在show demo。那个时候我记得,我记得之前好像有一个有一个说法,说什么,呃,二二四年在倒咖啡,二五年在叠衣服,反正一年有一个新的动作,然后大家在。那但我感觉今年反而是大家demo提的少了,都在提进场景了。
对,我觉得就是短短一年的时间,然后模型的,就是说软件侧的发展也是突飞猛进,所以从这两个角度来讲,我是觉得这个行业确实是在加速的。嗯嗯,对,不及预期的有吗?不及预期数据,我我会这么理解啊,在大家尝试着真的开始步入巨身原生之前,对数据的虽然大家都在喊。学数据需要数据,但是数据数真实的情况是,呃,如果你真的不需要做一个基础模型,可能不需要那么多数据量。
你到底需要多大的数据量?呃,我觉得理想状态,我觉得应该是百万小时起步吧。嗯,就是能开始说我这个。整个模型的里面,呃,巨深的数据跟互联网数据可能说大家去相对平衡一点。然后我让它既能学到一些通用的知识,又能学到一些呃操作相关的知识。对,这是我我觉得一个比较理想的状态,应该是在百万小时起步。对,但是呃,在百万小时之前,我觉得应该会先有一个十万小时的规模,而这十万个小时,呃,是可以,就是就怎么说呢?
它是完全拿来做预训练的,嗯,预训练不是说基于数字模型的训练,是巨巨神原生的预训练,对,所以我觉得不及预期的就是,嗯,在没有可能就是过去一年,呃,没有看到。巨神原生的东西真的出来,然后就是因为没有这个东西出来,所以大家对数据量需求其实没有想象中那么迫切,就是大家会讲说。嗯,我们都大家都知道,行业的公认就是说,可能数据是一个很关键的东西,而且需要很大量。
但是没有一个具体的,呃,比如说你不训基模,是没有一个推动力说让你马上一定要拿到这么这么些数据的。嗯,所以我感觉,呃,数据的这个发展其实还有一点。我觉得不及预期啊,对,这是我自己的看法。今年好像有个现象,去年之前的这一波机器人公司很多都是嗯,本体和模型一起做的,但是今年大家明显更看重大脑了,而且很多公司开始只做大脑不做本体。
你觉得为什么会发生这样的一个变化?感觉是两代机器人公司这种感觉。嗯,其实我感觉。我我感觉一个比较关键的点就是,呃,就是一个本体很难,目前来来讲一个本体很难通用,嗯,然后呃,但如果你不通用的话,你要一定要选准场景。这样做本体才有意义,就是呃,你这个本体相当于是是为了那个场景专门设计的,因为专门设计它有,就是它可以有一些东西做强化,有一些东西做减配,因为最后落地的话要讲的是成本。
嗯,我们不可能拿一个就是各方面的全就是六边形战士,然后去做某一个具体的任务。这样的话,它可能很多很多东西是超配的,成本一定是上升的。对,所以我觉得可能大家不讲本体的一个原因是,第一,本体其实也有自己的门槛,你到底能不能有量产的能力,这肯定是一个点。第二个就是,呃,本体的这个,呃,就是你如果场景选不准,本体设计的一定是有问题的。
对,但是场景现在,呃,现在我看来比较难,就是大家也不太敢说哪个场景一定会跑的非常好。大家都在做尝试,嗯,但是可能确实比较难决定说哪个场景最后就是先跑出最好的,对,嗯,所以我感觉可能有这方面的一个原因,然后再加上另一个点是。啊,这这是刚才我我觉得对这个从从这个硬件的需求的角度出发,但另外一个点是,我觉得呃,从现在行业来看,嗯,大脑可能是目前是落后于本体的。
嗯,大脑的开发是落后于本体的,很多时候,呃呃,换种话,换句话说,现在就是今年的主要矛盾应该是怎么让他先变得能把活干好。然后,对去年王兴健还说干活是一片荒漠啊,对,所以,所以我觉得应该是还还不能把活儿干好,所以说会有更多的人想要去试图解决这个问题。然后,但我觉得这个行业在就尤其大脑跟虽然说大脑跟本体现在还是不能完全解耦啊,但是。
我觉得就从这个发展的来看,他们两个一定是交替上升的。就可能现在大脑是落后于本体的,但是因为随着做进来做大脑的人越来越多,可能这个东这条路就是或者说呃呃智能层它会跑得会更快一点。然后可能某一天它就超过了本体,那那个时候可能会对本体提出新的需求,然后本体就会再去可能在那个时候会有一批新的由就是智能重新定义的本体公司,就是可能再往那个方向去发展,就是它可能,嗯,可能不再从我们大家。
之前理解的一些参数,再去看这个本体了,可能很多东西就是为了呃,就是更好了,方便模型控制去去设计的。对我觉得可能那个时候本体会再发展一段时间,然后可能那个时候就本体又更强之后,又会催生说智能又不足了。我我觉得一定是这么一个过程。嗯。最上一代硬件不一定能够迭代适应下一代的模型。呃,我觉得是,至少我我的判断应该是这样的。
然后,呃,硬件本身可能还好,嗯,但我觉得传感器应该是。现在的传感器应该是还要再做进一步的升级,尤其是触觉相关的。就是其实我举个例子啊,就是呃,比如说触觉,或者说之前大家对传感传感器是有指标的嘛,就是我必须要做呃,比如说我的精度达到多少,然后我的这个频率达到多少,它有很多指标,但是会发现。呃,很多时候做传感器,如果只做传感器本身啊,他肯定会希望这些指标就是都好,嗯。
但是有些时候又不能决定,就是可能又就是你没办法真的满足说所有的东西都很好,它一定要有取舍。那取什么舍什么,其实是门,我觉得这也是个是个问题。但是之前的取舍,可能大家会凭着呃使用的这个过程中,比如说力必须要准,那既然是你是触觉传感器,力就要准,可能会先取这个,对吧?就是这可能是大家的一个呃,或者说不能叫共识吧,但反正就下意识的会这么想。
但是有可能,呃,这个东西在AI这个时代,模型可能最需要的不一定是你力要准,有可能是需要你反应够快,嗯,就是我可能对实时性要求可能比那个更高。这都是这这都是有可能的,所以说可能如果说这个传感器再迭代升级,可能要从模型的需求出发,看我们要强化哪些指标,弱化哪些指标。就是还没有到说模型可以定义它的时候,他们肯定会按照传感器的发展,肯定会按照就是传统的理解,说我们去怎么去尽可能的优化嘛。
对我觉得这肯定是一个未来的趋势。有的是从硬件出发,有的是从软件出发,但是大家都想进入家庭这个最好的场景里。呃,对,可能现在其他的一些场景还不够那么性感。呃,对。呃,是这样,就是可能可能还是 to c to c 更性感一点嘛。嗯,对,嗯,所以他现在需要做一个选择的,我从软件出发还是从硬件出发?对,嗯,有的人从硬件出发,有你们是从软件出发?
对我们是从软件出发。嗯,沿着脑子往后做,你觉得接下来几代会怎么迭代?我我觉得是这样,就是刚才我说的,呃,我们这一把是做了,呃,就是。怎么说呢?从这个物理特性上做了一些原生的设计,然后接下来我觉得最大的就是怎么能够从架构原生再再往前再走一步,做做到数据原生。呃,数据原生解决了刚刚我们说泛化性有很多很多种嘛,比如说那个本体构型的泛化性,然后我们现在能够做到位置的泛化性,然后但是接下来我们还是要做任务的泛化性,任务的泛化性就。
严重的吃数据了,嗯,对。然后那一个更更优雅的数据采方式,能拿到更多的好的数据,然后以及把这个数据真的比较好的送给模型,我觉得可能是下一版本我们最重要的一个核心。意味着你要自己去做数据采数据,呃。可能会投入更多的资源来做这个事情,对,或者说把数据的数采的这个整个的标准需要再做的更扎实一点,就是到底怎么样采什么样的数据,嗯,怎么采,然后这个东西到底是不是可以规模化复制?
可能这个是我们接下来要关注的一个比较大的。现在有什么可能性规模化复制吗?呃,其实就是呃,大家现在讲的比较多就是易购嘛。然后其实易购的数据,呃,我个人的看法是,他提出了一个比较好 scale up 的一个方式,这一点是毋庸置疑的。但是现在的问题是,只从易购,假如说就只有头部的相机拍下来的这个数据,到底能不能用?
它对于之后,假如说灵巧手真的发展起来了,然后我们想要做手部的一些精细化动作,有没有帮助?这些东西还是未知的。我觉得 ego 应该是提出了一个采集理念,但这个采集理念是要被打磨成一个具体的一个产品,才能够就是开始说部署下去,然后开始做起来数采这个事情。对,我觉得这个理念和从从有理念诞生到一个理念的真正的实施,可能还是要点时间。
嗯,所以说巨声智能现在接下来要解决的最重要的一件事情,还得是数据。对,应该是数据的,就是可规模化的,然后。可以被模型使用的数据,嗯,就是这个可以被模型使用。我觉得,嗯,可以被模型使用和可规模化这两点本身就是一个平衡,因为模型肯定希望数据越好越好,就是质量越高越好,含有的模态越多越好,这是模型的需求。
但是规模化就是你你你的需求越高,我越不能规模化,就变成定制了,就是我很难真的上量。那在呃质量和数量之间怎么取一个平衡?就是说我模型哪些东西是可以舍弃的,这个东西可能现在还没有太定义清楚。嗯,这个事情一旦定义清楚,我觉得后面的事情就会加速。嗯,你这是第一次创业,你对创业有什么新的感受吗?对我来说,两个第一次吧。
第一次,第一次创业,对,第一次创业含了两个部分啊。然后第一个部分是,我觉得,呃,第一次面向落地,这是第一次。嗯,然后第二次就是。创业就是换句话说,呃,第一个第一个第一次是业,第二个第一次是创。对我觉得从落地的角度来讲,可能确实,嗯,让我感悟比较深的就是。以前会更关注技术的领先性,嗯,现在会更关注技术的哪一方面的领先性,就是技术还是要领先,但是是不是有价值的领先,还是说只是技术人就是拍脑袋觉得大家就是有很多东西都可以领先?
你现在是要哪哪里领先?我现在肯定是希望能支持的任务越多越好。哦,对,就是我我会优先选择场景的,就是就或者说场景在任和任务的这个泛化性这一方面。哦,对,然后这是这是第一个第一个第一次就是业的部分,然后再说一下创的部分,我觉得嗯,可能这个第一次教给我的更多的就是就是人要学会就是或者说创业要学会赌,创业一定是赌出来的。
嗯,就怎么说呢?嗯,没有人知道哪一个路一定是成功的,然后资源又一定是有限的,所以在有限的资源下,路径不确定的情况下,就是要赌。对,我觉得敢做决定、敢赌,这是我觉得很关键、很关键的一点。因为如果说一条就是大家如果都知道哪条路是成功的,那那为什么是你成功?就是就是如果那条路一定成功,大厂一定成功了。对,这是这是百分之百的嘛?
就是有资有更更有资源、更有人的地方一定会成功。对,然后但是。在路径未知的时候,如果犹豫不决,很有可能最后就什么都做不出来。这里面你们的大赌有哪些?不做本体是一个大赌吗?呃,对,我觉得做第一个是传感器是一个大赌,嗯,对。然后第二个就是原生是一个大赌,嗯,因为原生这个事情很有可能做到最后就发现没做出来,就是你训了半天,训了一年,花了好多资源,然后结果这模型就是不收敛。
这是这是其实我觉得这是一场豪赌,就是做出来他没做出来有很多种可能,比如说就是思路错了,嗯,也有可能是技术还不成熟,可能再过个两年三年重新再做这个事儿可能就成了,就是说你你太早的进入也不行,然后。就是,可能资源不够也是一方面。就是说,你本来只只能做一百块钱的事,但你非要做一个两百块钱的事,你没有那么多资源,这些都是赌的一个怎么说呢风险点所在吧。
然后,但是我觉得一旦是做成了,那种时候的成就感还是比较高的吧。蚂蚁对你们的期待要求是什么呀?呃,因为现在蚂蚁集团整个也是 AI first 嘛,就是从这个大的战略上讲,其实我们也是想要突破智能的上限。对,然后只不过是 AI first,它就包含两部分,物理世界的 AI 和巨神智能,就是数字世界的 AI。
啊,我们可能就是承载了集团在物理世界人工智能上限的这个使命,这是,这是一脉相承的。然后另外一个,我觉得还是说蚂蚁集团还是一个以这个生活服务、数字世界的生活服务为,就是怎么为核心的一个一个一个公司。然后我觉得这一点,我们也是在整个集团的延长线上,我们就是想。弥补或者说也不能叫弥补吧,应该说是呃补齐从数字世界往物理世界迁移这条中间的这个这一部分,嗯,就是怎么把一个服务真的执行起来,对,可能是这两点是我们跟集团最大的。
怎么说呢?我觉得是理念上的契合吧。对,蚂蚁对你们的管理是什么样的呀?嗯,其实呃,整体来讲还是比较。还是比较按照那个创业创业公司的方式让我们去管的,对,只是说我们的管理体制上可能会呃更独立一点,就是可能跟一般就是集团下边的一些BG相比,我们的就是因为业务会相对独立一些嘛,对,所以说管理起来可能也会独立一些,但整体的基建什么的都是共享的。
对于你们的这几次豪赌,他们是什么反馈?嗯,我觉得还是比较支持的吧。集团这几从上一次发布和这次发布,集团都还比较支持。嗯,对他们有说为什么我们不做本体呀?有说这种吗?呃,其实也会,就是大家会有一些
debate,嗯,对,但是,嗯。我觉得集团这一点是对凌波有充分的信任和尊重,因为我们可能更贴近行业本身,对,所以说,呃,这方面我们做的一些,呃,决定就是集团肯定会,就是从他的视角,他肯定会给出他的一些建议,但最后可能双方还是会,在经过几轮交流之后,应该还是会达成一致的。
嗯,对,你对于呃这次创业的最好的预期和最坏的预期是什么?呃,最好的预期就是我真的看到机器人进家庭了,然后进家庭的机器人跑的是灵波的模型,这是我最好的预期,然后。最坏的预期就是没做出来呗,我觉得也没有什么更坏的预期了啊,嗯,对,就是可能就是,就是可能某一次。某一次赌的过程中,可能赌错了。你是个赌性强的人吗?
我还可以,还可以。嗯,对。这里面有哪个决策是你力排众议,必须要这么做的?嗯。我觉得巨深原生这个事情可能是我做了,其实是比较坚持要做。我觉得这一点我还是从呃上一次的发布的过程中感受到,呃,就是我们数字世界一条路就是沿着数字世界往后走就是行不通,不想在他们的延长线上。对,所以。我就非常坚持说,一定,一定我们要做一个用物理世界的东西,就是原从物理世界原土生土长出来的模型。
对,这是我觉得可能也是我这次觉得比较有成就感的一件事情。嗯,对,好在就是呃,我不敢说它是一定被百分之百验证啊。嗯,但我觉得至少我们迈出了一步。呃,这次模型的进展是符合你预期,低于预期还是高于预期啊?呃,其实是其实是有点高于预期,因为你想嘛,我们讲原生这件事情,我们从就是两大块,一个是视觉。就是刚才说看得更清楚那块,我觉得我们已经就是这一部分,就是由原生推动它往前走了一步。
嗯,然后想的更明白,就是也是由我刚刚说的,我们也是由原生往前又推了一步,就是架构的原生。刚才说的,不管是时间的流逝也好,还是说推理效率也好等等,然后接下来还有一个干得更利索嘛?我觉得干得更利索,可能就是下一个原生就是数据原生。对,因为我觉得数据做的数据的呃,能够更好的规模化之后,肯定是在任务的方向性上有更好的突破。
嗯,对,所以我觉得就是从嗯,我们看得更清楚、想得更明白、干得更利索这个这一点上,我们正好在经过了半年的时间之后,把前两点都由原生这个概念往前推了一步。嗯,我觉得这个是。我没想到会来的这么快,然后希望希望数据原生的部分也能比我预期的来的要早,那我我我可能也会更开心。这样的话,我觉得真的就是完全是物理世界有自己的一套。
从模型到架构到数据,嗯,闭环的一套原生体系。现在各个不同领域的玩家都很想抢夺,呃,机器人大脑这个事情,嗯嗯。有你们,然后也有之前的那些机器人公司,他们也会着重的来做AI,然后又包括大厂或者做做模型公司,如果他们有精力的话,他们也会来做机器人的模型。你觉得,呃,你们的优势是什么呀?你觉得这个产业竞争到最后的格局会是什么呀?
呃,格局可能,我觉得可能跟大语言模型的格局差不多,可能会有大厂做的比较好,然后也会有。两三家创业公司做的比较好。你们属于大厂还是创业公司?我觉得我们现在可能跟创业公司会更近一点。对,然后,那我们确实位置比较比较特殊啊,我们属于一家背靠大厂的创业公司。嗯,对,然后呃,这是一个,就是我觉得从智能层应该大概就是这么一个格局,应该会有大厂会有那么一两个玩家,然后创业公司会有两三个玩家。
嗯,然后可能。大家各自跑出各自的生态,这个生态就包括了数据的生态、本体的生态、场景的生态,就可能每家的模型,因为你有了生态之后,你场景加本体可能就会给你。那个那个生态里面的数据,可能你的模型就会慢慢分化的更更适合那个生态。嗯,对,当然是呃,可能最后大家都会走到一个通用的生态,就是进家庭。但是在那个之前,可能每家模型会有不一样的特性。
比如说,可能有些有一些模型就适合做精巧的任务,有一些模型可能就适合做就是长程的任务。这个这个就不好说了。嗯,对,但我觉得应该是会是一个各有特色的。就是几几几家鼎立的这种这种一个格局。你对人形机器人这个构型有执念吗?你觉得未未来进家庭的机器人会一定是人形机器人吗?我还是觉得就是,嗯,毕竟是从从一个创业公司的角度来讲,我觉得呃,我们一个阶段解决一个最核心的问题就就好了。
现在当下最核心的问题就是智能不够。对,我觉得还没有到,就是就是换句话说,现在到底是轮式还是足式,或者说它构型应该长什么样,还不是现在的核心卡点啊啊。啊,现在核心卡点是智能不够,然后智能不够的核心卡点是数据不够。对对,嗯,所以怎么让数据能够 scale up 是重点。对,然后当你智能有了以后,你才开始能做落地的尝试。
你只有做落地的尝试之后,就产品才会迭代,产品迭代,硬件才会迭代。嗯,就现在就大家在争,就比如说到底是足式还是轮式。他他他不管是族族式还是轮式,他进家庭我都不会让他进家庭的,就是那这个时候就你都没办法做这种 user study。OK,那我我感觉是这样。你现在工作状态是什么样的呀?这两天好一点,就是嗯前一阵子。
就在模型都都处于要出来没出来那个阶段的时候,其实其实是比较紧张的。就是,但是现在,呃,尤其是最近在那个发布完了之后,然后,嗯,整个人状态会相对,我觉得会轻松一些。然后接下来我应该会,呃,怎么说呢?可能再想一想下一步要。就是到底应该怎么去去做吧,就是再再复盘一下,然后想一想,嗯,比如说数据到底怎么去跟跟模型更好的结合,这可能是这这些方面会考虑的多一点。
收到的市场反馈怎么样?呃,目前看应该还可以,对。然后尤其是呃技术社区里面应该对。我们做的这一套还是比较白印的,嗯,对我感觉是这样。然后,呃,如果是那个行业的话,我觉得需要再给行业点时间,因为毕竟是刚发布嘛。对我觉得行业要试用过之后,可能才会拿到更多的反馈。嗯,你们现在驱动的核心指标是什么呀?是一些落地上的数据,还是呃模型智能上的一些数据?
哦,我就是刚刚其实有提到,我们还是两头抓,就是我们一边一般一边要探索上线,嗯,然后一边要抓落地这两个点。可能我们都会关注一些。我们一开始聊到了你的那个学习经历啊,因为你是汤晓鸥老师的学生嘛,你对汤老师有什么印象吗?汤老师是个比较幽默的人,这是我对他最大的一个印象,因为那个他讲话。因为他跟我一样,他他也是东北人,然后我觉得反正听他听他讲话比较亲切吧,这是这是一个点。
然后另外一个点就是我觉得比较能快速的从一个比较一个乱序的一个混沌当中快速的抓到一个主要矛盾。嗯,有例子吗?这个?就是毕业答辩的时候,因为他要他要参与嘛,因为答辩很多时候大家会问,比如你怎么做的呀之类。但是他当时他问了我一个可能跟跟行业或者说你这个东西到底应该怎么用相关的问题,具体是啥呀?就是我当时做的那套那个做做图像编辑、视频编辑那套东西。
而且上一代AI最大的痛点就是它不好落地,就没有一个很好的场景啊。对,现在有人问你们这个模型怎么用吗?啊,肯定啊,嗯,大家都就是,其实我觉得现在巨帧智能它不像呃大语言模型或者多模态模型那么好。那么好传播,因为离大家生活实在是太远了。就是我必须要有个机械臂,嗯,我才能知道你这东西好不好用。啊,就是它现在更多还是图开发者的。
我我是这么理解的,对,离受众最近的都是娱乐场景,对,这是最快可以感知的,呃,对吗?所以我说它不是那么好传播。然后,呃,如果是开发者呢,他肯定会希望你告诉他这个东西怎么用好,因为毕竟我们这次我们的发布所有的东西基本上都是预训练。就是预训练要落地,还是要经过后训练的。后训练本身是一个很难的事情,就是或者换句话说,它不是说就把数据采完然后扔进去,简单调整调整一下参数就结束了。
嗯,就是那如果效效果不好,到底是没训好,还是数据没采好,还是模型就不好?怎么诊断问题?嗯,有了诊断之后怎么解?它是一个,我觉得是一个很难很难的事情。换句话说,呃,我刚刚说它离那个离这个大众比较远,也是其实是一样的点,就是因为它离大众比较远,所以呃,或者换或者换句话说,就是因为它不是一个直接能用的模型。
怎么把它让让别人感知到你这个模型真的好是需要是需要能力体现的,对,所以大家都会问,就这个东西,比如说怎么复现,然后我想让它做一个什么事儿,应该做哪些步骤之类的。还是会有很多这样的问题。我觉得你们那个玩桌式足球那个,如果能够在现实场景里面能够做一个跟大家互动的机器人的话,应该会挺多人愿意玩的。呃,对,就是就是说,换句话说,你做的越越能越能直接被应用,它肯定是就是大家的问题会越少,然后互动性会越强。
你对于机器人的未来发展还有什么其他的展望没有?其实我就是希望它能够离。大众更近一点,就是我希望它也能够变成一个像像那个语言一样,就是它出一个app,然后每个人能体验。那如果说之后真的说,就是机器人更普及了,家里都有能够或者说一个比较简单的渠道就能搞到一个机器人去玩起来的话,我觉得那个那个时候可能成就感会更多。
因为现在就是,比如说我跟我爸妈去讲说我做了一个什么东西,他们也听不懂,然后也没有体感,嗯,然后那如果有一天能能带一个东西直接给他,然后告诉他这是我做的,我觉得那个时候可能成就感会。会跟现在完全不是一个量级。嗯,我还有最后几个快问快答,一个全球范围内你喜欢的食物,日料。一个全球范围内你喜欢的地点,家。
我们的嘉宾都会给我们的观众朋友推荐一本人生之书,你会推荐哪一本?人生之书《笑傲江湖》,我特别喜欢武侠。我从小就比较迷金庸的小说,然后我特别喜欢,嗯,但是每次因为金庸的小说,我都其实每每部都看过很多遍,然后。但我每次推荐都都会推荐《笑傲江湖》,因为我觉得,嗯,我特别喜欢令狐冲里面那种比较豁达的样子。哦,对,就什么都不太在乎那种心理状态,我非常非常喜欢。
你是这样的人吗?我希望成为这样的人。哎,如果机器人有性格的话,你希望他是什么性格?啊,我希望他是个J人,然后他好干活儿。对,我觉得他核心还是要实用。对,我希望他是个这人,啊,对,就换句话说,如果在提供情绪价值和干活之间,我会果断的选择干活,啊,嗯,为啥不是提供情绪价值?呃,我可能觉得情绪价值应该由人来提供,哦,你心目中影响机器人进程的几篇论文,其实可能也不一定算是论文吧,我觉得。
我觉得像像像那个Generis,他们现在已经不写论文,他们写blog。我觉得这种可能也算。嗯,对,我觉得那个Generis的那个战一应该对我们是一个比较大的一个影响。嗯,就是它的数据的规模化确实做的非常好。然后像嗯派的工作应该也是非常好。嗯,再就是像那个。呃,Google DeepMind他们那边的一些工作,我觉得做的也是比较好。
嗯,我有时候在想,就是如果我们在中国没有应用到中国的本土的这个硬件优势的话,会比较可惜。呃,对我我觉得会比较可惜的。呃,但是硬件优势可能在呃这一次的机器人的发展中,我觉得是会有不可磨灭的作用的。机器人还是说,你不管是怎么样的素材方式,一定依赖硬件。嗯,然后一定依赖传感器。我觉得从数据质量上,我我之前一直讲说是,我觉得是互联网红利的一个变现,或者说这个数数据是从互联网那个时代就积累下来的。
但是巨深相比互联网来说,我觉得它可能是一个,尤其是巨深的数据,可能是一个空窗期。嗯,现在大家都是一样的。嗯嗯,那我觉得可能,所以它收数据上可能这个中国有优势。对,我觉得这个是一个非常非常大的优势。当然,训模型的能力啊、基建那些肯定也是优势,但至少在数据这方面,我觉得中国一定是比美国跑得快的。那你们是不是应该利用这种优势呢?
呃,是的。是的,所以说我们其实也有比较多的这个,我们有自己的一个所谓的叫数据联盟的一个,就是我们我们会有一些呃比较好的数据的合作伙伴啊,对,然后可能也会跟他们一起说,看看怎么一起去把这个数据做得更好,因为数据你所有的规模化东西一定要有标准,对,嗯,所以所以这个方面我们。是在积极的试图利用这个行业的优势去去做的。
基于你当下的认知,一个关键的重要的bet是什么呀?我觉得就是。巨深,巨深原生吧,我讲了很多的,我觉得就是这个,就我非常非常相信,巨深要有自己的模型。We'll explore the new world from here.好了,今天的节目就是这样。这里是商业访谈录,是一档由语言及世界工作室出品的深度访谈节目。
你可以到公众号关注我们的工作室,获取更多的信息。我们的公众号是语言及世界 Language is World。我们希望和你一起从这里探索新的世界。也欢迎你在小宇宙的评论区与我们有更多的互动。探索新的世界从这里, shouting out so the clouds can hear every
heartbeat drawing the map we steer. We'll explore the new world from here, step by step to the top to cheer. We're the start of the story. This world
we're here, we'll explore the new world from here.