Hello,大家好,我是小俊。今天我在上海,谈话对象是英伟达的研究副总裁刘洺堉。我们的谈话时间是黄仁勋刚刚访华之后的一个月。明玉给我的印象一直是穿着很朴素,背着一个有点旧的斜挎包,态度很谦和。不过英伟达内部的人告诉我,他不像是一个典型的研究者,更像是一个工程上的领导者。黄仁勋给他一个评价是 GSD, Getting Shit Done。
不久前,刘洺堉带领团队刚刚发布了英伟达的世界模型 Cosmos 3,所以在这次访谈中,我们聊了聊 Cosmos 3 世界模型,同时也聊到一名研究者长达二十年的求索。而这名研究员的身份很特殊,他身处在英伟达这样一个基础设施型的巨大的系统之中,这改变了他的很多的研究思路。当然,我们也很不自觉地聊了一些关于英伟达和黄仁勋的内部的故事。
明玉说,做模型就要 low ego,模型竞争不应该是一场鱿鱼游戏。那接下来就是我对英伟达研究副总裁刘明玉的访谈。黄总常常在讲,就是他喜欢这种 zero billion dollar business,你可以是。呃,不赚钱,但当这个生意成功的时候,必须是很 influential 的,是很巨大的。嗯,经济的呃茂盛程度是根据钱多快从一个人的口袋流到另外的口袋。
那研究的茂盛程度应该是,啊,根据idea多快从一个人的脑袋流到另外一个脑袋去。我们做完Cosmos一的时候,问那个Johnson要不要继续往下做,嗯,然后Johnson跟我说,你就做到Cosmos九十七,因为他是一个很有纪律的人,有些东西其实很重要。他会叫你 pace pace your steps,就是让你不要急。
他擅长打马拉松战,他每天都觉得公司只剩下三十天的现金流,嗯,三十天后我就要破产。你刚好加入英伟达十年了,是,呃,这十年你变化大吗?你在英伟达的这个股票涨了多少倍了?一共?Hello,明玉,要不跟观众朋友们先打个招呼。线上的朋友,大家好,我是刘明玉。嗯,因为刚才我们也聊到你到美国了二十年,然后在英伟达了十年,你现在讲中文还多吗?
在公司里面,就是有时候会讲中文,但大部分时候还是讲英文。因为大部分的时候,呃,团队里,嗯,还是很多人不会讲中文啊,嗯,好,所以沟通上就是以英文为主。但如果说在一个小组会议里面参与的都是讲中文的,那很自然就会切换到中文模式。嗯,这次你来中国的行程是什么样的?你多久会来一次中国?我现在大概是每一年回来二到三次中国,对,因为我主要的啊公司给我的任务啊,我个人的兴趣在机器狗AI。
在中国这里啊,飞奇未来的发展是非常的茂盛啊,很多公司啊,很多研究员在做出啊重大的突破。我们在这里跟大家交流,也理解下我们如何可以帮到他们。这次来感觉到有什么不一样吗?跟之前这次来啊,我看到是。啊,越来越多的啊,关于手啊,灵巧手,在这个关键的科技上面做出突破,然后去呃去追求下一个FPGA可以达到的一些重点能力,就是跟上次还发觉就是。
速度非常的快,进展非常的快,然后每次都能学到很多东西。这应该是你第一次做一个中文的 podcast,我想能帮助观众或者听众朋友们建立一个印象。你现在在英伟达的 title 是研究副总裁,能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?我现在是研究副总裁,另外也是 Cosmos Lab 的副总裁。
好,那我们的团队呢,就是研究员加工程师,只属于我这里的,大约有八九十人。啊,那另外公司还有其他的团队也是在做 Cosmos,英文叫 Dated Line。虽然他不直接 report 给我,但是是我是整个 Mission 的 overall pick,就是发号施令的人啊,然后决定方向的人。所以这些人也是啊,就是遵循我的指示啊,就是跟这个团队一起合作,把目标给推出去。
整个过做 Cosmos 的应该有两到三百人之间,呃,这是一个。呃,在英伟达里面很重大的一个呃一个专案,呃,我们花很多资源,这样的人员投入是我们觉得需要的,啊,做出好的成果。我看到你之前还管一个团队叫 Deep Imagination Research Group,Cosmos 是它演化来的吗?他们是什么关系啊?
是的,嗯,我大概是十年前的时候加入英伟达。那,呃,我在加入英伟达的时候,呃,我的目标就是,啊,我那时候给 job talk 啊,在跟英伟达推销我自己的时候,我的 job talk 讲的是,那是四年前,我讲的是说,有一天。最主要生成视频的运算将会是 deep learning,而不会是传统的 computer graphics。
在那时期啊,就是电脑特效啊、电影特效啊,用这种 graphics 传统的 graphic pipeline 啊去生成漂亮的 graphics 啊是主流。然后我是在领域里面早期认为就是 deep learning 是未来的趋势。那我记得那时候。呃,我跟我的 chief scientist Bill
Daley 好,啊,在那时候的 presentation,我的 presentation 就是讲 deep learning。
因为它是 data driven,然后它可以做到很多传统 graphics 可以做不到的事情,比如说我有一天可以把就是小说啊当成是 input 放进这个 deep learning,就可以产出啊电影,啊然后呃你可以做很多啊现在传统 graphics 需要大量人力才能做出来的这些控制,啊那时候我呃就公司对这个东西很有兴趣,我就很荣幸的加入了 Nvidia。
进去之后呢,我就一直朝着方向努力。在那时期,最主要的这个模型呢是有 generative adversarial network 啊,就是对抗生成网络。嗯,那我是只是领域里早期去从事这个对抗生成网络研究的人,那我就在里面一直做这方面的研究。我做了几个。呃,我自己很感到骄傲的这个工作,啊,其中一个就是,呃,我是最早提出这个可以做这种我们叫做。
unsupervised或是unpaired的image translation,在AI里面学习很多时候都靠supervision,你要对应的呃input跟output,你才可以学出这个input output relationship。那,oneshot就是说你并没有对应的input
output,你不并不知道这个人笑的时候是怎么样,你不知道这个啊这个马变成斑马或者是怎么样,嗯,那我们那时候是早期啊利用一些呃information bottleneck可以去做出这个我们叫oneshot image to image translation。
那时候我加入英伟达的时候,呃英伟达并不是一个啊大家认同的AI公司,好。那时候,Deep Learning 还没有像现在这么的火热。那因为大家传统也都是做这种 Computer Architecture 去设计这个啊这个。GPU,嗯,没有人在做这种比较应用端的科研。那我等于是早期在英伟达把这个方向做起来的。
那我在呃做了许多东西,然后其中一个work叫Gogan,我将中文把它翻译成马良神笔,像是小画家一样涂几个颜色,每个颜色代表不同的语义。那你涂一涂之后啊,就可以变成漂亮的山水画。哦,那个work让我在呃等于是帮NVIDIA把就是建立起一个形象,不只是可以做出很好的去 P U,也可以做出很好的这个呃 A I 模型哦。
啊,那时候我还有一些同事在一起做那个 Style Game 方向的研究,那我们就是这群人把这个 Nvidia 从第一批,就是等于是第一个把这种生成式网络来做这种呃 Media
生成,把它带起来啊。那做了一段时间之后。嗯,就那个公司就觉得我可以了,然后我就可以开始成立自己的团队。那我那时候成立的团队就叫Deep Imagination Research啊,就是跟我当初给Drop Talk的的目标是一致。
这是哪一年?因为一九到二零年之间啊,那时候变成一个Research Director啊,但就是那时候知道自己要成立团队,就跟了几个啊一起工作的伙伴,然后就开始建立这个Deep Imagination Research。嗯,那接着 Deep Imagination Research 啊之后就是啊,就是在解相关的问题,就一步一步向从这个啊,就是朝着。
把小说放进去,产生电影这个目标前景,就是啊一步一步往下走。我们做了几个有趣的这种demo,就是有一年Jensen我们的CEO他。想要用一个数字人来取代他来给这个 keynote,然后那时候我们就帮他做这个假的真人这个的 keynote 的
demo,哦,然后还有陆陆续续,啊,那时候是呃疫情期间嘛,然后在那段时间里面,啊,数字人的发展非常的啊快,然后我们也贡献了一些啊,我们自己觉得很骄傲的 technology。
我十年前在给 job talk 的时候,我就想要写这个小说。变成电影这个题目,嗯,但,呃,那时候,嗯,我觉得,这个题目可能需要很久的时间才能解,啊,应该是说,我那时候并没有意识到,我们其实有。已经有这个条件了。当你的算力啊,当你的呃数据足够的时候,就可以做出这样的一个大的突破。那但是那时候我就忙着做数字人,忙着做各种有趣的应用。
到后来某一天啊,OpenAI出了这个Dolly这个work最早的一个text image
model,我才理解到我的野心不够大,我不够勇敢,没有决心去把这东西做出来,在算力最多的地方,在算力做的地方,那那时候呃,Nvidia是这样运作的啊,你要捐赠啊,投资你算力,你要你要讲出来这为什么对公司重要。我记得那时候达利出来的时候,我写了一封信给Jensen,跟他讲说,这个未来已经很明确了,就是靠Deep
Learning来做这个影像生成,那NVIDIA。
很多客户都是用 Nvidia GPU,用传统的 Graphics 来做这个影像生成。那我们不能在这个用 Deep Learning 来做影像生成下落后,我们必须投资 GPU 给。给我们这个团队去帮助这个领域啊成长。那那段时间里面,我跟 Getty Images 也有很多合作,因为我一直在做这个方向。
那这些传统的啊 content 公司啊,他们也对这个 AI 很感兴趣,但他们也就是啊就是试看看,好,但没有没有足够多的决心。然后看了大力之后。我写一封信给Jason要G P U,写了另一封信给Getty
Images说,我们应该合作,你们这样未来才有比较保障。嗯,然后。呃,我们就谈成了这个合作方案,就是他们提供数据,然后我们有算力,然后我们去,比如这个,啊,大模型来做这个啊 text to image,这就是我踏入大模型的的时间点。
那那时候我们成立了一个呃专案,叫 Picasso。啊,我们目标是做AI防御,就是呃,有些公司有数据,但它并没有这种AI的人才,没有这种AI的infrastructure。但他没有数据,他没有客户,那我们就是等于帮他做一个个GAI的模型,然后再把模型给他们,让他们去服务他们客户,然后彼此就是这样一起获利。
那那时候就是跟 Getty Image,还有跟 Shutterstock 去做这件事情。嗯,那这是那时候我还那时候还是在 Deep Imagination Research 这个团队的事情,我们在做这件事情。那从这里就是慢慢的,我的 research 不只是产生一个模型,不只是产生一个论文,我们也产生了一个可以帮助客户成功的产品。
那就是这样。呃,逐步的发展。我当初以为我现在已经决心充足,嗯,然后,呃,就是愿意挑战最困难的问题,嗯,因为已经跟捐神要的GPU,跟要了多少GPU?那时候我是要了,一千个啊A100 GPU。对,当时的一千张很多嘛,那时候是非常的多。那时候还在 N P U 的时代,嗯,一千张已经很多。那要把一千张的这个
G P U 穿在一起做一个高效的训练也不容易,嗯啊,这是我们那时候尝试,就是当遇到很多瓶颈啊,就是逐一克服。
嗯,因为我是最早一批去做这个 G N I 的这个,只是在 Computer Vision 里面做 G N I 的人,我也很荣幸就是。啊,就是跟很多很优秀的伙伴啊一起合作,啊,因为我比较资深,然后很多当时很有有为的年轻人还在学生的时代,他们会来我这里做实习。然后包含现在在Meta的余家辉啊啊,做出这个Sora的Tim Books啊,都在我这里实习啊。
我还记得Tim Books刚加入我团队做实习的时候,他就一直想做这个video生成。想做他想做的所有的东西,嗯,但那时候我们并没有这个 technology,我们是用 game 一起去做合作。那时候就看到他的充满了决心,嗯,充满了热情,然后当然是人非常的聪明,然后手脚非常的快。那我跟他一起合作里面学到很多东西,我们也写了一个蛮不错的论文。
那后来毕业之后,呃,想留住他,但他去了Open AI,呃,也很开心。他在Open
AI那边就是获得啊很好的发展。然后后来就做出这个Sora这个work,嗯,那Sora这个work出来之后,对,就我的我是感到非常开心,但我又觉得。我的决心是还是不够,还是不够,还是不够。嗯,我们那时候就几位啊,就是都在做这个领域的,我们就一起呃一起写了一封信给全神说,我们必须要更多的投资,这就是呃
Cosmos 华觉的由来。
我们这一群呃学者啊,我啊那时候还有三亚飞的。然后还有我们公司带这个Nemo床团队的Brian Canadaro,啊,军范那时候也在这个meeting里面,嗯,我们就一起讨论,我们就决定要去做这个。啊,这个沃马龙,我觉得这对公司像是对人类,像是一个重要的一个科技。然后那时候,呃,捐赠就叫我啊,还有三亚飞的两个起来带这个 Cosmos 这个 effort。
那时候不叫 Cosmos,啊,那时候就是我们知道要做 World Simulator。然后捐赠呢,就叫我们每个人去想。要叫什么?这个 project 叫什么名字?我们就每个人就回去去想,就是要叫什么叫什么?我已经忘记那时候有几个名字在那边选。嗯,但最后 Jason 就说叫 Cosmos,然后我们觉得 Cosmos 这个名字非常的好,然后呃,所以这个 Cosmos 这个 project 这样产生了。
那然后我这还是在 Deep Imagination Lab 的事情。那在那个时期,就是我原本是在做 Picasso,然后就是这个 AI 方组 for 这个 Media Generation,然后但是同时又负责 Cosmos,我后来觉得啊,就是 Cosmos 这个 project 不管是对公司啊,对整个绿范更加重要,然后也没办法。
分身乏力啊,没办法同时跑两个重大的project,嗯,然后慢慢就把这个皮卡多的project给收起来,那帮这些客户找到了其他可以继续支援他们的科技公司,那我就前去开始做cosmos。那Cosmos做一段时间,从从一做到二做到三啊,这段时间里面啊,使用它的客户越来越多,需要一定的规模才能去把这个Cosmos这个挖掘做好。
你可以想,我在瑞社区时期可能就是像一个。萌芽阶段,当现在这个这个Cosmos已经被这么多人给依赖,不管是外面的客户或者是公司内部的团队,到一个不能就是一定要成功的的一个阶段,那所需要的资源更加的庞大啊,就是在今年年初的时候。我就从嗯 Media Research 离开了。我现在是 report 给我们的 Senior VP of Software 啊,我们公司最大的一个 leader。
之前是汇报给 Bill Daley,对,带着 Deep Image Generation 团队啊,我现在 report 给啊 Dwight。就是他,这个公司的第一个 software engineer,啊,在 Jensen 的传记里都有他的故事啊。哦,对,那我现在 report 给他。然后我离开 research 之后,啊,我们就换了一个名字。
然后我就叫自己的团队第一媒介内卷research啊team,我们就叫自己cosmos lab,嗯,就是整个这样的一个变化。我听说sorry没有出自你的团队,让你很遗憾是吗?也不是遗憾,就是我是感到很开心,就是。啊,只是自己曾经一起共事过的人,可以做出这么大的一个啊贡献,嗯,感到非常的开心。遗憾的是说,每个研究人都想出做出贡献,嗯,那看到这个Soar这个产生的贡献这么大,当然自己会觉得很开心。
但一方面觉得说,到底是什么地方?啊,在我的决策过程当中,在我的判断的过程当中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情?嗯,啊,一点就是。呃,我是一个很喜欢自我反省的人啊,我就是往往都会去试图理解怎么样让自己更好。因为说到Sora,还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
Sora它是一个重大的一个研究工作,那它当然本身也有许多应用。OpenAI是一个呃很有野心的公司。然后他们有大量的人才。那San Omon一直是。嗯,从他早期在 Y Combinator,他就是一个投资者。那他当然是希望,呃,就是有这种投资者的心态,然后希望公司内部有各式各样的 project,有些 project 非常的成功,就是各式各样的呃 portfolio。
对,那我觉得在过去呃一年当中,他们受到这个 Enthropic 啊巨大的啊竞争压力。他们看到 Anthropic 在 coding agent 上面产生了巨大的经济效应啊!你在跟 ChatGPT 聊天的时候,你产生的 token 数就是可能最多一分钟就生成完了。那你做这个 coding agent 是可以工作二十四小时、四十八小时,那个 token 量非常的大。
那他们就是,我觉得啊,就是觉得这是一个很好的方向,那就集中公司的精力啊往这个啊 coding 的方向走。孙子兵法讲的“倍多则力寡”,大家的资源啊都是有限的。那他们就是重新调整资源,然后去往 coding 这边发展。我不觉得他们认为 SoA 不是一个好的 work,只是我觉得在这个时间点,他们公司有更重要的事情必须要去做。
嗯,然后就。要做出一个不容易的决定,我很好奇啊,因为像 Anthropic、 OpenAI 这种前沿实验室,他们做研究天经地义,因为这就是他们的产品。但是对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖 token 给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么呀?
你的基础设施要做得好,做得好的定义就是适合这些呃应用公司来用。那如果你自己不做这些应用,你更不能理解他们所需要的东西。所以就是要去走他们呃可能会走的路,从中间去理解到。而且设计晶片啊,设计这个这个电脑的这个架构,它的周期是很长的。啊,你不能说,我先把它改,需要很长的一段时间来做这个规划。所以你要做这方面的研究,做他们投投资,去理解到什么是可能是重要的,呃,问题要解,然后才能设计出设计出更好的这个啊的晶片,更好的infrastructure来满足这些啊,这是AI大公司。
嗯,我总觉得这世界上如果每个想啊,有抱负、有理想的人,都有这个工具啊,可以做出他们想做的事情。这世界是会一个更好的世界。一方面看到 OpenAI、Anthropic 还有中国几家大公司做出的突破,觉得非常开心。但我们这个社会会有源源不绝的有抱负的年轻人,我们也希望他们有他们的机会啊,就是啊,我们可以做出这些模型,然后。
分享给他们,他们可以做出很好的应用、很好的延伸模型啊,或是从里面获得灵感,做出他们更好的模型。然后就是大家不同的想法都可以落地。然后我觉得,呃,当这么多多元的啊这些 idea 都有机会被被实现,然后可以被呈现给这些呃用户啊,我觉得大家选择更多啊,觉得社会进步会更好。那这方面为什么因为大家做开源模型的原因?
嗯,那你们的研究成果会跟客户去有一些竞争关系吗?我们做这些啊,而且是我们做这种开源的模型,我们基本上就是无价放在呃网络上面,让大家都可以去应用。这实际上真正要落地,真正要满足客户的需求,还很多东西要做。尤其在巨声领域哦,好多硬体的问题啊,好多这个商业的问题都必须要解。我觉得我们给 community 一个讯号,是说。
我们会帮助你在这方面。那当你看到这个这一个趋势啊,看到我们的 commitment,我们从一代做到二代,做到二点五代,做到三代,这样一代做下去,你看到我们一步一步就是想把这个地方做得更好,让你让大家都可以更加预期到说英伟达这上面会一直投资,一直进步。那那大家有这个。认知有这个信心,那他就可以把他的,就是他资源投在更重要的刀骨上面去做出重大的贡献了。
因为每家公司再有钱,公司资源都是有限的。嗯,那你不。找到痛点,找到这个关键点去做投资、做进步的话,你是不容易脱颖而出的。那巨神这么的难,这么东西要解啊,我觉得我们。他做出这些模型啊,帮助他们分担部分的压力。我不觉得是在竞争,我觉得是在帮助大家成功。对,为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型?
嗯,也没有选择像Sora这样的模型,而是选择了巨深的一个世界模型呢?大语言模型它在当时就是发展的已经非常好了。然后再就是我的背景不是大语言模型,我是 computer vision 出身的,CV 出身的,对 CV 出身的。那呃,自然而然就是一直在这个 media 这边徘徊啊,就是 image video 徘徊那。
这是大概是过去的背景啊,就是把自己走向这个道路上,因为我的背景关系,所以跟着我一起合作的伙伴也都是类似的背景,所以我们就是往这方向走。这是为什么没有走大语言模型?那另外就是NVIDIA也有很强大的大语言模型团队啊,在那里我觉得我没有太多的贡献啊,我觉得啊,这逆魔创越做越好啊,我这边就是主要就是想去解一些。
啊,更适合我来解的问题。那Soar当初出来的时候,它是也是一个我simulator啊,但啊那时候主要的应用比较是像是这种呃创作方面的应用,创作非常有趣啊,每个人都希望。可以用更好的方式来去讲故事啊,去呈现自己想的东西,就是具象化,让帮助大家去理解你看到的世界,这是一个很好的应用。那那时候也看到了,就是我们在这种低维度AI发展极大的啊,非常的快,同时间社会很多问题啊,需要。
这些 physical tool,真正能那个改变这个这物理世界状态的这些 physical tool 啊来满足的,比如说啊,就是当人年纪大的时候就没办法开车。但没法开车,整个人的啊生活品质就降低很多啊。但如果有自动车,年纪大的人还是可以有他的mobility。再就是呃有很多工作非常呃劳力密集的啊,也非常的危险啊。
如果有这种physical AI的啊这种robot可以帮忙做,也可以就是改善人的生活。然后再就是家里面总是一堆琐事。要收碗筷啊,要整理这些,不见得是你在家里面最想做的事情啊。有机器人可以帮忙去做这件事情,提升啊人的生活品质。我们就是看到这个啊,就是World Model可以对Physical
I所产生的贡献,所以那时候就往这个Physical I方向走,而不是走这种Content Creation的路线。
Jensen对于这个团队提过什么要求没有?Jensen对团队的要求非常的严格,然后呃目标高,当然第一目标是可以帮助到客户,嗯啊,这不是一件容易的事情,Nvidia是一个。运算公司是一个AI英法耍球的公司啊。嗯,我们最厉害的就是整个computer
stack,从这个底层英法到酷达到到一路往上。但是,呃,我们并不是一个solution的公司,就是给一个啊机器人的solution,嗯,然后或者是啊一些其他应用的solution。
那但我们的目标是帮助这些建 solution 的公司成功。那有时候会觉得有点像隔靴搔痒,因为你不太了解啊。痛痛点在哪里啊?那你设计模型的时候,你设计一个产品,如果你不了解你的啊客户的话,你就没办法最佳化。那这就是为什么我会常来中国原因,就是想理解一下,呃,大家遇到的问题是什么,怎么去啊帮助他们,这是一个难处,一个终身的要求。
那做东西是需要。make a impact,全程常常在讲,就是他喜欢这种zero billion dollar business,你可以是。呃,不赚钱,但当这个生意成功的时候,必须是很 influential 的,是很巨大的,嗯啊。你你不能说就是满足在就是每年赚个那么一百个million啊这种scale,这对很多公司的难度很大。
但对一个呃对英伟达这家公司而言,这并不是一个 distraction,嗯,对,是一个分心,分心,对,是个分心,啊,就是你要去解最重要的问题,产生最大的贡献。然后我们觉得 physical 还是一个够大的问题,可以产生那个最大的贡献。所以在在这个方向的时候要很小心,就是要去解最重要的问题,而不是去解一些。
啊,短暂可以产生成果,但它的 impact 并不是很大。那这这是其中一个问题。啊,当然就是要做那种最好,嗯,那这也是很难的。哎,听起来过去十年的名誉在英伟达变得越来越具有野心了。是。那接下来我也想探索一下,就是你个人的一个作为研究员的刘明玉,嗯,你是怎么一步一步呃探索你的研究之路的?在回答你这个问题,我先讲,想想回答之前的问题。
我觉得我是一直很有野心的,嗯,因为我那时候就认为可以用小说直接生成电影,嗯,只是我觉得我的执行力啊不够,我的呃看时间点不够,然后我不太会去理解啊,但那时候还是刚进业界不久,还不太理解。怎么样做才是可以在公司中获取支持,然后获得巨大的资源去从事方向?那我觉得过去十年历练里面,让我更加理解怎么样。啊,看清楚,在对的时机,然后怎样,怎样,就是帮助公司理解,这是对公司重要的决定。
啊,然后去影响公司怎么去投资啊?那这是我觉得一个变化,是一直很有野心,只是不知道怎么实行。我最早呃,因为那时候成长背景嘛,我在台北长大,呃,然后在我读高中的时期啊,最热门的科技是无线通讯,那时候那个手机刚出来,还是巨大的手机哦,然后还是诺基亚的时代啊啊,那时候对这个科技感到非常的啊。就是好奇,在台北长大啊,那,呃,总想离开台北,然后我这时候就去了啊,台湾的交通大学,在新竹啊那边去学习这个无线通讯。
那无线通讯那边学了一段时间之后,就比较理解他是怎么做的。在我的同学啊,那时候一起在那个齐鲁交通大学求学啊,学无线通讯这些同学,很多人就留在台湾啊,去比如说在联发科,或者是有些人去台积电啊,去做这些就是呃台湾本身就很擅长的工作。那我在那时候就有点怀疑啊,是不是这就是我要选择的道路啊?因为,呃。啊,我从小到大其实没有想过说会去啊美国留学,我没有想过,没有想过,嗯啊,所以我其实一直不是很重视我的英文,然后就是觉得啊数学物理学得好就够。
那那个时期我就开始有点。怀疑到底啊什么路是是对的?在大三那一年,我就好奇去看看美国的研究所啊博士班在做什么东西,然后我看看我自己现在那时候在台湾的交通大学做什么东西。然后那时候我就发觉,就是,啊,做东西很不一样。然后我觉得,啊,我那时候在算怎么样啊,设计一个啊 protocol 可以让传输更加快。那我觉得这是一种提升,但不是一个零到一的变化。
啊,那我看到在美国这些啊高等学府做东西,我就觉得,嗯,这个看起来每个成功都是一个零到一的变化。嗯,所以那时候我就。呃,觉得我应该出去闯一闯。然后我跟我才记得,我跟我爸妈说我要去美国留学的时候,他们就吓了一跳,因为啊,认他们认识我二十几年,没有听过我讲说我要去美国留学这件事情,这是大忌啊。大三的时候,嗯,然后所以他们听到就是还蛮震惊的。
呃,那那时候我想去美国学习的是啊,量子通讯。因为我觉得这个东西很神奇,就是靠着量子可以直接那个把讯息传从A传到B去。但后来我到那个去美国之前,我在。在台湾的 Intel 啊,在那边待了一年,然后认识了一个朋友,我们都在那里实习。他在那里做这个影像辨识,然后我就这是我第一次接触到 AI,因为之前都是学通信。
嗯,然后我看到他在做影像辨识,我觉得很神奇,他就是可以从这些 pixel 里面去判断。啊,里面是什么东西?是谁啊?是什么物件?然后我就对这个呃这个A I computer vision有些呃开始有些印象。那我那时候申请到了美国马里兰大学,哦,呃,在那边开始我的博士。那最早期的computer vision都不是不work。
那最主要的那个经费研究都是国防,嗯,那马里兰离那个华盛顿特区很近啊,所以那时候聚集了一些非常厉害的啊,就是早期的啊,做computer vision A I方向的大佬在那里。那我到那个学校之后,原本是要研究量子通讯的,然后后来发现那里有做这种 computer vision,跟我那时候在 Intel 实习看到的东西很接近的这个题目,我就觉得说,嗯,这个看起来更有趣。
那我就找了我的指导教授Ramachopra,嗯,他是这个领域里面啊,就等于是先锋啊。然后我就开始跟他学习AI computer
vision。那时候最早做第一个题目呢,是从video里面去看这个人走路的姿态去判断是谁,哇!然后那是那时候也是蛮有趣的问题。那呃,我就是在这样逐渐逐渐就是啊。转换跑道,然后去做这个AI,然后最早期啊去做这些啊影像辨识、video辨识,然后后来在博士期间还学习怎么用啊叫shape啊matching,然后segmentation这些啊常见的这个understanding方向的这个AI
computer vision啊的的研究啊,那这样逐渐踏进这个这个AI的哈,那那时期并没有Deep Learning。
哦,是,呃,是一个传统计算机视觉的时期。传统计算机视觉那时候什么都不 work,所以什么都要学。我们那时候啊,做 support vector machine,那是一个很传统的一种模型训练的方式。support vector machine 跟优化有很大的关系,然后这是一种不管是连续啊、离散的优化,都不需要学。
然后也要去学习一些graphical model哦,energy minimization,还有各式各样的啊,就是就是说3D calibration这些啊。东西就学得蛮多啊,我觉得算是很扎实。但就是在毕业的那一年啊,Imagen 这个 Edison 出来,然后改变了整个世界。嗯,PhD 的后期就到一家叫。
米兹必须 Electric Research Lab 的一家公司,三菱电机研究员。这是你后来的一个工作,对吧?对,这是我的第一份工作,在美国的第一份工作。对,在美国第一份工作,他是在呃 Cambridge,在 Massachusetts,就在 MIT 的旁边。这家公司在九零年代是非常强大的一个研究单位。
哦,那时候跟微软研究院是一争雌雄,在Graphy上面都是呃非常领先的一一个研究机构。那MIT里面有许多教授,以前都是在那个三菱电机研究院里面当研究员,嗯,包含Bill Feyman。Ramish Raskar,他们都在那边做。那我加入的时候已经过那个时期了啊,但是还是很多优秀的研究员啊就下来。那我进入那个公司之后啊,几件事情嘛,那一年 AliceNet出来。
所以我过去学的东西,就是跟未来的世界开始有些,呃,就 divergences。那一刻会失落吗?不会,我其实,在。我是对这些新的科技是很感兴趣的,因为 computer vision 啊,因为什么都不 work,所以我已经养成这个习惯,什么都学。哦,什么都不 work。那时候什么都不 work。啊,然后后来 Deep Learning 啊出来之后,就觉得很有趣。
我还记得我那时候是博士班的,做一年的嘛。等于是实验室里的大师兄,然后我就组织学弟妹们啊,学弟妹们一起去要研究Dim的你。就是去研究。那我还记得那时候有一位呃,哦师弟跟我讲说,这东西只有几个人会,没有必要去研究。然后呃,我还是没有理他,就是继续办这个这个呃研讨会。然后后来我的第一份工作是在这个三菱电机研究院嘛。
那研究院啊,通常就是啊研究风气,就是工作比较自由。那我有很多时间啊去学习。所以我在那里就学这个啊,deep learning。九零零 model 是呃我的指导教授 Ramachandrab,他很相信九零零 model,他相信 Bayesian 啊,就是相信你要把那个生成放在这个啊,这是 understanding 的一部分。
好,那所以我在那时候学 deep learning 的时候,就就是也也在留意这个生成的这一块。嗯,那后来有一年去了 Neurips,看到 Ian Goodfellow 的这个。那个生成对抗网络的工作,啊,就对这东西感到非常有兴趣,嗯,然后就开始在这方向里面就开始做大量的投资,然后越学越多这样。对你好像很早就开始做生成了,对我是最早做生成的一批研究员哦,嗯,那时候还在。
只要能生成三十二乘三十二pixel的脸,然后看起来不像鬼,然后就觉得自己很成功了。所以,为什么生成是理解的一部分?Richard Feynman他讲的。If I cannot create, I cannot understand。就是当你可以去生成它的时候,你真正去彻底的理解它。哦,这个人的学习有点像。
对,是是啊。那你可以讲的时候,意味着你已经理解了。对,还有早期就是 competition 也分这种呃 discriminative model 跟 generative model 嘛。嗯。discriminative model 是它其实没有生成能力,但它可以判断这是 A 还是 B。判别式。判别式。
嗯。那生成模型就是。一样可以被用来做判别,但是它还是包含可以去重建这个讯号啊,是可以去描述它。然后当你可以描述清楚的时候,大家是可能认为你更加理解这个东西的,对。然后就是 discriminative 跟啊 generative,嗯嗯。所以像最早期的 AlexNet 可以做 image net classification,我们就把它看成是一个啊判别式网络。
其实你最早做了一年的工程师,你觉得这个经历对你后来做 research 有影响吗?哦,你最后在在那个 Intel 做工程师吧?对,以及你觉得做 engineering 和做 researcher 的本质的差异是什么呀?哪个更适合你自己?这是一个好问题。嗯,做 research,呃,最重要一部分就是问对问题。
嗯,问对问题,当你问到。对的问题,你你就那种大概就是找对一个方向。那 engineering 等于是帮助你去去跟大家讲,对,这是对的问题。好,就是要把东西做出来,研究的这个一个实现能力,让你去做这件事情。那 engineering 当做大 scale 的时候,还有很多东西是很重要的哈。在去美国之前的那一年做 engineering 对我影响,我可能最大影响就是。
认知的这个有这个领域叫A I哦,computer vision,然后从中间啊,我记得那时候在。呃,巨大的这个software
stack里面帮公司去找问题,那这是很磨练耐心的一个呃一个过程。那我觉得都是很好的训练。嗯,所以AI对你来说也是一场意外。他本来不在寂静的轨迹之中,不算,不是,我不是那种从小就是说我要去理解为什么人类,为什么可以有这个智能的啊发生好,我等于是呃就是一步一步看到这东西觉得非常有趣,想去理解,然后就一步一步往那个方向前进。
他最初打动你的是什么呢?嗯,为什么打动我嘛?嗯,最初。后来当然很可以有很多原因了,因为不懂,因为不懂啊,对,不懂那又比较容易去理解它的重要性啊,就是有些科技领域像量子通讯。你可能要很懂,你才知道它到底是为什么重要啊。这个AI就是很容易可以理解,就是你可以重造这个智力。好,那它有些表现会跟人非常的像啊,这就很好奇了。
因为还有就是自然而然,每个人都对。自己的就是存在会产生这个困惑,整个群体就是到底什么是人,我们跟其他生物有什么不同?那这就是一个很自然你会问的问题。那我觉得也是因为这原因,这个领域会吸引这么多人在上面做出口入。嗯,如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?他是哪个时刻?他是你在做工程师的阶段,还是你到美国之后?
太多了,对,那哪个是最重要的?嗯,或者最重要的三个呢?我觉得第一个时刻就是在早期啊,我喜欢漂亮的数学。在 computer vision 早期阶段,什么东西都不 work。那 computer vision 运用大量的优化的算法,那优化呢,就是要去找最佳解。如果是连续性的呢,常常会遇到这种 long comers 问题,就是你没办法找到最佳解。
那如果是离散呢,就这种 NP hard 的问题,就是你也没有足够多的算力去找到最佳解。你还是研究出算法去找啊一个答案,但你不知道答案里最佳解多远。那为了去确保你的答案离最佳解啊不是太远,就是有一定的就是保证。然后就会去证明这个叫棒的啊,就也许这个最佳解啊是虽然找到答案不是最佳解,但它离最佳解可能就是差十 percent 啊,或是差那个二十 percent,这比随便一个答案好。
为了去证明这个棒的,很多时候在早期的研究啊,就会开始做些假设。那假设让你的数学变得比较干净,可以找到答案,但假设也让你离现实比较远。然后那时候早期会有点偏向于去找这个追求数学的美,而去忽略了跟真实世界的距离。然后后来一段时间之后,我意识到这不是一个正确,因为。A I 本身就是一个应用,就是致力就是拿来被应用的。
然后啊,我是越来越喜欢接近这个问题的本质,而不会被这些花巧的数学给迷惑。嗯,然后后来还有一个阶段就是,呃,可能就是从小成长的背景有关,就是我总是专注在把事情做出来,而不专注在让别人懂你做出什么东西。然后我开始做英伟达之后,就是我觉得我做的research不错,呃,蛮不错的。然后在那个别人看到这些这种image translation之前,我就把这个东西做出来。
但我不太理解怎么去,不太会去表现我做出来东西让一般人可以懂。然后我常常讲做我自己做一百分,但是我的解释只有十分,所以别人看到只有十分。然后那时候我就更加重视如何让我做东西,让别人理解它的重要性,然后让他去理解这个过程。那这是我觉得,呃,可能一个很重要的一个lesson。那但是我早期做game的时候。
然后第三个是,呃,我后来理解到,尤其是啊,开始做大模型的时候,我开始理解到团结合作是非常重要一件事情。嗯。人跟人的沟通呢,啊,其实是一个高复杂度的问题。好,比如说你,呃,我不知道就是叫 n square,假设你有 n 个人。你跟这些另外n个人沟通是n square啊,那n square在在那个复杂度来讲是一个不好的复杂度,只是不容易scale。
嗯啊,就是当你很多人的时候啊,就是每个都要点对点沟通就不容易。比较好的就是这种n啊,或者是linear或sublinear啊。我开始知道说要做出一些巨大贡献,需要大家去团结合作的时候。哦,必须要把事情讲得非常的明确,让大家都能懂,然后大家目标能一致,就是自己能把东西做出来哦。然后也希望就是大家都能懂是做在做什么东西,然后可以朝同一个方向。
前景那这地方就还需要很多,就是帮助大家去理解为什么这个重要。这这也是后来我做科研啊,尤其是做到大的scale的科研里面,觉得很重要的一件事情。你要做应用,然后你要。销售你的工作啊,你要团队协作。对,嗯,是。这其实是也是你的成长的路线,对吧?是啊,对。是当我做出的第一个啊,那时候我一个很 popular word 叫 GauGAN,那时候大家都在用它,就是我刚刚讲的马良神笔。
嗯,我看到用户的反馈让我。充满了就是成就感,那我觉得说我能影响的不只是 do our paper 的研究员,嗯,而而是一些就是啊更大的一个族群,然后可能就觉得自己生命更有价值,然后就朝那方向前进。高干是取自高更吗?对,这个名字是这样。那时候,呃,我是跟一个啊,我那时候实习生啊,叫那个 Tason
Park,啊,他呃,我们一直在研究这个方向啊,然后还有还有一起合作,还有朱君燕,然后还有那个王鼎军,啊,我们这四个就是一起在研究这个题目。
那那时候我们开发出一个算法,叫我们叫十倍的,就是 adaptive modulation 啊 demodulation 啊,这是一个算法。那那时候做出来之后。很开心,我在内公司内部做个demo,然后Jason看到非常的兴奋,然后他问我叫什么名字,我就叫Stay的,他就不喜欢,就是这个这东西就是不容易懂,然后不是一个用户语言啊,不是用户语言,嗯,那时候就是paper已经写完了,然后投了CBPR。
啊,但还没有放在Archive上面。然后公司看到之后,就叫我不要放在Archive上面,让公司让娟神在GTC,那是二零一九年的GTC的时候,可以在他的大会里面跟大家宣布。然后我觉得很兴奋啊,呃,很好的机会。嗯,那那他们就在想,这个叫什么啊?我们公司有一个呃marketing的genius,就想说这叫。
啊,因为那时候算法都是什么 gain,什么 gain,什么 gain,对,那是 gain 的时代,对 gain 的时代,嗯,然后那个 market 它叫做那个呃 Greg Estes 好,然后他他就提出叫
Gogain。搞棍啊,他是法国人啊,就啊就把这个名字取出来,然后大家一听到名字很合理,画家,著名画家,然后那时候做应用也是这个,呃,画画这件事情,然后就啊就出来了,好啊,呃那时候本来是在GTC啊他的就是宣沈大会上面要去宣布的。
结果那一年他太多产品要介绍了,他最后一刻就,嗯,我记得我在礼拜天晚上还跟他这边排练,就是要在台上给个demo。然后当天晚上就接收到通知,说太多产品要要讲了,他决定把这个高Gen就不放在他的Tino上面,就一样是做的新闻稿,一样就多多demo给这个媒体啊朋友去看,但就没有放在这个他的大会上面。哦,很多媒体朋友看了他之后,反而是GTC里面最受瞩目的一个啊一个work。
然后,呃,就那一年就这样的。啊,就是很多种事。然后我们做一个 online 的 app,让大家都去测试,然后从里面就是大家使用里面获得很多,呃,就是很很好的反馈,然后就就是越做越往应用方向前进。其实高干是不是跟你之前的研究轨迹是一步一步呃递进的?他不是第一天就坐在那里,因为你从博士毕业以后加入了三菱电机研究所,computer vision就进入了GAN的时代。
然后你其实围绕GAN做了一系列的工作,包括CoGAN、MoCoGAN,再是到了英伟达之后的呃,比如说高GAN这一系列的工作,对吗?他他是怎么延展的呀?我最早的一一个game的工作叫那个coupled game,coupled game,coupled
game就是啊把。呃,两个GAN的生成网络把它couple在一起,嗯,然后couple在一起产生了一个information bottleneck,然后所有的deep
learning就是在学什么压缩资讯,然后bottleneck是帮助你呃帮就是给这个network一个机会可以去找到本质,那就是你一个GAN是在model一个distribution,然后你有两个GAN是model两个distribution,啊,一个是马,一个是斑马,嗯,当你couple在一起后,它有一个限制。
啊,就会找一些共同性,然后就可以让你做这个转换,从马变斑马啊,就是从这个方向啊走的。整个生成式网络就是在做这个 distribution modeling。那 distribution modeling 就是你可以 sample 就产生一个 image,一个山,一个海,或一个 video。但是人不只是想要去生成,他要去能控制自己去生成的东西。
那控制呢,就是要讯号。嗯,那讯号有很多种。那一种常见的讯号就是拿image当讯号,就是我这有一匹马怎么变斑马?对,这是一个讯号。嗯,另外一种方法就是那种age,就是你素描。好,然后还有一个就是 segmentation,就是这个像小画家一样,什么颜色代表是山,什么颜色代表是水,这是一个讯号。然后再来呢,就是。
啊,比如说 cars 内部是说这是山,这是车,这是机车,那就生成。然后最最 sophisticated、最接近人的 natural language 就是 text,就是 text to image 哦,text to video
啊,这是最就是最自然的一种形式。嗯,但它text跟跟这种segmentation最不同一样,最不同地方是segmentation是给你很具体这个pixel是什么,它帮你对位对好了。
哦啊,然后text呢,它是一个比较不一样,它的structure跟image structure是很不一样,跟video
structure不一样,因为structure很不一样,所以它是呃比较难学的。需要更多的数据啊,所以我在发展过程当中,我是理解到这个问题,所以我是从比较容易啊的的方向一步一步往上走,然后容易的最最早是这种 segmentation 啊,这种 age 或者 image,嗯,那这也是为什么我之前讲说。
呃,搭理让我觉得我自己的那种决心不够啊,因为我那时候总觉得太熟image是很困难一件问题,好,然后觉得。这个领域还没有足够多的资讯的 data 跟算力来做这件事情。哦,好,那其实是有的,然后就就是因为没有去做,所以做不出来。哦,嗯,所以你是沿着 image 然后到 text 这个路径一点一点的延伸的。
对,就其实,在早期啊,我几个朋友,我们每年一起参加 New Reps,我们就在讨论。啊,我们在讨论说那时候还没有 GPT,那时候都是早期。我们在讨论说,如果真正有 AI,就是真正会产生突破,第一个会产生突破的领域是哪一个?那时候我跟大家讲说,是 text,是 language。这是哪年?应该是一六一七吧。
我虽然自己不做 text,但我知道这是影像的讯号太多杂讯了。你很多东西就是那个啊,就是它离那个知识的本质是比较远的。它是比较一个就是这个世界的,就是这个 observation。text 已经是已经是很纯净的,比较接近 symbol,所以要产生一些类似智力的表现,最早就是
language。我虽然知道那个啊最早的AI或是在language发生,然后后来也是真的是这样,但那时候我就是比较喜欢这种视觉讯号,所以就一直留在这个视觉讯号的生成这边。
嗯,后面的这几个GAN的工作你来讲一下。那时候就是image translation嘛,从A就是那种马变斑马,那个风景画变变真实的这个风景,然后后来又开始做video。然后,嗯,我们那时候做一个叫呃叫V to V啊,那时候是把一个车子的simulator啊,产生那种很简单的这种卡通的图片,然后把它变成一个真实的开车场景,就是很接近现在的war model这些东西。
哎,这已经到NVIDIA了。对,都到NVIDIA了。嗯,我只有couple
game不是在NVIDIA做的,剩下的game都在NVIDIA做的。嗯,那时候。啊,那早期做这些工作啊,然后,呃,也因为这样子跟伊恩古菲尔就Game的那个发明的人成为好朋友。然后我们就那个就很多讨论,然后也很幸运,就是在英伟达啊,就是很多优秀的研究员啊,余佳辉啊,Tim
Booth,还有很多啊来来我这里实习,然后跟他们学习,然后做了很多一系列work,都是围绕着就是image translation啊,video to video translation啊,嗯啊这方向走,对,然后后来有一年。
我在读PhD的时期,学的都是传统的这个computer vision的东西。那PhD毕业之后,Deep Learning时代来了啊!那时候就是想说,你不应该做handcraft的algorithm design,不应该做handcraft的feature engineering,就是应该data driven。
然后那时候也理解到,就是这种更加 scalable 的 approach,简单 scalable approach 是是更容易成功的,所以就常跟自己讲,就是说你在做选择的时候要找这种啊。更加 scalable 了,就是这件事,就是后来就是大家讲 better lesson,对。那我在做 game 的时候很开心,但我一直在思考。
Game到底是不是scalable?嗯,因为Game大家都知道说它很难去训练,呃,所以我我我担心这东西就是可能最后不scalable。那那年余佳慧来我这边实习的时候,我跟他研究的题目就是要去scale game。啊,那时候还很早,那时候我就看到余佳慧他的。才华洋溢,然后就是做出很多,就是虽然我们那时候没有写出一个paper,但那时候做的实验量非常的惊人。
他的想法我看到,哇,还可以这样想啊!然后就是,呃,比如说那时候。GAN是一个 generator 跟 discriminator 嘛,啊,那时候我有幸的是有很大量的 GPU 可以一个卡式来 train GAN,他就想到说每一个 GPU 都放一个 discriminator,但是它的 weight
都不一样,所以就好像很多人同时跟这个生成式网络做啊对抗,嗯,在那个时代能去实现这东西是很不容易的一件事情。
然后那时候还有另外一个呃实习生,他叫 Jeremy Bernstein,他就是后来发明这个 Mian Optimizer,现在大家都在用的 Mian Optimizer 的人。然后他那时候来我这边实习,那我跟他研究的方向是如何在在这种outweigh层上面,更好的算法来去把这个game给给做的稳定。
嗯,但这两个最后就是方向最后都没有成功,但他们各自都开发出了啊非常精良的呃很有成就的工作。Jeremy就是从那时候开始,我们写了一系列的paper,就是如何用,呃,灭亡早期的算法来去稳定啊,来去就是让这训练更稳定。他就一路一路往下走,在爱开发这灭亡的算法,嗯。是很开心的一段时光,学会很多东西。嗯,到某一年很努力啊,然后跟着这么多聪明人在研究这个怎么让
game 更加 scale scalable,但每个结果都走向都是得到一个结论,就是 game 不 scalable。
然后呃,我建立这个团队,就是那时候就是大家加入原因就是想做 game。然后那一年我就跟大家讲,不能做GAN了,要往就是这个方向不scalable。我们那时候看到diffusion,嗯啊,觉得哇,这个这个方法极其稳定哦。然后这应该是一七年。不是不是以前,应该是二零二一吧,二零二零真的是那时期。一七年是
transformer 发明出来了,对,一七年 transformer transformer 发明出来之后,呃,我必须讲,呃,我不是早期去接触 transformer 的,当时的英文还是 L L M,对,这是 L L 那一块,嗯,我我一直在专注在 game,然后早期的 game
呢比较好训练的都是用那个 convolution network。
啊,到三零,他把这个 diffusion transformer 带进来之后,才做 diffusion 那边的人才慢慢的往这个 transformer 这边走。所以那时候就是从算法层面来看,哦,就是觉得这个 game 不 scalable,然后就跟团队讲说,就是不 scalable 东西最后做不远。
然后做 diffusion,然后就是开始做 diffusion,然后往下走。嗯,对,嗯,这是一个一个重大的转变时期。那做啊 diffusion 一开始是做 image 嘛,然后后来做 multi view image。然后 multi-view image 呢,啊,就做变成 3D
generation,啊,然后我们就做了一系列这方面的 work,就是 Adify 系列的哈,Adify image generator,Adify,啊,3D Adify video,然后做各式各样用 diffusion 来做的生成,嗯嗯。
我听这个,我会想到两个点,就是,嗯,你在C V这这么这么漫长探索过程中,其实计算范式发生好几次变化,对,从传统的,然后到了GAN,然后又到了Diffusion。站在每次转变的时候,作为一个研究员在其中,应该是一个什么样的心态?我发觉这越变越简单了。会不会觉得哎呀,我之前的工作都白做了?卷卷常常讲就是 suffering lead to greatness。
然后在这么多呃,就是经历当中,我觉得我现在越来越能掌握这个事情的本质。然后我觉得有点像是呃,就像。传统的科研一样,就是把事情越就找到真正找到本质,找到最简单的方式去描述。啊,这个有这物世界怎么运作的?啊,我觉得现在的方法就是把事情越变越简单。啊,嗯。然后在Cosmos这边,我们也是从数个模型,最后变成了现在这个Cosmos三的一个模型,也统一了。
对,就是就是渐渐理解到,OK,原来这就是事情的本质。然后每一个方向,我都是花了五到十年在在投入嘛。我觉得未来的决定。啊,我受深受这些过去的那个经历影响哈,然后我不能说那是错误的,那时候不能说它是错误,就是,呃,那时候的条件,那时候的算力,那时候的数据哦,在那时候做那些事情是合理的,嗯,那那时候那时候学的东西。
对我,啊,现在做很多事情理解很有帮助。还有,我发现你好几次提到你的实习生在A I的lab里,是不是就是通过实习生来涌现一些idea,是一件很常见的事情?怎么看待年轻人?你说。经济的呃茂盛程度是根据钱多快从一个人的口袋流到另外一个口袋,那研究的茂盛程度应该是啊根据idea多快从一个人的脑袋流到另外一个脑袋去啊。
你听了我的idea,你有些想法把它变更好。我听了你。新的 idea,我觉得哎不错,但这个地方也更好,你就一直流动流动流动,然后就 idea 越来越好。那所以,呃,因为我走向业界这条路,就不是去学校做教授。那,呃,如果你只是在业界整天交流的只有你的同事啊,那idea的的diversity就低一点。那英伟达这边我们找很多实习生,哦,就是跟这些很有想法、不同背景的人,然后一起合作啊,研究,然后互相学习。
然后,所以我觉得这东西是。呃,是帮助我成长啊,就是然后也帮助他们成长一个很重要的一个呃发展。嗯,你一二年加入了三菱,就是博士毕业加入了三菱研究所,然后一六年加入英伟达。你后面这个职业的变化是怎么发生的?你怎么加入英伟达的?自从开始做 deep learning 之后,我很相信算力。在三菱电机呢,不是一个重视算力的公司,是一个呃,它是重视算法。
然后那时候我为了能做出研究,做出好的研究,我就常常跟我那时候的 manager 要求要买 GPU。哦,对,然后开会就是说我们需要 GPU 来做这件事情。在那个三星电机有一个 long term mentor 啊,他叫安卓制造,他是也是一个很有名的研究员。然后他那时候就决定离职加入苹果做自动车,然后。
然后我突然间觉得说,就是当初把我留在三菱电器的主要原因没有了。嗯,然后我就开始思考,说我是不是也要换工作?那很自然而然的换工作就是到硅谷跟这些大公司聊一圈。那时候大家都看到就是Google啊、Apple啊、Amazon啊这些Meta这些大公司。嗯,然后后来他们的recruiter找到我。然后我看哎,NVIDIA 对,每次我都想买他们的GPU。
哦啊,那我这么缺GPU,这么想要GPU,那为什么我不加入一个啊,就是生产GPU的公司?啊啊,所以那时候我最后就决定就是加入那个啊英伟达。那我那时候父亲不太能理解,因为那英伟达是他们没听过的公司,那时候没听过的公司。嗯,他说您苹果不错啊,谷歌不错啊,你为什么要加入这个英伟达?嗯,然后我那时候想说,因为我觉得GPU是最重要的啊,尤其是那时候。
哦,我我开始做 couple game 的时候,那这种 unsupervised 的 approach,嗯啊,所以 unsupervised approach
代表数据取得比较容易一点,你不需要标注。那我就觉得,那最重要就是算力跟数据嘛。那呃,我既然数据不需要标注,那我就去有算力的地方。然后一件事情很有趣的是,我后来发觉,就是我那时候在三菱电机的 manager,我每次跟他 argue GPU,只要我吵赢了,他给我一些。
那个经费去买G P U,同时之间他会买N V D A的股票,然后后来他就退休了。他没有告诉你是吗?当时他后来跟我说,哦,当时没有告诉你,当时没有,不然你也可以买了。是的,嗯嗯,我看到你在三菱电机的工作的时候就已经和N V D A的人有一些合作了,是吗?在一些论文上面?嗯,不是我多半是那时期就是写的那个。
paper哦,因为那个学术的那个论文啊,就是审核啊,有时候你不是第一次投就会上了,然后可能是多投了几次后才上,那。呃,在三菱做的研究啊,可能后来到了那个啊英伟达之后,又继续在上面做一些提升,好,然后所以这个才会一些paper的作者,同时有三菱的作者跟跟英伟达的作者哦,对,并不是在那时候有合作,这公司跟公之间合作没那么容易。
哦,我以为是之前有一些合作基础,所以你加入了英伟达。其实不是的,还是正常的一个求职的过程。对,就是,呃,我那时候并不知道那个呃英伟达有一个研究机构。哦,对我那时候觉得主要是卖GPU。哦,嗯,然后啊,那时候面试我的几位啊同仁,我后来跟他聊之后才知道,哎,他们真的是在做研究才过去的。那时候英伟达的研究机构没有什么名气,多少人啊?
那时候去的时候不到一百个人吧。嗯,哦,那而且不是纯粹做AI研究,大部分都是做Graphics。那时候做StyleGAN那一帮人啊。那时候也不是在做那个,也不在做game,他们在做别的东西。嗯啊,那我都印象很深刻,就是在。NVIDIA
Research每一年都会有一个叫呃Offsite,就是把世界各地的NVIDIA Research的同学飞到啊,是加州啊,在硅谷南边有一个小镇Montreal下面的一个小镇,然后那边就有一个地区,我们在那边住了两三天的,就是研讨。
然后是我第一次见到Taro Karas,就是发明StyleGAN的人,还有一个Timo Ila、Samuli这几个重要的那个GAN的研究员。那时候他们都没有做 game,然后我已经做一段时间了。那我遇到他们的时候,他就想说他要把 game 的问题给解。然后我想说,OK,你可能不知道多难。呃,我当然希望他们成功,但是觉得他们有点低估它的难度。
然后后来他们就是真的一直投入在做这个 StyleGAN,从一啊二啊三啊,然后就不断的突破。那我跟他们合作当中学到很多东西。就是他们一直在做这种unconditional的,不是这种我做的那种控制性的。但但是他们就是对这个细节的追求啊,对这个结果的那个追求,就是影响我这个这个研究的发展很多。嗯,进入英伟达做研究有像你预期那样可以有很多的G P U吗?
对,这世界上没有任何一个地方G P U是够的哦。对,然后呃,你总是看到。呃,不够的地方。对,那我是很幸运,就是我是最早在英伟达里面做大模型的那个,就是用大量GPU来做这个生成式网络的的一个研究员。那因为我早期帮公司做了一些,就是。啊,visibility 很高的
work,那所以公司很多人都认识我,然后那个老黄也对我蛮有信任的,所以我就可能有有幸有很多 GPU 资源可以去做这些研究,但每次都是看到别人的 GPU 更多啊,那觉得自己总是不够啊。
怎么在一个像英伟达这样的公司获得更多的 GPU?你需要学会什么?你要懂公司要解的问题是什么,然后你要想办法,就是跟公司解释为什么你做东西会都对公司产生影响。每个研究员都自己有自己的想法。啊,都想解事解事情。然后研究员某方面来讲都是 very high ego,嗯嗯,文人相轻自古皆然,每个人都觉得自己想法比别人好,嗯嗯。
但公司的本质跟啊还是不太一样啊,就是公司是为了为啊就是股东获利啊。那那对 Jensen 来讲,他是希望可以 take care family,就是整个整个公司这么多人一起打拼把英伟达建出来,他希望可以帮大家照顾好 family。就是公司要赚钱,所以我学到一件事情,就是就是我深信我做东西是对世界很重要的。
那这东西会产生改变,好,产生改改变会帮助公司。那我要怎么去把这事情讲清楚,让这个leadership,让这些不懂得AI的这些leader啊,就是理解到这东西对公司重要啊,觉得这是一个重大的的变化,嗯嗯。这是你刚才分享的三个时刻里的第二个时刻,这具体是在哪个项目里发生的转变啊?嗯,我那时候讲第二个时刻是如果让其他的研究员更加理解自己做的东西啊,就是的重要性嘛。
我就是一个一直不断变化的过程,我很难讲是具体在什么时候发生。但我想讲三菱电机的那个案例对我影响很大,因为三菱电机在九零年代非常的重要哈,因为它是早期这种。呃,就是没有任何限制的这个啊地方来做research哦,包含领域里面很多著名的人呐,像啊,你知道有Bill
Freeman那时候在那个三菱电机研究院嘛,然后Bill Freeman吸引了一堆现在比如说Alusha Efro,就是一些著名的教授都在那边实习过哦,然后那边就是做出很多重大的research,所以那时候可以跟微软研究院啊可以一起竞争嘛。
啊!但某一时期,呃,公司的方向改变了,他们开始怀疑这些这种 blue sky research 对公司的影响是什么。就越来越难去去justify为什么要去配这些researcher?嗯,好,然后就产生那个很著名,这这都是现在年轻人大家都没有接触到的事情。那时候就开始啊,就是一堆重要的学者,在三井电机学者就陆陆续续被fire了,离开公司啊,有些就加入微软,有些加入学校当教授啊,比如那个MIT那个。
那个 Rice 啊 Harbor,然后有些人去那个呃 Disney 哦,就是。人就陆陆续的走,那留下来的一些人就是他们还是做的呃类似的 research,但是比较难跟公司的发展方向啊相关。比如说,呃三菱电机对做相机啊,做这种工业用的相机很感兴趣,做机器手臂很感兴趣,所以你那边研究就是啊,就是就可以获得公的公司的支持,继续往下走。
嗯,那。那我加入的时候已经是这个东西都结束了。那但是我那时候得到的训练就是说,Blue Sky Research跟公司的兴趣也是可以online的。然后我又常常看到,因为在这业界很久,常常看到这种周期啊,就是啊,很多公司都会一开始的时候就是给很多自由度,然后很多很有趣的idea都出来了,但某段时间后开始紧缩。
然后就是留下了一批跟公司这个啊兴趣比较相关的人。那就是你可以看到,不管是 Google 啊,不管是 Meta,都是有这样一个过程。那我可能是很有幸的,在我的职场的早期,我就看到这个过程的发生。所以我在英伟达的时候,我就知道,我那时候就就是一直认为,就是首先我知道我做东西跟这个。用 Deep Learning 来生成影像,对公司绝对是正相关的。
好,更加花心思去理解怎么跟公司的决策层解解释为什么我做东西重要。哦,这个特别重要,因为可能是公司在上行期或者是膨胀期的时候,它允许你做很多 blue sky 的探索,但是它只要是下沉的阶段,它就会收缩。对,它一定要你回答为什么你你做的这个事情重要,你跟我有什么关系?是,呃,而且呃,去做 deep learning 非常花钱,嗯,对,啊,所以你更加要做注重解释为什么这这个这这对公司是一个重要的投资。
因为大家也会注意到,你的研究其实很多时候的理念就是研究及产品,这个跟那段经历有很大的关系,是不是?这后面影响你在英英伟达的很多的呃做的研究和产品。因为比如说你的高Gen,你刚刚提的那个项目就是Spade的那个算法,其实也是做成了一个实时绘图的一个产品。然后包括后面的也做了视频会议增强AI增强的一个产品,就是所有的研究都会变成一个产品去发布。
是,我是算很运气的人。我是一个,嗯,我是一个,随着我年纪越来越大,我越重视效率的人。所以我很精准的把自己的 research 变成了一个产品。好,我不能说 Goggin 是个产品。我还有一件事情是一个学习啊,一个重要的学习,就是 AI 单独存在并没办法改变一切。嗯,怎么说?在做A I的时候,大家都是追求越来越好的模型。
嗯,但你慢慢会发觉,就是模型的的那个,就是慢慢收敛,大家都差不多啊。当然,我有些人会说,我不断进步,但你看到就是那个。这个月那个 Anthropic 比较好,下个月那个 GPT 比较好,然后可能下下个月那个啊 No Gemini 就追上来了,然后中国这些强大的公司啊,G O M Kimi 啊。C的呃阿里本源,然后呃 DeepSeek 哦,然后 MiniMax 啊,这些公司都不断的在在在做突破。
那慢慢的就是大家的模型的能力都也差不多,嗯,然后你们能模型能力都差不多的时候,你就会理解到说,你纯粹靠模型是不够的。啊,然后我我可能是比较运气比较好,就是早期就就认为这个模型会收敛,然后我一直重视就是不能只靠模型,要跟公司的其他的 ecosystem 结合在一起。你看 Gemini 做那么好,就是
Gemini Google 有一整套的这种 Google Doc 啊, Google Search 啊,嗯,Mail。
一整套的平台合在一起,那就是当越多人使用你的模型的时候,你得到反馈越多,嗯,然后呃越方便,那就更容易就是对公司产生贡献,对公司产贡贡献,公司愿意给你更多的投资,你就会做出更好的模型,然后就一路可以把这个啊长期的这个就是发展嘛,一路一路做下去,嗯,所以。啊,那我在早期做AI的时候,就是跟其他的研究员差不多,就是那种研究员啊,PhD学生毕业的方式是写出呃高质量的论文。
什么叫高质量的论文呢?往往就是你在Benchmark的结果比别人好,嗯,就是你就是要一个killer把别人的方法给击败,嗯,然后再就是文人相轻嘛,总觉得自己比较行,然后就是一路往下做,所以很多时候早期做研究的时候,想说比别人好。然后到晚期的时候,我后来渐渐理解,就是那种B编号只是其中一个,就是证明你的东西有价值的方式。
那另外的方式是,你可以帮助到别人,让大家都变更好。嗯,然后你会发觉,就是我我我现在的想法越来越接近,就是我做出什么东西,你可以帮助整个领域变好。而不是追求的,就是我比别人好。这是一种high一个,还是一种low一个?嗯,我不知道是high一个还是low一个。我,呃,我是有幸的,在过去二十年当中遇到好多聪明人。
我总觉得,就是这世界上能人非常的多哦。然后我很多实习生都比我优秀,然后我也觉得这是非常开心的一件事情。那我觉得我自己能做出东西来,可以服务这个社会,但我也不会觉得说我一定是比大家都还要优秀。然后,呃,所以我不是说嗨一个,也不是说low一个,我就觉得我是有办法产生贡献。嗯,你刚才其实说到一个你做模型的思路,就是你觉得模型最终会收敛,它的能力可能会同质化。
但是我理解那些 frontier lab 他们的认知是说,智能现在还没有到顶,智能还要继续高速的提升。你你不认可他们这个观点吗?就他bat智能的skill,我我当然一方面很好奇嘛啊,然后呃我自己也在用这些模型,我也看到它不断的在提升嘛,然后但是有些人总是会讲说,接下来会有exponential grow。
如果你不赶快投资这间公司或加入这些公司的话,你就会 miss out the opportunity。对,然后我觉得历史上看过去历史从来没有这样发生过,就是一家公司就是掌握所有的科技,其他其他的公司都没有办法去追上,这从来没有在世界上发生过。嗯,然后我不觉得 A I
会是一个例外。对,我觉得大家都很聪明,对,就是人员会流动,总是在A公司做一段时间,总觉得我自己的才华没有受到肯定,我可能就跳到B公司去。
对,那呃这些know how这些东西就自然会在这领域里面扩散,嗯,对。然后我总觉得不会有一个公司会比其他公司都做一个巨大的超前,我觉得这本身就不是一个稳定的社会状态。如果推演一下,如果模型嗯的智能大家达到了一个差不多的水平,接下来大家竞争的是什么呀?就是呃整合,跟跟自己的这个生态,跟自己的产品的整合。
嗯,对,就是这是大公司,创业公司呢?创业公司啊,创业公司的优势是可以可以走那个大公司不能走的问题,比如说。对英伟达来讲,任何生意只要是小于一个 B 点就没有兴趣去做,啊,但那些本身就是有一些很值得做的东西。然后有一本著名的书叫那个啊叫什么《Innovator's Dilemma》,这是一个创新者的窘境。
对,嗯,就是往往这些小公司在走向那些当初不是很被看好的这个领域,看到一些东西可以慢慢逐渐起来。很多公司都是这样起来的,英伟达也是这样的。对,英伟达是这样起来的,所以我觉得还是充满机会。嗯嗯,对,我不觉得一定要做你你如果现在开一间公司要跟 no OpenAI 和华为做一样的事情,很危险。对,你的资金绝对没有他们雄厚,然后你没有客户。
你要怎么去累积?然后他们这么大的资源可以把东西做便宜,然后你不容易追上。所以你要去解一些痛点,是他们没办法去解的,不是他们不想解,是他们没办法去解,他们不能 justify
为什么要去解这件事情。所以哪怕是你要做大模型这件事情本身,最后你也要找到你自己独特的生态位。不管是OpenAI还是Anthropic,我们可以看到Anthropic它早期是被认为是落后OpenAI的,对,但它是最早相信coding的。
当OpenAI在做。分散式投资,把鸡蛋不放在同一个篮子里的时候,那个Ensho比是做集中式投资,然后最早去做出这个Coing这个东西的,所以他那时候就看到了一些那个就是机会,然后他就坚信,就决心把它做出来。所以我觉得对创业者而言,应该就是要决心要去看到一个机会,然后去看到一个。这是你独特的机会,运用你的资源把事情做成。
但是今天,不管是硅谷还是中国,大家又开始全部同质化的都在做 coding agent coding,你怎么看这个现象?你觉得这是对的吗?每个公司做这件事情背后都有不同的目的。好,那我我不是站在他们的立场,我无法去讲。但从我角度来看,就是呃,这其实是很辛苦一件事情。对,那你说的是同质化竞争,同质化竞争是很辛苦一件事情。
呃,我觉得他们做这件事情可能是被迫的啊,因为这是本身是一个重要的一个technology。啊,任何人都不希望自己核心科技是被掌握在别人的手里,对吧?那但我不觉得这个是他们计划的全部,他们一定有其他的计划去做出一些差异化啊。你没有差异化就没办法做出有差差别性的产品,最终还是要差异化。我觉得是。嗯,刚才我们其实回溯了你的很长的一段经历。
那你觉得你作为就是刚到美国时候的那个第一份工作的研究员,呃,刘洺堉,然后到后来变成了一个在英伟达变成一个 tech lead,然后再到到现在是一个 VP 研究的 VP,你觉得你在不同时期解的题是一样的吗?嗯,scale是越来越大,嗯,然后那个这个scale指的不只是管理的scale对吧?对,不只是管理的scale,不管是运算人员的scale,然后啊,这跟整个AI发展也有关系嘛。
AI从探索到可以落地,啊,就是一个变化。然后这些不同的时期都有不同的经历,有时候还是会怀念以前那些。各种方式都,各个东西都不 work,整天就想什么东西会 work 的的时光。为什么?有多种可能性的时候也也蛮蛮开心的吧,就是多个选择,多个选择会给你一种开心的方式。现在的状态就是也有很多选择,只是就是我觉得因为缺进,我自己蛮喜欢,就是。
啊,回到事情的最最核心了。然后现在发现,就是很像是现在的解法都是,呃,重剑无锋,打巧不攻,就是啊,很扎实的一步一步把这个贝塔英法做好,然后就把东西解出来。在这个执行过程当中,我也觉得是一个很不错的经验,从里面学到很多东西,怎么让这个。帮助团队看到最核心的本质,然后去去提升这个执行力,但同时间又在可以创新的地方,让团队做出重大的创新来,去跟上这个时代的变迁。
我觉得各种时期有不同的挑战,都很有趣。嗯,从一个研究员到英英伟达的VP,这个多见吗?我可能是第一个吧。你是第一个,对?你觉得为什么呢?这是我想问你的。我在英伟达前几年是每一年跳一级,然后就一直跳跳跳跳就到BP了。对,然后我觉得是因为我,呃。早期在NVIDIA还没有AI人才的时候,我就在那里,啊,就是帮助公司啊,然后提升不管是AI日社区的知名度,或者是解释AI怎么影响公司。
然后我自己又很喜欢落地,就是一步一步。就是获得公司的信任,呃,公司就愿意把这个越来越大规模的的专案给我做啊,嗯,像现在。想想,就是整个团队这么多人,运用这么多运算资源,每天都是几百万美金,就是的运算成本啊,储存成本。我觉得就是几年累累月啊,就是公司有一定的信任,才有这个机会去带这么大的的project。
嗯,所以你跟公司align非常重要,对吧?对。一个纯粹的研究员的天性和一个管理者可能是有某种程度上是相悖的。对,研究员要创新,研究员 high ego,研究员需要 recognition。然后 recognition 啊,有时候 recognition 跟公司要 recognition 可能不太一样。
嗯,那你在成为管理者的道路上,有没有可能就是抑制一部分研究员的天性呢?有没有可能是在戴着镣铐跳舞?我觉得我还是一个研究员,我还是常常读论文,然后我有时候会做一些实现。然后去去理解我,我最担心在成为这个一路成为管理者的过程当中,我最担心一件事情就是我我跟底层脱钩,嗯,我不理解啊,就是问题的核心所在。然后我会强迫自己就是,呃,review大家的code,然后呃去读paper,然后去challenge每个人的idea,然后跟大家做一些。
就是等于就是debate来确保这个方向是对的。嗯,我很呃,跟我公司的人大家都知道,就是呃,我可能是少数还继续在看扣的VP,然后还是继续会继续修细节。但我我觉得我如果不这样做,我我当然我我知道我的任务不是一个不是成为一个很能很能去实现的人,但我是觉得我如果不做这些东西的话,呃,我自己会不理解痛点在哪里,我这样就更不能去理解大家每个每个人对这个专案的贡献在哪里。
就是我,只是希望自己一直 stay grounded,啊,看清楚一切,然后这样可以帮助团队成长,然后也可以看清楚谁对谁谁的贡献在哪里。嗯,如果说过去二十年,就是你到了美国之后的这二十年,对你影响很大的几个人,你会说谁呀?哦,那第一个就是我的制造教授啊,Ramachapa啊,他把我带进这个Deep
Learning这一行,他非常厉害,就是呃,然后他也是非常善于沟通,然后他可以让任何场面都是充满的欢笑啊,即使是呃这种很严肃的这Review Meeting,然后他对人都非常的尊重,然后就是跟他那边学到很多东西,嗯,然后再就是我在我实习生的啊,我是做实习的第一个mentor,Angshu Dutt。
啊,他就是手把手教会我很多那个美训能力的东西,呃,他对我影响非常非常大。到英伟达之后,就是多半跟这个同才学习,Taro Karas,就是那个Style Game的一作,我也受他影响非常大。对,是哪方面影响?他对东西追求到极致。你如果读过他的论文,你看他做的实验分析,去把这个本事套出来,这个过程,这个这个坚持啊!
我跟很多不同的研究员呃合作嘛,在那个时期。然后那时期很多研究员就是一个想法写一篇paper,同时间一个区域大家可以写二十篇paper,或是四十一年可以写个四十篇paper。Taylor就是每年只想写一篇paper。啊,就是把他所有的,他他他也工作也非常努力,啊,就是把他所有的就是人生的精力啊,就投注在同一个idea,越钻越细,然后问题的本质,然后产生重大的贡献。
虽然压强更大,就是这个stay focus这件事情是,可能是从这里面啊,从他跟这些人。共识当中学到很多东西。嗯,那老黄呢?他对你有影响吗?非常大的影响。嗯,他是一个工作非常认真的人,啊,我在早期加入英伟达的时候,他常常会传论文叫我看。然后看论文,对,叫我看,然后,然后我就要写一些summary给他,跟他帮他讲是什么事情。
他是一个非常热爱学习,一直去学习,一直去理解。他当初也不懂computer graphics。他敢踏入做G P U,他去把Computer Graphics学起来,他也不懂Deep Learning,也踏进A I,只懂Deep Learning。对,然后,嗯,这是他强大的学习能力,强大的兴趣,一直往下走。
嗯,他不懂,他为什么敢投入呢?他有一套自己的那个决策法则,他就是叫First Principle。啊,就是他会把事情的本质,把它理清清楚,不会受到外界的讯号的干扰,他就会看得很清楚,就是说这方向最 make sense,然后就往那边走。他在早期就敢 all in deep learning,对,让公司获得巨大的领先;在早期就敢 all in CUDA,让公司产生这个很好的 foundation。
我在认识全神之前,我觉得我的决策就是都是偏比较短期的。然后我看到他怎么去做这种长期的决策,然后坚持,然后我觉得是影响非常的惊人的。那他还有一些很惊人地方,就是他的他的每天的信都非常的多,邮件是吗?对,邮件邮件都非常多,但他都是很仔细的去读,然后去找一些别人看不到的讯号,然后做出一些那个呃重大的决定。
而且他呃是一个很理性的人,你当你事情很多的时候。啊,你如果没办法去做prioritization,哦,就是把重要事情去做的话,就是说你把时间放在不重要的事情上面,你就做你就不会变得做出重要的事情嘛。嗯,所以你你决定哪些事情很重要是很重要的一件事情,the prioritization。然后我我自己是这样推想的,他强迫自己每天读大量的email。
强迫自己快速的做出决定,什么是重要的,什么是不重要的,在每天不断的练习之下,看的事情看得非常清楚。嗯,好,当你看清楚事情,什么是重要,什么是不重要的时候,接下来都是执行。那很多人执行的时候会把自己的个人情感放在里面,就说这虽然不重要,但是我跟那个人不错,啊,然后我是不是应该让他去做?他不会这样做,他就是,就是他就是觉得说我最终目标就是 take care 整个公司。
我只要一直做做对公司最重要的决定,你只要留在公司里面,我就会 take care of you。嗯嗯,对,然后。然后就从里面去学习他怎么去做paradization,然后我觉得这件事情让我印象非常的大。嗯,就是我我现在当research的一年的时候,可能同时处理两三个project,觉得好累啊,每天要换两三个topic啊。
然后我现在几乎就是每半个小时换一个topic,然后呃,我觉得以前是没办法想象自己做这件事情,但是在这种不断的一直做context switch的状态里面,也帮助我去更加理解什么东西是比较重要。对啊,然后这是很重要一件事情。嗯,然后还一件事情就是,如果你学过 computer science, computer science 最重要一件事情就是难度。
就是,不用算的东西不要算,嗯,可以晚点算的东西晚点算,嗯,可以直接就是一个no就宣布一个no,嗯,那你人生就是这么多时间,你经历就这么多,如果你能知道什么东西不要算。就把它溢出的话,你的人生运用就更有效率。所以我觉得还是很值得去学习 computer science,不要因为 AI 就不去做 computer science。
老黄又把什么排入了他的计算范围之外?每个时期不一样,每个时间点不一样。对,这不是永远固定的。嗯,比如说现在呢,他要处理的事情实在是太多,也很难说现在什么东西不是重要。我我自己看到的东西跟他看东西完全不同的等级嘛。他看到是他等于是全球AI重要的一个推手,对吧?那他看到东西远超过我看多的东西,那我。不好评论他,觉得现在什么东西觉得不重要。
嗯,你是怎么保持自己的精力的呀?你有什么一些技巧吗?呃,我是很喜欢运动的人。我以前喜欢做这种团体运动,打篮球啊,打网球。那我后来就是,我还有一个很大的兴趣就是,我是一个。啊,投入中国功夫很多年,好几个十年,就是从十八岁开始就一直在练习中国功夫的人。嗯嗯,对我听说你练功夫是吧?对,有功夫老师,有功夫老师。
我的我的武术老师是徐记,他是一个很有名的武术老师。他的老师是刘云桥,刘云桥老师是李素文,当初是。那个大家讲神枪李素文是沧州的武术啊家的代表,啊,他的八极拳劈挂掌对整个那个只是整个武术啊是一个重大的贡献。他所整理出来的八极拳劈挂掌。那我是很有幸,就是在台湾啊。那时候因为呃,蒋介石的关系,有一群这个武术家到了台湾。
那我的老师徐记在那边跟刘云桥学,那我跟徐记学学才就学会这些中国武术。那武术就是一个很好的身体的锻炼,不管是心智啊,然后磨练啊,啊,对体力啊,对心智磨练都很好。呃,还武术还有一个好处就是,它是只要一个人就可以做运动。那我是我早上起来就是啊,就是做这个啊武术的锻炼啊,自己在那边做训练啊,蹲蹲桩啊,打打拳啊。
然后我最近还有一个新的嗜好,就是叫ice punch,就是你用一个冰桶。然后把像运动员一样做完激烈运动之后,跳进一个冰冷的水池里面,然后呃,就是帮助身体的修复。然后我觉得这东西也帮助我保持的精力,可以面对每天高强度的挑战。这都是你上班之前要做的事情?对,和我我对你的印象还蛮不一样的,因为我每次看你都是一个非常谦和的人,但是你还是呃做一些相对有一点点激烈的运动,对吧?
哦。冰水呀,武术呀,是但呃,我学武术的目标不是为了打架,是一开始是呃受到金庸小说的影响啊,然后那样就是对这些呃这个中国武术充满了兴趣。学了之后,发现是对自身的一种磨练。中国武术最重要就是控制全身,控制自己,因为你要。呃,发挥要打出一拳的时候,最大的力量会来自你全身协调,可以把力量从脚一路灌到了手。这么长的路径,你要控到知道全身协调,这个力量传导是循序啊,就是一步一步到位是很难的,因为都一瞬间发生,所以你要经由不断的练习,不断的自我修改。
然后我觉得这个跟我喜欢一直自我检讨,一直追求啊,都有很深的原影响。然后我并不是就是为了展现我就是强大的破坏能力啊,或是啊,就是我觉得后来变成了一种对自己的追求。嗯,你的性格这种比较温和,嗯,你能算温和吗?你在公司应该不这样吧?好,当然不是这样。做久之后都有点恨铁不成钢。嗯,然后看到。呃,年轻的研究员就是差那么一点火候,就可以把事情做更好,就会忍不住就会,呃,提出来啊,所以还是会凶的,对吧?
在公司里面,我是我觉得是一种呃,是一种直接指出这些问题所在。嗯,取决于听的人,听的人如果是觉得我是正面的,他就会很开心,因为这世界上不是每个人都愿意跟你讲出什么地方可以做进一步的提升。对,然后他们可能会感激我,跟他讲说这个地方你可以做的更好。但如果你你听者是觉得说我就在挑剔的话,那你就会觉得我很凶。
嗯,你这个希望能够一击制胜的课题是不是Cosmos?就是我们整个组织有一个project,就是Cosmos。对,然后我是非常专注在做Cosmos,我也嗯,就是就是我们就是希望透过Cosmos来对这个世界产生巨大的贡献。嗯,这也是你接下来也许长达十年最重要的一个课题吗?是的,呃,我们做完Cosmos,我们做完Cosmos一的时候,问那个Johnson要不要继续往下做,嗯,然后Johnson跟我说,你就做到Cosmos九十七。
对,我现在做到三而已,所以还还有还有还有那个九十四代可以往下走。为什么不是一百是九十七?没有,他他他是随口说说的,就是啊,他他数字是随口说说,但他的决心是展现在他这个数字上面。他是认为这是一个重要的方向,然后希望我们可以继续专注啊,去做这个物理AI的foundation来帮助整个领域往下走。嗯,我们接下来重点来聊聊Cosmos和世界模型吧,也是你当下最重要的一个议题。
我看你在你的个人主页上说,你一直被这样的一个愿景所驱动,就是为机器人构建一个黑客帝国。对,你们阐释一下这个愿景。我认为世界模型可以帮助这些啊,具身智能啊。有,来做到这个泛化的效果。嗯,那我觉得任何AI的问题要解的问题就是这个泛化的问题。你能不能在你看过的训练数据之外也能表现得非常的好?泛化,对不对?
就是在这个coding啊,在这个chat里面都是去解,去训练模型,让它可以去解。在他训练没看到的东西的问题,很很就是变得像人一样,对吧?那物理世界的AI也不例外,就是要解放化的问题。那解放化的问题,在Cosmos这边,我们是想这样帮忙三个点:第一个,提供更好的数据。第二个是提供更好的起始点,然后第三个是提供更好的环境。
嗯,啊,数据是你可以用生成数据啊,数据是帮助AI模型更加泛化的关键。就是你可以想象这个世界上你看到数据就这么多点,你可不可以去生成一些你需要看到,但是你真实事情、真实世界你没有采集到的数据?我把它叫Beta
Data。那再就是,如果你可以训练出一个好的世界模型,这个世界模型理解世界怎么运作,可以去预测未来发会发生什么事情,这样的一个模型,它本身的这个 representation 是不错的,其实可以提供一个物理世界 AI,就不管是 parsing model 还是什么 model,一个更好的一个
backbone,从里面可以去。
就是衍生出你想要做的policy啊,这是更好的起始点,更好的数据,更好的起始点。那第三个人是怎么学习啊?在这个物理世界学习的,就仅有实验啊,仅有啊跟这个环境做交互,跟真实环境做交互,往往是比较。昂贵的,然后你能获得经验累积的时间也是短暂的,就是一个极限了。嗯,如果说你可以用这种像《黑过帝国》这种举证的方式,给同时产生多个环境,真实无比的环境,你可以跟它交互,然后给你讯号,你是可以学习的非常快的。
那就是更好的环境啊,更好的数据,更好的起始点,更好的环境。那里面最具有挑战性的就是更好的环境。我们不想在我的网页里面把它写的非常的长,像一个essay一样,所以提出了像黑客帝国这样是一个啊比较好的一个。就是帮大家就理解我们想怎么做,怎么帮助这个 physics AI 的 community。嗯,Cosmos 这个在内部具体是怎么立项的?
这是二四年还是二五年?嗯,二四年吧,应该二四年开始做的。在二四年三月份左右,我们决定要做。然后,就是在骚扰之后,对,在骚扰之后,就是完全是那个时间点啊。对,嗯,对。然后大家都在想说,啊,这个啊是充满了决心。那一定要做,然后很荣幸的先生就是信任我啊,让我去带这个 project。说服他的过程难吗?在这这件事情上,那时候已经不难了,之前。
要说服比较难,但看到手法之后就不难了。好,这很他他是很聪明的人,他一看就知道这个东西对对那个这东西对公司的影响。因为他是一个很有纪律的人,有些东西其实很重要,他会叫你 pace pace your steps,就是让你不要急。他擅长打马拉松战。嗯嗯,对。好,所以他是很有纪律,就是就是慢慢的一步一步往目标前进。
为什么之前这个时机还没到?在sorry之前,这sorry之前就是。嗯,first mover有first mover的advantage,对不对?好,然后每家公司有不同的定位,对吧?嗯,取决于你想要解什么样的问题,要怎么样获利。我没有足够多的资讯来判断啊,但我不觉得,你看,像现在很多家公司都做得很好啊,现在做。
Video生成最赚钱的应该是字节吧?对,C Dance对吧?所以啊,这个轨迹是很难说的。嗯,好,到骚扰的时候,觉得时机到了,对,嗯,是你又跟他写了一封邮件吗?所以我们这一群在做这个。生成式模型的做这种 media generation 的这群人一起决定跟 Jensen 写邮件,我猜每个人都会写吧?对,哦,每个人都会写,不是一起写一封?
呃,我们会讨论,然后一起写一封,然后让大家都会加意见,然后就是就变成一个公司的共识,就是我们必须要把这东西做出来。哦,这次回复这封邮件了吗?对,就是把我们聚集在一起开会了。哦,然后在那个会议上达成了共识。这这其实会议之前大家都达成共识,嗯,然后那个会议只是是更具象化到底要怎么做,然后谁负责这样子。你对那个会有什么记忆深刻的事情吗?
什么场景?就是他叫我们去想名字嘛。然后我那时候其实已经知道,最后他会提出更好的名字,有点拒绝,不想浪费我的力气想个名字。之后他想出更好的名字,但我还他还我就跟他讲说,你就直接跟我们讲吧,你觉得什么名字好?他说不行,你要去思考去想。我觉得有道理啊,因为这个名字跟产品的定位会非常的相关。嗯,你看我们叫Cosmos,是一个就是那种宇宙。
我们目标就不是产生这个 content,不是为了要做创作,就是为了要解物理世界的问题,才慢慢往物理 AI 这边前进。因为 Sora 其实是一个服务创作者的一个事儿,它早期的 demo 是这样讲。嗯,为什么你们当时选的就是 physical AI
呢?就是面向的这个市场。那时候已经陆陆续续可以看出来,就是那个Physical AI它会是下一个Revolution,因为这个是个刚需嘛,嗯,就每个人都会老化,每个地方都缺乏劳动力,每个人都想提升更好的生活品质。
还一方面来讲,就是呃,NVIDIA是走这个Developer Market。嗯啊,就是帮助这些开发者啊,就是做出更好的产品。我们自己不会经营一个社群网站。啊,也不会去建一个创作工具啊,这有点太图 C 了。对于英伟达来说,对,所以你们定了,我要做一个世界模型,然后这个世界模型是为了飞机构 AI 的,为服务飞机构 AI 的 community。
嗯,对。今天大家对于世界模型的定义还是非常不清晰,你给我们讲讲你的世界模型的定义吧。我我是个很讲究实用性的人嘛,那人为什么会去设计一个模型呢?嗯。就是它可以用,那用法有很多种,对不对?比如说,呃,你设计一个模型,设设计一个模型来描述这个世界,经由这个模型,你可以去预测接下来会发生什么事情。所以它的目的呢,是为了预测,对不对?
哦,这是一种世界模型的,为什么去设计世界模型的原因,嗯,用处嘛,预测。那另外一种是你想去理解为什么这事情发生了。其实你某方面来讲,整个物理学就是去建世界模型,去了解这个世界是怎么运作。啊,从这个牛顿力学一路到这个啊量子力学啊,就是去去去了解这世界怎么运作,也是建一个模型嘛,然后去帮助我们理解怎么运作。
那当然从Deep Learning里面啊,我们把这个这个Understanding啊,就是仅有一些标注的数据去去教这个模型啊,这个东西会这样是因为发生这件事情,然后然后仅有大量的数据泛化,然后帮助未来新的事件。发生的时候,你经由这个看到的视讯讯号,然后去解释,帮助人去理解发生什么事情。比如说,这工厂在工厂里面,为什么这个地方突然间产线卡住了?
然后可能是之前某个工人忘记把什么东西打开,也是一个这个世界模型建的,也是一个目的性。就是为了去理解发生什么事情,找到问题。对,还有另外一种世界模型,就是为了要去重建这三维的世界。重重建这三维世界有很大的用处,你可以去规划你东西路线要怎么走啊,然后你可以就是让人去体验一下,你人虽然身不在这个真实世界,但你可以在虚拟的状态下去在这世界里面做游历,就是模型。
For the world,来,然后因为你的用处不同,所以它的模型的形态长得不一样。嗯,终究我们是在同一个世界里面,这些模型就是不同的。就就是经由不同的观察来去描述同一件事情,那种重建是重建是一个很重要的学问。那我自己本身就是以前做过重建,但我现在已经不再在做重建了。我现在就是主要是做物理世界的理解跟物理世界的生成,对吧?
就是 prediction 这些事情,就大家都会对世界模型有不同的解释哦。现在定义什么叫 world model,嗯,在几年前呢,同一件事情发生,就是大家定义什么叫 AGI。对,然后经过这么多年,还是没有一个共同的定义。对对,然后我认为去定义World Model很可能会走向同样的道路。我觉得没有,可能不是很重要的一件事情。
这是因为这个词太大了吗?过于笼统。对,是过于笼统。那就是定义出来后,对对这人类有什么影响?哎,那为什么 LLM 就是一个相对精确的词?LM 就是 large language model,它模型很大,然后做 language,对。就这个词,为什么大家都是一个有共识的一个精确的定义?但是世界模型大家一直在争论不休。
对,L O M就是我L O M large language model language model就是可以predict接下来会发生什么词汇,嗯,对吧?large代表说它的模型很大,对,这很很明确,嗯,对吧?就是世界模型就是一个可以帮助你去model这个世界的一一一个工具,嗯,啊,那你model这个世界一个工具。
你要做什么用途呢?啊,因为用途不同,所以你 model 的世界方式不一样。嗯,所以当只要你对这个世界这个模型有不同的用途之后,就有不同的定义。所以你觉得世界模型能够描述Cosmos吗?还是应该用另外一个词来描述你在做的事情?啊,是我我们一开始的时候,我们是把Cosmo叫做那个World Foundation Model。
嗯,我们目标是建立一个Foundation,让大家都可以建出适合他们要用的世界模型。所以我们把自己叫 foundation models,是因为我们希望我们是一个更底层、更底层的东西来满足大家。嗯,所以我我。所以我是这样,我是这样,我们是这样定义的。就哪怕他是一个要做世界模型的人,他也可以基于你的foundation model来做。
是的,你是希望提供那个基座。是的,我们要提供这个基座。嗯,对,就是,因为我们认为世界模型将是在physical AI里面重要的一个环节,但不是每一个想从事physical AI的公司都有足够多的资源去做自己要的世界模型从零开始做。嗯,但他们又需要,为了帮助他们,我们就做这个Cosmos这个world model嘛。
因为你们也同时投资了困的 A M I Labs 和呃菲菲老师的 World Labs,嗯,你们做的世界模型的差有差异吗?就是嗯,英伟达是站在一个 enable 的角度,我们希望就是啊。凡在我们的这个GPU的ecosystem上建立的公司,我们希望帮助他们成功。我们希望大家可以一起走向成功,win win。
然后,呃,每个公司看到的点都不太一样,想解的问题也不一样,所以会有各式各样的啊,就飞飞的Wallab啊,杨雷坤的这个MI都是不一样,走不一样的路线。那。我们都帮助他们,然后也希望他们成功。我们投资他们,我们跟他们也有合作。那如果说他们对我们的Cosmos东西有兴趣,他们可以利用那。呃,其他家公司他们需要war model,但他们可能没办法,不像飞飞或是杨磊坤资金雄厚,对他们可能更需要帮助。
他们可以leverage我们的Cosmos。我们是目标是帮助整个领域成功。那这几家重要公司,我们当然希望成功,但我们还有很多需要。需要去帮助的人,那你们有竞争对手吗?我觉得,呃,NVIDIA竞争对手就是跟NVIDIA做同样的事情的公司嘛,就是去做这个。这个整套A I的这个ecosystem啊,那呃,你说没有竞争对手,那有些公司也做做算力嘛。
我在做Cosmos的时候,我是不想竞争对手的,我想的就是怎么去帮助这个ecosystem。嗯,对,在我这ecosystem里面,在NVIDIA的ecosystem里面的这些用我们G P U用我们运算平台用我们软体的公司,他们如果成功的话。那 Nvidia 就会成功,对吧?因为他,然后会帮一些还没在我们 ecosystem 会产生信心。
那我觉得这是帮助方式。我不太想竞争了,我已经过那个时期,就是为了要毕业,把论文发出去,是我的算法比别人好。是我现在目标就是要帮助这个领域可以一起往下走。嗯嗯,因为从第一代到第三代的Cosmos其实也经历了很多变化。是嗯,你们在第一代到第二代的过程中有没有什么积累什么能耗?是的,就是这都是去年的工作。
对,这个步调很快。哦,那那时候开始做那个Cosmos的时候,我强调一个点就是我们要迭代快速。那时候深受DeepSeek的影响啊,因为。DeepSeek是很惊人的公司,它可以一年年一年内迭代三次,产生DeepSeek V3。对,然后所以我一直强调就是我们要迭代速度快,啊,迭代速度快的话可以一直不断的进步嘛,一代比一代好。
那但是我们那时候挑战的题目是这个物理世界模型,然后在那时候其实二十年不是很清楚,就大家都还在摸索,嗯,什么样的世界模型对大家有帮助。那我刚刚讲就是不外就是用世界模型是。怎么用它?Prediction或是Understanding啊,那就是做这个这种Video Model来帮助Predict Future。
然后我是做这种reasoning model来解释发生什么事情的,嗯,然后所以就是一一开始的时候就是跟一些伙伴合作去理解他们的需求,然后,然后然后自己本身有一些想法,然后再做做些模型,然后跟这些伙伴迭代之后,才慢慢收敛,就是在过程当中就是慢慢的收敛,从然后我们那时候做了predict之后。啊,可以预测未来。
然后想说,呃,仿真环境是大家常用的环境,但它的生成的这个video,就是跟这个真实世界的讯号有一定的差距。可不可以就是用这个模型来帮助它更啊逼真啊,就做transfer?然后我解释发生什么事情,就说的reason。当时是三个,对。然后后来理解到,说我如果可以去描述这个这个pixel是被这个pixel是怎么变化的,那我这个pixel变化跟我这个action的变化其实很接近的。
所以我们就做一个叫cosmos parsing,给一个parse model。然后后来陆陆续续的发觉,就是就像刚刚讲的一样。这是同一个世界,不管你从哪角度来看,你 model 是同一个世界。嗯,你模型就是在学一个 internal representation 的我,就是这个世界你在做压缩过程当中学到怎么样的一个表示方式。
那既然是同一个东西,那还有一个东西就是 foundation model,它的核心概念就是一个可以纳百川。就是可以从各式各样的数据里面去学会那个就是这个这模式的一个模型。所以如果你可以把你train reason用的data train pre用data train transfer用data train policy用data全部合在一起的话,你这模型的上限更高。
嗯,第一个你是描述同一个世界,然后第二个foundation
model就是就是纳百川,把东西合在一起。好,那所以就慢慢的往这个单一模型走,它中间还有一个是一种执行上的问题。我记得我当初去见了这个。第一版的Cosmos的时候,我自己算一算,就是因为我我我是希望真的模型可以帮助到其他人,然后跟这些partner的合作,然后我可能需要这个模型A B C D E F
G,我自己算一算,那时候可能需要二十二个模型,然后那时候我就呃有一个会议啊,跟John一起开会,我就跟John讲说,我预计需要二十二个模型。
然后先生听到就觉得我工作非常认真,他就讲说,very good,那我very hard,然后他讲说。但是你知道吗?Louis Vuitton
LV这家店呢,当它减少它的货品陈柜陈列的这个货品数之后,反而sales是提提升的。你不希望太多的东西困惑你的是那个消费消费者,让他没办法做出决定。那个对我影响很大,就是我理解到说,嗯,对,我也自己遇到问题,连我自己都分不清楚要用A还是用B的,那其他人更加不清楚,然后再就是。
执行上的困难,一个每个模型你出来,我们不是发paper就结束,走下一个paper,我们要去帮助使用者去用。那只要每个模型出来,我们就要维护,要解决问题。然后当你有数个模型的时候。就是啊,很辛苦,嗯,倍多则力寡,嗯,然后影响到你迭代的速度,所以呃,在做一的时候是在提血的过程当中,然后还快速做二,然后在做二的同时就提血到。
不行,啊,就是这样做不长久,所以就决定要做这个 Omni 啊 Model 的 War Model,就是 Cosmos 3,啊,就四个方向。第一个是描述同一个世界,嗯,所以其实是可以合在一起的。然后第二个仿德新 Model 就是吸收各式各样的 Data 合在一起,然后在开发上也简单很多,所以就是走向了 Cosmos 3 这条道路。
所以二到三其实是一个。大的变化是的,一到二的变化是啊,等于是数据的提升,还有一些那时候在二的时候把Parse带进来是有些变化,但我觉得二到三是一个很大的一个gap,嗯,对,三做了多久?三从去年十月开始做。就是刚好发了二之后,二月发呃十月份发的二对,其实其实那时候在呃大概是更早时期就知道说必须要做三,然后但那时候已经开始二点五,然后把二点五收尾,嗯,然后把二点五收尾之后才开始做三,所以可能三可能就是。
大概是九月的时候开始知道说要做三,然后真正执行可能就是十月十一月,然后做了将近半年,对,超过半年。一个中国做世界模型的创业者,他说他看Cosmos三论文看了一周,嗯,而且是每天看,里面有很多的细节。嗯,我觉得他们的观点是说,就是觉得Cosmos三它在技术的大的创新上。不多,但是他把很多的细节都工程验证出来了。
你觉得他们这个评价中肯吗?Miguel Transformer之前也有人提出,嗯,然后Passing Model之前有人提出,我们是第一个把这个Miguel Transformer Scale到这么大的模型把。Audio, video, action都合在一起,然后这些东西呃,从概念上来讲,就是东西合在一起。
但你真正要把它做出来,不是那么容易。嗯,那真正做出来就是这些细节,所有的呃这些大语言模型都是。transform的架构,你可以讲大家都没有创新,嗯,但是它的那些细节会让这个某些模型比另外一些模型好很多。我认为就是这么多年之后,我就更加重视那个呃,这东西能产生的效果,我就往往越来越不重视这些东西是不是革命性的一个原创原创对,嗯,对我来讲。
它有用,产生 impact,解掉大家能想解掉问题是它的重点。对,那这个 paper 我们是希望帮助整个开源社区啊,就是做开源模型,帮助到整个 physical AI。那我们这几年看到的现象就是,这些 frontier lab 很多都走向闭源。然后,即使写paper也不愿意讲出那些关键的环节。嗯,那我们决定走不一样的道路。
我们把能讲的东西都讲的清,能就是把就是尽量把东西讲讲的非常的清楚。然后能就是我们开源这个模型,也开源我们怎么去训练这个这个模型的框架,然后。部分的这个新设定 data 我们都开源了,我们是希望保持透明,让大家看到怎么做,也希望别人可以利用我们开源东西做出跟 Cosmos 类似的东西。如果他没有这个兴趣的话,我们目标就是 enable 这整个 community。
对,我不担心别人可以做出一模一样的东西。嗯,我想到你刚刚提到 DeepSeek,你你选择开源跟他有关系吗?嗯,也不算是有关系,就是呃,DeepSeek他的工作对整个AI的影响非常的深远。第一个把Mitchell和Asper啊这个开源的一个公司,然后你看他最近的模型,他的用心把这个把这个逼到极致,直接对整个领域都。
产生了深远的影响,嗯,对,我觉得这是很重要。从这影响的角度来看,我觉得是相通的。我们是想产生影响,把这些细节都讲出来。NVIDIA有很多这个建在NVIDIA ecosystem上面的PGI的公司,那我们希望帮助他们成功。我们的目标可能跟DeepSeek是不一样,对我们是希望帮助我们的使用者成功。你们天然就是这个生态了,对我们就是希望。
就是那个呃,希望可以帮助这个这个这个 physical AI 降临世界快一点。嗯,你们在这次为什么选择首先在输入层同时能够输入语言、video、audio和action?这是一个重要的决策吗?是,是,我觉得就是这个世界不是只有视觉。对吧?然后也有听觉,嗯,但我也想加入触觉,嗯,但触觉的讯号还不好,这个 touch 检测这些东西还啊,觉得还在快速迭代当中。
这个需要灵巧手,对,需要灵巧手,需要数据。那我觉得大模型啊,基本上思路有两个,一个是让 language 当成 first class citizen。就像 coding 啊,像 chat,嗯,另外一种是让那种视觉讯号 video 当成是 first class citizen,这样 citizens,啊,像 video,我们认为。
物理世界的模型跟这个数字世界的模型最不一样的地方,就是物理世界的agent会take action,会改变这个世界的状态。嗯,我们认为一个好的物理世界的foundation model也要把action当成first cut citizen。嗯,这是为什么我们把language哦video啊跟action合在一起建这个cosmos三。
嗯,我记得以前杨志林跟我说,他们做语言模型,他就是把语言当做最重要的呃智能提升的工具。对。他们会很担心 Vision 加入进来,就是影响他的智商,啊,变成一个傻的多模态。但是谢赛宁今年又跟我说,他说他担心语言对于视觉的污染。对,嗯,他觉得呃,语言才是人类的脚手架,并不本质,这是他的观点。所以你怎么看待他们这两种观念,以及你把他们这些信号都训到一起的时候会出现问题吗?
就互相的污染?这些讯号他们带进来都有他们的目的,嗯,就是。Language可以把这些人类的 knowledge 带进来,然后也帮助人类跟这个这物理 AI 做沟通,对吧?然后 video 是大量的视觉资讯啊,或 audio 大量的听觉资讯。啊,去描述这个世界怎么运作,嗯,那这个更精就用用这个video更精准的去capture这个世界的物理运作,用language反而很难,对吧?
但是人。跟这个模型,这个模型最后建出来是要服务人的嘛?那你他不懂 language,你是没办法跟他沟通的啊。然后这个这个模型最后是要帮助这些 machine 去 take action 的,所以他不懂
action,他是没办法去改变这个世界的。嗯,应该这样讲吧,就是呃,我们的目的不同。嗯,对我我的我的目的是希望这成为一个好的foundation model来for physical
AI,它需要懂language,需要知道这个东西怎么变动,然后action,然后仅有这个control把它合在一起去做。
那我的目标不是去追求AGI,对,然后当然AGI本身也很难去定义嘛。嗯,当你定义的AGI就是纯粹要去解这个。了解那个人类的本质的时候,或者什么啊去做coding的时候,可能这些视觉讯号会影响到你啊,那是必然的,对吧?遥远的古代是没有任何语言的,然后这些人类的文明的发展就是经由这个看这个世界怎么变动而产生的。
那你可以觉得,因为呃,毕竟这个。这个语言是发展适合人类的,但你不知道机器是不是接受这一套。也许你就从这个视觉信号里面直接去学这个世界的怎么运作,得到一个intelligence,然后发展出另外一个文明。那你从角度看,也许语言讯号是一种干扰,对。那我觉得是看你要的是什么,嗯,我很明确的知道我要的是什么,所以我觉得我需要language让人可以跟这个物理AI沟通,我需要video
audio去去描述,去去去从这个物理世界的变化啊,就是去学会这个物理啊本质,需要action,因为我希望它最后是可以付诸于外去改变这个世界,嗯,对。
所有模态融合到一起,这些模态是相互 benefits 的,还是相互制约的?在过去呃一年,甚至超过一年之间,我们都一直在研究把这些模态的融合。那我们从各个不同的研究里面得到一些线索,在 Cosmos 3 的时候把它结合在一起。比如说,在 Cosmos Policy 那篇 work
里面,我们就发觉把Video跟Action合在一起是帮助Action的,对,就是当你在呃直接Predict Action的时候啊,就是当我们在做War Action Model的时候,我们发觉就是除了Predict你要做什么Action,你也Predict接下来。
Take the action之后会产生的state就是observation,是帮助你弱性训练啊,这收敛。所以我们知道就是predict那个video是帮助action的哦,啊,就是what action model的的的这个这套系列。嗯,那声音也可以帮助audio,呃,声音也可以帮助video generation。
当你造。咔一声,碰到个点,你就知道接触的时间是哪个点,所以知道这个是有互互相这个互补的。然后,一般做 video 的人都知道,就是从文字到 video,这是一个呃信息量变大的过程。啊,学习量变大,代表说有很多种可能性,很多种可能性的方方选是比较难去学习的。嗯,就是你一种东西可能有十种可能,那这东西就没有固定的它给不好学。
所以在做 video 或 image,大家都会发觉,就是当你的那个文字描述非常详尽的时候,这是比较容易产生好的一个 video 哦。所以你可以知道,就是文字啊的详细描述也可以帮这个这个 video。那我们做这个 Cosmos 3 啊,就是想把之前呃这些 Cosmos Reason、 Cosmos Predict、 Cosmos Transfer、 Cosmos Parse 这东西合在一起。
合在一起本身就有它的好处了,整个东西都简化。那这些讯号怎么合在一起,让它产生互补的作用,而不是互相啊抗拒的作用?这是可以经由实验的设计,经由这个data的比例的调整来来达到的。所以我们那时候是坚信着这些讯号都是。描述同一个世界,这些讯号都含有这个世界怎么运作的资讯。是应该有一种方式,让他们合在一起,会互相帮助。
嗯,更多讯息帮助你了解这个背后的运作的原理是什么。对,所以,呃,有这样的belief,然后从这方向出发。在这里面有什么 secret sauce 吗?在互相 benefit 上?其实做大模型没有什么 secret sauce,做严格的实验、假设、实验,看到结果,累积知识,再做下个实验,就一步一步一步往下做,走扎实的做就对,就是没有什么,我不觉得有什么就是不可告人的秘密,就是你要追求的东西。
耐心做实验验证,对了,下一步就这样走。嗯,因为你们这次采取的是一个双塔的呃设计,呃,一一个塔在嗯处理离散信息,一个塔在处理连续信息。嗯,为什么采取这个设计?嗯。有很多个原因,呃,一开始的时候,Cosmo Reason 就是离散的啊,从那个 Vision Language Model 出发,那
Predict Transfer Pass 是连续的,所以啊,就是我们知道离散的 Work for Understanding,我们知道连续的 Work for No Generation,那把它放在一起啊,就是一个呃现阶段很合理的一个选择,然后再就是呃有很多种用 Cosmo 的方法。
但常用的是做 post training,就是也许用你的 video action 的 pair 来去 train generator,啊,或者是你只想用 reasoner,啊,只是用你当初自己懂 domain 的这些 understanding data 来 train。当你有两个这样可以合在一起,可以把鬼脸的影响切开的,是帮助客户去使用的。
如果我们全部连在一起,好,那。就是 generation 跟 understanding 在一起了。好,我现在要换这个 generation 的 distribution,在换的过程中,因为全部都连在一起,你的 data 也会改变你 understanding 那边的表现。如果你没有两个套而你是一个的话,那 understanding 那边。
既然要改变,那你的 data 又没有 understanding data,它容易这个 understanding 部分就流失了。好,那就不方便客户使用。所以分成两个是对使用上是有一定的帮助的啊。虽然它相对起来还是不够 elegant 啊,因为你还是要事先决定它的架构,在整个 deep learning 就是让 data 来决定啊,这是怎么说,而不是你人为去去做区分。
嗯,但是在这个阶段,我觉得这个东西是比较合理,比较适合他使用。那讲到这个东西,也可以大家可以猜出来,就是我们下一步目标是更加简单一点啊。为什么要两个套?一个套就够了啊。但是我们在往一个套的东的目标前进的时候,我们要考虑到。这些使用者是不是容易用上它?因为我们不是我们的目标是帮助大家赢,而不是自己就是产生一个就是可以做很多事情的模型。
我们相信机器人每个都不太一样,有个啊相机的数量、相机的位置啊,然后自动车每个都不太一样。我们需要,我们觉得需要克制。那我们要。机制合在一起去追求这个工程的这个简约完美哦,也要考虑到使用者是不是有办法去利用它,那这是我们必须要研究的课题,嗯。但是相对来说,呃,离散的信号更好处理。把融合进了连呃连续的变量之后,它的处理难度会变高。
你们怎么合在一起,并且能够把它 scale 上去呢?对,现在呃有一系列的work像transfusion啊,它是可以同时处理这个离散跟连续的。在做nestle跟prediction的时候,它是做离散的;然后在做diffusion是连续的,那是同同一个套。然后这段时间有很多种不同的啊,就是变异,大家在研究这个。
大家都关切的问题,这些讯号啊,可以用离散表示,也可以用连续表示。然后我是希望,也许是不是开发出一种架构,是全部离散,或者全部连续,嗯啊,让事情相对变得更简单一点啊。那但是是一个理想,也不确定能不能成功,也要做一步一步的实验验证啊,往下走。直接来看,离散更容易还是连续更容易啊?嗯,各有各的好处啊。离散比较好做训练啊,然后连续它有它的啊漂亮的地方啊,就是在做
inference 时候,他们两个是很不一样的一个呃 shape。
然后最后最关键的就是呃,做客户还是要部署。啊,部署的时候,一些成本的考量都很重要,所以我觉得最后就是会根据部署是最适合啊,什么样的怎样的模型最适合部署啊?就我觉得是最容易获得成功,所以有很多的方向要要聚聚集在这里讨论。有一个研究员问你,因为你现在是把所有的模态都训到一个模型里去,那理论上就是它也可以 coding 做的很好,也可以呃让机器人能够运作,然后也能够生成我们现在的这种创作者的内容。
那它有可能在这单一维度,比如说 coding 上比 Claude 还要强吗?我还是喜欢讲这个《孙子兵法》讲的“备多则力寡”,对,就是如果你什么都要好的话,呃,你但就是在训练过程当中你要。博学多闻,你要触碰很多不同的的类别,让你提升你知识水平。嗯,当当你确定你只需要用这个单一的application的时候,是不是有些调整是?
因为你你不care其他东西了,有没有东西是你愿意放弃啊?然后就是做比较好啊,因为如果你什么都不愿意放弃的话,你就会打得很辛苦。嗯,我觉得策略往往就是。关乎着你决定你可以放弃什么东西。这双塔之间会互相的提升吗?我们知道,就是嗯,我们在这个paper里面有个实验,就是说,啊,当你用更接近physical
AI的reasoner的话,可以帮助你更啊做更好的physical AI的generation,然后。
我们也知道,就是说,如果你可以把 generator 的鬼点传回这个 recenner 的话,啊,理论上是可以帮助你的 recenner 做更好的那个就是 representation 学习。在这 paper 里面受限于时间啊,我们并没有做成完整我们想所做的实验,已经很多实验了。但是就是啊,这件事情啊,这个 foundation model 开发本身就是一个很耗时,然后一个决定。
这是都是两三个月前就做了,很难快速的去做一些啊,就是调整啊。我们是,我们不把这个三看成是一个终极。啊,就是我们会继续做三点一、三点二,啊,一步一步往下提升,把一些我们想做进去的能力、想做的一些研究,这次没有机会把它给呈现的,继续补下去。嗯。除了可能会更简单,双塔有可能会变成一个塔,还会有什么在未来模型中可能大家会看到的一些变化?
我们很关注的就是这个模型怎么去帮助那个 physical AI 的 builder,嗯,好,然后这个模型推出去之后,呃。据我所知,就是大家都在讨论,然后有些呃那种partner的一些同学都给了蛮不错的feedback。泛化是一个核心的问题,任何AI的核心的问题。嗯,那在物理世界AI里面,我觉得一种呃我们需要达到泛化,就是假设我今天呃教机器人说我的衣服我喜欢这样折。
然后喜欢这样放,我就给这个机器人看一两次,我怎么做,它是不是就可以快速学会?在在现实生活中哦,就快速学会这个东西。然后是不是给这个这个菲西格来读个说明书,他就知道怎么去操作这个仪器?怎么在这个工厂里面做那个检测?那我觉得这些东西是很重要的能力,是 Fishguard 让人达到的。那当然,这些在落地的时候有很多考量。
我是想说,在这个 Foundation Model 部分是有什么东西我们能做的,然后可以来帮助这些 Fishguard 的 Developer。所以,我们中间的提升可能都是会朝着这些啊,提升这些泛化能力啊的角度来去啊,把这些东西加进Cosmos模型里面。比如说,你们为这个有哪些具体的优化呀?优化是像加速那些,是一定会发生的啊。
我们。我们当然是希望这个这个模型可以啊,就是越跑越快啊,然后呃,然后另外一些优化就是能力的优化、泛化的优化。对,那这个东西就是,呃,可能会改一些架构上,哇,或者一些training的objective的改变,或是用一些呃特殊的。就是Curie的data来做这个训练,不是很清楚,是要测试啊?哦,嗯,它是一个实验科学,对,是实验科学哈。
就是我常常觉得那个Deep Learning就很像中医一样,哦,就是试出来的,试出来的,对。然后那个在试的过程当中,你做详细的实验记录,从里面去理解那个中间的法则,嗯,然后我觉得这是啊。是很有趣,这两个东西我觉得很像。然后我觉得做严格的实验,然后控制变数,然后得到一些关键的结果是,啊,是模型啊迭代的重要的那个呃一步,嗯。
也有研究员提出,这个模型的语言渲染是不是可以把它的比重加的更大一些?因为他们还是认为 LLM 是提升智能的关键。你认可吗?我觉得,呃,在早期的这个 image generation 的研究,包含 Image 啊 Google 的 Image 里面,就提出了当你的Language的 understanding 越强,你用更大的 T5 model,你的 image generation 能力更强。
嗯,我是相信的。你用更大的 semantic representation 应该有帮助啊,我我是同意的。毕竟 physical AI 的应用跟这个啊大家常讲的 code coding 啊或者 chat 还是不太一样。嗯,啊,所以还是需要做一些实验的验证。我想做的事情是了解真正的痛点。然后从这痛点里面去去找到合适的方式来把这模型能力补强。
有些大家得到的讯号,那更好的这个模型,那么当你没有资源的限制的时候,你当然是会放进去啊。但呃,比较有挑战的就是当你资源有限的时候,你怎么做取舍?嗯,所以也许对于场景来说,智能可能不是那个最关键的变量。你需要你的机器人会解奥数问题吗?你需要你的机器人会解这个 coding 的问题吗?嗯,我觉得你可能更关注他能不能把你的这个工厂要组装的东西做好,或家庭的卫生。
呃,呃,就是把它这些操作把它做好,对吧?所以我觉得,啊,这个你要解的问题似乎是跟这些大语言啊模型公司这种AI公司要解的东西是有点不太一样,嗯啊,然后所以呃,既然是不一样的题目,然后最后这个解。这个题目的这个成本啊,都是一个重要的,因为如果商业化,最后成本都是一个重要的考量。嗯,那在这些条件之下,它的架构真的会跟现有的这些 for agent 的模型是一样的吗?
啊,这个是我一直在思考的问题。你现在有初步的答案没有?有没有一些直觉?过去的,呃,就是纵观人类的历史,答案就是应该是不一样。对吧?啊,然后你你你你要做耕田的工具,跟你要做纺织的工具是不一样的,所以职业上也是不一样。最后就是,哎,备多者利寡,是吧?嗯,老祖宗的智慧还是蛮管用的。嗯嗯,Cosmos,你们未来会投入多少卡和资源?
这个我们一直在提,在卡一直在提升当中。我不知道我这边方方方便讲这个这个卡的数量,但就是,呃,我们希望啊,我们已经在万级了。然后希望可以再更多更多,嗯,这会是英伟达最重要的一个模型的项目吗?英伟达有数个模型项目,然后呃,我们主要是把它分成两类,一个叫 agent AI,就是要做这个 coding
chat,然后去 agent 这种 digital,呃, intelligent 这这套这些客户的需求,嗯,在这里面我们有这个 Nemo 闯的 model。
就是他们,呃,这个团队最近 release 了这个 NeMo Tree NeMo Transformer Ultra,得到蛮不错的效果。那在 physical AI 这边,主要就是 Cosmos 这个模型。Cosmos 是一个 base model,是一个 backbone model。那 Nvidia 也很关注自动车,也很关注机器人,然后也关注工厂。
对我们而言,这些都是 physical AI 的应用。那在自动车上面,我们就叫做阿帕马尤的
effort。他呢是在Cosmos上面做的啊,specialization就是专门做自动驾驶所需要做的这些呃优化哦。那Goodness呢是在Cosmos上面做对机器人啊相关的用化,然后还包含这些后八D啊。扛戳的这些东西,我是把这些啊做自动驾驶、内部做自动驾驶、做机器人这边看成是,也是我的客户,嗯,然后也希望帮助他们成功,嗯,然后在
physical AI 这边就是 Cosmos 为核心来去辅助这些主要的当训啊的这个嗯开发者可以获得成功,嗯,所以主要是两个,你说是不是最重要呢?
这两个都很重要,Digital AI 啊,这个怎么用 Agent,怎么说 Coding 很重要。那 physical AI 也很重要,很难讲谁比较重要啊。嗯,对,但现在打的最火热的就是这些 agent AI 的东西。那 physical AI 是下一步?Physical AI 在你们看来会是一个多大的市场?
这个应该是一个巨大的市场啊!我我不确定这个估这个市值不是我的专业,然后我也不方便代表公司讲多大啊。但是啊,这个啊,随着人口的老化啊,随着对制造业的啊自主的需求啊,然后还有各式各样的啊应用,我们觉得这将是一个巨大的市场。嗯。嗯,因为世界模型现在缺乏有效的评估方法,你们有一些呃好的探索吗?呃,世界模型。
啊,大语言模型,大家都在追求更好的啊评估检测的方法。嗯,然后呃,就是一般来讲啊,模型的评测有三步。第一步呢,就是benchmark啊,就是有一些啊固定的data set,你去两上面两侧它的跨体。然后第二种是arena style,就是A跟B比,看谁比较好。那第三种呢,就是啊跟着asper啊去真正有这个痛点的人啊,我去去解这个问题。
那我觉得这三个都很重要,在physical AI里面,第三个特别重要,因为每个。嗯,就 coding agent 大家都在解 coding 的问题,对吧?digital use 问题,但 physical 每个要解的问题不太一样。对对,然后所以啊,我加更加强调就是跟这个客户啊,跟这些啊愿意一起合作的伙伴一起去了解怎么样去评估一个模型真正有用还是没有用。
那这不是一件容易的事情,这个是给模型发展。指引方向的重要一步,我觉得在未来的发展当中,这一步会越来越重要。数据也是一个难点,你们这次怎么怎么做的?数据是一个难点,尤其是在 physical AI 更是困难,因为 physical AI 每个形体都不太一样。然后收集数据,你没有那个没有那个 physical 的 set up 就没法去收集这个数据。
嗯,然后在英伟达角度更加的困难,因为我们是要服务各个 physical 来的的这个开发者,每个的机器人都不一样,所以我们能做就找最容易共通的。觉得就是 physical data 主要有两种,一种是 navigation 的 data,从 A 到 B。另外一种是 manipulation 的 data,怎么用那个手或是 tool 去操作啊,完成啊既定目标?
那 navigation data 比较容易做。啊,这就是你键盘怎么动,车子怎么动,机械怎么动,这些都可以收集。那机器人A跟B,即使它们很不一样,但它动起来就是在空间中啊位移,嗯,有时候可能加一些旋转,所以是比较相同的。那操作这边就比较复杂。我们发现一个趋势就是,呃,大家越来越追求接近人手啊的这种。
的这种机器手臂,嗯,然后论点就是说,呃,这世界人类的世界是建出来给人类用的,所以大部分的工具都是适合人手去操作的,那。整个AI呢需要大量的数据,然后如果你的数据越好取得,你就容易更更快得到突破。嗯,所以大部分的收集数据者是人,人就是手。哦,所以两个环境,两个条件啊,就是人手适合收集数据,然后第二,这世界是大部分交给人手的,所以就今天看到大家往人手的方向啊前进。
嗯,那所以我们在这 Cosmos 3 的时候啊,也就是啊,特地把这个 ego-centric 的 data 给加进去,又包含了这个人眼怎么看这东西,从第一人称,然后还有人手怎么去操作这个物件。所以,因因为我们的目标不是不是去做出一个机器人啊,我们目标是帮助大家可以做出很好的机器人。所以我们要找最容易可以互通的东西。
那我觉得一个世界非常重要。在刚才说的那些现在的限制和局限之下,英伟达有显著的一些优势吗?在英伟达获得GPU运算的成本比较。比较便宜啊,毕竟我们生产GPU嘛。然后在就是我们在Physical AI这边已经生根多年了。我们有这个Sore这个Chip,然后也有这种 Isaac Simulator,然后就是啊,所以我觉得这些东西合在一起,我们提供。
更多的呃工具来满足各式各样physical AI开发者所需要的需求。那呃还有这点是我们是真心想帮助其他家公司成功的啊,因为我们啊就是我们清楚自己能提供的服务在哪里啊,然后。呃,比较不会有这种呃,一直就是比较,我我觉得客户往往比较愿意跟我们一起合作,因为我们是。我们不会说就是跟你做一模一模一样的东西,然后把你啊就是灭了,对不对?
不是,这不是我们的目标。对,哦,嗯,这个模型让你非常满意的一点是什么?然后让你有点遗憾的可能是什么?满意的一点就是,呃,我当初跟大家讲说,可以把过去的所有模型合在一起,还会做比全部之前的模型都要好。啊,这件事情发生了。嗯,我们现在的模型比过去单独独立的模型效果都是要好的。然后那时候很多人不相信。那我觉得很开心。
然后第二个就是,这个是我们第一次就是啊,把整个团队原本是建到数个模型,现在合在一起建一个模型,这样把这么大的一个组织大家凝聚在一起去建这个模型,我本身也很骄傲,就是这件事情可以顺利地发生。嗯,遗憾的是什么?啊,我觉得我们的模型就是因为时间的限制啊,其实啊,我觉得模型还可以继续提升,但是因为时间限制,我们没有让它完全收敛,就必须要那个退出了。
然后还有很多想要改的地方,在之前都没有时间改。好,那啊,所以就是觉得这地方是。毕竟就是想要追求啊更好的结果哦,那时间有限啊,但好处就是我们继续会做三点一、三点二,会把之前没做好东西再把它补进去。嗯,你有想过像老黄说的做到九十七代会是什么样子吗?那时候听到九七代,我的理解就是我们有决心,就是一路把它做下去,把它做好。
嗯嗯,然后这是一个很大的 commitment,因为这个做正模型是很耗费资源的。嗯,然后呃,他展现出他的决心就是往下走,我只要信心就是这个东西会一直往下走。那世界模型最后就是。接近这个世界,对,接近这个世界,接近这个世界,从透过那模型,你可以去啊学习你想在真实世界里面学习啊的东西啊。那我觉得就是是往那个方向走。
那其实最接近的就是你有能力随时可以做出一个黑客帝国的矩阵。那我觉得这是最终的样子。那我我不确定是不是需要到九十七代啊?你想,我们如果呃。就是每半年一代的话,那还要四十几年,对吧?四十几年,对。然后我觉得现在AI的发展速度极快,也许不需要到四十几年。因为你们团队又有做呃数数字世界的模型,又有做 physical AI 的模型,你觉得训练两种模型的差别是什么呀?
差别大吗?这个目前的状态是这样,就是在 Nemo 窗那边,他们用一个叫做那个呃 hybrid hybrid 的 architecture。啊,就是某些层是这个传统的transformer,但某些层是这种mamba style的这个接近rn的这种架构。那这样的架构有它的好处,因为那这种rn的运算是比在英伟达时候的运算是比这个。
这种transformer是便宜的,然后agent有一堆token要产生,嗯,有时候你要token要要agent做很久的事情,所以这个是运算成本的需求。那 physical AI 这边,我们的架构就不太走这个路线,我们是还是走比较传统的 transformer,但是我们走到这个 mutual transformer,然后把这个 action 加进去,所以这两边的模型的发展是就是渐渐有点不太一样。
但我们两个团队之间啊紧密合作,你可以在 Cosmos 3 的这个 paper 里面发觉很多作者是从 Nemo 传来的。好,然后我们就是呃跟他们合作,吸取他们的经验,然后一起去建一些模型。对,在未来这两个模型有可能统一成一个更大的模型吗?这都是有可能,就是呃,我们的决策很简单,怎么样可以帮助客户最好,我们就怎么做啊?
对,我们是很 low ego 的。刚才你也提到,就是呃,Cosmos 是一个非常大的团队,对,嗯,你觉得驱动这么大的一个团队一起工作,呃,难点是什么?我印象中论文好像有两百九十多人,不到三百人,对吧?对,就是,呃,这个团队非常的大,然后呃,我是这样看的啊,这是一个组织架构的难难题,你希望所有的目标一致。
但你又希望所有人可以自主做决定。当全部人的目标一致,但每个人都不能做决定的时候,进展会很缓慢,因为只有少部分的决策者可以做决定。嗯,那这些决策者,假设只有我能做决定,只有我能决定这个这个data的比例怎么调,只有我能决定这架构怎么做,那我们这个模型就不会成功。因为我的知识有限,然后我的时间有限,然后我们需要的就是每个人都可以做出对这个组织、对这个模型发展重要的决定。
那第二个事情就是,如果大家都可以做决定,但大家目标不一致,我就是想把阿璇做好,我完全不管video怎么样,然后我就是想understanding做好,完全不管其他的,嗯,这样就会发散,好,然后可能就会产生不同的架构,然后可能就进一步有赛马的行为,嗯,啊,那我觉得跑这么大的一个project,重要就是让大家的目标一致,但每个人又可以做出决定。
然后这在组织架构上面啊,我花了很多心思去设计一些团队运作的这个合作的方式,让资讯透明化,让每个人都有足够多的资讯去做出对主正确的决定。那当然我们也提供了容错的空间,因为当一个人害怕他决定错误的时候,他是不会做决定的。嗯,所以你要让他们可以做决定,但也要接受有些决定会错误,但是错误的时候要能快速修正。
啊,这些都是需要一些时间啊,跟一些呃训练,才能让整个团队啊,可以朝着方向前进。怎么让两百多个人都同时做决定啊?这个好难啊!大家都清楚整个关键,整个整个挖掘之后要达到目标是什么?嗯,你要一直去。把未来给画清楚,跟每个人讲,在Cosmos三paper出来之前或做完之前,我就跟呃主要的几个leader还有各大部分的团队都已经讲过,说我们做出来模型会是这样子。
嗯,那是不是完全这样子呢?可能百分之九十相似,百分之十不相似。但是当大家都看到同一个。愿景的时候就比较容易集中,就像你在,呃,在一个篮球选手你在罚球之前,你都会想象这个球空心落网,就先把那个目标给定出来,然后大家再朝那个方向前进。嗯,那当然每个人扮演的扮演的角色不一样,然后但大家看到同一个 pitch 的时候,就比较容易在他的岗位上做出对这个团队啊正确的决定。
嗯,你设计了什么样的管理方法,让大家的信息能更透明,能更好的协作?有什么样的管理的技巧?多用点心思了解这个,怎么样讲大家会懂?嗯嗯,注重沟通,注重沟通,不开例会这样的会议吗?我是一个呃,就是我很讲究团结合作,嗯啊,所以我们的会很多。但是呃不是每周一次,我们每周可能十次有吧啊?每周应该超过十次,超过十次,所有人还是多少人?
呃,跟主要的例例子,每个比如说我们做 video 的就是定期开会的,一周两三次吧,嗯,然后做 understanding 也是定期,就是一周两三次,然后还有各个环节的,就是两三次,就是。嗯,就是会蛮多的,然后会议上可以做一些沟通。好,那当然会议大家会觉得就是开会啊,有时候很没有效率。尽量做一件事情就是让每个会议都更加 engaging,哦,然后让每个人都能参与。
好,那这都是需要一些一些训练,好,让让这个团队这样。那永远不会最高效,你可以你可以大家都不开会,各做各的。那不见得会成功啊!你可以一直开会,什么都不做,只是讲,也不会成功。你就要选一个均衡,在不同的时间点会有不同的一种调配方式。那这个东西都是呃因任务因时而定,而没有说一定的公式拿给一定会成是最好。你看,硅谷现在大家说
OpenAI 的呃企业文化是自下而上,Anthropic 是自上而下,你们属于哪一种?
我们是都有一个都会走向极端嘛,天下分久必合,合久必分,就是东西就是呃物极必反,就是我觉得都是要掌握这个,就是在那个时间点了解什么是对这个团队最正确的事情,而不是就是一一味的选择一个方向一个模式而操作,嗯。我理解 Cosmos 的爆发的时间点和 Physical AI 和机器人爆发可能会有是是正相关的,对吗?
你觉得这个市场会在什么时候迎来一个所谓的 Charge B T moment?大家都在追求这个一起搞AI的缺GPT moment,缺GPT moment什么叫缺GPT moment呢?缺GPT moment跟GPT moment有什么不一样?GPT moment是跟我们讲说东西可以scale,嗯,scale之后模型能力会更强。
ChatGPT moment是让大家清楚看到这样的一个scaling,这样一个好的模型对人的生活会产生什么样的变化。大家发觉这是一个有智能体可以跟他沟通,可以跟可以问一个知识广博的朋友。那什么叫ChatGPT moment for physical AI呢?应该是指说大家看到一个。就是以AI为主的啊,这enable的physical的应用,让大家清楚看到说这东西是真的有用,那。
这东西什么时候会发生,真是很难去预测。然后,但我看到是整个领域对这个机器狗爱的兴趣越来越大,流入的资金越来越多,越来越多的有志者创立公司,想去解决这个问题。呃,Physical AI可以利用在地区头AI上面的成功,所以我觉得各项条件都逐渐在收敛当中。嗯啊,我是希望尽快看到ChatGPT魔门,尤其今年,尤其明年,我不知道,但是我觉得它必然会发生。
你觉得人形机器人会在这个?赛道里面成为主流吗?我觉得人形机器人它的优势就是可以利用大量的这个人的啊数据来获得啊,就是啊就是学习啊的素材,然后来提升这些效果。啊,但人形机器人它本身啊,就是越像人,有腿啊,有手啊,然后这些东西就是,呃,相对的啊,复杂度也比较高一点。然后很多人都来做轮型的啊,只有上半身是人,但下半身是一种这种移动平台。
嗯,那这样的平台也可以解掉很多问题。那你说这样的是人形机器人吗?我觉得也是吧,就是。半身像人,对吧?也不是全人形啊。然后像全人形的某些人形也更接近人形,那有些人形比较不接近人形。那我觉得人形机器人终究会是一个重要的这个就是关键哈。但是多像人形这件事情,大家都在。都在那个尝试当中,我觉得最终最终可能就是全人形是最啊最最适合各式各样的操作,因为这个人类这个环境就是设计给全人形的。
嗯,好,但最后还是要一关键还是这个营运成本哦,到底怎样是最。最这个最经济效益最高啊,那这就超乎我的专长了。我其实不知道。那我的目标是满足帮助这些各式各样的 physical builder,我也不需要做卷选择。好,我就是聆听他们的声音,看我们的模型怎么做可以更加帮助他们。嗯。DeepMind谭杰老师他有一个预测,他是觉得二零三五年到二零三六年可能是人形机器人成为主流的一个拐点。
哦,是吗?嗯嗯,OK,嗯,对我我希望早一点。但我不确定。嗯,你觉得世界模型可能会有一个所谓的拐点吗?我觉得世界模型并不是新的啊,这早就有世界模型了。嗯,那我觉得世界模型会一直在做啊,就是性能的提升。那我们在大语言模型上面看到的模型越来越好,对不对?然后我觉得在世界模型上也会看到越来越好。我们这次在Cosmos 3也做出这个一个。
呃,比较不一样的世界模型,这种 only model 的 world model,对,嗯,所以我觉得还是有一些变化。然后我会需需要一点时间去让大家去吸收消化一下啊,因因为啊,毕竟这东西不是这个模型出来后直接可以使用,是必须要看怎么调配,可以在这个啊,就是机器人场景落地。那我觉得是需要点时间。那我觉得这这会还会继续变化啊,对。
会一直进步,会一直变化。因为你说你要为机器人构建一个黑客帝国嘛?那黑客帝国讲的本身就是一个人类沦为了机器的活体电池,然后活在一个虚拟世界 Matrix 中,然后一个觉醒的人试图挣脱这个呃系统的宿命,然后来终结这个循环。那你现在为机器人打造这个 Matrix,如果有一天机器人要觉醒了,想要挣脱这个虚拟世界怎么办?
我用黑客帝国的地方是帮大家具象,就是有一个世界模型怎么快去加速学习。很多人担心啊,就是AI让它能力太强的时候会啊take over the world,对,就会把我们给eliminate。嗯,那。我觉得这个社会是人去建立的,这些科技是人在背后操作。我觉得只要大家是有共识,我觉得就是这件事情是,呃,不会发生。
然后再就是。我啊,这个就比较哲学一点了。我觉得 pain 跟 suffering 是一种驱动人啊去进步的一个重要的关键。不是很确定这些 silicon 做成的 intelligence 是不是有同样的 pain 跟 suffering,然后。我心里是产生存疑的状态啊。那我当然知道,就是啊,我们希望这个科技可以大幅度的改善人类的生活,那我们也需要做出这些啊相对应的啊。
就是 guardrail 来确保它就是啊不会去影响这个正常世界的发展。嗯,说到世界模型,其他做世界模型的团队会把你当当做竞争对手,因为大家觉得觉得你也是做世界模型的。但是你一直在说我我不是你们的竞争对手,对吧?你有什么想对他们说的吗?世界模型这个工具。对,然后工具是解决问题,有好多种不同问题要解,嗯,最终要解的问题只有世界模型是不够的,对吧?
然后取决于你要解的问题,如果如果说,呃,因为我们要满我们要去服务这个整个 physical 和 ecosystem,我们要建这世界模型,让大家模型可以用,然后。这些个爱的问题本身又特别的难,有好多其他问题要解。那如果你可以跟我们一起合作啊,利用我们做的东西,那你可以走得更快更远。嗯,这不是很好的一件事情吗?
对不对啊?那呃,让我们都是采开源的状态。那如果说,呃,你用我们就是做出比我们更好的模型,那这个模型也是开源的,让大家可以用。那我们也是帮助整个 figure system,所以你做比我们好。我们也觉得这是一件好事,对吧?我我觉得大家一起团结合作去解决困难的问题,也是一件啊很值得去做的事情。那但彼此间啊,就是。
呃,就是互相抵触,就是谁的 high bar,然后越来越往上爬,那也是很重要的一环。对,他们肯定会说:“哦,英伟达又下来卖我卡了。”对,那你需要做运算嘛?那我们这个呃,现在这个英伟达的生态在这里有很多东西可以让你去啊利用的啊,Why
not?对吧?你要做一个生意,都是要做投资的。嗯,最重要的是你的获利是多少,而不是,呃,像这些 cloud company 他买了大量的 GPU,但他赚了更多的钱,对吧?
你们内部会讨论什么是下一个酷大吗?有可能是 Cosmos 吗?过去的软体是建于逻辑。然后,CUDA是帮助把这些 application 所需要逻辑转换成 GPU 的运算。未来的软体是 AI 为呃这核心的,那 AI 是 be on top of other AI。然后,所以我们觉得啊,做的NeMo创跟这个Cosmos都可能是未来的CUDA,因为外外部会对CUDA有非常多的复盘。
那作为呃你的视角,你觉得CUDA是怎么做成功的?它需要具备哪些要素?像比如说现在Cosmos它具备了哪些,不具备的是哪些?它是一个可复制的路径吗?我不确定这是不是一个可啊,我觉得 CUDA 当初提出的时候是很前瞻性的想法,是一个很冒险的想法。对,在这个啊,当都不确定这个 accelerated computing 会不会是 a big thing 的时候,我们公司就做出了这样呃勇敢的投资。
那呃,我们做的大模型都。得惠于CUDA,然后可以往下走。我不会把这个Cosmos或Nemo闯跟CUDA做同等的连接,因为我觉得现在的整个发展已经相对复杂很多,有很多个不同的整个产业是很多个stack的合在一起的。嗯,我觉得合在一起可能是新的CUDA,而不会说这个模型单一就是一个CUDA。嗯,对。你还需要做 serving 啊,你还是要去做这些 infra structure,有很多东西要合在一起。
那 CUDA 你们觉得是哪些要素共同促成了它的成功?CUDA 一开始的时候就是在寻找 application,嗯,一开始 scientific computing,嗯,然后后来。在 Deep Learning 出来之后,找到我库大最重要的 application,啊,往下走。那库大还是一直在提供不同各式各样的 application。
我觉得复制库大是一个很好的想法,但我不觉得你按照。原来的路线就会走一样的啊的路,我觉得这个环境是不一样的。嗯,对我必须我觉得是要 adaptive,要看清楚那哪个时间可以做出哪些重要的贡献。嗯,所以你们不会拿着这个锤子去找钉子,对吧?拿着我要做出下一个酷大,就是当年是一个非常成功的决定,然后我来做今天的决定。
就像老黄常讲的,他的第一序原则背上 first principle,嗯,他是觉得什么合理,然后再往那个方向走。呃,不是,找着拿着锤子去找钉子。嗯,因为你刚好加入英伟达十年了,是,呃,这十年你变化大吗?你在英伟达的这个股票涨了多少倍了?一共?对那个,呃,这些一切都是没有预期到的啊。嗯啊,这段时间里面啊,我们见证到一个没有人把。
AI跟英伟达连接在一起,变到一个全世界都把英伟达跟AI连接在一起,到一个我父母亲不知道什么叫英伟达,到全全世界都不知道什么叫英伟达的这个时间啊,这是很巨大的变化。嗯啊,那中间的历程啊,也不是那么容易。公司你从股价来看就有起起伏伏。我记得那一年啊,就是。TPU刚出来的时候,公司股价掉了很大一截,对。然后有些同学们在那时就对公司的啊的未来产生了呃,就是不同的想法,就离职了啊。
但后来啊。英伟达每年在 L Perf 里面都击败 TPU,然后产生出更好的那个性价比。那后来就是只有我们参赛了,这东西都。都很难去预测这些变化实在是很大啊!那我觉得就是。在这长期间,我更加理解到什么叫就是慢慢经营,慢慢去经营,然后就是找到一个你相信的目标,背背上 first principle 啊,一步一步往下走。
你就看着老黄带着整个公司这么大一个团队,然后就是一步一步走向今天这个啊这个呃成绩啊,然后鱼有龙焉啊,就是大丈夫这样。你当时加入的时候没有想到这一切,对吧?你当时还有其他的 offer,但没去。对,嗯,对,那不可预期的。我我当初加入原因就是因为我想要有 GPU 可以为这个支持我的学术研究,是很简单一个原因。
我某方面来讲,我也是非常 first principle。我觉得 GPU 是啊。这个做科研重要的工具,我要去一个GPU众多的地方,那不如去一个生产GPU的地方。嗯,另外一个offer是谁呀?当时对,我有数个offer,对,其中有一个投资公司啊。他跟我讲说,不管我去哪里,不管对方给我多少钱,我都给你四倍。
然后希望你可以加入他们的啊,这组我们的公司可以一起去研究怎么去。啊,用Deep能力来做投资,嗯,啊,我本身对这个东西并不是很感兴趣,我还是想做科研,然后去还是选择了Nvidia。当时Nvidia是可能是更不知名的那一个,是吗?是啊,对,嗯,你觉得你看一六年的老黄和现在老黄变化大不大?头发都白了,我觉得他承担的压力。
大了很多,但他还是就是关心员工,然后呃很仔细的去阅读公司的学员工写的他发email啊,然后去找到一些讯号啊来帮助啊整个公司往前啊进步,有很大的变化,公司的规模很大的变化,我们都加入的时候,公司可能不到两万人吧,然后现在已经。两倍以上,可能更多。那那个呃,就是那时候 GPU 都还是桌机啊,然后现在都是 data center,对。
然后那时候没有 physical AI,现在 physical AI 都成为了一个重点,对,变化是很大的。你在过程中有见证英伟达哪些 pain and suffering 没有?全盛常常在嘴边讲,他说。啊,当然不是真的。他每次都讲说,他每天都觉得公司只剩下三十天的现金流,嗯,三十天后就要破产。然后现在还这么说。
他每天都这样讲,每天都这样讲,每次开会都都是这样提醒自己,吓唬高管吗?就是要求自己做出对公司最正确的决定。嗯,然后有一年 pandemic 时候,那个整个整个就是经济状况不好。然后那个时间点,就是很多公司就开始裁员。那我记得那次公司大会的时候,我们就决定要裁什么?我们要裁的就是,啊。travel,哦,就是员工就不用去travel了,全部都是online,这样就省下一笔钱。
然后我们在研究哪些工具可以不要,比如说在硅谷啊,很多公司都用slack,好来做这个通联,我们来考虑是不是就不要slack了,反正我们有email。然后我们有两个两三个cloud,比如说我们有时候用用Microsoft,有时候用Google,是不是可以就取消一个,也省钱?你可以看到公司就是在一些困难的时期做出一些。
相对不平凡的决定啊,有些公司会把裁员来降低这个就是呃人事开销。Nvidia想的是什么?可以节省掉一些不必要的开销,照顾员工一起度过困难的事情。为什么Nvidia一直坚持不裁员啊?他真的没有裁过员工吗?我在英伟达的时间里面啊,就是我没有听到任何裁员的消息,嗯,也没有末位淘汰,对吧?我们没有所谓的末位淘汰啊,然后就是我们只有给
performance review,那当然就是有些人会因为对 performance 的不满而离开,然后有些人是就是啊,真的有其他因素就就离开,但我们不会因为我们改变了产品的方向,然后或者是因为就是这段时间内你就是啊 performance 不好而就让你走啊,我们觉得人跟人之间的信任很重要。
啊,当一个员工对这个公司啊有认同感、有安全感,他愿意讲出一些啊,就是啊,可能。在一般担心被淘汰的地方,不愿意讲的事情。嗯,当没有所谓的末位淘汰的时候,大家也不会就是真的这么的啊,就是这么担心被淘汰而抢出头。那在一个全部都抢速度的地方,反而不容易促成团结合作。我觉得这样的一个啊管理模式啊,会促成一种公司文化啊,是跟啊那些会做末位淘汰的公司文化是蛮不一样的。
嗯,它的优点和缺点是什么呢?我觉得就是公司员工想敢讲真话,愿意团结合作。缺点就是,呃,当一项科技就是逐渐变得呃成熟的时候。啊,这些员工需要一点时间学习新的东西做转型。嗯,那重新学习新的东西是需要多一点时间的。那如果你直接 lay off 再 hire 新的一批人,那你可能可以直接 hire 到一些已经会这些东西的人,所以。
这些啊,经由转型啊,做起来是会比较慢一点,但是你得到就是员工的信任,然后也可以训可以团结合作的员工。嗯,组织效率怎么提升呢?这对你们来说是个问题吗?就是大家只要充满热情,然后觉得自己做东西,啊,是很有意义的,然后整个整个效率就会提升。嗯,每个人都有选择。嗯,对,那。呃,都会想做自己呃有成就的事情。那如果公司可以提供这个环境,让大家可以去发挥的话,那那这样效率就会提升,就让每个人可以做出他们最喜欢、最擅长的事情。
但同时,这些事情对公司又是有极大的利益的啊。只要能抓到这点,我觉得就是一个很好的状态。嗯,听上去不裁员有很多好处,但是大部分公司都不是这么做的,对吧?是,这是为什么?然后以及老王黄为什么从一开始就觉得不应该裁员?我觉得 Nvidia 是一个想呃长久经营经营下去的公司。然后我觉得就是这么多年他在老黄在这个硅谷待了这么多年,也看到这么多风风雨雨啊。
嗯,他选择这个东西一定有他的道理,有就是。啊,我觉得不是一个随机的选择,是一个深思熟虑后觉得这东西是,啊,是是他想要的企业文化,他想要。啊,的公司的运作模式,嗯,那是不是意味着当新技术来的时候,英伟达不会是最快的那个?但是它依赖于你早十年或者早五年的提前布局,这样它对快就要求不高。Nvidia就是跑马拉松嘛,然后看得远。
啊,在你看,酷大就是这样一个案例,布局了十年,嗯,对吧?啊,所以就是你要有很强的眼光,然后长期投资,嗯,对,嗯嗯,你们也不赛马对吗?我们不喜欢赛马,因为我们通常都是这样做啊,就是。你去 take 这个 mission,我们就相信你。当我们一一起是给你很高的呃的 bar,希望你完成。就是,呃,用老黄话讲,就是一直让你那个接受 pain and suffering。
Tutor you to greatness,相信你,然后给你考验,然后不断的磨练你,啊,让你一路一步一步往下成长,啊,这是我们喜欢的模式。你在英伟达受过最惨烈的suffering是哪个阶段?做这些大模型只是。这几年都是这么呃辛苦的在往下走。我刚刚跟你讲那些东西,很多都是啊从错误中学习,嗯啊呃很多东西啊就是一开始也没有理理解到这些东西最重要的东西。
那哎为了把东西做好,然后当先做不对的时候,要怎么慢慢把东西给改进?我我觉得这一段就是自从呃GPT起来之后,整个这个AI的从业人员,大家都感受到莫名的压力,对。然后这段时间里面,呃,就是这个迭代的速度啊,然后大家都饱受的压力的。那我觉得都是pain suffering啊,尤其是当你每天呃挥洒这些GPU资源,挥洒这些年轻人的时间,然后做出成果没有达到你最喜欢的啊结果,我我觉得东西是无形上都是一个呃。
呃,压力,压力,对,嗯,你的生活状态发生变化了吗?在这过去几年,高效,高效啊,早起晚起啊,我大概是四点到五点起来,我这么早,对,哦,早上起来的时候,呃,呃,运动啊,那些就是时间比较连续,一到公司后就一直开会嘛,啊。然后,所以十点到公司大概大概是九点到十点左右。嗯,对,因为整个整个产业的迭代速度,所以生活步调都变快。
然后还是要学的东西还是很多,但处理的事情又变更多。然后找让自己更加高效。嗯,你几点睡啊?我大概。在十点左右吧,十点左右,十点到十一点左右,四点五点起,对,哦,对,不是每天都固定,但但是基本上是我的常态,对,嗯,英伟达的嗯书也好,或者老黄的传记也好,都讲了很多他的管理方式,是,能不能从更一线的视角来讲一讲,就是呃,英伟达的一些不一样的管理方式?
我们刚刚可能涉及到一个是不裁员,呃,第二就是Top Five,就员工就是要跟很多人啊,就是。讲这个他做的事情最重要的五件事情,这件事情让你看清楚,就是各种公司的大小讯号,可以看到很多两个团队在做一模一样的东西啊,那个他发email就会自然显现出来。NVIDIA是一个。相对很透明的一个组织架构啊,苹果可能是反例,就是啊,就是我们就是追求的资讯透明,然后让那个啊,这这也是一个很不一样的考究。
那,呃,那那那些老黄传记有些是比较戏剧性的哦,啊,但很多都是你可以在英伟达工作的时候就可以感受到,他认识很多员工。我们常常讲,mission is the boss,嗯,好,然后因为就英伟达有时候像是一个呃有机体,没有那么强的框架。当我们公司今天要走向这个方向的时候,在各种不同组织的团队,但有相对的技能就会自动 align,就往那个方向前进,就是像一个活的组织,不是一个固定框架。
就说你在这个里面,你就不能做错东西,嗯,没有关系。你在这公司哪里都没关系,但是你要往这个方向前进的时候,你的你的这个团队的啊的是可以产生贡献的,就全部人就 align 就变成一个新的方向往这边走。Cosmos 是这样子一个案例,嗯,就是很多人他可能不属于这个团队,但是他都可以来支持这个团队的工作。对, mission is the boss,嗯,不是你的 boss,是你的 boss。
Mission is the boss。呀,这几个是最具有特色的啊,就是这几个让这个公司的的,就是很很活啊,你看。我刚刚讲的这个 mission 的 boss 就不是一个很硬的框架,是一个有机体。那这个 tough fight
让公司各个地方的微小讯号都可以传到。扩散出去,嗯,对吧?那呃,不愿意让就是不轻易 lay off 员工啊,就是讲究转型,讲究偷学,让员工对这个公司加强信任,然后可以彼此互相合作。
我觉得这几个都是呃英伟达很独特的地方。嗯,一群S级的人一起工作和一群A plus或者A A级的人一起工作,哪个可能取得的成功更大呀?你觉得?大家在追求都是一加一大于二,嗯,对。然后是不是大家可以团结合作,产生更大的效应啊?是啊,是很重要一件事情。然后当人人多的时候就有一个沟通的成本啊,然后沟通成本就是负面的。
你等于就是要人跟人合作给产生正相关,但是要降低这个沟通的成本。那一群很聪明的人一起合作啊,当然大家都很聪明,很快就理解,然后手脚又快。啊,但是如果人跟人之间无法互信的话,也很难达到一加一大于二。大家都防备着对方,不愿意把最好的一面,呃,展现出来,或者是就是要展现出哦,我就是比你聪明。那这样子也不见得是一个好的状态。
那我觉得反而就是,呃,就像。打游戏一样,你不要整个团队全部都是弓箭手,可能要有些人是负责防御,有些人是会啊,是是做补血的啊,各项不同的啊属性合在一起哈,嗯,觉得这样多元是一个比较好的状态。嗯,你看你今天说了很多,你没有竞争对手,然后你不和任何人竞争,都是客户,然后大家都是合作伙伴,这种low ego的状态是在英伟达发生的变化吗?
呃,是,就是。这真的low一个还是这是一种隐藏?我觉得是一种confidence,是一种自信。嗯啊,是觉得啊,我们做出来的东西是可以帮助到大家。那我的目标是帮助大家做好,但我对我自己做东西我要求很高,我希望它变好。但我的目标并不是击败对手。我的目标是,那个做出好成绩,提出更好的 foundation,让大家可以动得更快。
嗯啊,这这是跟老黄学的吗?哦,对,我说他影响非常深。嗯,这这是什么时候学的?如果你是一个研究员,你就是毕业的方法就是让你的论文在。顶级的会议上被接受,然后 reviewer 都会 question 你的东西是不是 steal the art。那你要是 steal the art,代表说你要击败所有的人,所以研究员都有这种心态,就是我的东西要比你强。
好,然后所以循着这个轨迹,我也就是一开始就是一个 highly competitive 的 individual,就是我东西要做的比你好,嗯,那这个这这就是我要求当然好,就希望东西越来越越来越好,但久之后就是你知道,就是你总是 still be up。一段时间就下一个,啊,出去吧。对,就是这东西是一直不断进步。
我现在站的位置也不一样了,就是呃,成为这个管理者之后。啊,希望就是培养新一代的人才,帮他们成长。然后站在这个英伟达这个 ecosystem
的角色,又希望这个公司逐渐感受到这个好处。有时候。看到我这些伙伴们跟我讲说,用你的模型之后,我解这个效率提升了很多啊,我就很开心。我觉得,呃,我的我的付出啊,整个团队的辛苦付出啊,获得的一些回响,那不是这种肯定,也是很好的一件事情啊,不见得是要击败啊其他才是一定能产生贡献。
就你不需要击败你的对手,我不喜欢把他们当成是对手,喜欢把他当成是伙伴。嗯,你看英伟达,包括你,然后包括 Jason,他出来经常会说 take care of others,就不管是员工还是外外部的合作伙伴,这种 take care 是一种真实的吗?就他真是这这么想的吗?英伟达一开始的时候,我们就是。
啊,我们就是生产这个,呃,就是这 design house 啊,然后最后我们也没有什么 consumer product,都是靠着其他家公司帮我们做 GPU 卡,我们就是一直有这个习惯,就是要跟着整个 ecosystem 一起成长,大家一起赚钱,总总不能说钱只有我们赚嘛,这些帮忙做这个显卡、伺服器这些。
啊,都都要一起能那个往下走。那因为它早期的这个显卡都是来做游戏,我们也不做个游戏,对,我们就是就是一直开发这些好的library,帮助这游戏公司做游戏。我们开始走向deep learning的时候,那时候好几个框架,比如说Py Torch啊、Tensor Flow啊,还有一些M S Net那些东西,我们全部都支持。
对,然后后来我本来有这个Titan卡拍的,我们是支持。那个Triton,那VON出来之后,我们支持VON。对,就是我觉得是真心的,就是啊,就是想帮助这些建在我们的GPU平台上面的客户能更加成功。他们更加成功,代表他们可以服务更多的客户,那他们就有大量的机会会使用我们的GPU,是一种真的是。共力,一起走向成功一条路线。
那我觉得就是这样,也是他经营了这么多年才把这个公司放在这么一个好的位置,让帮助别人也可以获得获利啊。这我觉得这是不容易。嗯,你近距离观察过呃老黄很多年,如果只用几个词来形容他,你会怎么形容吗?我们叫他六边形战士。嗯,就是,不管是你,我们有时候开会,他可以。走到很深去研究这个 register,这个
computer architecture 的 register,这个非常细的细节,同时间又可以讲到。
讲到可以就可以教大家怎么做 marketing,怎么做这些非常 high level 的东西,然后在处理这个啊,不管是产品定价啊,然后跟客户的关系,他面面俱到,然后是他是极大的热情, he gives everything he has to help the company be successful。
这是一很很令人佩服的一个呃的操作,对各个方面都可以产生贡献,然后各方向都尽力做到最好,啊,那是一个很厉害的一个人。他对你鼓励比较多还是呃批评比较多?一般来说,鼓励批评都有。当我还没有完全理解他怎么要怎么去跑这个公司的时候,批评是比较多的。哦,但批评中中只带着总是带着鼓励,哦,希望你可以变好。他的目标就是 teach you everybody to greatness,啊,经由这些磨练,让你更加。
理解就是怎么样做才能做出不平凡的事情,这很耗精力的。你愿意花时间去偷求别人,这是件不容易的事情。对偷求别人,你自己心里要产生很大的负担,对吧?嗯,而且你人生就这么多时间了,你可以不管。啊,你可以,也许还是还是能达到你要的东西,但是他愿意花时间去偷学别人,让大家不断的进步,这是不容易的一件事情。他对你让你印象很深的一句话是什么呢?
我记得有一次,呃,我们在一个会上。啊,我们在比较两个 solutions,两个东西。然后我是做其中一个东西的人,那另外一个是啊,其他人做的东西。然后我记得那时候我讲了一句话,说我觉得他们用的 setting 是一个不 fair 的 setting,所以导致这个。那个啊,所以我们在这方面表现就没有达到我们的预期,呃,落后这个呃竞品。
嗯,那呃,他那时候给我一句话说:“Are you a cry baby?”这世界上没有什么是公平的。你在写论文的时候常常讲说:“哎,我的setting就是跟你的setting不一样,所以不能同时比较。”但你目标如果是要解决一个问题,那你当然是。是做这个要解决的问题所需要的条件,啊,没有这条件你就想办法拿到。
但是我呃,那那句话让我印象很深刻,就是我更加严格要求自己,就是。找理由是没有用的,就是这个啊,就应该 give everything you have。然后我以前也听过这句话,西点军校有一些著名的的那个书也是讲的,就是没有理由,no excuse,对吧?但但他跟我讲,让我的印象就更加深刻,因为毕竟他是一个著名的人物。
那啊,我觉得这句话对我的影响也蛮大的。嗯,我后来就不再找理由了。对,如果当你作为一个研究员想成为 number one 和英伟达的本身的业务,因为他不想成为强劲的竞争对手。如果发生冲突的话,你会选择哪个?我觉得那个。就是科学的发展本身就是 incremental 的,就是一直在进步,一直在进步,一直在进步。
你随时随地都可以提出 improvement,就是要往上带,再走一步。嗯,然后我觉得就是。一的absolute number one,嗯,什么叫那我这很难去定义什么叫number one。然后我我比较是一个frontier的模型吧。啊,嗯,对,但frontier的模型啊做出来那时间是number one很有成就感,但之后就会有其他的模型可以追上去。
我我是希望就是你具备的啊,就是做number one模型的能力。啊,但是啊,就是啊,做出就是对这个社会影响最大、最最有贡献的事情,嗯,对,因为你可以做出number one的模型,但你就是只给少部分人用,然后或者是啊,就等于让权力过度集中在少部分的手里,然后产生一些不平衡的状态。我觉得不见得是一件对的事情。
嗯,对。那我我是希望就是呃,具备 number one 的能力,但是做出对这个世界贡献最大的事情。具备 number one 的能力,但是做出对这个世界贡献最大的事情,是的。所以最重要的是后面后面那个贡献,对吗?不是那个能力,对对,人难免就走一招嘛,对吧?然后你留下来就是影响。这要活得久,嗯,活得久机会大一些嘛?
呃,就是希望能产生一些啊,做些啊贡献,然后啊,就证明自己。啊,就是没有白来走一遭,嗯,那就这样子。嗯,你还有什么在研究生涯上觉得遗憾的吗?你还有什么特别想得到的?呃,我觉得飞奇观还没有成功嘛,对,还还没有还没有到那个时间点是啊,就是就是谈论这些。我觉得呃,我很开心,那时候十年前我在。这我在讲这个啊,Deep
Learning会取代Computer Graphics成为一个最重要的这种这种影像生成的模式,这件事情发生了,我我觉得还蛮开心的,这事情真的发生了。
那我觉得这种世界模型会是推动Physical的成功的重要推手,然后这是我下一个呃重大目标,我希望这个东西也能成功。你要比就是你有一个 baseball award,你就会想说我要拿两个,然后我的赵友宪拿了十几个,你总是拿不完嘛,对不对?比论文数总是有更多的论文,那你比 citation 数总是有更多的 citation,你比钱总是有人更多有钱,对不对?
那重点是我觉得你对自己的啊东西啊是不是?啊,很骄傲啊!我觉得过去很多东西,我觉得我做不够好,但目前有些东西,我觉得我做的不错啊,我接受。然后我觉得就是。呃,在我的能力范围内,我觉得我做出了我自己满意的东西。我觉得这个,嗯,所以外部的很多衡量指标现在慢慢都变得没有那么重要了,对吧?对,年轻的时候都觉得他们很重要。
嗯,为什么他这个人的base paper比我多?对,然后奖比我多。那现在觉觉得就是,渐渐渐的这个。不在意,呃,就是我我重心渐渐转移,帮助别人,对,也许我现在care的帮助人够不够多?嗯,你觉得最近一年帮助了谁?啊,这些使用Fish AI的、使用Cosmos的user,我觉得我都那默默之中替他们提出了帮助,然后当然还有自己的团队,还有一些就是啊。
尤其跟我交谈过的人,我觉得或多或少我对他们生命都产生了一些影响。嗯嗯,你也经常来中国嘛?是,你怎么看中国的这一批模型的发展呀?非常的。impressive, very impressive。这这这些啊,从Deep Sea开始啊,千问啊,豆包啊,就我都把它全部讲一次吧。啊,Mini Max就有,然后Kimi啊,啊,然后这些Mimo Mimo对,然后委员委员就是这这些字符字符对都做得很好。
那还一件事情就是啊,在美国啊,尤其这些房体的Lab。现在的状态就是他们很少去招收实习生,很多那个 know how 啊,很多这些研科研的结果都只有在他们自己本身内部的实验室有。那在中国这边我看到就是啊,他们像嗯这些公司都招收很多实习生,然后。帮助把这些就是 know how 传递出去,那我觉得对人类整个就是知识扩增啊,就是就是 diffusion 啊,是对,我觉得是一件好事。
看到这些快速发展,我觉得。觉得很 impressive,然后还还同时注重到这些啊 diffusion,大家对 AI 都充满了热情,就是愿意去尝试。我觉得这都是看到的一些现象。嗯。现在您跟我说,硅谷已经被 L L M 催眠了,你怎么看他这句话?我不觉得是纯粹被 L M
催眠,不能否认的就是现在。在AI里面最领先的公司啊,就是模型上最领先的公司,不管是OpenAI、Anthropic都是从大语言模型出发的嘛。
嗯,那这些模型也确借,我现在已经不知道没有Coding Agent我要怎么过下去。嗯,我也不知道,只是这些实在太方便了,我就产生很巨大的变化。我就也不是一件坏事嘛,就是呃,LM真的。产生了很大的用处,然后帮助提升我们的生活。我觉得很自然而然的,就是大家会会想,就是这东西既然都都已经在这里了,然后下一步是什么?
我觉得人自然会想要做哪件事情。我知道领域里面有些人是把。呃,学术变成信仰啊,但我觉得大部分都还是,呃,求从求知求真的角度出发。当一个东西啊的啊被充分理解之后,大家会找到新的东西来重新做突破。你很难很难想象一个人就。这么聪明的人一辈子就只做 L O A 吗?对吧?我觉得自然而然会发生啊!我并并不觉得有这种催眠的事情,只是对那些人而言,对现在时间而言,也许做 L O A 是一件很正确的事情。
昨天 Stacks 上市,然后马上 OpenAI 和 Anthropic 也要上市。今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗?二零二六年会是巨变的一年了,这上这边上是大家都看到新闻的嘛,就是会产生很多富翁,对吧?然后我知道旧金山的房价在快速飙涨,早期相信地不能领啊,早期相信这个这个Space Mission这些人啊,就是。
啊,这些等于是对他们的远见、对他们的勇气、对他们的决心啊,这一个认同,我觉得都很合理。嗯,对,这些公司真的对公司对世界产生巨大的贡献,我觉得完全值得啊。但这个,我觉得科技不会停在这里。嗯,然后陆陆续续都会有新的事情发生。一百年前强盛的公司跟现在强盛的公司是完全不一样,五十年前不一样,二十年前不一样。
对我觉得啊,这个社会啊,只要组织架构还是一个。那个好的良性的状态就会不断有创新发生,嗯,对。就模型这场竞赛的终局可能是什么样?短短几年已经发生这么大的变化,再往远看呢?呃,我想这就很 controversial。我觉得模型的能力慢慢就会统一。对,靠模型自己不会是啊区分,一定要靠一些其他的东西组织在一起。
那领先的模型有更充裕的时间去找到这个区分啊的方式,然后强大的这个公司也可以加大自己强大的 ecosystem 去做出一些嗯变化。对,然后我不会觉得像收费刚出来的时候,会写收费的公司很少。现在大家都会写software,然后每家software都有一个自己的区分方式。那些能活下来的software公司都有自己的区分方式嘛?
然后我觉得没有理由模型会是嗯不一样,我觉得会是一样,所以没有必要神话模型或者模型公司是吗?我把它当成中医了,就是一个不带bus,那这么多人不同尝试,最后就是一个一套学问嘛。然后很多人都会中医嘛,对吧?关键是你要拿它干什么?对,那就要看干什么。那有些人解读比较深一点啊,然后有些人就是需要多一点时间。这都是我的臆测啊。
我我是我是觉得这些东西慢慢就会 diffuse。现在假设一个新公司说我要训练一个模型,它还有很大概率赶上来吗?就它可能比前面的公司落后两三年的时间,像。呃,Kimi,我是Mimo这些effort都是算比较晚期出来的吧?Kimi还行,Mimo比较晚,对,嗯,对,还是有机会的嘛?我是觉得就是,嗯,会有一段时间大家会觉得算力不够。
然后我觉得算力慢慢就会起来,都都有办法去参加竞争。我觉得这这世界上有抱负、有决心、有办法去呃去挪动资源、去建一个大模型团队的人很多。好,然后还会有更多是吗?我觉得如果说大模型是一个绝对的区分,那当然就会更多。但如果不是绝对的区分,应该会很多人就是想到呃对他们的。必是以更有利的方式。哦,对我就是一种自然的平衡状态。
自然的平衡状态,嗯,端侧模型你觉得会多久之后爆发吗?这东西跟那个飞奇狗AI会很相近嘛?哦,刚刚也讲了嘛,就是我觉得资金渐渐投入。然后,科技迭代很快,也也许这段时间我说不准,但我觉得希望它快速爆发。嗯嗯。对于今年和明年的模型竞赛,你有哪些预测?在feature上是很难的啊,那创作还是很快。那我还是坚信这个。
对World Model能力啊,是帮助这些啊物理世界模型强化泛化的一个重要关键。对,那啊怎么落地啊?用怎么样的Modelity?这些事情大家都还在探索当中。Chat GPT moment for physical AI is。Coming,这是我可能可以做的预测。对,嗯,那大语言 coding 模型这些东西,我自己本身在在发我,但我自己不做啊,我也很难去讲啊。
我是用的很开心啊,但是呃,我也很难讲接下来会怎么样。嗯,刚才你说了就是中国的这些模型公司,那中国的机器人公司呢?你应该也见到很多,你觉得跟美国有什么不一样吗?两边美国在做本体的公司很少。就Tesla跟这个AI,然后这种好多家公司在做这个本体,嗯,做本体,它可以控制的东西更多了。啊,可以控制啊,这个这个模型跟软一体的整合的控操作空间更大啊。
然后我觉得,因为中国强大的制造业啊,让产生一个很优势的条件,可以让这些公司做一些在呃美国不容易做到的事情。我觉得这都是啊啊很值得去关注啊,这样的垂直整合会产生什么样的一个突破?对我觉得还蛮蛮蛮有趣的。你觉得美国现在会不会有一点嗯?就是不不那么重视硬件,可能是错的,也很难说。但是就是,在这个如果说这种呃软硬体整合是一个机器人的一个趋势,那那没有硬件当然是处于啊被动状态,是吧?
有点难讲,嗯,有好多东西要考虑啊,包含这个啊金融模式啊,中国明显就是有这个条件可以。可以让大家做快速的硬体迭代,那个软硬体整合。嗯,ChatGPT moment在Physical AI,你觉得有可能在哪里爆发?呃,看到一个应用,嗯,呃,是大家很明显知道就是。啊,就会产生巨大的经济价值。嗯,好,然后也许在那个时间点,那个应用并没有产生经济价值。
当ChatGPT刚出来的时候是赔钱的,对吧?但是,就是当然看到这个趋势,然后我觉得就会发生。那我个人觉得这种,呃,就是简单的人示范一下怎么要的操作,这个机器人就可以就地学会这东西。我觉得这是一个,如果这东西出现,我看到这样的一个。这样的一个产品,我就觉得说呀,那是去去去,我们复 physical AI,所以它核心是泛化。
我觉得是泛化,就是 AI 的核心问题就是解泛化的问题。嗯,对于泛化来说,现在最重要的一个问题是什么呀?如果只说一个,泛化的问题在 physical AI 里面就是怎样从这个。有限的讯号里面学到需要的操作,嗯,然后应用在。一个没有看过的一个啊的场景里面,嗯,这个是呃,physical
AI里面要解的一个主要的泛化问题,observation对action这个这个pair的泛化,嗯,让你看到一些你看到这个action跟observation是完成事情的,怎么样快速泛化到一个。
呃,新的 observation,那类似的 action,嗯,对。哎,我在想,就是如果他在 Cosmos 这套系统里学习了,但他走向现实世界时候,他还是会有 sim to real gap,对不对?怎么解决这个问题呢?呃,这也是一个泛化的问题。嗯,对,就是,嗯,新新to real
gap通常是呃,就我我们cosmos想帮助呃这个啊fisher builder是透过三个方式嘛,之前有讲的就是better data,嗯,better starting points,嗯,跟这个better environment。
那我觉得 better environment 这些东西是还没发生,是大家都希望能做出这个矩阵哦,但还没发生,就有陆陆续续有些突破,我们看到一些 work 都很不错。那现在比较管用的,可能就是贝特贝塔跟贝特starting
points。你拿一个懂这个,比较懂这世界机器怎么。去去预测physics啊,就是懂physics可以去,也不能说真的懂physics,但抓到那个模式可以去predict接下来发生的事情。
这东西也许可以帮你产生更好的,做出更好的policy。那这东西。因为它本身的快乐是比较适合泛化的,那它也许就可以帮你,啊,建出一个更更容易泛化的一个 policy model。嗯,对,我觉得这个是我看到可能短期内 cosmos model OK 对这个 future guide 的的一个贡献。嗯,如果五年后我再来采访你,你希望 cosmos 发展到什么阶段?
哦,我希望五年后,如果我们再有这个呃这样的一个采访,我们可以清楚讲出来。特殊 moment 是什么时候发生的啊?对,然后是在哪里发生?我希望可以,可以这个事情是可以明确的讲出来。就纪念几月几日,那时候就有一个具体的时间了。对对对,包佛饼啊。嗯,在人工智能的历史上,你希望。别人怎么来记录你啊?是不要讲我吧?
我觉得就是,呃,讲Cosmos是吧?然后希望Cosmos可能是一个重要的推手,然后帮助啊这些几个重要的Feature Builder啊达到这个Cheer GPT的moment。我觉得这个可能是我会很开心的一件事情。嗯嗯,我还有一些快问快答。嗯,全球范围内一个你最喜欢的食物。牛肉面,全球范围内一个你最喜欢的地点?
好,我喜欢湾区,天气实在太舒服了。你有什么喜欢的音乐、书、电影或者游戏吗?书蛮多的,嗯,然后。呃,音乐我不怎么听,然后游戏我已经不怎么打,我上次打游戏可能都是二十几年前的事情了。能分享一本真正改变你或者影响过你的书?Johnson推荐的书。哦,他是是讲 positioning
的一件事情,嗯,好,然后我忘记那个书名叫什么,很有趣的一个心理学的书,然后让让你更加理解问题的本质是什么,嗯,那年轻的时候读了很多不同的书,对我特别喜欢金庸小说,那那他那是其中一环,哈,金庸小说有帮助到你后面的科研或者是写管理吗?
呃,倒是没有啊,就是呃,里面的这些啊,可以体会这个金庸的各式各样的幻想,然后很美的一些意境啊。那当然是呃,我把我推向了学中国武术的道路,然后呃,从中国武术里面得到一些历练啊,我觉得那都是蛮不错的一些过程。嗯,对于年轻的研究员,你会有什么建议啊?就是不要紧张。为什么不要紧张?因为现在年轻人研究员都往往觉得就是,啊,会不会明年这个AI就就结束了?
就AI自训练了?然后不要紧张,对自己有信心,然后冷静下来,那个看清楚什么地方是值得你投入精力,不要不要被这些。呃,大家的这个宣传觉得好像自己路越走越窄。现在研究员进入 physical AI 是一个好时机,好时机是一个蓝海吗?这是一个好时机嘛?就是各种机会,然后还很多地方。我我当然做
physical AI 我比较懂,但这些呃 AI 的进步,让我们可以做出更好的这些 material 啊,更更好的药啊,这些生物方面的这个突破,我觉得在各行各业里面都可以渐渐看到这个。
这个A I的影响,我觉得很多地方都可以去投入。嗯,我们工作室叫语言及世界工作室。当你第一次听到这个名字的时候,你在想什么?用语言来啊,描述这世界上发生有趣的事。嗯,你觉得是大模型竞争不是由于游戏,还是世界模型竞争不是由游戏啊?还是说,对于你来说不是鱿鱼游戏,对别人可能是。我不清楚,你你你,如果你如果大家想解的东西一模一样,嗯,那就是鱿鱼游戏,嗯,对吧?
嗯,所以模型竞争不应该是鱿鱼游戏,对,因为这世界上要被解的问题这么多,啊,对,嗯,然后可以提供价值的东西这么多,嗯,嗯。每个人喜欢的东西又不太一样,嗯,对啊,我觉得不应该是啊,看成是优于游戏。你有过那种特别嗨 ego 的时候吗?年轻的时候,是会的,是吧?对,就是我总觉得我的呃算法最好,然后对我写的 paper 最漂亮,总是会那么觉得。
算法重要,你需要很好的数据,很好的 infrastructure,那你可以做快速的算法迭代。啊,因为你其实你有两种可能嘛,一种是你一开始算法很好,OK,那很好。但是即使你一开始算法不好,你有很好的data,有很好的infrastructure,你可以迭代,然后迭代,只要你遵循着这个就是很严格啊纪律,然后这种控制实验法则,你算法就越变越好。
所以我反而觉得迭代速度是重要的。那迭代速度就是要靠强大的。No,infrastructure来支持,data很重要,因为呃,如果一个问题可以用data解,你就用data解就好,不用开发算法。嗯,因为data简单多了。嗯,对,然后所以不喜欢浪费力气这个问题,只要是data能解,就就收集data,就造data。
嗯啊,然后真正不能解的,再用算法来解。是每一个公司都需要训一个自己的大模型吗?你觉得没有必要是吗?如果是 commodity,你你需要建自己的电厂吗?你每家公司要建自己的电厂吗?OK,就是看合不合合乎经济效益效应对吧?哦,嗯,在早期你要做汽车工厂的时候,当电厂不充裕的时候,你盖个电厂,你可能可以确保你工资是二十四小时运行的。
但是现在这个时代,你可能不需要了,对吧?嗯,对你可能跟太多那个AI的那个呃,就是开发者聊,他们每个人都是觉得我的AI模型是最好。我觉得这东西在历史上从来没发生过。然后我不觉得这,因为人跟人相处没那么容易的。你看当初阿姆那个 Dario Amade 跟跟那个 Saint Omen 就是合不来,啊,对吧?
啊啊,他就走了。哦,对。然后你最近在在那个 Andropi 里面,每个人都是一模一样。啊,我不觉得,都是就是坚信的,就是莫非哪天就是你升了A不升了B,然后B就觉得说,哦,嗯,对吧?然后然后他会不会就带一群人走去做个类似的东西?哦,对,然后呀,这数据大家都有。嗯,数据有算力,找你们买算力,你只要有钱还是买得到。
嗯,对吧?嗯,所以大家都能做。你有决心,然后你你你有资源,你是可以做的。嗯嗯。这有没有那个必要诶?Cosmos对你们来说是一场不能输的战争吗?这如果说有其他公司也做开源模型的话,那就不是,那就不是。对,什么叫战争呢?就是我没有打算把别人杀死,但我必须要 on 这个赛道。我不是,就是你们都得长在我的生态上面。
NVIDIA要继续成长,Physical AI是一个重大的一个市场。嗯,现在家家户户都没有机器人,但如果有机器人的话,我家可能会买两三个。那每个机器人都需要算力。那等于整个世界对需要对算力的需求会大幅的成长,这个事情如果发生的话,对 Nvidia 是巨大好处。我们的心态不是说想把别人给杀死,我们的心心态是我们要怎么去造市场,你懂我意思吗?
CUDA就是造市场,嗯,造出了现在的AI的市场。我们想的是怎么造出下一个大的市场。那你说,呃,是不能输的战场吗?我觉得也不是,也不是,因为是全新的东西。对啊,我没有跟任何人竞争,是吧?呀,就是功力嘛,带着大家一起把那个市场建出来。然后你卖这个机器人赚钱,你做这个卡层买券赚钱,那这个东西会需要一些算力赚钱,那当然会有公司研发自己的晶片,它也会赚钱。
那整个市场就起来,原本是nothing。老黄会分享类似的观点吗?对,经常说什么?经常说要造市场,嗯,而不是在存量竞争。对,你读他的书就会发现,他讲说我们就要做这种zero billion dollar business。什么叫zero billion dollar business?就是现在不是个business,但以后成功后会变billion。
嗯嗯,如果现在已经有人在做,可能就不值得做。这是一种拥抱风险,还是一种?抵抗风险,还是一个低 risk 吗?这是一个低 risk 吗?我们做事起码是很 risky 的,是吧?全部就是酷达那时候是很 risky 的一件事情,等于是赔本在卖,嗯,对吧?我们因为赚酷达,我们整个 GPU 的价格都比别人高。
同样的 flops,我们就是比别人高,因为我们要支援这个啊 programmability,嗯,对吧?你不这么做,你做这件事情很 risky,你不做这件事情更加 risky。嗯,对,你不做那件事情,别人做了的话,对于你们来说就对,非常的有风险。呃。不不做这件事情的话,就是你的东西就渐渐变 commodity。
嗯,你还要从老黄身上学到什么没有?我都尽量很用心在学习他怎么去呃跑其他东西,然后从里面去应用在跑 Cosmos。为什么其他公司都说 CEO 不应该是最努力的人,但是你们公司 CEO 是最努力的人?对,是,哦,这我也不懂。That how it works. I cannot,对吧?啊,世界没有绝对。
它现在的驱动力是什么呀?驱动有 take your families。嗯,对,做 AI 真的是很有趣的一件事情。你尤其是站在他的角度里面,看到他的贡献改变世界,我觉得是很有成就感一件事情。不愧是教主。是的,嗯嗯。