赛门奥特曼其实是 Cerebras 最早的投资人。赛门奥特曼在百度投之前,百度是二零一七年投的,在二零一六年的时候,赛门奥特曼就已经投了这家公司。那个时候,Android的号召力非常强,而且那个时候百度应该是为数不多的AI lab,就是给了充足的预算,让你去买GPU去训练AI模型。Darrell当时能够进百度,其实是一个他职业生涯中很重要的一个环节。

其实Darrell是Greg招进去的,Greg Demers当时就是认识了Darrell之后,我觉得这个人是个人才。就是他对AI的一些构想非常的深,即使他没有AI的这个背景,因为W当时是。数学和物理,还有生物的一个 background,就他不是一个 computer science 或者 AI 的这种科班出身的一个研究员。

欢迎收听晚点聊,我是曼奇。今天的嘉宾是目前任职于高通创投 Qualcomm Ventures 的投资人周楠,他是五月中旬 IPO 的 Cerebras Systems 的早期投资人之一。这是一家提供新架构 AI 算力的芯片与系统公司。被外界视作英伟达的补充,甚至是挑战者。九年前完成这笔投资时,周楠刚从投行加入百度的硅谷人工智能实验室。

那时吴文达是负责人,Anthropic的创始人Dario也曾在那儿实习。今天这期节目,我们从Cerebras的IPO切入,聊了AI算力的趋势,为什么OpenAI会和他签下百亿美元的大订单,也通过回顾这段投资过程,回到了十年前Scaling Law在硅谷萌芽的阶段和当时百度美研的状态。那是一段在现在的地缘环境下鲜少被人提及的故事,但它值得在AI历史中有一席之地。

我们正式进入本期节目吧。今天非常高兴邀请到了在美国的一位投资人周楠做客晚点聊,来分享最近刚刚上市的一家公司Cerebras的情况。同时,我们也延展聊一聊,就是算力层的一些变化。南,你可以和我们的听友简单的打个招呼,简单自我介绍一下。好的,大家好,我是周楠。首先,谢谢曼奇的邀请,谢谢晚点的邀请。我呢,主要这十年都是在美国硅谷这边做人工智能的投资。

那么我的人工智能的投资职业生涯非常巧的就是始于呃十年前的百度美国研究院。我当时在百度美国研究院,就是经历了整个AI的一点零时代的起飞和当时的百度的Chief Science Officer。吴文达,他当时是百度美国研究院的这个head,我们跟他一起当时就是做很多关于AI的,不管是算力层面、数据层面,还应用层面上的一些调研。

在百度工作了三年之后呢,我又加入了高通创投。在高通这六年呢,主要是集中在AI端侧的投资,还有包括一些AI在端侧芯片的应用啊等。的一些延展,所以一共加起来,我在AI投资领域差不多是十年的时间,确实是整个就是目睹了这个AI从一点零到二点零到三点零时代的这么一个变迁,然后也目睹了整个当时Scaling

Law在百度美研院诞生到当时我们对它的一些推测,到后面这个ChatGPT的爆发,所以是挺有感触的这十年。

OK,那今天正好我们聊的这个切入口就是 Cerebras 这家刚刚上市的芯片公司,它也是你十年前开始投资时候做的第一个项目,而且它和你刚刚说那个过程都是很相关的,正好我们可以来回顾一下。嗯,我觉得可以先简单的跟大家介绍一下,就是 Cerebras 是一家什么样的公司吧?就它是五月中旬上市的,然后目前大概是接近五百亿美元的市值。

对,Cerebras其实是当时真的是非常巧,是我当时刚刚开始我的投资生涯的时候,十年前在百度美国研究院,我自己source来,然后做尽调,build了投资的conviction。到最后完成投资的第一个项目,应该算是我们作为百度的一个当时Coly的Series C round的C轮的一个项目。那么十年前投这家公司的时候,它真的是在完全是一个共识型跟之前的一个投资。

那这家公司简单来说呢,它是一个为AI的训练和推理整个重新设计了一个架构的这么一个公司,计算架构的公司。它当时在创立之初就是想要去建造一个专门为深度学习的训练而打造的一个计算系统,所以是颠覆了当时的所有的一个市场上大家知道的架构,也跟英伟达的架构非常不一样。它的一个核心创新就是Wafer Scale Architecture,就可能你在招股书上看到了。

它就是把一整片晶圆做成了一个巨大的AI的计算引擎,然后在这个晶圆上的八十四个芯片无缝互联。GPU架构它是一个一个芯片这样子在一个晶圆上,但是这个是整个一个这么多的芯片无缝互联在一个晶圆上,它不只是一个芯片公司,它也是做完整的系统,包括芯片、服务器啊、散热、电源了,还有敞开的编译器、软件栈等等。它的这个路线是很激进的,它是要把一个晶圆变成一个超级大的一个计算引擎。

而且呢,它是要解决什么问题呢?就是让大量的这个计算单元和这个内存在同一个硅片上靠得更近,从而去降低它的通信和数据的搬运成本。这就是它和传统的GPU最根本的一个不同。从今天的市场看,Cerebras的话,它也不是说单单是一个硬件一个芯片,而是它是。在一个英伟达之外非常具有颠覆性的一个架构的这么一个系统,OK,对。

那我刚才描述可能不太准确,就简单来说,它是个芯片公司,但更准确来说,它应该算是寻找一种新的AI算力。方法的公司对是的是的是吧是的,它是构建一个软硬结合的系统。对是的,确实现在就是它上市之后一度这个冲得非常高,就市值是接近一千亿美元。对,现在就对这个公司有一种叙事,就会把它定义成是英伟达的挑战者。你作为他们的投资人,你怎么看这种定位?

我觉得这个定位非常的有意思啊。我们刚刚去定下要投这家公司的时候。就是我刚刚加入百度美研研究院的时候呢,那个时候因为有很多的AI researcher他们在训练模型嘛,就当时有几个researcher第一天就跟我说,那就是以后的模型它的size会越来越大。需要的芯片就是它的数据会越来越多,然后要让这个模型迭代的很快的话,你也需要一个非常强大的芯片。

那个时候的共识就是AI research上面都在用英伟达。当时他们给我的第一个lecture就是不能就只依赖于英伟达这一颗芯片,因为未来会出现非常非常大的一个模型。这个未来是多少年?当时并不知道。但是如果说这个时候不去找这颗芯片的话,那么在十年以后、五年以后、十年以后,就会形成英伟达独大的一个局面。

而且英伟达当时就是在十年前的时候,它并不是对深度学习最友好的一个芯片,因为它百分之九十六的那个叫做 die area,不是专门用优化深度学习,因为它更多的是给游戏啊、给图形显卡。图形对来发明的,所以如果当时就是说涉及到其他的非图形的模型的话,它并不是最优的解。所以那个时候我当时就种下一个种子,就是我要找一个。

不同架构的芯片去能够,但不是说要去跟英伟达抗衡,而是说更加的能够用于去训练这个深度学习。所以当时的起始点就是为了找一个所谓的比英伟达可能更好用,或者是未来为了让英伟达不垄断的一个这么一个替代品,或者是一个第二解决方案吧。所以这个是当时投资的一个起点。那么回到现在啊,就是英伟达当然已经是这个 five trillion dollar company,然后是这个大语言模型时代的下的王者。

然后如果今天再问这个问题,Cerebras虽然已经成功上市了,那它是不是英伟达挑战者?然后离这一步还有多远呢?我觉得今天看这个事情的话呢,Cerebras应该说它是英伟达在一些特定 workload 上的挑战者,比如说

inference。就是推理上的一个挑战者,但它不能说是英伟达全栈生态的一个全面的替代者,因为英伟达的护城河并不只是说它的这些芯片,而是它的CUDA,还有包括它的开发者生态啊、网络啊、英系统啊、软件啊。

客户信任和供应链等等这一整个一系列的一个生态,这个是它的最强的护城河。所以我觉得,就是对于Cerebras来说呢,它的机会是在于说,当某些AI的这个workload,尤其是推理上的这个workload,受限于这个内存的宽带,还有包括像通信延迟以及推理响应的速度的时候。它是一个非常优秀的一个架构的一个选择,嗯,因为它的运算性速度就是比,就是说它的招股书来看啊,就是比现在的一些解决方案要快很多。

对你刚说到十年前的大家的那种想法,我我想到就是回忆到那个阶段,确实其实在全球范围都有类似的创业思路。比如说寒武纪也是那前后成立的,对,因为那会儿有一个创业潮,就是做ASIC嘛,就是专用的这种集成电路。是的,是的,认为那个是可以面向深度学习做更好的优化的。但确实,后面这十年的发展过程来说的话,ASIC并没有撼动通用GPU的地位。

通用GPU,我觉得它的发展也是超出大家预期的,因为十年前其实英伟达显然不是现在这样一个这么受关注的巨头。我们后面就是展开聊你当时在百度美研的一些情况的时候,我觉得也可以回顾到这个过程。然后回到Cerebras的近况的话,其实大概两三年前它的估值也只有数十亿美元,嗯,然后到它最近上市是到了数百亿美元,甚至逼近一千亿美元。

你觉得?这是市场情绪变了,还是说这个公司自己的业务或者说技术真的发生了很大的变化了?我觉得是市场对于这个产品的需求变了。还有包括说市场到了一定程度的阶段,就是我觉得这个变化点可能有几个阶段吧。确实,在两三年前的时候,GPT moment刚刚到来的时候,就是那个时候ChatGPT到来的时候,AI compute其实已经变成了一个全球非常稀缺的战略资源。

但是那个时候大家要解决的问题是模型的训练,就是这个模型的能力和智力水平需要不断的迭代。所以那个时候,英伟达还是叙事的主体。在两年前的时候呢,AI的推理,AI的inferencing,它不像现在需求量这么大。因为现在你会看到,一半以上的对于GPU的需求都是用在推理上的。然后包括今年像这个AI agent的这种爆发,更加去激发了这个对于推理芯片的需求。

所以就是当这个推理的需求现在在,尤其是今年,从去年开始到今年有一个大规模的一个爆发之后呢,那 Cerebras 它的这个 value proposition 中的这个低延迟就 low latency 和高吞吐 high throughput 的这种解决方案就变得更有价值、更稀缺,所以这个时候就是 Cerebras 在这个节点上的一个爆发点。

那它做了一个。嗯,目前非常优秀的一个解决方案。那估值有这样一个很大的提升,我觉得也是一个水到渠成的一件事情。嗯,然后二六年一月有一个比较明显的利好,就是OpenAI和它签了一个很大的订单,至少是两百亿美元的合同。然后他们也做了一些交易设计,绑定了很深度的合作关系。你可以展开讲一讲吗?就是为什么 OpenAI 会对 Cerebras 的这个方案感兴趣,以及他们大概是怎么来合作的?

如果你能分享一些内部信息,可以讲讲,包括比如他们接触了多久之类的。对,我觉得首先就是你如果看到一些公开市场的信息,你会看到 Sam Altman 其实是 Cerebras 最早的投资人。Sam Altman 在百度投之前,百度是 2017 年投的。在二零一六年的时候,Sam Altman就已经投了这家公司,就说明当时Sam Altman在成立OpenAI的时候,他也预测到了一些同样的事情,就是。

当未来的这个AI的模型做的很大,有很大应用场景的时候,你不能只依赖英伟达一家芯片,所以这个可以解释为什么Sam Altman在那个时候就去投了Cerebras。哦,他这个时间点确实是卡着的,因为二零一五年十二月左右,就一五年底是OpenAI成立嘛?是的,是的。在一六年投的,那相当于成立没多久之后投的。

他就是Scaling Law以后投的,我觉得他在那个时候就已经有相当的对于算力市场的一个vision了。那再回到 Open AI 当下,当下它已经是一个就是在 AI 领域一个霸主地位了哈。那我觉得他对 Cerebras 感兴趣非常合理,一个是说。Open AI它并不是说啊,我需要一个便宜点的GPU,而是说目前这个AI compute AI的算力,它就是模型继续scale的一个瓶颈。

就是现在算力稀缺是number one,就是一个核心的一个大瓶颈。第二呢,就是 OpenAI,我觉得这个逻辑很清晰。就不管 OpenAI 还是 Anthropic,还是其他的这种 Frontier Lab,你都不能依赖单一路线。就是你即使 NVIDIA 很强,我现在就是训练模型还是推理都在用 NVIDIA。

任何一家模型公司,我觉得都需要去有一个 diversified 一个 supply,就是你不能就依赖这一个芯片提供商,对不对?就是你需要有一些供应链的考虑,需要有一些战略自主性的考虑。所以就是他去找一个可替代方案,是我觉得是必然要发生的事情。然后就不只是 OpenAI 啦,我可以预见到,就是你看像 Anthropic,它有跟 TPU 深,对吧?

Anthropic 它也在去找寻一些其他的算力的替代方案。这个我觉得每一个 Frontier Lab 都在干这件事情。对。然后同时呢,就是很明显的就是推理是越来越重要的。推理呢,在这个时候就决定了用户的产品体验,以及包括其他 developer 用这些模型的一个商业毛利。就是你需要这个推理做到低延迟,然后高吞吐,然后 cost per token 也是越来越优化。

所以就是说,Cerebras它确实呢在这些方面都提供了非常明显的优势。那对于这个 Frontier Lab 就是有非常明显的这个吸引力。所以我觉得模型公司它不只是说要去买算力,而且它要去找到一个英伟达的一个 Option B 替代方案。Cerebras是Sam Altman个人投的还是OpenAI投的?

以及这个在美国这算关联交易吗?呃,这个是他个人投的,Sam Altman当年个人投的,个人投的。对对对,这不算关联交易,因为Sam Altman他其实投了很多公司,他投了一些硬件了,包括他投的一个硬件公司也被OpenAI最后买了。对,你说这个事儿我知道,当时我觉得也有一些人会吐槽吧,就是觉得Sam Altman有很多这种资本运作啊。

是,这个就是脚踏梯度就好,因为他也不是说一个特别大理的股东。对你刚刚说到他和一些前沿的 AI lab 合作,其实最近就六月初的时候,他们也宣布和 Amazon AWS 就是和云厂商也有更多合作。但另一方面,Cerebras 自己也有它的云业务,这个是一种什么样的布局和思路啊?Cerebras 它现在也开始做自己的一个云平台了。

这个也让我不禁回想到十年前我们当时投的时候,那个时候 Cerebras 它的客户是就是当时能够有能力训练深度学习模型的人那些平台,包括我知道那个时候像 Cerebras 也跟 Google 谈啊,也跟 Microsoft 谈,也跟 Amazon 谈啊,就这种大的平台才能够去训练,才有 data center 才能够训练大的模型,当然也包括百度,对吧?

现在我觉得他去构架自己的云平台,就是原因很明显,因为。他的客户越来越多了,就不只是这些大的这个双 Tier Lab,也有很多的应用场景,也有一些做应用的一些客户。那么对于硬件公司来讲,就纵观这个生态,就因为我在高通做这么多年,就是我发现硬件公司一个很大的挑战,就是所谓的叫做 adoption friction。

怎么解释这个东西呢?就是你你说让客户去买一套全新的硬件,就是新的一个呃计算的方案、解决方案部署到自己的这个数据中心。然后呢,因为你是买了一个新的硬件系统,你还要去改修改这个软件栈等等,这个周期会很长很长。那Cerebras

Cloud呢?它通过去做自己的Cloud,就可以把这个整个非常复杂的底层系统给它封装起来,因为它有这个Cloud,那客户就直接可以直接就使用API,可以立刻就是说Plug in Cerebras产品。

到自己的这个,不管是模型的训练也好啊,还是些应用也好,I T I应用也好,都可以让这个啊 Cerebras立刻用起来。所以我觉得就是说,对于 Cerebras的这样的客户端的一个 adoption 的速度来讲,它去做的这个云也是有相当的一个战略意义的。嗯,其实我当时看到它有云业务的时候,我有一个比较阴暗的揣测,嗯哼,就或者说我觉得这个对公司来说,它有一种风险和诱惑吧。

就是我包了一层云之后,其实我底层用什么算力,有时候对客户对市场来说可能都没有那么重要了。因为我上面用别的算力,其实我也可以从这个云平台获得收入嘛。但是最近我看这个创始人就 Andrew Fieldman,他在呃 Bloomberg 的 Tech 峰会上非常强势的表态,我们会和所有人合作,除了英伟达。

对,那他就至少他公开层面他是自己说我是不会去用英伟达的芯片或者和他们合作的。就这个表态也挺有意思。我不知道你有没有观察到,就是说因为他。因为达它当然有很多就是很强的生态和云厂商的这些渠道嘛,对吧?他自己就对,他自己就对孵化了像Core Weave啊,然后也跟像Nvidia这样的New Cloud的紧密合作。

其实这些New

Cloud他们也也有很强的痛点,就是它的算力其实也不够,他们要为了服务他们的客户,GPU已经成为一个很大的constraint。那最对于Cerebras来讲,因为在一个算力是康是成为Constraint的情况下,那它去做一个云,也是一个对于它业务的一个延展。就是它会让它的业务具有更强的一个护城河,然后呢,加上它如果有云的这个业务的话,那它会给客户提供,我觉得更多的更整套的一个解决方案。

就比如说,对,如果我是一个 new model,就是我一个做模型的一个公司,那如果我去找这个英伟达以及周边的这个 cloud company。可是我还是不能解决我的算力问题啊!那如果我有一个Cerebras这样方案,再加上云,那这样我就是有一个one-stop solution。我就是可以直接去用Cerebras的云去做推理,去运行我的这个推理的这个workload。

那其实这是一个非常省事的一件事情。当然,我只是从一个商业、从一个产品逻辑上的角度上去这样讲啊。嗯,总结来说,你现在能看到Cerebras这个公司的上限和下限是什么呀?就比如说,你觉得它保底能做到什么?然后,如果它发展更好,能到什么状态?它的上限其实很高,因为你看现在就是说AI compute的这个需求是非常非常大,所以我觉得这个。

在推理上的这个上限可能真的是无止境的。我觉得它如果后面到,比如说 five hundred billion,我是不会吃惊的。那么它要下去,就是说它的这个 wafer scale 的这样的一个解决方案,是不是能够持续的 scale?因为,嗯,他目前的客户,不得不说,就是你看他的一个招股书上的一个风险披露,就是他的客户还是比较集中的。

他现在的几个大客户,就包括像 G42 啊这种几个比较大的客户,还是就不像说像其他的芯片厂商这么 diversified。所以它需要在它的客户层面上去有更多的让它的这个使用的范围能够被迅速的 scale。所以它的这个解决方案呢,是不是能够在一个大规模的情况下去迅速的 scale?我觉得可能是它需要去关注的一个方向。

我觉得它现在又有 data center,然后。目前它的这个 wafer 的这个解决方案已经不是问题了哈,但是就是说你是不是能够持续的在一个稳定的环境下去交付、运营,并且让客户用起来,这个我觉得是他们需要去呃需要去注意的。嗯,哎,这里正好可以补充讲讲,就是他用的这种新方案 wafer scale,就一个晶圆上做的特别大,它去规模化交付的阻碍或者说难点是什么呀?

我们可以讲一讲,就是 wafer scale engine 的一个好处跟代价吧。我们先可以讲讲,就是说这个 wafer scale 它跟传统的芯片制造有什么样的不一样的地方哈?我尝试用一个比较。容易理解的这个方式来解释一下,因为它真的非常

technical。就是传统的芯片制造其实是在一片晶圆上做很多很多的小的芯片,然后你把它切开,然后再把它封装,然后再把很多的 GPU 通过这种 PCB 啊、 NV Link 啊这种方式给它连起来。

但是 Cerebras 它是反过来了,它尽量不想把这个晶圆切开,它是在一整片晶圆上做了一个非常大的一个 AI 计算引擎。就是它等于说是八十几个那种芯片在里面无缝互联了,那么它这么做的一个好处就是说,它的计算单元、内存还有通信网络都在同一个硅片上。这样的话呢,就是它的数据不用频繁的从一个芯片搬到另一个芯片上去,也不用去把外部的这个 HBM,就是高通信带宽的这个记忆搬到计算单元上去。

所以这样的话,它就可以非常的加速这个计算。那么,就如果打个比方上来讲的话,就是GPU有点像是很多很多很强大的人类的这种脑袋瓜,但是它需要靠一个高速的网络去协作。而Cerebras它是一个非常非常巨大的一个大脑,尽量让计算和记忆都发生在同一个硅片上。那如果说GPU的优势是它的生态很成熟,通用性很强,那Cerebras的优势就是让这个呃推理。

尤其是跟推理相关的AI workload,减少这种分布式的通信和内存的搬运,这个是我对他们两个这个不同的一个解读吧。那么它的挑战在哪儿呢?就是说,这个挑战就是涉及到当时的一个风险性问题了。就你指你们投资决策时候的风险性问题,当时你们就担心的问题。对对,因为我可能有一个gap点,就是说当时的风险应该现在大多数都已经解决了哈。

就是当时的风险,就是包括你这样的一个颠覆性的架构里面的风险点有很多,我们一会儿可以去着重的拆解它,讲它的风险点,包括它的这个呃封装啊、散热呀、良率啊等等。它的风险点也非常非常多。那如果你回到现在的这个点上,它已经上市了,你想说它的潜在的这个下限是什么?就是我刚才讲的一个是它的客户集中度,一个就是说,我觉得英伟达也不会说坐等让它这个市场被呃Cerebras拿走。

但是我觉得这个市场还是非常大的哈,就是英伟达可能也会去推出一个推理呃性能非常强的芯片。对他其实也收了一个 Grok,对,他收了 Grok LPU,对对对,你的这个点的非常好,因为当时就是 Grok 在融资的时候,二零一九年,哎,二零年的时候,我当时也看了 Grok,我就觉得这个公司跟Cerebras的一个思路还挺像的。

再回到Cerebras它的这个架构的一个风险吧,就是我觉得还要看,就是说这样的一个架构上能不能就是迅速的在客户上起规模。我觉得这可能还是它的一个需要注意的一个点。嗯,它生产制造会导致它起规模比较难吗?因为我看到很多评论就认为这种晶圆做得特别大。的良率会是一个问题,这个良率确实是一个问题。我们回头可以在风险的时候可以去拆解当时的一些这个风险的一个状态。

那我们接下来可以回顾一下你最开始投资Cerebras的过程,那是差不多九到十年前,当时刚加入百度美研的时候。对,是的。你前面也提到说这是你自己去找到的项目嘛?可以讲讲为什么当时要去看这个方向吗?包括你怎么接触到这个公司的?当时就是二零一六年,我刚刚加入百度的时候,那个时候等于说我刚刚开始我的这个VC的投资生涯嘛。

哎,在那之前,你是之前已经工作了一段时间?在之前我在投行做,当时我在Cerebras Capital,就是华尔街的一个估值Bracket,他收购了Leman Brother。然后那个时候我是那三年我做投行的时候,我是呃穿梭到香港了。然后当时做了很多移动互联网公司上市,刚当时刚好赶上了中国那波移动互联网上市的大潮,比如像阿里啊、京东啊这些。

所以我当时就是说,已经对于这个科技领域的这个一些公司已经打下了一些基础吧。那个时候我还做了一个,也也是做了一个关于芯片公司的上市。然后我是在那个节点上,二零一六年的时候,当时百度全球海选找这个AI投资人去加入他的百度的硅谷的人工智能研究院和文达一起工作。我是在那个背景下加入百度的。所以当时相当于也是从二级转到一级和早期投资了啊,应该说是从投行从卖方转到了做买方做投资。

所以那个时候就是说,我觉得我比较幸运的一点就是,可能我跟传统的那些做VC,就是在一个反national VC里的一些投资人不太一样。我是一开始就是进入了一个纯AI的环境,就是当时大家都没有在投AI的时候,我是在那样的一个环境下去开始我的投资生涯的。为什么一六年想从比如说移动互联网的这种,因为投行我理解是做IPO这些,然后来做AI啊?

因为可能当时那个时间点会觉得移动互联网还在一个上升期吧,或者说在一个收获期,至少。然后AI那个时候是很早期的,嗯,对,很有意思,就是因为我在投行当时做了一个搜索公司的上市。那个搜索公司没有成功,我就不说是哪个名字了。但是那个公司就在它的上市招股书里讲了一个AI的故事。然后那个时候是我第一次接触到AI,我就感觉哇,这个是future。

然后再接着我就知道说哦,百度在二零一四年的时候请来了吴文达加入他的百度的美国人工智能研究院。然后我那个时候也到硅谷几次听了几次吴文达的讲座,我就对百度这个公司产生了深深的崇拜之情。所以在二零一五年年底,他在全球海选这个AI投资人的时候,我就递交了简历,然后就非常幸运的被捞上岸了。嗯,所以虽然那个IPO没有成功,但是你从招股书里面,你从和团队交流,你看到这个新的机会。

对,他为我铺了一条加入百度的道路。嗯,OK,那可以继续回到,就说你当时刚加入啊,为什么去找这个方向?当时刚刚加入的时候,每天都非常的激动,就是那个时候。百度的美国人工智能研究院应该说是硅谷最强大的一个AI research lab。那个时候,Andrew的号召力非常强,而且那个时候百度应该是为数不多的AI lab,就是给了充足的预算,让你去买GPU去训练AI模型。

而且Andrew也是应该说是第一个去昭告天下说。GPU是可以用来非常好的来训练AI模型的这么一个compute system,所以我觉得安聚问跟英伟达之间也有一个非常重要的一个连接。如果没有安聚问当时的就是给英伟达背书,就大家就不会形成这个认知,说哦,原来GPU是要被大规模可以用于这个AI的模型的训练的。

所以,我就是在当时那样的一个背景下,在百度的这个人工智能研究院和这些世界上最顶尖的researcher们一起工作。这些researcher可能你也知道,就是很多的,包括Dario Anthropic的founder,当时也在百度。我跟他没有overlap,就是先声明一下。但是那个时候,那些研究员们。

有相当多的一部分人是后来 OpenAI 的早期的这些 researcher,然后基本上那部分研究员是二零二二年以后 GPT moment 的开始以后。最早的那一批 Frontier Lab 的

co-founder,所以我觉得那个时候的人才密度还是非常的让震撼的。我也就是在那样的一个环境下,我想说那个时候可能是一个 AI 的一点零时代哈,就是那个时候美国百度那个 AI Lab 里面那些研究员在做不同的事情,有些在做 speech model,有些在做 visual model 视觉模型。

有些在用 deep learning 去找各个行业不同的解决方案,比如说像 retail 啊, fintech 呀,然后还有我记得还有当时花了很多时间在做 healthcare,然后还有 autonomous driving,就是它有这么多不同的一个方向。但是当时有一个很强大的共识,就是也是在那个当时 Deep Speech 的那篇论文,百度发表那篇论文之后。

就是我们已经看到了一个事情,就是AI的进步依赖于三件事情:更大的模型、更大的数据和更强的算力。所以在那个情况下,我们形成了一个很朴素的判断,就是如果你想要AI持续进步,那么底层的这个算力基础就非常重要。而且GPU呢,虽然是当时最好的工具,但是它不是为了深度学习而从零去设计的。所以就是我们需要去找到一个更强大的一个算力系统。

我大概经历了可能有半年的这样的一个学习吧,把整个AI的这个从训练到架构到呃数据到算力等等,就是一系列的这个从头到尾的知识都学习明白了之后呢,我是从2017年开始去满大街的去找新的跟这个GPU不同的一个算力系统。我觉得可以把你刚刚提到的 Deep Speech 这个论文展开说一下。这篇文章

Darrell 是一作,然后他在这个文章里,他觉得发现了 Scaling Law 的雏形,就是在你加入的那个时候,因为这个文章是二零一五年年底发布的,在你加入百度美研的那个阶段,就是整个组织里会觉得这是个很重要的事情吗?

我加入的时候,DeepSeek Model的那个论文已经发出来了。我也跟当时的researchers们聊过这个发现。就是这个 Deep Speech Two 的这个 model,我觉得是对百度来讲是非常重要的。就是在那个年代的时候,百度的美国研究院团队,他还还没有把 Scaling Law 作为一个非常有数学规律的一个结论。

去用系统化的去表达出来,对吧?但是基于这个 Deep Speech 的论文的发表,当时已经非常清楚地感受到一件什么事呢?就是说,当模型更大、当数据更多、训练更久,而且计算系统更强的时候,模型的表现就会持续的提升。我想把它说成,就这个可能是一个经验性的直觉,就是在后来语言模型的时代,它被更系统的验证和理论化了,也就是说,大家今天所知道的 Scaling Law。

但是,如果你去回溯的话,这个 Scaling Law 的诞生的这个萌芽,就是当年的这篇 Deep Speech 的这个 Paper。所以当时百度美研的人就认为这个事儿很重要,而且认为应该沿着这个方向去找一些研究和投资的机会,是吗?对,可以这么说。就当时这个结论出来以后,这个很clear结论就是说,想要这个AI的能力继续提升的话。

就是需要让它的模型更大,数据更多,然后需要训练更长时间,就这个training需要更长的时间。那时候还没有pre training post training这概念,然后也需要计算能力更强,所以就要找到一个计算能力更强的一个芯片。这个就是当时的对我来讲的一个投资的启发。那那个时候呢,因为当时百度美研有很多的这种,就是他的团队有在做不同的事情嘛,就像我刚刚讲的一个语言模型也有一个团队在做。

那么当时做语言模型的时候,那个时候百度训练出来语言模型就已经是将近三百个 million parameter 了。那是很大很大的,就是你想那个三亿的这个参数量级,在十年前是非常非常大的一个参数量级。而且我很清楚的记得,他们跟我说,当时为了要用GPU训练一个这样的模型,要至少三个多月的时间。那我我当时就听傻了,我说哇,我说要三个多月才能训练出来一个模型呢?

他说对。那我说那如果你要调参,要去看这个模型的效果,你要把这个模型进行迭代怎么办?他说那就是要好几个月的时间。所以,基于这个时间的紧迫性,你想,你想要让这个模型的能力能够迭代提高,那你确实需要找到一个更强大的芯片。在那个时候,我们用的那个英伟达的那颗芯片,就是需要三个多月的时间。然后那个时候,我就在一堆的芯片公司中,当时找到Cerebras的时候,Cerebras就说,我们这样的一个架构能够让这个深度学习的训练提效一千倍。

就是比如说,你要用三个多月去训练一个模型,可能用当时的这个Wafer Scale架构,大概几天、几个星期就可以训练出来。所以我觉得当时这样的一个发现是非常的具有吸引力的。你当时还看到了哪些公司啊?哎,看到挺多的,包括像这个呃 Graphcore,还有那个 Wave Computing 等等,还有一些做 ASIC 的公司。

就是做 ASIC 的这个公司呢,其实我当时其实对于 ASIC 我是最早就把它怎么说呢?我认为AC更多的是应该算是推理芯片吧,但是因为我觉得当时要解决的最大的问题还是去做训练,至少基于当时Deep Speech

Model,我认为就是让这个AI能力不断的去提升,我们先要去解决这个AI的训练的问题。所以我当时并没有把说找一个ASIC的这种推理芯片作为我的一个priority,我当时还是在找一个能够去提升这个AI的深度学习训练的模型的这样一个芯片。

所以那样的情况下,就是让我去感兴趣去做竞调的这个公司,就集中到Graph Core、Vector Computing还有Cerebras。第三家对 Graphcore 是二四年被软银收购了五亿美元收购。对对,我现在当然不太记得当时 Graphcore 的一个跟 Cerebras 的对比了,但是就是觉得说当时 Graphcore,我记得当时的结论就是它可以提速提效,但是它的这个。

效果就不如Cerebras这么好,当然它的架构也不像Cerebras这么的颠覆性。所以就是我当时作为一个投资人,我的一个直觉就是说,那我要投的话,我就是要投一个具有这种颠覆性的这样的一个架构,然后真的能够让深度学习的训练能够是这个百倍、千倍的这样提速的一个一个公司。嗯嗯,你刚说的第三家公司是什么?是Wave Computing这家公司,其实它的架构和理念跟Cerebras还挺像的。

可是它的团队,我记得是有问题的,所以这家公司当时是被我第一个淘汰掉的。这家公司现在还存在吗?不存在了,它应该很早以前就就不行了。OK,所以你当时三选一,还是选到了一个对从现在的结果来看是最好的选择。我觉得三选一的时候,当时Cerebras的信号非常明显,因为。Cerebras的团队非常的强。那个时候,Andrew

Philman他的前一家公司Cerebras当时是被AMD收购的,然后他几乎是带着这个他当年Cerebras的一个原班人马,然后带着他们对全新架构的这么一个愿景去创办了Cerebras这个公司。

然后我记得当时最吸引我的一个点,就是那个时候我还对技术都不是很懂的时候,说他们有当时的团队大概有。八十多个人吧,有将近七十个人都是P H D,然后他们的工作经验加起来有好几百年,所以就是可以见到这个团队是多么的有经验,多么的强大,而且是我见过P H

D密度最高的一家公司。所以,我当时就想,哎,这个leader这么有号召力,让他的原班人马有这么多的PhD为他卖命,然后这个公司才成立一年多,就让我感觉这个很不一般,所以就瞬间让我吊起了我所有的这个好奇心和兴趣,然后开始对他展开紧钓。

因为他自己并不是做芯片工程和技术出身的,就我指这个创始人 Andrew Feldman,嗯,这会是你当时投资的一个疑虑吗?对这个问题很好,就是。对于正常的芯片公司来讲啊,基本上创始都是工程师出身,对吧?就是那像Cerebras这种系统级的公司,我觉得当时Andrew的强项可能就是在于他对于产品的定义。

他组织团队的能力,还有理解客户和他坚持长期愿景的这种能力,就我当时可能我是更多的凭着一个我的一种赤诚之心加直觉去投他的。但是我现在回溯看来,我觉得他当时身边有几个很强的信号,让我觉得如果用我现在的知识再回头看,我还是会选他。那他这几个信号是什么?就首先。他身边已经有非常强的技术

cofounder,而且这些技术 cofounder 都是跟了他很多年的,所以这个东西就肯定不是减分的,而且是很好的一个组合,因为他已经有两三个很强的 cofounder 跟他一起了。

然后另外一个呢,就是我觉得 Andrew 他。是一个非常有经验的创业者,就他等于说是叫做 serial entrepreneur,他在这个行业里边很多年了,有非常深厚的这种 ecosystem 的这样的一个关系网在里面。那他的优势,他非常的清楚客户的一个痛点,然后呢,他也能够讲的很清楚,就是说这个系统为什么必须要存在。

还有一点呢,就是我印象很深的是他的这个 conviction,他对做的这件事情有很强的 conviction,他不是说非常空洞的去讲一个 vision。我先回忆,就是说我我在做 Deep Tech 这么多年投资中,有一些 founder 他是给你讲一个很大的 vision,讲说我要解决一个很大的问题,但是就是说具体这样的一个技术路线,这样的一个风险该怎么弄,很多 founder 他是讲不清楚的。

但是 Andrew 恰恰相反,就是说在 Cerebras

这么一个颠覆性和复杂技术路线上。他扛住了我对于风险的所有的尽调,因为当时我是带了好几个百度AI的researcher去做了非常深度的尽调,把它的风险全部打散的讲,比如说良率怎么办,散热怎么办,电源怎么办,那那个编译器卡拍了怎么办,客户为什么要买,Andrew对这些问题完全不回避,他一个一个的拆开来,非常耐心的跟我讲,而且当时我作为一个芯片小白,就是他。

可以不厌其烦的每天跟我讲两个小时,四个星期。所以这一点上,我认为他是一个非常 decent 的一个创业者,就是他可以不但把 vision

讲清楚,他可以把风险点从第一性原理一个一个的讲清楚。那对于投资人来讲,就是我们投DeepTech不是说只是投一个宏大的愿景和一个很大的vision,而是我们要知道我们投的风险到底是什么,我们能不能把这个风险清清楚楚的给它拆开来、解构开来,然后看到这个去抵消这些风险的一个mitigation的一个战略是什么。

所以我觉得这些整个这个综合的这一套,就是从这个投资的这样的一个过程来看,我觉得安柱是呃非常非常卓越的一个创业者。你们当时进调的这个过程具体来说是怎样的呀?以及你找百度美研的研究员来支持你的话,这个在组织上是怎么协调了?是吴文达会直接帮你调人来支持吗?因为我觉得有些研究员他不喜欢干这一类事儿啊。哎,我觉得当时这个时间点非常有意思啊,因为当时像Greg

Diamant他们,他就是在亲自训练那个语言模型,还有包括其他的一些researcher,他们在训练三亿参数的这个语言模型的时候,就是有这个实打实的痛点。

太慢了,用这个英伟达的芯片要搞三个月,他们实在是很想找一个很快的芯片去帮他们解决这个训练的这个时间的问题。所以,当我把 Cerebras 这样的一个架构带到他们面前的时候,他们就是眼前一亮,就是觉得哇,这个就是他们可能期待已久的解决方案。他们非常想知道这个解决方案到底能不能行,靠不靠谱。当 Greg

Dimens 他本人呢,你知道,就是他是 NVIDIA 苦短的 Key Leader,所以我觉得当时百度美研非常强,能够挖来这么厉害的一个人。

Greg的整个PhD的期间,就是在帮英伟达建造它的酷大的生态系统,就可以毫不夸张的说,Greg就是当时在给英伟达构建这个酷大的这么一个核心的几个人中的。特别特别重要的一个,嗯,而且他也是 Deep Speech 2 那篇论文的作者之一,嗯,对,所以当时 Greg 他看到这样的一个架构的时候,他也很兴奋,就是我们那几个 researcher 就大家都非常的兴奋,就是非常积极的要跟着我一起去。

做竞调,然后我也非常的激动,就是我觉得哇,我发现这样一个架构,然后我可以在实战中去和这些researcher们一起去讨论,一起去实践。我觉得那段经历是一个非常宝贵的一段经历。嗯,而且后来Greg跟吴文达一起创业了一段时间。对吧?难顶AI的时候,对Greg和温达奇创业了。不但是这样,而且当时Andrew的这个Cerebras当时是,他当时只有一个Single Layer,你知道吗?

就他当时的这个所有微分这个构架。在实物上是没有的,就是这个芯片还没有流片,所以它所有的构想都是在一个 Simulletter 上,而能够去验证这个 Simulletter 的公司,就当时只有百度一家,就因为只有百度当时的语言模型是世界上最大的语言模型。那个时候 Transformer 还没有出来,真的就是 Pre Transformer。

百度的语言模型是基于百度当年自己的研发的一个架构,叫做 Paddle Paddle,就是飞桨的一个构架。我们是把这个语言模型。跑在了安柱的这个 newsletter 上,然后呢,当时的信号是比较正面的,就是我不能 disclose 太多里面的这个结果,但是真的就是只有百度能够说在它的架构上去跑这样的一个模型,然后给出一个竞标的结果。

我觉得当时竞标结果对于 Cerebras 来讲也非常的重要,因为等于说在某种程度上,你验证了他的想法,验证了他的这么一个技术的这么一个理念。哎,那可以透露下,当时大家测算是,比如说能把训练时间压缩到什么量级?从以前三个多月能到多短?当时那个是个signo

letter,所以就是说只能通过一些数据。去推测一些结果性的东西,就它并不是说我真的一个语言模型跑在一个芯片上,它是一个语言模型在它的新牛letter上去run。

比如说,假设你这个芯片的良率也可以顺利通过,假设你的compiler也都没有问题,假设你的散热封装也都没有问题的情况下,那确实它的结果是非常好的。所以这样的一个过程对他们来说,我觉得对Cerebras来说,当时也也是非常有意义的。我可以透露的就是说,那段时间一些研究员吧,包括像Greg也是,不只是说帮助我对投做投资做这个精调,也是跟Cerebras有相当一个紧密的合作。

然后还有一些研究员,甚至后来都加入了Cerebras,嗯。那像 Greg 这些研究员,我理解他们能去验证的部分是这套方案对模型训练提效是否有用。呃,他这个方法的一些其他的风险点,就你前面提到的良率、散热、封装等等,这些你要找一些什么样的专家来支持你们去判断了?这个我就是找到了一些当时,比如说像斯坦福的一些教授啊,一些芯片专家啊,我觉得这些就是硬件层面上的一些风险。

它其实是理论上是可以去拆解出来的。比如说,如果它当时的这个良率不好,如果一开始流片失败,那失败到什么程度?我需要多长时间去重新去进行这个流片?大概 total cost 多少?我们当时都把这个最坏情况都演算了一下,那可能就是要多花个六个月的时间,然后要多花个五到十个灭链。那公司的现金流能不能支持这样去重新去跑一遍这个流片?

我们当时觉得这个风险都是可控的。哦,所以这个是硬件层面上的良率风险,然后像散热风险呀,包括它的呃水冷和系统这些设计等等。当时这个水冷和系统的设计它是已经出来了,就是当时我记得在他办公室里,他整个给我看了他那个一个。呃,就是液冷的这么一个系统,特别大的一个液冷的一个盒子,这个芯片大概这么大,那整个液冷系统就是更加大的一个盒子,所以可以推断就是说,当时它的这个液冷是有一个非常好的解决方案的。

然后包括像比如说它的这个,因为那么多的芯片在一个外设上,那你万一出现一个短路怎么办?一个电源风险怎么办?当时他们也有一个软件层面的一个去。识别哪颗芯片短路以后,他去把它重新跑到另外一批 redundancy 的芯片上的这么一个方案,它全部都有。所以我就觉得说,从这个物理和硬件风险上来讲,它已经做到了它能够可控的一个最好的这么一个解决方案。

然后回到说,像Greg当时就当时百度美研的这些研究员们,给他更多的一个风险测算是Compiler这个系统层面的一个测算,比如说就是说模型怎么映射到这个架构上,怎么去和像TensorFlow就比如说往上跟客户去对接,它的数据中心对接的话,你TensorFlow呀,然后Caffe呀这些,还有PyTorch啊,你是怎么去对接的?

这个API怎么去对接的?这部分其当时百度美研。应该是花了很多的精力去做精调,然后当时就觉得这个 compiler 也是可以去解决的,就是这个当然很多的系统级还有这个代码级的这种这种精调,这个我觉得是当时也是很重要的一个点。所以我在想说,如果没有美研的这些研究员,那这部分的风险我是没有办法去预测的。所以当时百度美研并没有纯硬件的人。

是比较少的,有的有的。当时在自动驾驶的上面有很多纯电机的人,我全部都问了啊,就是当时我讲的这个散热风险、电源风险。呃,良率风险全部都跟这些做硬件的专家们讨论了。当时那批硬件的专家们有相当一部分现在也在做CPU的创业,所以他们当时也给了我很多很宝贵的这些尽调的意见。所以我就觉得说,可能嗯,如果你看Cerebras早期的这些投资人,大概真的就是是百度做的这个尽调是从技术角度上来讲是做的最深入的,然后我们给的这个尽调的报告、风险的报告也是最全面的。

我当时其实把我的这个当时我们竞标的这样的一些初步的一些结果,就大概的一个结果,我也跟当时当时的这个早期投资人,像Benchmark投资人还有Clu Two,跟他们都说了。他们因为是比百度更早投的嘛,跟他们就是分享竞标的这样的一个结果之后,他们也都是觉得心里的石头可能没有说完全落下,可能也落下了一小半。

嗯,对你刚刚说百度出去很多人又创业嘛,美颜出去很多人创业,我觉得挺有意思的。就百度不光在中国互联网是黄埔军校,看起来百度美颜在硅谷也是一个黄埔军校,也输送了很多业界人才。我觉得是相当厉害的黄埔军校,因为就是里面的一些 researcher 吧,他们是 Inflation 的 co

founder。是Adaptco founder,然后也有一部分人后面是这个Meta的Fair实验室的一些founding的member,但就不要讲OpenAI和Anthropic了。

这个我们后面也可以展开,就关于黄埔军校这个问题,我们可以先把Cerebras的投资过程聊完。你们后来上投决是一个什么过程?包括当时是哪些人来一起做决策,投不投?对,当时在投决会上是我的老板Jennifer李,就是百度的CFO,还有陆奇,还有Robin本人。我当时觉得非常欣慰的一点啊,我觉得作为一个投资人真的是非常的幸运,就是我我当时把我的investment

memo大概十几页纸吧,就是中文一稿和英文一稿,在四个星期后我发给了投决会之后呢。

应该就是不到两天的时间,他们就拍板了,就通过了这个投资。这点上,我当时觉得是理所应当哈。但是现在就是因为我后面又在高通这种情况的CVC,包括还有也知道其他VC的一些投决会之后,我才知道说当时多么幸运,有这样一个有眼光的一个投决会。首先,他们是对这个非共识的投资,他们是有共识的,就是要去投一个。非常具有颠覆性的一个算力的这样的一个系统,然后百度从上到下,我觉得都是非常支持对于Cerebras这样的一个投资的,哦,所以当时的投决会,我觉得就是无痛秒过。

你还记得李彦宏和陆奇他们有一些什么具体的?评价或者反馈吗?呃,这个具体评价反馈我不太记得,当然我也不太方便透露哈。但是就是总体来讲,当时他们这个投决会非常高层就是他支持。吴文达不在这个投决会上,他不参与投资决策。哦,当时在投资的时候,吴文达已经离开百度了,所以他不在这个投决会上。Andrew是二零一七年的四月离开百度的。

然后我这个投资是二零一七年的八月份投资完成的,八月九月的时候投的,所以那个时候投决会上,当时投决会就是CFO还有陆奇还有Robin,所以你从接触上这个项目,因为是一七年初就去找去聊吗?然后到最后投,中间时间还是挺长的,有几个月的时间。应该说,我一七年初的时候还不认识这家公司,我是到一七年的上半年后期的时候接触到这家公司。

当时也是很巧,就是当时是我把那个Co2的funding partner,就是Thomas Lafond,把他拉到百度来catch up,就是当这个人现在是大佬了。然后Thomas当时就刚好也见了一下,就是当时刚好就是Jennifer也在美国这出差,然后他就给我们有一个meeting。在meeting的过程中,我也就提到,就是说我们对算力的一个构想。

然后因为Thomas Lafond他本人当年是半导体的。研究员就非常有意思,就这个人他是Cerebras的 founding partner,然后他同时也花过很长时间研究半导体,所以他当时对我讲的这个topic就很激。然后就开始跟我说啊,他投了一家公司,非常的就颠覆性,叫Cerebras。然后跟我讲一下,然后我们当时就眼前一亮,就立刻开始去看这家公司。

那个时候我们已经开始就是说已经看过像Graphcore、Wave Computing这样的,就是处在一个很零零的状态,就是没有觉得想投这家公司。然后直到Cerebras出现,然后我们当时就是眼前一亮。当时百度的管理层,比如说像李彦宏,他有提过可以等流片之后再投吗?啊,没有,因为你们刚好在流片之前投,没有。

我觉得这个时间不知道你们怎么考虑的,没有,没有,就是当时百度的高管们没有去干涉这件事情。我觉得百度的高管们,你想能够在那么早就成立百度美国研究院,像Robin本人那个时候那么早就参与去。就是你知道他们当时去bid这个Jeffrey Hinton的这个lab,就是那么有vision的一个一群leadership,就是我现在想想,他们一定是对于这样的一个颠覆性的投资,他们是支持,是我觉得是理所当然的。

你还记得当时你们投进去那会儿估值是多少吗?包括它对比你看的其他公司估值是不便宜的。当时估值差不多,我记得是七百多个面链。我现在还回去看我的这个当时的 memo,很有意思的是,七百个面链是个不便宜了。在当年一六年、一七年那个背景下,这种都快要到 unicorn 了,对不对?所以就是说这个公司当时是不便宜的,很贵的。

然后我测算它的收入。我对于他的收入的测算是,二零二五年大概可以达到AI的这个训练的市场芯片市场是二十二个点点。我现在想想,我这测的有多离谱?二零二五年的这个AI,现在看他的。这个训练时长呢是比二十二个变脸大了不知道多少个量级了,所以在我当时在推测二零二五年大概二十二个变脸训练时长的情况下,我对于Cerebras这个投资的回报率的大概的预测是三到五倍,所以就是可见我当时真的是小看了这个AI的整个这个腾飞的速度。

嗯,但是你当时测算的它的市占率要比较高,对吧?我测算市占率应该会有大概百分之二十左右吧,这样对它的一个市占率进行的一个测算。嗯,就现在的情况是,它的绝对收入体量,包括它签的一些订单是非常大的,对。但是它的市占率是很小的,因为这整个盘子特别特别大。嗯,是的,因为就是在二零一七年到二零一九年的时候,其实Cerebras经过了一段非常艰难的时光,就它确实那个时候流片有一些推迟,因为这个架构的原因,就是我刚才讲的那几个风险。

其实我们当时对于风险测算的下限,它基本上都发生了,就是它的流片,还有一个,还有一个延迟,差不多就是可能延迟了一两年,就是当时我们风险测算的下限,它基本上都发生了,所以就是可见,就是我觉得这个。团队的韧性,团队的这种坚持是非常非常重要的。也就是说,虽然他现在的这个市占率还不高,可是他这个架构他成功了。

所以现在成功了以后,就是要在这个推理市场上进行复开。我不认为说他在训练市场完全没有市场,我认为是有的,只是说现在大家对于 Frontier Lab 来讲,他既然在训练上已经用了英伟达。GPU它其实已经成了这套体系,你让它去换一个训练芯片,对他们来讲风险也比较大。而这个Serverless的这个解决方案,刚刚好对于推理这个场景来讲是一个非常好的解决方案。

所以它现在的大多数的客户都是一个推理,就是在推理场景下的这样的一个客户。因为 OpenAI 的两百亿美元的订单还没有交付,这个阶段能说它推理这个市场成功了吗?它推理也是需要 Infra 配合的嘛?它的这个算力结构很特别,是不是导致 Infra 要改动的比较多?就不知道生态上能跟上吗?我觉得是需要一些定制化的,因为公司已经到这个体量了。

我认为他们就是为了 OpenAI 的这样的一个订单去。定制化这样的一个 infra,我觉得是完全必要的。那就是看他能够多快去交付这个解决方案。他们自己团队就能搞定这个事儿,是吗?我认为可以搞定。他们在当年刚刚成立的时候,那八十多个早期的这个员工里面,那么多的 PhD 里面就有相当多的人是做 infra 的,就是他的这么多的,他的这个人才结构是非常全面的。

嗯,那他们现在会和一些第三方的这种 infra 公司合作吗?比如说像。SGLAM这种生态里也成立了新的公司吗?我认为是有一些合作的,但是我不能确定。我也最近想给他介绍一些生态系统里的公司,比如说像做agenta AI的一些infra,因为。AI

agent这样的一个推理市场,也是他们一个非常是符合他们这个 value proposition 的一个市场,所以我觉得像 AI agent 的 infra 也可以跟它进行一些合作,这样的话,它整个 workload 在跑起来就会更顺畅。

你说一七年到一九年是这个公司比较低谷的阶段,非常艰难。对,那个时候很艰难。当时就是因为我两周前去参加他的这个IPO的庆祝会嘛,在纽约。当时在那个庆祝会上,他的几个早期投资人都纷纷发言,让我非常感动的,他们每个人都讲说,在一七年到一九年的时候,公司遇到了很大的挑战,就是出片也没出出来,各种风险层出不穷。

一会儿是这个compiler搞不定,一会儿是这个WiFi的这个油片重量问题,什么都在依赖。但是这个board就是对于Andrew的支持,我觉得是非常大。就是我我觉得这个公司能够成功。他的早期投资人这三个董事会成员对他的耐心等待也有很大的关系,因为你会发现说,你想让一个计算芯片取得成功,真的是没有十年的时间,它是很难实现的。

他现在三个董事会成员是Benchmark Co. Two,还有哪家机构的人?没有,是Benchmark,还有Foundation Capital,还有Eclipse。他在成长过程中间算是一个对主流基金来说比较抢手的项目吗?我觉得不算,就是在你看他包括最后就两年前的那轮投资的时候,我记得估值是。高投那轮是两个多变量,然后它后面还有四个变量、八个变量的这种投资。

八个变量那个时候应该有一些比较大的基金进来了,但是在两三年前的时候,主流的一线VC是不敢投的,就是他们不不知道这个市场到底能够有多大。他们对于Wafer Scale这种构架,我觉得他们没有这样的一个这么深的一个insights。然后再加上当时 ChatGPT moment出来之后,训练芯片就一边倒了,都在用英伟达。

所以那段时间反而是它市场前景没有那么明朗的时候,就是这个芯片流片出来了,可是好像在训练芯片上又没有去用,因为它可能出来的比较晚,就是在训练这个场景下已经大家都在用英伟达了,就是这个迁移成本比较高。那段时间我觉得也是比较难熬的一个点。然后他那个时候有一个客户,就G40 Two吧,就是既是他的投资人,又是他的客户,所以那个时候就是有一个那种单一客户的一个风险。

嗯,那如果说他当时流片更快的话,是不是有可能现在的算力结构还挺不一样?你觉得会吗?我觉得这个问题非常好。我觉得如果他当时流片成功了。或许会不一样很多,就比如说 OpenAI 当时在训练模型的时候,对吧?是老黄拿着这个 GPU 送过去的。如果那个时候已经有 Serverless,那就是 Andrew Felman 拿着 GPU 送过去了,是不是?

所以,我我觉得就是确实是,如果它出现。更快一些的话,或许这个历史会被更多的改写,那就得特别快,因为其实一七年Transformer发布之后,OpenAI就已经开始探索这个方向。没错,没错,而且你看,就是说现在的这个Frontier Lab训练这个模型的GPU,它都是一个集群吧,cluster,然后这个data center,你的基建已经投资了,已经打下去了。

这个,所以你你要在这个时候去换到其他的芯片上去,它其实是个非常大的系统风险。我觉得这个可能确实也跟半导体行业的周期有关。就是它本身涉及到硬件迭代周期就比较长,然后大家要去使用一个产品的时候,还是会非常考虑稳定性和它的良率能不能规模交付。那英伟达GPU毕竟是一个积累了这么多年的产品,软硬件都积累了嗯这么多年。

对,其实我刚才那个假设,我觉得回头看它也很难成立啊。对,就是因为它本来就提了一个比较新的方案,就我说Cerebras。然后这个新的方案它成立也没有那么久嘛,就在一七年的Transformer出来那个时间节点,它成立时间没有那么久。然后这个新的方案你又要经过物理制造的验证,就反正在历史上我感觉半导体行业就没有这么快,嗯。

你总是会出各种问题啊,对,没错,就是假设流片成功,那你也要能够规模生产交付,对吧?然后你的这个 compiler 就是软硬件也得跟上,所以确实比较难这么快能够达到一个理想状态。如果你不到理想状态,那么这些 frontier lab 就不会用你。我觉得可能这也是和大模型或者软件公司不太一样的一个地方,就是它还是挺厚积薄发的这种硬件公司。

是的,是的,但是我觉得反而是现在是个好机会,就是说,你看,包括他跟 OpenAI 的合作,包括像 Anthropic 也在去找这种定制化芯片,对吧?因为你现在的这个对于 compute 的使用,要一部分是训练,相当大的一部分是推理,而当你的推理变得非常非常大的时候,那 Cerebras 它的好处和优点就都凸显出来了。

所以我觉得 Cerebras 其实与其去掰扯这个训练,还不如把所有的精力都放在把这个推理的 workload 做好上。所以我觉得,就是战略决策上来讲,你去吃这个推理的市场,我觉得是个比较正确的一个决定。呃,说到这个周期的问题,这个公司还有一个特点,就是这些创始人年纪都挺大的。我不知道这个当时你投资的时候会是一个问题吗?

嗯,是是,但是你知道,就是半导体的创始人年纪都不小,因为你这个半导体周期就是很长。你说,就安柱他还是个连续创业者,对吧?但当你前一个公司Cerebras被AMD收购。那你肯定也是需要一个相当长的周期。你如果我们要想投连续创业者,你经历过一个周期,那你至少是已经有十几年了,对不对?更不要讲你之前的工作学习经验了,而且之前很多半导体的创业者们都是PhD。

那所以这个团队他年纪就不可能小,而且我觉得有一定的年纪,那个时候Andrew应该已经四十多岁了吧,反而是个优势,因为你在这个业界有这么多的积累,然后你可以把你每一个节点上的风险都去解决掉,那你就是需要这么多业界的这些关系啊、人脉呀,还有一个我觉得对于这个整个生态系统一个非常深的一个知识,对,也是需要的。

所以,对于半导体创业来讲,这个经验和年纪,我觉得是个加分项。对我印象比较深的是,他们开始创业的时候,他们另一个联创是他们技术负责人 Larter Batch,那会儿已经六十了,但是他现在已经退休了啊。现在他们有新的 CTO 了啊。对,年纪都不小了。CTO 当时上应该还比较。我觉得他是比较年轻的,就可能跟我们是同龄吧。

对,就现在新的CTO。对,对对,其实那个CTO上,他也是当时的Founding Member之一。哦,他应该是Founding Member里最年轻的了,那比较年轻的,当然现在也是比较有经验了。然后想再回来聊一聊百度的一些情况。就是除了在百度投了Cerebras之外,你当时在美研做AI投资的时候,还有一些什么公司啊?

以及当时百度的整个投资主线会是怎么去布局的?我觉得当时百度就是很坚定的要投AI,然后除了AI之外,还有自动驾驶这个方向。所以当时我还有一个花很多时间呢,就是看自动驾驶。那那个时候,对于自动驾驶的这个硬件,像这个激光雷达,还有一些算力,也做了一些布局。当然,那个时候像百度等出来做的那个地图线的创始人余凯博士,还有一些其他的做自动驾驶Level

Two、Level Three的这种芯片公司,我们也去看了,也都做了一些布局和投资。

其实当时有一个点很可惜,就是我觉得百度真的很有前瞻性,就是那个时候我们当时想要去做一个。当时百度有百度 Capital,还有百度的 Ventures,然后当时我还参与过一个百度 Growth Fund 的一个募资,就是想要去布局更前沿的一些 AI 的一些整个全栈的这样的一个系统吧,就是并且把这个基金能够独立出来,因为那个时候已经有一些地缘政治的原因了,一些风险了。

然后那个时候我看了很多公司,我当时还有一个 Thesis,就是要投 Data 和 Data Engine。所以当时我还 source 了那个 DataBricks,也是很早 source 来的。然后其实 OpenAI 当时也在我们的 deal list 上,因为那个时候呃,我记得 Sam Altman 就是跟百度的关系还是不错的,因为当年就是陆奇应该是他的一个 mentor 吧。

所以像 OpenAI 那个时候也是愿意接受百度的投资的,当时都在我们的 deal list 上面。你说 OpenAI 愿意接受百度的投资是哪一年啊?一七年吗?一七一八年,一八年的时候,那时候他们也比较艰难。那个时候我们就看的非常早,然后那个时候我也是在参与在那个基金的融资过程中融了很长时间,就是非常的可惜,因为那个时候因为地缘政治的原因。

就是很多的LP本来想要去参与这个基金的,最后都打了退堂鼓,所以最后的最后,这个基金就没有做起来。我觉得,如果这个基金做起来了,可能现在百度应该是全世界最牛的这个sharholder吧,会实现所有的那些放天量的这些sharholder。就确实是比较可惜,我觉得这可能也是我比较有点意难平的一个事情。所以当时在筹备新基金的过程中间,对

OpenAI、对 DataBricks 这些在 list 上的公司的态度,你们的想法就是募到钱之后是会投的,这是比较确定的事儿。

那是一定会投的,对,那是一定会投,因为当时它已经是我的 Mathesis 里面了,就是包括。像 DataBricks 这个作为一个 Data 的 Warehouse 呀,而当时还有 Data Engine,当时连 Scale 都都在我的那个备投名单上,因为 Alexander Wang

二零一六年就出来做了,我当时对于 Data Annotation 它也是我的一个 Investment Thesis。

后来百度复盘过这个事儿吗?因为看起来是错过了很多投资机会嘛,嗯,后来我也离开了。就是我觉得不是百度错过,是当时地缘政治的一些原因,让我们没有办法去把那个基金去给它做起来。所以这个也不是说哪家公司的问题啊,是当时处在这样的一个中美的这样一个状态下,你这件事情就很难做起来。其实当时在这个地缘政治出现问题,这个基金不能做了以后,我是拿着这个

investment thesis 去聊了很多美国一线的 VC,我聊过 Insight Partners,聊过 Sequoia,聊过挺多的啊,还聊过 Benchmark。

对我当时就去找 Benchmark Eric,我想你投了这个 Cerebras,你是不是能够答应我的这个 investment thesis?结果他们没有一个人答应,都说他们要投SaaS,不投这个,不再投这么高风险的AI了。一七一八年的时候,嗯,确实,嗯,应该那个时候已经到一八一九年,那个时候我已经快要离开百度了。

我当时就想着说,我这个基金做不起来,那我拿着这个thesis,我总能碰一碰,能不能碰到跟我达成共识的人吧?可惜没有这个命。当时就是聊了这么多的VC,没有一个人赞同的。对我就是在那个比较遗憾的那么一个情况下,当时啊,我当时就是加入了高通创投。那在硅谷这件事情开始转向是什么时候啊?就什么时候大家的。重心从SaaS转到AI,我觉得就是ChatGPT可能爆发以后,可能二零二二年底的时候还没有完全意识到。

我觉得那个时候也很有意思,因为二零二二年底的时候其实是写扩呀最早写了一篇文章,就是说。Generative AI is here,对吧?就是你如果去看那篇文章关于Generative

AI的一个描述,其实Sequoia的那个年轻的一个partner叫宋亚黄他写的,但是我觉得他当时写的那个文章可能也没有引起一个很大的重视,因为你如果看Sequoia,他也是整个错过了这一波,他没有一个Frontier Lab他押上,对不对?

就我这里不是要批判 Sequoia,我是觉得 Sequoia 他也没有踩上这一波,所以就是说这些比较顶级的 VC,我觉得都是到二三年后期、二四年才开始意识到说要去全线压住 AI 这个战略的。所以它其实比中国VC也没有早很多,就是在硅谷,大家真的把大模型看作一个很大的投资机会。像Kimi啊这些公司,它的创始时间是什么时候?

我不太记得了。但是我觉得像OpenAI,你想它是二零一五年就创办了,Anthropic二零二零年创办的。在这两个 frontier lab 创办的时候,他们的融资都不是一帆风顺的,也都是对于美国的 VC 来讲,就是在 ChatGPT

突然爆发之后,他们才意识到。这个事情可以做成了。对,Anthropic最早的投资人其实都不是VC,一位是Eric Schmidt,就是Google的前CEO,然后还有一个是哈萨比斯蒙。

对对对,我这里还可以给你讲一个小故事,就是二零二零年的夏天,当时OpenAI的一些百度的前同事,就他们很多都是W的好基友们。因为他们当时跟我在百度的共事过,而且他们是当时最早,就是很早跟我讲这个Deep Speech Model,包括早期的这种Scaling Law的雏形的这些人。然后他们就给我打电话说:“那那那个,给你讲一个激动人心的事儿,GPT three我们快要练出来了。

我记得很清楚,他们当时我就不讲名字了,因为他们都是David的好基友。”就那个时候是二零二零年的夏天,那时候人家高通了,他们给我打了一个电话,他给我发了一篇很长的文章,说GPT三是怎么回事,说我们当年在百度想干的这件事儿快要干成了,然后那个在OpenAI里面干成了,这个模型也练出来了。我说那这个模型聪明到什么程度啊?

因为当时在百度的测算说,如果你想练成一个像维基百科这样程度的一个模型,可能需要。将近快十年的时间,需要消耗很多很多的算力,上亿美金的算力。当时这些在百度都是测算过的,所以,我我都还记得我说你们到这个阶段了吗?到这个程度了吗?啊,当时那个朋友就很诚实的跟我说,嗯,还没有到,还会胡说八道。那是二零二零年,距离就是GPT的当时的发布还有两年,但是GPT三当时已经正在做Post Training了。

所以他们就跟我讲这样的一个这样的一个阶段性的一个成果,就很激动。然后他就跟我说:“我们现在都想出来。”我说:“为什么呀?”他说:“因为他们不再信任三维奥特曼,因为他们觉得。”他对安全这个事情就是很不重视啊,等等等等,就跟我吐槽了一堆,然后就说他们要出来创办一个新公司,然后就问我说有什么意见,能不能给他们做这个 device?

那个时候是在疫情的时候嘛,就那个时候还没有疫苗。我当时就说,我说我能给你什么的 device 呢?就给能给的 device,跟当年一样,就是要融很多很多的钱去买算力呀。我说你们觉得自己能融到吗?然后他们就说好像比较难,也不知道能不能融到。我说那这样的话,这个事情就是一个大挑战,就是你你要去找到能够给你钱买算力的人,而且主流的VC是不会给你投这个钱的。

我当时就是很诚实的跟他们讲这个事儿,哪怕在高通也很难去推动这样的一个投资。所以当时就是这个电话,就是以这样的一个结论来结尾的。我其实当时是很想去跟他们见面的,可惜那个时候在疫情最严重的时候,然后又没有疫苗,所以就导致了我当时没有那个勇气去去城里找他们。而你看到后面的,sorry,就是Andreson的那个投资人去跟他们见了一面又一面,去他们出主意怎么去融资。

对,所以我觉得很多时候这都是命运。然后就出现了后面的Anthropic。所以这个当时他们想出来创业的时候,我我确实知道。对,HOC也是他的早期天使。对,HOC的那个投资人是他早期天使,而不是H十六C。二十六,H十六C应该没有给他投。那个人是叫A N J,他的名字是,然后是他MIDA啊。对对,是哪个人?

哦,所以也是个人投的,可能他也没说服成。对,他是个人,他是个人去吃吃的。当时那微信没有这个conviction。因为那个时候,你想GPT三还在post training的阶段,然后你离这个当时的 hallucination是非常严重的,所以你离到那个GPT。出来用的那个moment,你还有两年多的时间。

但那个时候,我没有人能够想到说他两年后就能够问世。我觉得那里面当时的这个generalization的这个效应,就是他的那个aha moment的出现,应该就是在二零二二年的时候。你在百度的这几年,百度美颜除了你比较熟悉的投资这一部分之外,观察其他团队他们是怎么运转的?因为当时百度美颜就全部都是研究员AI researcher,还有那些做自动驾驶的这些团队。

当时是多大的规模呀?一共有多少人啊?当时应该有至少两百五十多个人吧,就是在顶峰时期的时候,研究员们,嗯,确实都是。全世界最顶、非常顶尖的那些研究员们在一起共事。你加入的时候已经搬到 Sunnyvale 了,是吧?对我加入时的时候是在 Sunnyvale 总部。对我我记得那个时候,就大家每天中午一起吃饭,研究员们都在讨论不同的这些研究的话题和topic。

我觉得那个阶段还是非常难得的。我上个星期其实还跟Greg catch

up。然后他们都很感慨,就是说那个时候,就是一堆神仙打架的年代。那个时候的人才密度,包括在Google、DeepMind都是没有过的,因为大家都是,我觉得相当一部分人可能是真的冲着安卓来。还有就是因为当时百度的创始人像Robin,他们很有vision,去发起这个研究院,让这些researchers们能够去实现他们心中的一些当时的一些对于AI的一些理想和构想。

而且给了非常充足的budget去买这个GPU,我觉得当时在世界上是可能找不到第二家研究院是这样子的。而且当时为了挖人才,我记得真的是就是angel来了。百度之后带来了很多 DeepMind 的一些人才,那些人也是愿意跟着 Andrew 一起过来去做一番事情。你后来和他们其中的人聊过,包括 Andrew、吴恩达为什么要离开,Darrell 为什么要离开的原因吗?

没有去细问过,我觉得这他可能也不方便跟我讲吧。那当时的研究员在百度美研,他典型的工作状态和氛围是怎样的?我觉得正好可以澄清一下,因为大家一直有一个段子,就是说 Dario 在百度受到了一些不好的对待,导致他对中国很不爽。但是这都是开玩笑啦。啊,Dario

当时能够进百度,其实是一个他职业生涯中很重要的一个环节,因为当时的 Dario,其实 Dario 是 Greg 资招进去的,Greg Dimens 当时就是认识了 Dario 之后,我觉得这个人是个人才。

就是他对AI的一些构想非常的深,而且他就是训练模型能力也很强。即使他没有AI的这个background,因为W当时是数学和物理还有生物的一个background,就他不是一个computer

science或者AI的这种科班出身的一个研究员。所以当时把他招进来的时候,可能内部还有一些质疑,但是是Greg就是发现了这个人才把他拉进来的,这个故事也是基于都是每年的一些同事告诉我的,就是当然,当然我本人是不是这样子认可我不确定,只是说这个是我听说的一个故事。

那那个时候他们就是可以去根据自己的一些研究的构想。去发表paper,去做一些做一些analyt研究,我觉得那个氛围当时是非常自由,而且是一个非常鼓励他们去进行这些发现的一个一那么一段时间。哦,那这个Daryl的背景和刚才我们说到他早期投资,我觉得也有个相关性,就是H十六Z投他的这个合伙人。也是学生物学的,生物科学背景,可能他们以前认识,或者他们比较有共同话题之类的啊。

对,我觉得非常有可能。嗯,大家都说就是百度在AI上,它有一些起了大早赶了晚集的状态,包括它一一年就成立了百度美研,然后。一五年Deep Speech这篇论文就看到了,去扩大数据和算力是可以训练出更智能的模型的。但实际上,最后这件事情并不是百度自己做成的。对,这点是可能会让人觉得有点可惜。你觉得这是为什么?

我感觉还是和可能和当时的地缘政治有关系。我觉得那个时候就是说,在一八年、一九年之后,因为地缘政治的这些研究员,我觉得最后他也会离开,因为在中美这个AI在有这么一个 compete 的这么一个情况下,就是这些研究员基于这样的一种压力吧,我觉得可能还是是是会选择离开的。所以这个是我觉得地缘政治是很重要一个原因。

对比来看,即使在中国公司训的中国模型里面,百度现在也不是最靠前的。嗯,我对中国的情况不太了解,因为我的整个在百度的这个工作期间都是在百度美国,但但是我觉得最早期那批人工智能的researcher是确实是在美国的。比如说,从Hinton的lab里出来,包括吴文达这些最有vision、最有远见的这些人,是确实是在美国这样硅谷这个地方,是因为百度美研起步很早,它一一年就成立了嘛,那这样十五年前了,对,起步非常早。

我觉得可能是在美国这边开始发展起来之后,慢慢的大家看到了创新的这些信号,AI的这些信号,然后在中国才在开始布局的。我觉得。就是中国的这个AI的发展,在我看来,就我从一个在美国的投资人看来,我觉得美国是在颠覆性创新上它更有优势,而中国在这个应用和追赶上更有优势,因为中国它是一个AI应用很大很大的一个场景,它有这么多的摄像头布在街上,当时computer

vision的model,我觉得中国是非常非常强的,市场也非常的大。

那语言模型的话,还是在硅谷这边先创新开始的,然后再到中国。所以我觉得中国它一直是呈现的是一种工程能力非常强,可以迅速追赶,可以在落地场景上,呃,加快应用的这样的一个优势。而美国更多的是在一种就是说颠覆性的这种架构和元认知上的一种创新。嗯。其实你刚才讲到,就是一一年时候在美国,我本来想到一个反例,就是微软亚研院也有很多AI的人才。

但是你后面说的,我觉得你又说服了我。确实,微软亚研院那会儿,我觉得更强是在计算机视觉上。而计算机视觉,你要是再往前追溯,那它可能是,比如说零八年前后,然后发现CNN非常有效,然后到一二年ImageNet、AlexNet,那确实也还是从美国这边开始的。然后是语言模型,对吧?NLP,嗯,这也是从美国开始的。

对我觉得,至少过去十几年里,你刚刚说的这个模式肯定是成立的,就是美国的很多AI创新,它是跟作为一个起点吧,然后再扩散到全球。对,是的,是的。我觉得百度倒是有两个留下来的AI的成果。一个就是自动驾驶,一个也是和你投资Cerebras相关的,就是昆仑星。昆仑星,对,是的,我觉得百度对自动驾驶的研究是非常的早的布局啊,包括它最后坚持下去,确实要给百度点赞的这一点上。

然后昆仑星的时候,对昆仑星当时的一个负责人,那个时候我在投Cerebras的时候也跟他交流过。我觉得那个时候他就已经有在想要去创办昆仑星的这么一个雏形了。所以我觉得百度能够把这个昆仑星做出来也是很了不起的。你们百度的前同事在一起有复盘和讨论过过去美研这十五年的一些得失吗?你觉得错过了什么大的机会啊?

对,我觉得大家心里还是比较唏嘘,觉得是有一些很可惜的地方,但是好像感觉这可能是历史的一个必然,因为这是作为一个中国的公司在美国去做这样的一个AI模型的研发,本身就会遇到很多的阻碍。我后来想想,在一八年的时候,当时我和我的前老板,我们想要去。做这样一个AI的基金,那个时候可能是已经因为我已经预见到这种地缘政治的一个阻碍,那我就觉得说要成立一个独立的AI基金,那就去把这些厉害的人都投了。

那个时候已经看到很多趋势,就是从百度离开的那些研究员们。就是他们纷纷都在创业,就觉得非常厉害,就觉得应该要把这些都投了。所以那个时候也是我们去啊,想要去募集这个基金的一个初衷吧。但是也很可惜,就是这个基金也是遭到了地缘政治的一些原因,没有办法募起来。我觉得可能如果当时我更成熟一点,更勇敢一点。可能去破釜沉舟的,应该是可以把它搞定的。

但可惜当时我太年轻了,就是没有管理VC的一个独立VC的能力。确实,如果把百度美颜出去的这些人都投一遍,包括像Poly、小马,对吧?呃,当然还有Anthropic也可以算吧,嗯,还有Dario,但绝对的,对,因为当时你想他们出来创业的时候是第一个给我打电话的。所以,如果当时把这些人都投了,那应该是非常了不得的。

所以,我就希望说,如果当年我再有一些经验就好了。比如说,如果当年我已经做投资做了可能五年六年。可能很多事情就会不一样了。可惜我当时等于说是我第二年、第三年做投资嘛,就是还是太年轻了,没有办法。支棱起来这样的一个基金的构架,你后来自己想从百度离开是一个什么契机?是为什么呀?啊,也是因为当时这个基金没有办法运作下去了,百度也就在美国也就没有投资团队了,所以再加上那个时候我带着这些investees去找这么多美国的一线VC,也没有人去认可这件事情,因为等于说是在共识前太久了,就特别反共识吧,就是在共识到来很多很多年前,等于说是。

所以在那个时候,刚好高通抛来了橄榄枝,就是高通,他愿意去在端侧AI去寻找一些应用场景,然后我就很自然的情况下就加入了高通。嗯,那最后这一部分我们正好可以聊聊,就是。你在百度,包括在高通,整个十年的科技投资过程中间,你看中的这个方向,比如说和。算力啊,和infar相关的这些领域,看到了一些什么机会啊?

尤其我觉得可以重点聊聊跟半导体和算力相关的,因为这个也是整个AI最重要的一个基础,然后整个市场规模也特别大。我觉得我的投资的这个thesis就是还一直都还挺清晰的,就是在百度的那几年,我当时就是定的是对于算力的一个投资。然后后来过渡到 data engine,就是我觉得要去投跟 data warehouse、data engine 相关的一些这种公司。

这个时候是在以一个云为基础的,就是说以一个 training 这样的一个 training 大模比较大的这种大规模的模型,不管是视视觉模型还是语言模型。为基调的这样的一个情况下,有这么两个呃 investment thesis,当然还有自动驾驶,还有自动驾驶的这个硬件层面,还有软硬结合的方案。这是我在早年的时候形成的一些投资理念吧,投就是 investment thesis 投资方向。

后来到了高通以后呢,因为高通非常的强调端侧AI,那有那么三年的时间,我看了很多就IOT和端侧的一些布局。那当然我我当时有一个lesson

learn,就是我发现这个端侧AI在美国,尤其是硬件IOT,它不是那么容易腾飞,因为端侧就是跟硬件相关的这种投资,在美国本土,它的土壤不是特别的好。真正的IOT可能在中国更能够跑通,相比美国的话,基于这样的一个全球性的视角,因为高通它也是一个全球性的公司,我们就发现说。

IOT的这些投资在中国明显要比在美国成功了很多的多得多,因为它的应用场景在中国也更多。你说的IOT端侧投资,举例来说是一些什么?比如说。智能设设备吗?对,比如说智能的这种智能家居之类的。对对对,智能在端侧的一些设备,比如说早期的一些机器人的一些投资,会发现这个。当然,这个机器人投资也是在现在所谓的这种Wolfram Model Physical AI之前啊,我们就发现说。

这个场景其实在中国,它更多的有落地的场景,相比在美国的情况下,然后就到了 GPT moment 出现的这个时间段,二零二二年的时候,我那个时候有一个觉醒期吧,就是发现说,哇,这个大模型的到来比我们当时在百度测算的时间要早了好几年。然后那个时候我就突然就是说觉醒,就是我要赶快把我投资再抓回到这个 cloud-based 这些 infra 上来。

所以我从那个时候开始去思考说,OK,我在二三年中在想说,那后面怎么样?怎么去布局?而你会发现,从二三年开始之后,我觉得这个时候可能是算是一个AI二点零到三点零的过渡吧,它就整个在加速了。不管是模型的进步也好啊,还是这个Enterprise的一个Adoption也好,它开始在加速了。我其实,在二零二三年的时候,二四年的时候,在高通内部做过一个分享,就是我觉得Enterprise

AI的到来会比我预想的快。

我当时给了一些数据,给了一些场景,我当时提出了Coding AI的一个概念。就是那个时候,Coating应该已经开始,就是在微软的这个Copilot上面已经开始有些尝试。那个时候还是Before这种所谓的这个Cursor

Moments。我当时就觉得这个是一个会爆发的一个场景,就是提出了一些构想。确实,就是因为有那几年在百度的基础,然后你在那个时间点上往后看的时候,你就看得很清楚,说这个大AI engine,然后一些enterprise AI的这些应用adoption。

还有,当然要持续的加注算力,然后还有一些AI infra的一些投资,因为在这个大语言模型的时代的这个infra,它是完全是一片空白的。所以那个时候,二零二三年到二五年期间,我觉得很多的AI infra,包括像rag呀,包括像inference的这种optimization啊,还有你怎么去deploy这个模型啊,这些一系列的infra,都是有很多很多下注的机会的。

嗯,那你现在有看到,比如说算力层和云层面什么新的机会吗?就整个大的infra这一层吧。我觉得大力infra这层,因为今年开始就是推理,它占据了整个算力很大的一个部分,所以我觉得推理成本的一个优化会是AI产业的一个很大的一个战场。这个推理包括,就是说,你去帮助这个模型在应用层面的 deployment inference 的这种 deployment 推理的这种部署,还有多模态的一些推理的优化。

因为你想,就是说,这个推理成本。它最后会反映到你的这个 profit margin 上来。如果你的不管是模型的应用方也好,还是终端的消费者来也好,也好。呃,你的如果你能够把你的推理成本降下来,你的 token cost 降下来,那么你的这个 gross profit 一定会有一个很大的量级的提升。所以这点上,我觉得是到了 AI 的一个 business model 优化的一个下半场。

所以我觉得对推理成本的这样的一个优化很重要。这里面就是有一家公司叫 Ag,它被 Nervous 就今年三月份的时候收购了。它这就是一个非常典型的进行推理优化的一个创业公司啊!这家公司我是去年八月份它刚刚成立的时候。当时我就发现了,他也是通过MIT的一个呃教授韩松的一个好朋友的一个介绍,他的这个founder就是韩松的学生。

所以当时我们对于这个推理的优化,因为可能Qualcomm它在这种端侧推理上它比较敏感,所以我对于推理优化这个事情就非常的敏感。我就觉得这个事情是后面端侧爆发了以后非常重要的一件事情,就是它对于这个整个。A I的一个business model都会有一个质的一个提升。嗯,韩松以前也自己创业做过芯片公司神剑。

啊,是的,是的,它是联创之一,对,嗯,哦,所以这是一类,对吧?对,这种我理解,那它就是第三方的一个infar优化的公司,它是偏软软件系统层的。对,它是偏系统层的。那么你也可以通过这个 inforancing,就是通过这种 inforancing optimization 或者 token optimization 这个人能力,你也可以延展到去说做一个这种和 cloud 相关的 business。

所以就是说,其实这一层它跟 cloud 结合是最自然的,因为它可以直接帮助你在 cloud 上部署的客户进行一个这样的 inforancing 的一个优化的这样的一个,帮他去部署的更好。对,之前黄仁勋划的时候,就是把云和英富尔是划在一层的嘛,是它的五层蛋糕的中间的第三层,最下面一层是能源,对,然后再上的一层是芯片集群,到第三层我们就是云和英富尔这部分了,所以这个是你会重点看的一层。

呃,我觉得这个已经在发生了,就是这个现在是一个很重要的一个事情,因为这个对于不管是模型厂商还是对于应用场景来说,都是很重要的一个环节。那这个领域除了你刚才说到你自己投的这家已经被收购成功退出的公司之外,有什么你觉得这个我没投,这个叫晨曦小这家公司没有投上,虽然看得很早,很想投,但是卖的太快了。所以也要恭喜这个创始人哦,就是他后面就没融了,是吧?

相当于他很快就交易了,嗯,没有再融了,没有再融了。所以就是你可以看到,就是这个事情的重要性。那这个领域,你你觉得还有什么比较好的、有意思的公司吗?你觉得值得关注一下?当然还有了,我可能暂时不提公司的名字。OK,你要投对吧?对,因为这个还处在一个,我觉得现在可能是处在一个共识的初期阶段吧,还是有两三家在做的。

之前在Cerebras上市的时候,你写了一个社交媒体的分享。当时你说到伟大的投资发生在没有形成共识之前,你觉得现在有什么你很相信,但是你认为它还没有形成共识,是一个很好的投资机会的方向?这个问题好难回答呀!我觉得这两年的早期投资其实非常难,因为就是因为其实AI已经是个共识了。当你是一个共识的时候,你所有的投资人,所有这个产业链上的人都会去想方设法去挖,说我还有没有什么样一个非共识的机会?

所以这个窗口是越来越短的。就你想说,我们当时投Cerebras,到现在它上市,这是一个十年的时间。然后你如果是在,比如说二零二三年的时候去投Anthropic或者是OpenAI,它可能也是一个。共识刚刚要形成,它还没有完全形成共识的一个窗口期,你至少还是有一点窗口期的时间,就可以去做这个投资布局的。

但是现在就是我觉得非常难,越来越难了。包括去年的时候,我当时去年还写了一个给身边投资人朋友的一个信吧,这个信我没有去公开。就当时我在,我记得是二零二五年的二月份的时候。我当时几个投资的方向就是包括 general purpose AI agent,那个时候我列举了 Manus 和

Jasper,然后还有包括像一些 video model、multi model 的这些公司,还有包括一些 multi model 的这种 infra 公司,像 Fil Fil 这家公司,还有像一些 physical AI 的一些公司。

哦,还有一些 vertical AI 的一些公司,就是那个时候,我觉得应该投的这些公司,其实它给你的投资机会的窗口期只有两到一到两个月,就是你看中以后要立刻下注。这个时间给投资人的窗口是越来越短了,所以我觉得想要去把这个早期投资做好是挺不容易的。就是你你必须要有非常敏锐的一个嗅觉,然后你要有有非常强的一个就是 picking 的能力,就是你能够找到对的公司,然后你要在这个它形成共识之前去下注。

所以所以我觉得现在对于早期的这些个考验是非常难的。而今年其实比较容易的投资是投晚期,就是我认为现在一些几个方向跑出来,像 coding agent,像这个对吧 frontier lab,然后像一些 infra,它已经其实就是有一些很大的 winner 已经跑出来了,包括像 video model 一些,已经有一些就是明显的 winner 在那儿了。

所以,对于VC来讲,你会发现现在越来越多的VC他在投中后期,而且他们在募比较大的基金去投中后期。像这个Benchmark刚刚今天刚刚announce要去融一个两个Billion的基金,他们是。二十四小时,呃,募资窗口就立刻关闭了,就已经一天之内就把一两个 billion 融完了。其实这些比较头部的

VC 都在募偏后期的基金去砸这些已经出圈的这些 category winner,所以我觉得今年的一个投资主题就是砸这个 winner,用大钱去砸 winner。

砸已经跑不出来的公司,那这还是 venture capital 吗?呃,这是 venture capital 的变种。我觉得这这个已经,因为就像我讲了, venture capital 就是需要在没有形成共识之前下注,而现在的共识时间,就是非共识到共识的窗口实在是太短了,就是短到你你可能还没有反应过来,它就已经形成共识,就成了你要去花大价钱去下注的这么一个局面。

所以我觉得现在的V C就是演变成了我要去融个大的基金去投这个已经跑出来的这些公司。对,当然我觉得砸winner也不是十拿九稳的,它肯定还是有一些风险在的。但是如果它出了岔子,那可能就是很大的问题了。我是这么认为啊,就是因为现在我们,如果你把这个A I的时间拉长的话,我们可能还处在这个A I这这轮,Let's say可能现在是第四次、第五次这个呃技术变革的一个早期。

因为现在虽然我们已经有很明显的 winner 了,然后大家也觉得是不是五到十年内都不要五到十年吧?现在处在一个 AI 的这个 moment 已经到来了,但是它还在处于 adoption 的早期。那么在这样的一个早期的情况下。已经有winner出现的情况下,这些winner是会越长越大的,它会形成一个飞轮效应。

就比如说,为什么现在大家都是疯了一样要去投Anthropic?Anthropic现在可能刚刚到一个training左右的一个量级吧,就估值上来讲。那么这家公司未来会到多少?我我觉得它。变成五个锤链,我觉得是不奇怪的一件事情。所以,那如果现在你作为一个明智的一级市场投资人,你要投什么?那那投,我觉得投TLP是no brainer。

那还有一些其他的infra跑出来的公司,也是一个,比如说像,比如说有几个我比较喜欢像Fireworks啊,还有像哦FIL啊,FIL啊,然后像Basecamp啊这些一些infra的这种公司,那它就是形成了一个早期的一个飞轮效应,它后面这个雪球是可以滚得很大的。所以就是这个也是一个共识吧,就是说我去直接 bet 这些 winner,呃,接下来你比较期待会发生的事情是什么呀?

我觉得 physical AI 就是 robotics 这个赛道可能。他有很多人都说,这个可能就像十年前的自动驾驶一样。那根据我在语言模型上学到的这个经验教训,我认为这个Physical AI的aha

moment可能会到来的比自动驾驶比我们想中的要早一些。虽然它现在还有很多的问题,像这个。data的这个瓶颈啊,包括软硬件结合的这些瓶颈啊,可是我认为这个aha moment会比我们想的要早,所以我觉得现在可能是下注这个硬件的一个好时候。

为什么呀?理论上来说,physical AI不是比自动驾驶更难吗?对它的很多场景比自动驾驶要更加的 diversify,但是它对于正确性的要求也没有像自动驾驶这么高。自动驾驶你必须是做到百分之九十九点九的正确性,对吧?要不然你会出人命的。但是 physical AI 这些,我觉得它对任务的完成度啊,对于准确度的要求会比自动驾驶稍微一个宽容一些。

为什么大语言模型上的经验会让你?觉得Physical AI的aha moment会更早来了,因为就是如果回到十年前,当时我们在百度的测算就觉得说,你出现一个像V K T D啊这样的一个模型,可能需要十年的时间。但是它其实这个模型它是有一个generalization,那个应该怎么讲泛化的能力,就是这个模型泛化的能力的速度会比你想象的要快。

当你的模型越来越大的时候,它的这个进步的程度,它是会呈现一个,我觉得这可能是个物理的一个规律吧。它的进步速度后面会呈现一个陡峭性的一个曲线,可不可以说当时?百度美颜十年前,他低估了语言模型进化的速度,但是高估了自动驾驶进化和落地的速度。我觉得自动驾驶这个事情,因为它对准确性的要求非常的高,所以我没有觉得它是低估了这个它的速度,我是不是高估了这个速度?

但是语言模型它有一定,就是说这个泛化的这种能力,可能是当时没有去预料到的。嗯,因为我印象中一七一八年的时候,呃,或者说更早吧,一六年的时候,从美国到中国都是认为全无人驾驶会比较快的。普及的,嗯,对,嗯,当时WeMo包括马斯克都有很多相关的言论,嗯,对,而且当时还有一些路线的一些辩论吧,比如说到底是基于视觉模型就好了,Level三就好了,还是说你需要有一个激光雷达做Level四?

所以这个也是当时我记得一个辩论之一。所以Physical AI也是你接下来可能会花点精力去看的方向。对,这个我可能会会花一些精力去看这个方向,因为。他还没有形成共识,所以如果我觉得投资人就是一定要在没有形成共识的事情上去形成一个自己的投资的理念和逻辑。你觉得Facebook AI会有新的芯片算力和infrastructure层的需求和机会吗?

现在有看到这一类苗头吗?这个还真不好说。就是我觉得对于芯片层应该会有一些机会吧,因为。就是如果你Facebook AI在落地的时候,你身上都挂着一个GPU,那我觉得是很耗电的一件事情。就是你需要有一个low latency,然后 power efficient的一个解决方案。所以我我觉得可能会在这个算力解决方案上会有一些创新的空间。

然后,其实你刚刚说到芯片层,我我还认为就是可能也会有一个新的CPU架构出现,作为推理芯片,因为现在推理芯片上。就是Cerebras是一个刚刚出圈的一家公司,对吧?那可能还会有一些其他的基于CPU解决方案的一些一些一些一些公司出来。我知道有一些创业公司已经在做了,已经在已经在开始已经在开干了,就是呃也是很早期。

就是我觉得这个也是一个值得关注的一个点。嗯,OK,那今天非常感谢周楠做客晚点聊,分享了。过去十年的投资故事,尤其是刚刚上市的Cerebras这家公司的投资故事,从最开始他怎么发现了这家公司,和百度美研当时的研究员一起怎么做了详尽的尽调。然后在这家公司的方案还是一个非共识的时候,很快的就做了投资决策。

我们也延展的聊了现在整个AI领域,尤其是算力和infra层有什么正在萌芽的新的投资机会。那今天非常感谢大家收听晚点聊节目就到这里,拜拜。在一百五十六期与 Henry In 二零二六年 Q1 的 AI 报中,以及那之后不久,我和 SpaceX 的早期投资人 Fusion Fund

的创始合伙人张璐聊马斯克的 Terra Five AI 基建设想的节目中,我们都讨论了二零二六年以来的 AI 算力的最新趋势。

大家都看到的转折是从训练走向推理,也就是算力消耗的重点会从制造大模型的阶段走向使用大模型的阶段。这本来没有什么新鲜的,前两年也一直有人在说。不同的是,二零二五年下半年至今,coding以及agent的应用的爆发,让这一条预言真的成了事实。大家看到了agent的这类更复杂的任务和应用,带来了推理的算力和token消耗量的爆发式增长。

而更深入这个趋势,又可以看到两个明显的变化:一是AI推理有了更多异构芯片的机会,主要就是指不同于英伟达的通用GPU结构的芯片。Cerebras上市后的强势上涨表现,就是因为一些人会押注Cerebras设计的Wafer Scale Engine这种独特的架构,在推理阶段有它的优势,这包括低延迟、高吞吐、高稳定性等等。

其实英伟达自己也做了相关的动作。就是我们这期里聊到的,他们在去年十二月非常快速的以两百亿美元收购了 Grok 这家创业公司,并且在今年三月,GTC 的新方案上就把 Grok 整合到了英伟达的整个算力平台上。Grok 主打的就是在推理阶段提供 AI 算力。二是 CPU 震起,比如这期我们就聊到了 CPU 正在出现一些新的创业机会。

这是因为,在 agent 的工作流程中,存在一些调度类型的任务,它们并不适合 GPU 所擅长的并行计算。周楠也提到,他知道有些团队已经开始在这个方向发力和创业了,这也是他接下来可能会投资的方向。其实这种变化也反映在了二级市场上,我们看到英特尔和 AMD

近年以来都有不小的涨幅。回到九年前,周楠在百度美研想投资 Cerebras 的起点,就是研究员们认为未来的大模型不应该在算力层只依赖英伟达这一家公司。

而现在的情况是,如果不考虑 Google 的 TPU 这种大厂自己训练模型时主要自己使用的自研芯片,在公开市场、在公共云上,英伟达确实形成了事实上的 AI 算力垄断。十年前,部分研究员想避免的这种对单一公司过多的依赖,依然是发生了。这种状态会持续吗?未来的变局可能会从哪条裂缝开始?这会是我们之后反复讨论的话题。

本期节目就到这里,感谢收听。如果你对今天聊的话题有观察、好奇或疑问,欢迎在评论区分享想法,这会成为我们节目的一部分,让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友,推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果Podcast等渠道关注“晚点聊 Late Talk”。也欢迎关注我们的公众号“晚点 Late Post”,下期再见。