大家好,我是丰瑞资本的李峰,欢迎来到这一期的产业观察。最近,随着国产的GPU相关的芯片公司上市,并且不管是在A股还是港股,都获得了非常好的表现。当然,也包括了最近的大模型公司在香港的上市,这些在二级市场非常好的财务表现,带来了大家对AI芯片以及AI基础设施再往下会如何发展的一个好奇心。同时,除了大家最近讨论最多的关于谷歌的

TPU 架构的 AI 芯片之外,另外一个由不同架构的 Groq 芯片也被大厂用超高的价格收购了。

所以说,大家对于AI芯片到底将来更偏向英伟达架构,还是会更多元化,也有不同的好奇心和想了解的愿望。这一期我们就请到了一位创业公司的CEO呢,当然也是一个资深的在大厂里工作了很多年的管理者,他也是一位资深的芯片相关行业的从业者,在过去的一年创业了以后,他也推出了。更像被大厂刚刚收购的Groq这类的不同架构的芯片,当然也是为AI的推理来服务的。

在今天的产业观察当中,我们就请到我们跟芯片相关的、跟科技相关的合伙人老杨和我们这位源川微的创始人,当然也姓杨。请两位杨总来探讨一下关于AI芯片的演化发展和可能的变化。各位听众,大家好,我是丰瑞资本的合伙人杨永成。今天有幸呢邀请来了元创威的创始人也CEO杨斌,我们一起讨论一下AI,特别是AI的处理器GPU、NPU,特别是最新火热的LPU。

听众朋友,大家好,我是元创威的杨斌。首先呢,祝贺杨斌。第一个事儿,创业在很短的时间内进入了一个崭新的、很好的阶段,完成了天使轮的超亿元的一次融资,并且呢,这次融资呢很顺利,时间很短就完成了所有的认购和交割。你也介绍介绍你们团队和你们简单的合作的事儿。我们是一家半导体的设计公司、初创公司,我们是聚焦在端侧和边侧的推理算力的方向上面。

我们这次融资呢,除了我们产业里边比较知名的一些投资机构以外,我们还有两家上市公司的一个产投资本。杨总说的为什么比较顺利哈?我觉得背后可能有两个原因啊。第一个的话就是,当前无论是创业者还是我们头部的这些投资公司啊,我觉得都有AI的这产业的发展有了一个共识。大家可能都认为AI的产业到今天为止叫进入了下半场,上半场的话可能更加是以模型的能力的一个竞赛为主哈,我们都看模型的参数大小啊、上下文的长短啊、benchmark的分数的高低啊等等等等哈,它能解决多少问题,在看这件事情。

其实,在衡量我们模型能力的天花板。那么到此刻的话,我觉得模型已经具备了一定的商用能力,所以进到了下半场。下半场本质上是一个应用,实际上是对所有的模型的价值兑现的问题。因此来说呢,在下半场围绕着应用的话呢,我们的AI的推理算力一定是一个非常关键的核心赛道。我觉得这也是丰瑞啊和其他的一些投资者,我觉得形成一个共识。

第二点的话呢,还是比较信任我们核心团队能力以及我们从事的一个技术方向。杨斌可能比较谦虚啊,我作为投资人可以简单介绍一下,杨斌的团队是行业里非常资深的团队,基本都来源于芯片这行的大厂,包括通信这行的大厂,也包括。做软件的一些资深的人,第一个是呢,他们在同行业里头都有二十多年的经验;第二个事儿呢,他们做的产品呢都是顶级大公司核心的产品,并且都是大规模的量产过。

也服务于我们这个社会和整个的通讯行业,所以这是其中一个。第二个呢,这个技术团队分工还是非常完整和齐全的,因为大家知道,无论是LPU还是GPU,甚至CPU,都属于我们通常行内认为是大芯片哈。大芯片其实来讲,它涉及到各个分类的技术的人才。所以说这个呢是需要大家分工协作才能做得好。杨斌那个团队有非常完善的整个组织构架,这是我们在天使阶段投资元川微的一个重要原因。

当然还有另一个原因,元川微的创业呢是恰逢其时,正好是AI的推理端大爆发的开始。因为我和杨斌呢,实际上是本家,都姓杨。至少我们俩在聊天时候,我一般都叫他斌总,他叫我杨总,基本是这样哈。杨斌那家伙是啊,对对对对对。我们刚才提到 LPU 的架构,最近有很轰动的一个新闻啊,AI 处理器的巨头哈,英伟达,全球的巨头。

以人民币差不多一千四百亿收购了 LPU 的领先的企业,就美国的 Groq,但是从严格的法律上,你可以认为它基本是收购知识产权呐,类似这种话,我们必须深究它。我们只讨论这个事情,你按美元算是两百亿美元啊,其实是个很大的事情,并且 LPU 构架呢也是在众多的 AI 处理器的构架上。行业竞争的氛围内,它好像突然一天就脱颖而出,所以大家都有各种各样的解读。

我们也注意到媒体呢有这么几个比较有代表性的,一个认为呢,英伟达收购Groq呢,其实是因为Groq将来可能在AI特别推理这端呢,可能会对英伟达形成比较大的竞争,所以说呢,英伟达出于保持自己的领先,把Groq当成竞争对手,所以通过收购来遏制它发展,甚至把它杀死在摇篮里。这个呢,在AI包括其他行业技术竞争中。

也是屡见不鲜的,一般大家开玩笑叫做恶意收购,这是一种说法。他收购主要为的是阻碍竞争对手,另一种说法呢是为了收购谷歌的TPU人才。因为Groq这个公司的创始人呢,其实是TPU的重要的技术构架师,所以有这两种说法。毕总,您作为这行业的资深人员,并且你多年就在研究LPU和相应的推理的AI处理的构架,您怎么看这个事儿?

我觉得这个是一个非常好的话题啊,当然我接下去一家之谈啊,杨总,我们随时讨论啊。我是第一个,您讲阻碍竞争对手发展这件事情,我觉得这个观点还是有它的局限性的,我觉得相对比较狭隘哈,因为有几件事啊,这件事情本身我们就杨总刚才还原了,英伟达它花了两百亿的美金,我也去查了一下这个数字,对英伟达来说意味着什么哈。

可能从股价的角度不算什么一件大事,但是从英伟达的现金流来说,这是一个大数目。英伟达今年的前三季度的现金流是五百六十亿美金。今年整个算出来,我们就说保守一点吧,它可能是三分之一到四分之一的额度了。所以说从现金来看,这是一个得起家底儿的一个干法,对,是一个大钱。所以,所以这件事情上,我觉得我们可能要理解的更深一点。

就我自己的理解是什么呢?就是说,我觉得这个收购的行为哈,我们收购打个引号,这个因为它有各种定义啊。但我觉得这个事件本身,恰恰反映了英伟达对这个产业发展的一个深刻的认识。我为什么去买一个推理的公司,而不是买一个训练公司或者买一个其他的公司?这是他对产业发展阶段的深刻的认知,这是第一个。第二个呢?我觉得这件事情本身,也是完全符合英伟达战略的这个诉求的。

我们可以看啊,从二零二五年开始,英伟达已经逐渐开始从训练侧转移到推理侧。你看,他提出了最大的一个具身智能的战略。无论是智驾还是机器人,这是它的公司里边,我觉得是一个核心第二增长曲线,所以这件事情是完全符合它的战略的定义,也是完全符合它对产业的发展阶段的判断。第二个点呢,从英伟达自身的这个能力来讲,我觉得它对收购LPU这件事情,它是完善了自己整个竞争力的版图的。

你看啊,我们今天知道英伟达它有CPU Grace系列,它有GPU很出名的Robin,它有DPU以前来自Mellanox,那Mellanox也是一样的事情啊,以色列公司,这三个技术已经完整的解决了整个的超级节点云上面的所有训练算力的需求,但实际上它真正在走向端侧,走向我们的应用侧推理矩阵智能的时候,它缺一个板块。

就实时推理,那这件事情就是 LPU 能够给它带来极大的一个补充。我觉得这是一个它的从技术能力的角度哈,从 Groq 公司来说,我觉得它被英伟达的收购是获得了再一次发展,甚至是它能力提升的一个机会。因为对于英伟达来说,它有很强的一个工程能力的基础。相比Groq来说,它强很多。它有非常先进的工艺,它有非常先进的封装技术,有非常先进的IP,有完善的产品组合。

所以说这件事情对Groq是有益的,我觉得我们可以拭目以待。我来理解一下,好像基本是这样。第一个事儿呢,我们可以这么认为,英伟达Groq啊,第一是看中了他的技术路线,特别是在推理端的技术优势和对未来技术前瞻。第二个呢,可能也是涉及到他对推理市场快速发展的紧迫性的预期,可能也有关系。他收购公司正好是最快的,把技术上前和将联合,最后尽快的在推理市场也取得。

和他当年的训练市场一样的那个市场的领先地位,远远的把其他玩家抛在更远的后边。我补充一下啊,我们也看处理器架构,其实看花很长时间。首先,我们不是因为 Groq 这个事情我们在做这个创业,我们之前基本上是扫过整个产业界所有的计算体结构,都看过一遍。可能每一个体系结构都有自己的历史使命哈。待会我们可以再接着讨论这个话题。

但Groq的LPU这个技术,我可以毫不犹豫的说,在推理领域,是最合适的一个业务架构,没有之一。待会儿也许杨总,我们可以再深入讲哈。这个咱们以前好像是在你融资咱们初次接触的时候介绍过这事儿,特别是美国,因为美国代表了AI的芯片的领先的地位,特别在技术上。其实美国很早就很多人,但中国也有哈,有很多人在研究专为推理优化的AI处理器的构架,不止LPU这一项,所以可能还有其他的几个领域,说什么IPU啊,以前出现过,但是最终结果是殊路同归。

你自己从市场需求和技术合理性推的结果呢,觉得LPU或者类LPU的构架可能更适合推理端的技术需求。当然,我们可以八卦一下,就您提的问题,我们是不是可以认为它是一个阻碍自己的竞争对手?首先,我觉得这句话,英伟达已经认为 Groq 是一个竞争对手,我觉得这已经是一件非常有成就的事情,高度的认可,这样成就的事情啊,这没有问题。

我觉得阻碍可能稍微有一点点偏激。我的观点只是这个,就像杨总说的,本质上英伟达是认可 LP 的技术路径,包括他们团队能力,LPU Groq 二四年已经有九千万美金的收入。二五年应该预期在五个亿美金的收入。你看啊,二十年它为什么有很多收入?就是二三年的时候,咱们 OpenAI

出来了。一下子就是推理的这个兴起了,Groq它现在主要客户有三大类,第一大类是美国本来的大厂,就是比如说Meta,脸书,脸书的推理推理云里面有大量的那个呃Groq的这个产品。

第二个就是海外的算力中心,主要是两个,一个是沙特的国家算力中心和北欧的挪威的算力中心,这是他们要做。第三类是散户,或者说小企业,它在美国有两百五十万的注册用户,在它的云里边有注册用户,所以基本上它是这么四大类的客户来源。而且它的增长速度特别快,在二零二五年的时候,它的预期是五亿美金。我不知道现在的那个没有去查,这个也是一个整个产业推动的一个结果,所以它商业也是有一定的表现的。

应该说,英伟达我觉得它是非常成熟的一个决定,不是非常冲动的一个决定。在讨论过程中,其实我脑子里还闪过另一个问题,在推理这行是没有出现。像英伟达那样的巨头的,甚至还没有明确的大的玩家,因为市场是在一个还是个偏蓝海的时期,所以这个时间大家机会都有,机会均等。先出发者呢,可能有更多的经验;后出发者可能有后发优势,基本是这样。

基本推理端总体上看还是偏蓝海的。但我们可以确定,只要市场的需求足够拉动,最终结果是很快就会进入红海,肯定会是一个高效率迭代,最后结果就是红海更早的出现。但是这个推理,尤其在AI的应用侧,它的好处对我们创业者后进者有个很好的好处是,AI的应用啊,它是一个非常长尾的市场,比如小到我们一个穿戴,大到我们电源的一体机、汽车,未来的巨声智能,它非常广。

我觉得除了技术以外,我们完全。有能力去定义一个我们在某些垂类或者说某一些高价值的领域里边去占有我们的市场,我们成为那个领域的领军人物。我觉得这是我们在做端测的创业者来说,可能是一个很好的机会点。但接下来在中国一定会有几家做端测AI推理非常优秀的公司,我觉得元川卫肯定之一哈,但是也会有其他的。因为就像我刚才说,它的长远效应太长,不可能是一个唯一的六边形战士来解决所有问题。

就像我们 L P U,其实我们核心理念,我就抛弃了训练,我要把推理做到极致。但也有可能在推理领域,有的人是抛弃了,比如说性能,我就要把功耗做到极致,但依然都有市场。我觉得这是一个很好的事情。这里头长尾效应在推理的端侧芯片上,可能至少会有这么一种表现形式,就是它芯片的多元化,或者说在某些小的应用里头,可能会有一些我们叫碎片化,好像不好,但是基本是这样,它会有不同的芯片涌现出,但构架呢也会有不同。

但是我们相信LPU构架是在边缘端更好的构架,但它的模型大小可能会有不同的组合,当然也会有别的构架的。技术产品的空间基本是这样,但这个事儿呢也从另一方面是说,因为它偏向于在应用端,所有的电子产品,中国肯定是全世界最大的供应方了。所以我们离我们的供应链或者说离我们的客户是最近的,中国的AI处理器芯片是最近的,这是第一。

第二个呢,因为它多元化,又是长尾,所以它市场的迭代速度要求是比较高的,迭代的方向是多元的或者说多维的。所以说呢,这个也是中国公司比较擅长的。还有另一个问题,关于收购的报道里有一个就是,英伟达是为了收购谷歌TPU的人才才收购的这个,这个你怎么看?我说出来可能有点不是特别客气啊,我觉得这有点蹭热点的嫌疑。

坦白说,因为我觉得有几个基本事实啊,首先Groq的创始人Johnson Ross,确实是TPU的V版本的主架构师。通常就是说TPU之父就是Johnson Ross,这本身没问题哈,但这个事情发生在二零一六年,应该说是很早的时候已经有这个事实在那里。但是就是二零一六年之后,Ross离开了谷歌TPU团队,自己开始做Groq LPU架构。

所以这个时间比较长哈,基本上是十年了。假如仅仅从人的角度,TPU专家的角度,我觉得没必要去找Ross,因为TPU也在发展。你的意思是说,他要折腾TPU的人才,他直接去谷歌好。已经九年过去,对TPU从V7版本,它现在的版本跟V1版本也有发生很大变化。所以说,我觉得从人才角度不成立哈。这里还有另一个问题,LPU和TPU。

是一样的东西吗?它的继承性很强吗?非常不一样,这个差距太大了。这个可能也是当年 Groq 这些人从谷歌出来的一批人,没有和谷歌产生任何知识产权纠纷。你就认为是两个物种?其实它的市场方向、应用场景也不太一样。谷歌有些训练的一些使命在里头,TPU 它对训练和推理都可以干这个事儿。但我理解这个事情,就是说美国这个情况也比较多啊。

美国有个法律就反垄断法,我觉得这个解释可能更合理一些。早年的 AMD 这个故事是 Intel 就出人出技术出产品去扶持,万一 AMD 倒了,就 Intel 就要分掉。这个故事就是在那个英伟达,我觉得它是有前车之鉴,它不能说把 CPU 干好了,GPU 干好,还把推理的 LP 又干好了,而且不存在另外一家推理公司,那这时候它可能面临着这个问题。

所以说,他的策略我觉得非常对。那你这个Groq的品牌还在,你还可以去独立经营,你还可以运营着Groq的云这些业务,但是你的老大已经加入了这个英伟达。但是从法律上讲,就是我依然是有一家公司可以做

LPU,可以在推理上面有很好的发展,这是一种保护关系。你说就是它的收购的具体的操作方式,这我觉得是操作方式啊,包括很拗口的,大家说是收了知识产权,又让他们的核心团队去英伟达上班,这个事儿是因为去英伟达上班啊,我理解,就是因为美国的那个反垄断法很严的。

高通其实也有这种例子,高通也扶持了一家很小的做 modern

的公司。那个CTO是中国人,历史上有。我们从这几天,因为这个信息有个一两个星期的以后,我们也看到后续的一些报道,包括英伟达自己一些信息披露哈,也能看到。第一个是Groq的很多核心团队要加入。英伟达的产品开发直接加入,这是第一个。第二个事儿呢,在英伟达的技术产品路线上,LP

构架已经占据了非常重要,特别推理端的重要的地位,基本是一个基石嘛,就是它推理端的 AI 处理器这个基石,并且对市场还推出了一个新的概念叫。

实时推理,实时推理芯片,所以说这个还是非常重要的,在推理端至少占个半壁江山,甚至更大的份额。我总结起来,英伟达对 LPU 可能还是有真爱的。还有另一个问题啊,可能观众朋友也比较关心啊。刚才我们讨论过程中已经提到了,LPU 的构架其实发源于二零一六年,这个已经有九年的时间了。但是呢,只是近两年内,特别是一年前这 Groq 呢,开始比较好的融资哈。

以前它融资也比较艰难,比较好的融资以后,我们才开始关注它哈。你作为专家,你怎么解读这个现象?是为啥那么长时间在低谷那个徘徊,或者是名声不显?这是什么原因?这也是一个很有意思的话题。你技术跟产业的结合,它需要一个共振点。当你的技术远远的领先于你产业周期的出现的时候,你就是先烈。从技术本身很牛,但是你没有办法进行商业的闭环,因为我们是一个商业公司啊,是我是 Groq 也是啊,不是一个技术研究公司。

所以说我们的标准来自于这个市场对我们的评判。假如没有商业闭环,这件事情就很难成立。所以我觉得现在的,大家对 Groq 热起来,LPU 热起来,它本质上是一个产业与技术的一个共频共振的一个结果。前面我们讲产业到下半场了,下面就应用,这里边就有几个非常显著,一个是应用,一个是应用推理,这是它的共同点,它的另一个激发源,没有这个它振不起来。

总结起来就是你实际说它起早了呗,就我们过去经常讲的一句话叫早起的鸟儿有虫吃,不太能讲的话呢是早起的虫儿被鸟吃是吧?但这个它也真的是熬了久是啊。我们其实很久,至少几年前,包括我那你可能作为专家你可能更早研究这个技术加推理确实是合理的。从技术上是合理,但是可能那个时间段推理这个市场没有起来,它确实有个转化过程啊。

但是这时候产业周期特征就起来了。就进入了应用推理阶段。你看有几个显著特征啊?第一就是相对低成本模型能力已经非常强了。以DeepSeek炸雷开始,现在你看三日币的、七日币的这个模型,其实已经非常广泛了,应用在我们昨天跟我们产业方在讨论需求的时候,现在所有的应用的甜点。大概在三十到七十B之间,但是它的能力已经非常非常强了,基本上我们想象的事情都能干,这是非常好的一个特征哈。

第二个就是推理真正的规模化,但凡这个技术最后变成一个成功的商业技术,一定是来自一个非常巨大的市场,才能把它烘托出来它的伟大。不然就是纯粹一个技术研究,Groq就是这样。当你的推理的市场起来的时候,显出了它非常有远见的技术的布局,或者说技术的探索。假如这个市场,我们今天没起来,再熬个五年,Groq还是这样。

一个技术的大规模应用,这里头实际上是和试点式的应用不一样。试点式应用呢,其实是解决有无或者是带来新鲜感,所以对客户们是要求没有那么没那么高。比如实时性啊,稍等它零点零几秒没有问题。比如说功耗大点没事,放个大电池。所以它都是这样。但是你一旦进入大规模应用,或者说普及到千家万户,普及到每一个消费者的时候,好,那可能要求就高了,所以说他就需要一个更优化的、更精准对准需求的那样一个,所以

R O P U 其实也需要这么个契机。

就和我们原来包括ARM芯片当时历史上的一个低功耗、这个性能啊,这些东西低成本的性能,其实也最后等到了整个的消费电子产品兴起的时候,才得到了更大的发展,和这个有关系。我觉得杨总,您这个就是非常点题的一个总结。什么意思呢?就是早年推理你们多,GPU用也就行,无所谓。我去开一摊,我还不合算,这个账算不过来。

今天这个账不是这么算,并且那个时间段呢,对于服务的提供方。比如我们说 Open A I呀,和国内的大厂的这个 A I 呢,其实来讲,它也没有跟你细算你推理上占着点儿东西,我怎么从你那收钱?我的目标一个是锤炼我的技术,所以这个钱是投资来覆盖的,它不用那么精打细算。第二个呢,就是我炫技也很重要,这个也不需要你给我出钱啊,我给你出钱,你给我打个勾都好,可能是这个。

但是你到了推理这种应用落地的时候。整个的商业模式你要精打细算,可能你最终的盈利点就在细节上,比如你功耗高了,你运营的那个成本就会高;比如你实时性差了,用户体验就会差,可能是这个。所以 LPU 这种为推理优化的精打细算的,它还可重构或至少大小 size 可变的,这个呢可能就会对。市场就更重要,我相信英伟达肯定也是都分析过,因为它对各种构架都完全清楚。

杨总,我觉得您说 LPU 技术特点在大的机会点市场出现的时候,它的技术体现出来的低功耗、低成本、短时延。是非常能够命中到推理市场的客户需求的,我觉得是一个共振。但是我们这里也看到,就是 Johnson Ross 还挺牛的哈,早期他这个架构也强行去做了训练。我们不能说 LPU

的架构不能做训练,你看它有很多元啊,在沙特因为人家干了九年就干训练了,但是只能说它的灵活性不如 GPU,并且来讲这几年正好又是。

训练端其实是突飞猛进的发展,并且发展是技术路径的多次调整。GPU呢,在这个事儿上,它的灵活性更好。LPU呢,在训练特别是大规模变构架这种形式,可能它不如GPU那么灵活,但它本身也还是可以做这个事儿,并且它对一个模模型在AI模型稳定以后,它依然有效率和实时性的优势,但是它变换起来,你又会重新要编译啊这些事儿,可能就会多一些。

我觉得可能开发者来讲,会强调自己开发的效率,不是布置的效率。可能我觉得大概是这样。刚才咱提到了几个关于AI处理的一些什么实时性啊、低延时啊、低功耗啊,可能有些听众朋友不一定很熟,因为你是既做芯片做产品呢,其实也大量的直接服务于市场。做半导体的人啊,我们的命运是比较悲催的,因为我们一直在干的事情是什么呢?

给人家省钱,要么省电,要么省成本。你要么电费少,要么买的时候售价低。我们以前通过工艺,增量不增价。你看我的性能翻一番是吧?价格一样,工艺。后来工艺不行了,我们就靠架构,一直在做这个。但是这里有一个亮光,就是经常有人会比较忽略,它是短时延。这个短时延啊,就是 LPU 这个架构的短时延,不仅是绝对时延短,它还有一个非常显著的一个特点,是它可以提供长期稳定的短时延。

这件事情非常关键,比如说未来在哪些场景下会体现的非常的重要?比如说机器跟人,比如说机器跟物理世界。那我举个例子,比如说我们今天在聊天,我对面坐的不是杨总,是一个机器人。我聊过去的时候,发现他反应很慢,哎,这个就感受就很差。或者说杨总呢,那个机器呢,他一会儿快一会儿慢。又嘟嘟很快,我都听不明白,就这个整个感受就不行。

你看啊,它不能太慢性子,也不能一火急性子,一火慢劲子,忽快忽慢也是致命的。所以这是一个绝对的短时延,以及长期稳定的短时延。这是非常重要的量纲,我理解。这实际上来讲是用户体验非常重要,甚至用户用不用的问题,就是对用户您说的很对,有没有粘性的问题?有可能这个场景就用不了。比方说自动驾驶,假设你的算力一会儿就吐的很快,一会儿吐很慢,开车的风险性就太高了。

它这个事情,它其实本质上是一个行和不行的问题。那不仅是一个用户体验的好和不好的问题,可能就是这需求得不到满足,能不能用的问题。这个除了自动驾驶,其实我想到,因为我长期也做很多年的电子消费品哈,电子消费品里呢,比如说我们AI里现在特别擅长处理视频和图片。现在有这个能力,说你照相的时候,特别是我们拍照片,经常也出现这种事儿,拍他以后姿态都非常优美,发现闭眼睛了,这个很恼火。

那这个事儿怎么办呢?现在你要是在PC上或者在高级的手机,你可以下个软件,你把他眼睛睁开。AI其实是在创造了一下让那个睁眼睛的,这个呢是后处理的。如果是它的延时很低,实时性很好,就是还用英伟达这个实时推理的词儿,那些情况呢,其实你就不用等后处理,只要选择了睁眼模式啊,笑眼模式。你摁快门的同时,你闭眼也闭不上,闭了以后会会出来一个睁眼的笑眼的一个照片,它是可以实时性处理,它就多了个应用,把这一个应用从

PC 和手机的后处理变成了照相。

迁移了,对,就可以直接上墙。对,这是相当于是产生了需求,这个也是蛮重要的。我就可以提供给您具体的一个参数啊,这个可能更加吓人一点。Groq 在二零二四年的那个 EISA 的会上,他们的清洗 TiO,他发布了一组数据。它是用十四纳米的自己的 Groq 架构的芯片去对比四纳米的 H100 英伟达当年的二四年比较主流的芯片,对比的结果是,Groq 能够有相比于英伟达 H100 是六分之一的时延。

三分之一的功耗,四分之一的成本,所以它宣称它的整个的能效就比英伟达是十倍,这是它的芯片,我们可以复刻的,就是这几个指标都很重要,特别对边缘端,特别对消费端产品非常关键,特别重要,可以用它做我梦中上线机了。那这个数据呢,实际上是可以复现的,这个数据其实也得到了整个行业的一个认可嘛,所以它在成本性能上。

和时延上都是有明显优势。咱们自己的数据看上情况怎么样?因为咱们做了很多研究,包括咱们实验室的数据啊,现在可能还没到应用量产。实验数据,你是个啥样的情况?我们跑出来的数据的结果跟它非常吻合,在成本时延上。应该说极度的吻合,因为我们已经天使投你了。欣喜的同时呢,多少有点不满足啊,因为我们投资人的特点就是我们既要也要还要呢。

从还要这个角度来讲,你这个有机会超越了。其实我们在 Groq 的架构上做了很多技术新的一些迭代。我们最终的产品不是复刻 Groq 的一个架构,我们在上面做了大量提升。我个人坚信,食盐这件事情,这个量纲一定是可以卖钱的。所以说,我们在这个地方是花了很多精力,我们有信心比 Groq 做得好一点。从我们的技术体结构,从底层的逻辑上讲,一定是 OK 的。

因为我记得之前我们讨论这个事儿的时候,我们当时提的是个 LPU plus,就是 LPU

加这么个概念。现在来讲,从我们自己实验室的数据,其实达到了我预期的指标。我们非常期待。我们从方法论上讲呢,也基本从哲学这个维度,或者说我们说叫抽象的维度,能理解,就说“燕子巨人的那个足迹”哈,你想超越它,其实是比较难的,并且人家还在设各种各样的,包括芯片制成的情况啊,包括历史上积累的一些中间的IPR的一些问题啊,所以说其实你原样超过它是不容易的。

我们还是从需求出发。其实我们积累了很多技术,你们都干二十多年啊,所以说我们重新设计和优化。这种情况就是说,有可能在换了这个一个技术赛道的情况下,又面临着。推理市场的蓝海的巨大需求,并且我们离市场特别近,我们超越它的机会可能更多。我们也希望中国在推理领域里头有更多的原创微量的公司出现,共同努力在这个市场上能够有更大的发展。

我们加油哈!我们聊了半天这个LPU了哈,LPU本质是AI处理器中间的一员呐。从技术构架来讲,因为你是长期研究是这个事儿啊。LPU我们刚才说了它的技术构架的优势啊,并且它技术构架。所产生的这个性能指标数据确实很优,但是这个事儿和现在的G P U、什么N P U、T P U哈这些比起来,能简单介绍一下这个行业里头这几个构架大概的区别吗?

特别是G P U,因为G P U肯定是当前的主流嘛。我们能把它讲的简单,其实不是很容易一件事哈。我尝试着去理解一下,我自己真正做处理器架构是二零零八年开始做,一直在做处理器架构这件事情。零八年的时候,就整个产业界最火的是那时候是两家公司,可能现在名字已经不在了。处理器里边一家公司叫Kevin。没有了是吧?

嗯,不要看。另外一家公司叫做 Arm,i Arm i 后来被那个谁收购了。Arm i 的当年的 CTO 就是今天的云豹的 CTO 创始人。那时候他们火的是什么呢?他们那时候火的是有个概念叫多核处理器,就是零八年的时候来。嗯,那我们再往前看一下哈,多核处理器到底是什么一个东西啊?哈,在五十年代冯·诺依曼出来之前啊,我们这个世界上没有处理器的概念。

甚至没有软件工程师的概念啊,只有咱们硬件工程师。对对,应应该是说有了处理器,叫通用处理器啊,当时叫CPU,才有了软件这个行业和软件工程师。没错。那这个冯诺依曼他的核心的贡献在哪里呢?他核心的贡献是软件解耦了,同一套硬件它能做很多事儿。做很多事,它本质上有两个基本要素。第一个,你的算法是可以变的,今天做这个功能,明天可以做那个功能,基本单元可以变,所以它引入了这个指令的概念。

第二件事是什么呢?就是我们之间的所有的业务流,是可以随意的进行控制的,或者说可以编排的。这能不能解释成就是说我们那个年代做的那个基于冯诺依曼那种就CPU,后来有GPU都基本都是冯诺依曼结构。没错,这个结构呢其实是极大的为软件工程师和软件行业提供了便利性、便利性和灵活性。剩下事儿就是我们做的处理器其实提供的是一个纯的裸的能力,它到底干啥?

其实我们也不知道,包括CPU,你让它去做AI,它也行,但只是说它不优,所以它的性能会差。但是它也能干很多AI的模型,最早也在CPU里头折腾过。它实际上本质是为软件优化的,硬件是一个非常通用的模型。所以那时候的冯诺曼的结构的最大的特点就是说。我们有个基本的五个单元模块,其中是以存储单元作为所有的数据交换的中心,所以说大家都可以交换数据,交换完了之后就各自领回家去。

那么零八年的重核或者多核,它其实就是这个结构,只不过它的因为处理器太多了,一上来就几百个、几千个,那么它用一块memory很难做,是吧?我们做过硬件指导,所以它做了多层次的memory结构,于是产生了各种cache、各种仲裁、各种调度、buffer等等出来技术。但是它的本质的逻辑没有发发生变化,所有的处理器把数据放到公共的一个区间里面,大家就是可以拿自己的数据。

这应该是从道理上讲,即便是你优化,只要是这个结构的,只能是部分避免,因为它数据得交换,它信息得交换,所以它总得有数据传过去。这个船呢,其实来讲随机性很大,未知不可预测,这是一个典型的特点。GPU怎么回事呢?GPU它所有的数据交换模式啊,从CPU看过去没有发生变化,它依然有大量的多层次的这个memory结构,用shared memory的机制来做交换数据。

GPU相比于CPU,它做了一个很大的动作,我们叫计算范式的更新。以前CPU是做一些标量的,做一些控制代码。后来黄仁勋发现,就是哎,我做这个图形的时候有大量的矩阵啊,有大量的非线性的这些矢量的处理。于是他把一个通用处理器CPU的计算模式,以标量为代表的计算模式,变成了以矩阵和矢量为代表的计算模式。于是我们产生了 tensor core 跟 vector core。

对对对,就这里头,实际上是要让听众比较容易理解的是,CPU 其实来讲是非常简单的一个计算核,就是一般的它能做的除逻辑运算之外,就是个加减法,基本是只做这么事儿。但是呢,你在 AI 处理过程中有很多非线性的一些运算,甚至一些大量的乘和累加的运算,因为这个是频繁出现并且占用巨大的。算力,所以它就在GPU里头,其实把这部分硬件化了。

所以说它的大构架框架还是CPU的框架,多核的CPU框架也是冯诺依曼结构做基础的。要在CPU里叫ALU做计算中啊,可以,就算是逻辑单元那部分被放大化了,放大成更强了啊,基本是这个样子。就CPU到GPU是这个变化。那GPU到NPU是一个什么变化呢?GPU是OK,你的计算范式发生变化了。有很聪明的一些人发现,就是做AI的时候,通常就是我把矩阵做完了以后,做一个线性、非线性的一个矢量的处理。

哎,这个数据好像不用太去公共区间去交换了。于是,有的人在两个处理器之间加了一个特殊的通道。我们以前都需要绕弯,是吧?现在等于是有个隧道,相当于加了专门为数据交换。又加了一些通道,就不不基于冯·诺依曼的那个传统的数据交换,比如三种线那种,并种就是这个 NPU 呢,因为和 GPU 相似度还比较高,我们不深入探讨它。

LPU 和 GPU 比较起来是个什么样?这个应该是两个流派,还是冯·诺依曼结构吗?不再是了,你就认为是两个物种了。冯·诺依曼结构的刚才就花很多有点啰嗦,它的核心就是我们以公共的共享 memory 作为数据交换空间,于是我什么数据流都做,所以说很灵活。但是,LPU不是LPU,这个把冯诺依曼结构以公共的共享区间作为共享的这个存储,作为交换数据基本的机制破掉了。

它没有共享memory,它所有的数据完全是一个数据流的,一个方向走,这样它效率会高。所以说呢,它是一个计算体系结构的变更,不再是像我们CPU到GPU是一个计算范式的变更,GPU到NPU它是一个传输范式的变更。它总的计算体结构,它相当于是从数据的来源端到输出端,就AI这个端,实际上是一个单方向的流过去的,这个和流水线有相似度。

我们从CPU到GPU到NPU到LPU,前三代你就认为是一个同一个技术体系的演进,就是它是计算范式的更新和传输范式的更新,但是从NPU到LPU它就产生了新物种,它是完全两个计算体系结构。它是一个完全非冯的计算体结构,它有两个特点,就是 LPU。第一个是咱们可以认为是一个确定性的硬件流卷体结构,这是第一个概念啊。

我可以打个比方哈,它是什么呢?比如说我们这一桌子人吃饭哈,满汉全席,这个桌子不带转的,就是我们所有的菜放好了,我们各个人上去站起来用筷子夹东西。所以说我可以取到任何一个菜,理论上我应该是任何时刻我站起来就每个人都自主随机的,但是有可能打架。无论从每一个吃饭的人来讲,他其实不可预测他能够到哪个菜。对盘子来说,不知道哪个盘子就会提前空。

这是一个我们传统的冯·维曼结构。那现在非冯的这个数据流结构是什么呢?以前我们很多数据流是隐式数据流。现在我们去显示,显示数据是什么概念?有点像我们去吃那个回转寿司,咱们往桌子一坐,你不需要站起来去很远地方夹东西,因为它的那个数据在那转,你只要想吃的时候,而且我很神奇的会,你想要的东西就在你面前,这就是效率,包括功耗,你不需要使很大劲,因为我在产线干很多年,我打个比方就便于听众们理解啊。

G P U这种构架呢,包括N P U构架,其实是个多核的一个构架,每个核的能力呢,基本是等同的,或者是相似的,通常会有个C P U去给它分配活儿。这个分配活呢,理论上是每个活都应该能分配到每一个活呢被拆分的活,每个人都能干。这就像一个教授带着一帮博士生做事儿,给张三李四都分配活,理论上是我们能达到最优化。

但实际的操作过程中,你是做不到的这个事儿。所以说,经常会出现资源利用的不确定性。比如说,有些第一个人给他分配个活以后呢,本来你想。过一秒钟你就给他第二活,结果他没干完。你想给第二个人呢,你发现哎,他干的还慢,这有可能,所以他出现这种问题。所以他在调度过程中其实是有巨大损耗的,这也是个效率和成本的损失,并且因为他每一个都得有不是水平哈,他每个人的水平都不会比别人高,但他也不能比别人低,他要求这种。

所以这是属于这种的多喝酒,所以它更偏向于研究,所以它灵活性更好,但是它的时效性不好,成本和功耗也不优。另一类呢,就是像生产线,一个产品从它开始第一个零件放哪,一般是底盘支架。到每一个工位呢,都会那个工位的人呢,只需要擅长那一件事儿,比如有个打螺丝的,有人去给贴个标签的。但是这样的话,就在每一个环节上,他的工作都相对比较简单和单一,所以它效率会比较高。

从整个事儿呢,它因为没有停顿,从一头直接就到头,成品就出来了,所以它属于效率也特。别高,延迟性的总体来说也好,基本是这么一个逻辑。所以这个呢,一个就是偏生产线的,就是偏生产线的流水线这种;另一种呢,就是偏自由化的多核的调度型,基本应该是这样。还有一个小问题,为什么 L P U 发展了这么多年,今天才火起来?

除了市场驱动的作用,还有一个就是 L P U 产生九年多啊,其实行业里头。跟踪这个技术路径的人不是特别多。这个除了刚才说的市场透明以外,还有哪些原因呢?其实您刚才提的也不是一个小问题啊,还比较大的。我觉得 L P U 为什么就是有了九年历程哈?我觉得有几个原因,就像刚才我们也提到了一个产业节奏的问题,大的市场机会会推动一个技术的快速发展,这也是一个,因为它前面没有得到这么一个机会点。

第二个就是回归到那个 L P U 架构技术本身。我们也是一个门槛极高的一个系统的设计,包括硬件。杨总前面就做了很多的比喻啊,我们的LPU是一个流水线的结构,每个人干的就是干活就非常极致。相反,我们的处理器就不是啊,处理器我们几百个人干相同的活都可以是相同的设计啊,这是一个本质上就是说,我们在设计上需要每一个环节都做到极致,就是不说他。

对比起来,就是在G P U和C P

U构架里头,它多核每核实际上是一样的。作为设计来说,是一个核。对你来说呢,因为你的流水线整个每个环节实际上是不同的,所以你每环节都精心的去重新设计,或者叫定制的设计这些东西。所以这是个大量的设计任务,包括优化,包括相互之间的衔接,基本是这个意思。这是硬件方面哈,软件同样也是一样,就是在LPU的开发工具上,将来我们提供给客户,客户界面我们一定要保持在跨代兼容和极致的使用体验,开发就简单。

但是我们这里边就很多的挑战留给自己了。我理解是你的编译器其实核心一方面要兼容传统,就让软件工程师,就是说特别是AI做大模型,就做AI算法这些人不改变他自己的东西。所以说这是你的一点,但是呢,你的LPU构架又是一个和GPU不一样,所以呢,你这边要兼容自己的。特殊性或者叫硬件架构的特殊性,所以呢,重新要建立这么一套软件体系,软件体系要有很大的技术付出,是一个挑战。

所以说,你可以看到业界又既懂处理器硬件结构的人,又懂编译器,还得懂特殊架构,所以这样的一个团队是非常困难的。那我理解,其实总结起来就是一个是 Groq 这几年的发展的这一个是 timing 的问题,初期的时候没有正好赶上推理的大发展,但它现在还有一个缺点,包括英伟达,包括。其他的国外的厂家,因为他们离电子消费比较远,供应链太远,或者对他们来说,就是他们的客户离的太远,所以它迭代和优化是比较慢的哈。

这是中国公司的优势所在。第二事儿呢,就是LPU呢,其实它的从硬件设计这个维度,当然设计的同时就面临着验证啊,所以它的更复杂一些。第三个呢,就是它编译器,编译器可能包括更泛的软件的开发环境,这个呢也是要重新做的,就是因为最核心的还是因为LPU是个新型的自己设计的一个新的构架,所以要做这么事儿。当然可能还有另一点,我们现在在讨论LPU Plus、LPU加这样的构型的时候,我们有。

很多想法,但是在下面我们也都沟通过,所以其实我们的构架在LPU的构架上有很多升级改造啊,在这个事儿呢也说明了,就是Groq呢,在它发展的初期,包括它近些年来讲。他作为这个构架的先驱者啊,他肯定是踏过很多雷,也踏过很多坑,但是也有跟你说,刚才我提到的说,因为他这个市场还没有产生,所以没有市场驱动和验证的过程中。

它的很多技术迭代肯定会是慢的和信息不通达的,没错。所以这个呢,也是一个原因,就是我们九年滋养的一个原因。但是,我能看到的有些报道,包括我们以前讨论过这个技术层面的,包括你有很好的解决方案的。比如大家行业里头以前对Groq的LPU构架里那个SM被大量使用,所以造成了功耗成本和晶圆面积的变大,这些事儿呢也多有微词。

但这个事儿呢,我相信呢,我们已经有解决方案了。将来如果是英伟达在进入应用市场很快的话,它可能也会再有进一步的。提升和修改,我想在这行业里都是这样,都是在不断迭代和发展的。我们畅谈了好多,听众朋友可能更关心具体它的应用场景、应用落地。今天讲未来是巨深的市场,未来有很大的空间,这就是我们星辰大海哈。我们LPU非常适合做这件事儿。

那我们也会跟聚升智能的各个产业一起来发展,这是我们中长期的一个我们的星辰大海。那短期的话呢,其实杨总前面也提到一个啊,包括我们现在有很好的产投,产业方,我们正在做的一件事情是,简单的说就叫做传统硬件的重构。这个的背后的逻辑是什么?就背后的逻辑是,因为模型的能力的增长,我们以前的所有的模型AI的能力就是我们叫分类器啊,哎,我能看到这是一只A是狗,这是一只猫,哎,这是你摔倒了等等,这是一个分类器啊。

未来的AI的能力是一个生成器啊,有内容生成能力。这就是大模型带来的巨大的商业的机会点,所以这就是我们脚踏实地要做的事情。存量的所有的市场,我们都会去翻一遍。我理解一下,就是它其实来讲是随着AI大模型,包括其实AI大模型本身也在高速的还在发展迭代啊。就是AI大模型出现,其实很多已有的传统的一些行业,包括电子产品这个行业都会被重构和升级,或者我们这样简单的说被AI化。

所以说这个是很重要的。你现在创业做这个 LPU 构架的处理器哈,不是临时起意啊,但是也不是看到了人家红火,LPU 被那谁收购了,但这时间顺序肯定不是你先创业,他后被收购,不是看了他收购了以后,你说啊我要来干一票,那这个事儿怎么促进你开始?决心创业,决心做 LPU 这个技术骨架,你自己的心理历程,或者是你的过程是个什么样?

这可能所有的听众,包括特别是一些创业者和投资者,都比较关心的。那么这个我还真遇到了我自己决定创业的那个 moment。就是那个时刻真的出现了,但是在那个出现啊,我觉得是一个水到渠成的一个过程。我可以说那个时间是什么,但其实我们之前做了很多很多的事情。包括我们扫描了所有的体结构是怎么样的,它的优点和缺点是什么,它的护城河是什么,我们在相同的路径里面有没有可能超越其他人?

包括我们的技术的见解,包括我们团队的能力等等,包括我们的基础的这些 connection,那么能有这个机会条件来做这个,所以这件事情本身,应该说我们已经看明白了,比如 GPU 能做什么,NPU 能做什么,LPU 能做什么,只不过,好像 LPU 能够做的那件事儿。其实那个 moment 一直没有出现,所以我们一直在看这些技术。

这个时间点是二五年的春节,DeepSeek 出了非常劲爆的那篇论文。那篇论文给我触动的是什么呢?我第一感觉就是,哎,大模型真的不是泡泡,可用了。这是我真正的想法。当时的想,终于不是泡泡了。终于可以下场,你看啊,它的模型能力很强,它的模型的相对成本已经降到大家可以使用的阶段,接下来就是产业的爆发周期,所以说真的是有那个moment。

我那天晚上就是还专门去把那位论文看了一遍。这个挺有意思,我觉得就是说,好像就是说你你你其实你一直在关注和研究这个做,因为你的研究方法我大概是了解的。你说你研究其实都是很深入的技术讨论了,就和离设计就差一步。但是你一直等那个机会,或者是说那个机会出现的时候,你才比较好做决定是,我具体采取哪种路径。最后你觉得 LPU 是最适合这个。

行业发展的这个时间点的,但我相信,其实来讲,你在大量研究了其他除 LPU 之外的传统构架啊,GPU 这种和新型的其他构架,其实这些研究成果也是对你现在做的,你叫 LPU Plus 那部分,可能很多内容就放在那个 Plus,包括你历史上的一些其他方面的经验也会放在那个 Plus 里。那肯定。所以,其实我们现在不好预期那个 Plus 到底加了多少,加了啥。

是。其实我们还会再优化,这就是技术和市场积累的。重大的作用,因为你们都有二十几年的实战的和做大芯片打大仗的经验,特别是有些很多成功的经验,所以这个可能对你发展可能很有利。这毕竟也是最终也是个博采众长的一个大集成。我其实一直就比较喜欢丰瑞的一句话。我们今天跟杨总谈的东西有点就云淡风轻哈,就 L P U 哈。

其实 L P U 确实是我们把以前的技术看了,取了它的长处,是不太正常的一个结果。但是我更相信 L P U 是一件难,但是正确的事。感谢听众朋友啊,也感谢毕总,感谢大家给我耐心和专业的讲解。我们也殷切期待着元川微呢,能在技术路线上不断的发挥自己的创造性和主观能动性,能够更快的结合中国市场快速发展推理端的应用,包括电子产品的发展。

既做出自己的贡献呢,也希望其他的同行,特别是中国的同行,大家共同努力,最终呢,我们能够有多个赛道齐头并进,把AI处理器发展的更细化、更长尾化,甚至更多样化。所以能够取得更好的科技领先和市场的成绩,谢谢杨斌,谢谢听众朋友们,谢谢杨总,谢谢听众朋友们,谢谢大家,再见。