这是英伟达划下的一条清晰界线,表明其未来将依赖于一个强大且繁荣的多模型生态系统。更多有关本期“专家混合”的内容如下:我是蒂姆·黄,欢迎收看《专家混合》。每周我们都会聚集一群在人工智能前沿工作的杰出技术专家,为你解读本周的新闻。在本期节目中,我们有盖博·古德哈特担任首席架构师、AI基础技术内容经理及AI工程师,以及斯凯勒·斯皮克曼担任软件创新实验室的高级研究科学家。欢迎大家!今天我还邀请了联合主持人艾莉·麦康农,她是《IBM Think》的资深撰稿人。我常说本周新闻很多,但这周感觉新闻量甚至有点压倒性。因此我们将简要介绍IBM关于新一代双处理器的新公告,讨论Ox Alpha及其背后的神秘色彩——就在今天其实已经揭露了幕后人物。但我实际上想先从英伟达最近的一系列收购及其动机谈起。
这里的头条新闻是,Hugging Face宣布将以129亿美元的价格被英伟达收购。这紧随不久前的另一笔交易,即与Poolside达成的60亿美元左右的收购协议。我想盖博你之前向我们指出了这两则故事,因为你觉得这一切都与“开源”有关。所以也许我先请你给出你的看法?我认为这是英伟达划下的一条清晰界线,表明其未来将依赖于一个强大且繁荣的多模型生态系统。而目前这正是开源领域。他们视其为公司的关键生命线,因此愿意投入资金支持。他们已经通过NemoTron模型系列的工作开始了这一进程。而Poolside的投资显然是为了进一步使NemoTron成为一个人们可以信赖的强大模型系列。
随后收购Hugging Face则是将这一策略推向极致,对吧?目前Hugging Face是开源AI生态系统的基石,这不仅适用于模型,也适用于软件。Transformers包由Hugging Face拥有和运营,它是地球上所有以开源形式发布的LLM的参考架构。因此,每一个下游架构实现都遵循Transformers的标准。如果我试图在某个PR合并之前将其合入,他们会说等等,在那另一个PR合并之前我们无法依赖这个。所以这显然是在争夺重心所在。英伟达在此明确表态,希望成为开源AI的中心,我认为这既有优点也有缺点。
像英伟达这样一家资金雄厚、备受尊重且在行业中处于强大权力地位的大公司,为开源生态系统提供支持是好事。对于我们这些生活在该生态系统中的人来说,这意味着我们有数年的支持后盾,这太棒了。另一方面,开源生态系统的一大组成部分是推动每单位权重的智能向下发展,事实上激励模型变得更小、更易于在各种硬件上运行。而将这些置于一个明显偏向特定硬件型号及其规模和成本的供应商背后,会产生一种扭曲的激励。因此我很想看看这会如何发展?
我认为许多人得出的明显类比是GitHub和微软,其中GitHub已成为开源代码事实上的存储标准。迄今为止,似乎GitHub和微软在保持封闭源代码的微软生态系统与开源代码生态系统的激励措施之间的防火墙方面做得相当不错。在GitHub中,显然有通过Copilot进行的产品交叉融合,但他们并未损害GitHub的开源精神。因此这里的希望是英伟达能对Hugging Face做同样的事情,即让Hugging Face继续成为开源冠军精神和开放性的闪耀之光,而英伟达只是在其背后下注。让我们看看会发生什么。
我想进一步深入探讨你强调的内容。我的问题是,谁从中受益更多?是开源社区还是英伟达?在最好的情况下,他们如何互相帮助,以及可能会有哪些担忧。斯凯勒·阿什如果你想加入对话请随时发言。是的,还记得微软收购GitHub吗?这基本上就是重演。现在微软在收购方面做得非常好。我认为英伟达收购Hugging Face的一个有趣之处在于,已经有许多推理提供商向Hugging Face提供推理服务。那么现在这将如何运作?他们是转售英伟达提供的相同硬件吗?从这个角度来看,一些有趣的动态开始出现。
开放权重、开放软件,但封闭硬件。英伟达在此的策略是让尽可能多的模型在其CUDA上训练和运行,因为这才是更大的吸引力。一方面,只要这些模型能在英伟达芯片上运行,我们就受益于更容易访问各种各样的模型。我认为这正是Hugging Face收购案以及Poolside的Model Factory背后真正发生的事情。他们希望尽可能快地推出这些模型,因为他们仍然在销售硬件的业务中。
我认为这一点很好地解释了为什么这对英伟达很重要以及为何英伟达处于进行这项投资的有利位置。该领域中的几乎所有其他重要供应商要么专注于模型本身,要么位于模型之上的软件空间。因此,如果你查看提供任何推理服务的任何新云服务商,或者关注像大型超大规模厂商这样的企业——他们的目标是让你运行起来,计算机中的芯片是什么并不特别重要。重要的是你访问的API表面以及你要经过的计量网关。英伟达不在乎这些,它关心的是底层的芯片。因此只要所有这些推理提供商都购买英伟达的芯片来为其运行的推理提供动力,Hugging Face就没有理由继续为广泛的推理提供商提供服务。
Hugging Face。我认为这里存在一种对英伟达而言相当独特的激励对齐机制。我想,这笔交易中的最大输家将是那些试图制造非英伟达通用芯片的公司。没错。我认为有一篇关于此的文章清晰地将其定位为一种防御性举措,以对抗所有试图进行垂直整合并自建芯片的大型实验室。因为如果大型实验室不再需要购买英伟达的芯片,英伟达就需要将芯片销往其他地方。因此,它们确实会瞄准那些通用硬件,采取“广撒网而非深耕”的销售策略。而那些真正受损的,是其他试图向一般数据中心消费者广泛销售的公司。
我可以扮演一下“坏人”的角色吗?因为房间里显然对英伟达这种让所有人留在其封闭硬件体系内的险恶计划感到不安。难道没有另一种观点吗?比如“认清现实吧”。基本上,这些通用硬件厂商永远也追不上了。英伟达领先太多了。我们只是在承认现实,即这场游戏在开源硬件方面已经输了,甚至可能在通用硬件方面也输了,鉴于英伟达如此巨大的领先优势。有人同意这种看法吗?这某种程度上是现实主义与它们真正关闭通用硬件追赶途径之间的对比。
是的,而且我还认为重要的是要注意到那些试图制造非英伟达通用硬件的小型硬件供应商。坦白说,它们正试图吸收过剩的需求。目前我们处于一个供需严重失衡的生态系统中。因此,这不会改变这种动态。只有当需求真的下降时,你才会开始看到这种情况变得更加激烈。你说得绝对正确。英伟达会施展其影响力。也许这只是直言不讳吧。但我认为目前其他供应商可能出局的可能性只是猜测。
坦白说,如果数据中心需要芯片,它们可能会首先寻找英伟达。但如果等待期长达九个月,它们可能会另寻他处。而英伟达对此可能并不介意,因为它们仍在尽可能多地销售芯片。我觉得另一个有趣的问题是,如何看待这一新闻?你提到了Poolside模型工厂的许可授权。这是否是AI整合的新更大、更广泛的策略?因为在这种情况下,令我印象深刻的是,它们并没有收购它,而是购买了许可。它们在招聘团队,所以某种程度上英伟达正在以各种不同方式抢占地盘。
但这可能过于简单化了。我认为Poolside与英伟达对话的关键部分在于非独家许可协议。因此,英伟达并不一定是在那里搞土地掠夺。它将成为可能使用Poolside模型创建方法的几家公司之一。这正是该协议细节所在的内容。所以是的,我们将拭目以待,看是否还有其他公司愿意为Poolside的许可支付60亿美元。我不认为会剩下太多客户在那儿了。但在这种特定安排中,Poolside和英伟达并非独家合作。
是的,这也是我想在这一部分最后提几个问题的地方。通常当你花费190或200亿美元时,你的资金通常会比较紧张。但我们谈论的是英伟达,它们可以投入更多。我好奇你是否想过谁会是下一个目标?如果你试图在开源领域进行整合,你会去哪里?你认为英伟达会再次出手吗,还是说这暂时告一段落?当我们审视AI世界的全貌时,意味着技术栈包括芯片和基础设施。然后是提供这些服务的云提供商,接着是应用层。
我认为在这两方面中,基础设施已被锁定。它们现在处于中间层,并且想要打造出色的模型。显然,它们将利用Poolside的收购来改进自己的模型。我很好奇。我知道我是用问题回答你的问题Tim,但问题是:它们是否会向技术栈更高层迈进,开始关注某些应用层,并可能在那里分一杯羹,使其开源?或者它们会去收购Open WebUI吗?
它们已经在NeMo Claw方面迈出了小小的一步。所以,到目前为止,它们已经将其庞大的公司资源投入到了一个开源智能体框架中。此前不久有一个关于NeMo Claw的重大公告。我不会说它已经消退,但最近关于Claws的热度不如以往。我认为其他一些智能体框架如Hermes在通用智能体方面占据了一些关注度。但说实话,如果看到英伟达试图走真正的“出售”路线,即购买此类消费者软件平台,我会感到惊讶。
我不认为我们会像人们使用ChatGPT或Claude那样去AI平台进行智能体聊天。这似乎并没有激励正确的事情,因为归根结底,它们的业务完全建立在底层芯片之上。因此,在我看来,我们刚才讨论的这两笔近期交易清楚地表明,它们正力求让尽可能多的“花朵”绽放。如果它们能用资金和声誉支持那些能放大这一目标的具体项目,它们就会这么做。但我不认为它们会试图再切分一块市场角落说:“忘掉其他那些花,来我们这朵花吧。”
我要把我们转移到下一个话题了。这在某种程度上是相关的,但完全是市场的另一面。我们之前在MoE上讨论过大型机市场,我喜欢这个市场的一点是,它与我们所知的通常围绕AI的事物非常不同。在AI行业,一般做法通常是“好吧,我们就发布看看会发生什么”。但在大型机领域,你在某种程度上负担不起这种做法。我知道你标记了Ash如果你想介绍它的话,但听起来IBM基本上在大型机领域推出了一款新的双处理器芯片。鉴于人们在大型机领域的谨慎态度,这确实是一件大事。你想多谈谈吗?当然可以。
他们在本周的Hot Chips大会上展示了这一成果。Hot Chips是半导体行业一年一度的重要会议,芯片制造商和研究人员齐聚一堂,发布新的处理器和设计。许多参与者正是你提到的那些前沿公司,他们都推出了自己的定制芯片并予以分享。但在此背景下,IBM宣布了一种不同类型的芯片——双处理器架构。这是他们与Arm合作开发的AI软件生态系统的一部分,其独特之处在于将IBM的Z系列大型机工作负载与Arm架构整合在同一芯片上,并具备在纳秒级时间内在这两种工作负载之间切换的能力。
从更宏观的角度来看,企业AI正面临日益增长的挑战:组织希望将推理计算靠近数据存储的位置进行。现实情况是,大量数据存储在大型机上,例如IBM Z和Linux One系统。与此同时,Arm生态系统占据了现代AI软件开发的大部分份额。因此,与其在两地之间移动数据,IBM提出通过芯片将这两种工作负载拉近。Skyler,如果你愿意从基础设施的角度切入谈谈这个话题会很有趣:为什么这很重要?它的影响有多大?
如果深入到处理器的技术细节,这里存在两种不同的哲学。一种是执行多个简单指令:例如要相加两个数字,需要一条从内存读取数据的指令、一条加法指令和一条写回结果的指令。另一种哲学则是使用一个更复杂的单一指令来端到端地完成所有操作。计算机科学在几十年的发展中演化出了这两种不同的理念,如今看到它们在IBM与Arm的领域发生碰撞确实令人感兴趣。
我不清楚他们如何在同一芯片上实现这两种指令集的技术细节,但为这些聪明的人点赞。这确实引发了许多值得思考的问题:比如银行是否会去App Store更新其核心 banking 软件?或者在ATM取款时,能否被告知“请稍等20秒,我们的后端正在训练模型”?由于这些曾是完全独立的生态系统,我们过去不得不提出这些问题。现在IBM和Arm声称能在保持大型机功能的同时运行两种不同的指令集,这标志着两种代码编写哲学的融合。
但我在阅读时一直有个顾虑:一方面看到这些壁垒被打破很酷,另一方面我们也应追问:当初为何设立这些壁垒?我们真的希望Arm软件与政府服务、银行服务等依赖大型机数十年的关键系统运行在同一环境中吗?请大家密切关注此事。我认为这不仅仅是共享指令集的芯片问题,而是两个不同世界的碰撞,未来几个月的发展将非常精彩。
正如你所说,这涉及企业如何将AI与无法彻底替换的现有关键任务系统整合。你用App Store做的类比很形象:大型机用户突然拥有了应用商店般的选项,企业希望将推理能力靠近数据源。但这往往难以退出。我认为IBM和Arm都是赢家,这并非零和游戏,两者都有机会。四月宣布合作伙伴关系,几个月后发布芯片公告,这种快速推进令人印象深刻,尽管我对其实际发布时间持保留态度。
我想引入软件工程师的视角:这将使许多人的工作轻松不少。几个月前,Anthropic宣布推出从COBOL迁移的工具,市场一度担心这意味着大型机的终结。IBM对此做出了有力回应,核心观点是:COBOL只是手段而非目的,大型机存在的根本原因——极致的可靠性——并未消失。正如有人所说,你可以把子弹射入大型机让它继续处理交易而不中断,这是其他硬件做不到的。
这种可靠性是许多关键基础设施的基石。虽然COBOL代码确实难以维护且程序员稀缺,但对可靠性的需求从未减弱。IBM的尝试是换一种方式解决问题:不是将大型机代码移出从而牺牲可靠性,而是引入现代代码。对于尝试过为任意架构交叉编译的人来说(比如Python程序),这其中的技术挑战不言而喻,因为Python本身是基于C语言的。
如果 Python 中导入的库涉及性能优化,它实际上是在调用底层的 C 语言库。Torch 本身针对市面上每一种加速器架构都编译了后端,因此生态系统面临着极具挑战性的交叉编译工作。在宣布这一举措之前,将像大型语言模型这样复杂的软件——它背后有着极其复杂加速逻辑和交叉编译支持——移植到完全定制、独立且隔离的芯片架构(包括加速器标准和 CPU 处理)上,是一项令人望而生畏的任务。这通常需要数年的工作才能将各个 LLM 架构移植到 Z 系统上。
如今有了 ARM,且大量用户已在笔记本电脑、手机甚至开始在日常桌面处理器和服务器处理器上运行 ARM 工作负载,这意味着大量软件已经适配了 ARM 生态系统。因此这部分准备工作已由我们完成。希望这将打开闸门,使大量此前因投入成本过高而无法运行的有趣工作负载得以在大型机上运行。正如 Skyler 所指出的,接下来令人感兴趣的是这对共享处理器的其他工作负载可靠性有何影响。
实践是检验真理的唯一标准,但至少从表面看,这将大大简化许多人的工作。我们不妨聊聊未来?比如设想一下 2050 年。那时还会有大型机吗?人们常抱怨这项技术,总说“大型机正在消亡”。但正如 Gabe 所言,很难找到如此高可靠性的技术。某种程度上你可以读出趋势线:大型机不仅会存在,而且可能比以往更加庞大。你认同这一点吗?我好奇这种看似陈旧、积灰的生态系统,是否实际上比人们想象的更加稳健和有趣。
在某些工作负载中,延迟确实至关重要。而在大型机上,延迟问题几乎不存在。事务处理速度极快,因此我们永远需要针对特定类型的事务具备这种处理能力。我认为我们将倾向于更大、更强大的此类计算机,这在很大程度上是永恒的趋势。Skyler 和 Gabe 都提到了这一点,我也有一些疑问和好奇心。这次与 ARM 的合作成果非常出色。
从计算机架构的角度来看,他们本可以在芯片中加入一些 ARM 核心,但他们没有选择这样做。所有组件都整合在一起,这非常酷且有趣。我很想与做出这一架构决策的人交谈,问问他们为何选择这条艰难的道路?因为如果换种方式可能会更容易。这也引出了一个问题:既然我们现在要在大型机上处理毫秒级的事务,如果同时运行 PyTorch 和其他软件,会对整体系统行为产生什么影响?
这是否意味着到 2050 年我们需要更大规模的计算机?那将是一个有趣的结果:生活在 2050 年,周围全是巨型大型机。接下来我们要进入今天的最后一个话题。在 2025 年,有一个谚语感觉我们越来越像生活在某种赛博朋克小说中。这个故事非常典型:OpenRouter 上出现了一个名为 Ox Alpha 的神秘模型,引起了轰动,人们对其能力印象深刻。
最引人注目的是,公告声称它每天能处理 100 万亿个 token。这立即引发了关于其背后算力规模的疑问:究竟需要什么样的计算资源才能提供这种服务?据我今早获悉,该模型最终被揭示为 GLM-5.3 开源中文模型。首先让我们进行常规的“氛围检查”:Gabe、Sky,你们有人试用过这个模型吗?大家觉得怎么样?就像品酒评论一样: hype(炒作)是否 justified(合理)?
基准测试在这个概率性世界中永远存在争议。大约一年前,我整理了一套自己的小型基准测试套件并通过 OpenRouter 运行了它。我认为结果相当不错,而且免费(虽然现在不再完全免费,但依然极其便宜)。我对输出质量印象深刻。我也给了它“气味测试”,闻起来像个好模型。
但在这一点上,我不能自称拥有鉴赏家的味蕾,因为我想要运行的大多数工作负载都可以由参数规模低于 300 亿的模型满足。为此感谢小模型的发展,这里做个小小的推广。但我认为在高端领域拥有竞争是极好的事情,我很乐意看到这一点。
我很好奇他们声称的高吞吐量是由于扩展宽度和原始算力的堆砌,还是他们在模型架构上实现了真正的创新,从而在保持顶级质量的同时大幅提高了吞吐量。如果他们真的想出了如何让数据更快通过注意力机制的技巧,那将非常酷。归根结底,我们拥有大量非常好的模型,这太棒了。
我仍然会尽量在我的本地机器上运行尽可能多的服务。我对这个故事的兴趣不仅在于模型本身,更在于他们决定保密的原因。我想知道你们的看法:这种故意的神秘感是否为了制造炒作?还是背后有更深层的原因,他们……
你知道,它什么时候会被揭晓吗?你懂的。为什么是这种“隐身模式”呢?我觉得这种隐身策略很奏效。我是说,在我们选定这个播客话题和实际录制之间,GLM-5.3 发布了。如果它是这样突然出现的,我们还会讨论 GLM-5.3 的发布吗?难道这种“隐藏模型”的概念更引人入胜吗?正如蒂姆所指出的,这就像赛博朋克小说一样,你可以看到这些神秘人物戴着盔甲参加中世纪骑士比武。我们不知道他们是谁。所以我认为,模型制作者以这种方式发布做得非常好。
他们获得了想要的炒作热度:几天的热烈猜测,然后是正式发布,称这只是一个改进,而且是对之前模型的一个令人印象深刻的改进。所以我认为他们真的在“隐藏揭晓”这一策略上做得很棒,让互联网讨论了两天或三天。我还要补充一点,那就是模型发布的时机非常难把握。我们在 IBM 刚刚发布了 Granite 4.2 模型,我们对此感到自豪。它们肯定赢不了基准测试的比赛,但我们认为它们对目标受众非常有用。
然而就在我们发布后的一天,Qwen 又推出了另一个打破基准的惊人模型,而且它也能在相同的本地硬件上运行。你知道,选择何时以及如何发布是一场非常困难的猜测游戏,你需要推测其他竞争对手是否会以相同规模、在同一领域推出竞争性模型。所以就像你说的,斯凯勒,我要称赞团队选择了不同的发布路线。因为如果这仅仅是另一个惊人的中国模型——顺便说一句,我们生活在一个什么样的世界里?我们还会 bother 去讨论它吗?
但选择了一种几乎能规避竞争风险的发布策略,因为没人这么做呢?不,我认为其他人可能在很长一段时间内都无法复制这一操作。我是说,我们之前有过类似“纳米香蕉”的情况。这也不是第一个实验室用响亮的名字进行隐身发布模型的事情,但这确实是一种很好的策略,可以缓解“哎呀,其他前沿实验室是否也会在同一天或同一周发布他们的新模型”的担忧。谁知道呢?
有时甚至是在很短的时间内,我记得 OpenAI 和 Anthropic 的两次发布间隔仅一小时左右。那就像是一场争夺注意力的游乐场式竞争,看谁获得的关注更多。我认为他们确实发布过声明,表示希望以某种“隐身模式”发布,以便从开发者那里获得 unbiased(无偏见)、真实、实际的反馈,从而了解他们的模型在那些用例中究竟有多好。
我认为这其中确实有“隐身”的原因:他们不想说嘿,这是一个中国模型,从而在确定模型性能时引入任何偏见。我也认为其中大概有 50% 是营销因素,对吧?这是一个很棒的营销策略。太棒了。好了,加布,今天我们时间到了。斯凯勒·阿什很高兴你能来节目做客,艾莉和你一起主持也很棒。谢谢你的加入,感谢所有听众的支持。
如果你喜欢我们的内容,可以在 Apple Podcasts、Spotify 以及各大播客平台上关注我们。我们下周在《专家混合体》(Mixture of Experts)节目中再见。