大家好，这里是最佳拍档，我是大飞。纽约有一条百年历史的跨州铁路隧道，因为缺少大约十亿美元资金，长期没法完成更新改造。而就在同一时期，Google宣布下一年度的资本开支将达到一千零五十亿美元。十亿美元对一千零五十亿，一条隧道的造价还不到一家科技公司一年基建投入的百分之一。这个对比听起来有点夸张，但它恰恰点出了今天AI产业最真实的一面：这场竞赛的基本单位，已经不是芯片，而是百亿美元级别的基础设施投入。

2026年8月，在美国计算机历史博物馆，一场名为《The Silicon Gold Rush》的公开对谈吸引了整个芯片行业的目光。主持人是RISC架构奠基人戴夫·帕特森（Dave Patterson），两位嘉宾分别是英伟达首席科学家比尔·达利（Bill Dally）与Google资深研究员、TPU之父诺曼·朱佩（Norman Jouppi）。这是两位定义了当代AI芯片路线的人物，少有的一次公开同台。他们没有聊Blackwell或者TPU这些具体产品，而是在讨论一个更底层的问题：为什么今天的AI芯片竞争和过去任何一次计算机革命都不一样？

答案并不只是算力。戴夫·帕特森开场就抛出了当天最核心的问题：为什么今天会是一场“硅金矿”？它和上世纪八十年代的Lisp机器热潮、九十年代的超级计算机浪潮相比，到底有什么本质区别呢？比尔·达利的回答很直接。他认为真正定义这一轮AI革命的，是三个此前从未同时出现过的条件：包括真实的商业需求、统一的计算范式，以及几乎没有历史包袱的软件生态。

过去很多计算机架构的黄金时代其实都带着浓厚的科研色彩。九十年代超级计算机的发展，很大程度上靠的是DARPA等政府项目的资金支持，大量创业公司因此诞生。但真正能形成持续商业市场的却寥寥无几，Thinking Machines这些当年的明星企业最后都倒下了。所以光靠技术领先撑不起一个产业，AI完全不同。如今几乎所有行业都在尝试把AI引入自己的业务，从搜索、编程到医疗、制造，整个市场对于Token、算力和推理能力的需求几乎是无限增长的。

推动芯片创新的不再是补贴，而是真正愿意持续付费的客户。这也是为什么这波浪潮能走得更远。这里有一个很反直觉的观点：比尔·达利说Transformer其实是一种相对简单的应用。这句话乍听上去有点矛盾，毕竟大模型有上万亿参数，训练成本比历史上任何计算任务都高。但是他强调，他说的“简单”指的是计算结构，不是模型规模。

以前的高性能计算像天气模拟、流体力学、核计算，往往有几十万甚至上百万行代码。你就算把最耗时的计算核提速十倍，真正拖后腿的还是剩下那一大堆串行代码。这就是阿姆达尔定律（Amdahl's Law）长期限制超算发展的原因。Transformer不一样，它的计算高度集中在矩阵乘法、Attention、Softmax、LayerNorm这少数几个核心算子上。

对硬件架构师来说，只要围绕这些核心原语持续优化，整个模型就能同步获得巨大提升。所以GPU和TPU才能以远高于传统CPU的速度演进。以前要兼顾成千上万种应用，现在变成了不断打磨有限的几类计算模式。硬件和模型第一次形成了高度一致的演进方向。Transformer改变的不只是AI，也改变了芯片设计的方法论。

除了需求和算法，还有第三个关键词叫Dusty Deck（积灰的老代码）。传统计算产业里软件生态最大的困难往往不是性能，而是兼容性。几十年的历史程序、庞大的Fortran代码库、各种遗留接口让任何一次架构革新都走得特别慢。AI几乎没有这个问题，今天的大模型、框架、编译器甚至训练方法都在快速迭代。

开发者愿意为了性能重写Kernel，也愿意接受新的数据格式和编译方式。这种没有历史包袱的软件生态让硬件创新第一次真正做到一年一代。所以比尔·达利的判断很明确：这不像八十年代的Lisp机器热潮或者九十年代的超算热潮，这是一场真正创造商业价值的革命。

如果说比尔是从技术角度解释了硅金矿，那诺曼·朱佩则从另一个维度给出了答案：就是我们开头提到的资本。那条纽约隧道缺的十亿美元和Google一年一千零五十亿美元的资本开支，这两个数字放在一起信息很直接：AI基础设施已经进入了以百亿美元为单位的竞争时代。

整个行业都在拼命加速，会有赢家也一定会有输家。真正在竞争的已经不只是一颗芯片，而是电力、土地、液冷、网络、HBM还有整个数据中心的建设能力。AI芯片战争正在演变成一场全球基础设施竞赛。聊到淘金热这个话题，戴夫·帕特森顺势抛出了一个很有画面感的问题：如果今天真是一场淘金热，那谁是淘金者？谁又是卖铲子的？

比尔·达利的回答成了全场最经典的一句话。他说，真正的淘金者是那些找到AI垂直行业的人：医疗也好、金融也好、工业制造也好。只要找对了应用场景，就有机会像十九世纪的淘金客一样创造新的财富。而英伟达和Google扮演的角色更像当年卖镐头和铲子的公司，他们提供的是整个AI时代最底层的生产工具。

说到这儿还有个挺有意思的小插曲：比尔笑着说，虽然大家都在卖铲子但他们其实还在不停地给存储公司交钱。诺曼马上接了一句：美光（Micron）上一季度赚到的钱几乎相当于之前十九年的总和。这句玩笑恰恰点出了AI产业链最真实的变化：今天GPU的数量未必增长了十倍，但是HBM、DDR5这些高端存储的价值却在迅速攀升。

真正受益的不只是算力厂商，还有整个存储产业链。AI时代最昂贵的资源正在从计算逐渐延伸到带宽。聊完了产业格局，接下来的问题更值得琢磨：为什么今天几乎所有AI训练芯片看起来都越来越像？戴夫·帕特森用了一个生物学里的概念叫趋同演化（Convergent Evolution）。

不同公司沿着各自的技术路线出发，最后却演化出了高度相似的形态：一块巨大的计算Die中间布满矩阵计算单元，外围围着HBM；通过最快的SerDes构建高速互连再组成超大规模训练集群。这像极了今天的GPU、TPU甚至很多AI芯片创业公司的产品，这是巧合吗？比尔和诺曼给出了两个不同的答案但方向是一致的。

诺曼先接过了话头，他继续用生物学的比喻说：大家总喜欢谈寒武纪大爆发却很少有人提随后发生的另一件事——寒武纪大灭绝。当年地球上出现过大量形态奇特的生物，有些像巨大的甲虫，有些长着完全不同于今天生物的附肢。但绝大多数最终都没有活下来真正延续至今的只是少数适应环境的物种。

今天的AI芯片产业也在经历同样的过程：过去几年无数创业公司提出了各种完全不同的AI架构，有人强调数据流、有人押注模拟计算、有人重构内存体系也有人想彻底替代GPU。但市场正在快速验证这些路线，最终能留下来的一定是真正满足大模型需求的设计。说到这里比尔还补充了一个更具体的历史参照：上世纪九十年代末到两千年初硅谷曾经有不下一百家图形芯片创业公司，经过一轮又一轮的优胜劣汰最后只剩两家：英伟达和ATI。

所以GPU和TPU越来越像不是谁模仿谁，而是优秀架构自然收敛的结果。那些看起来奇形怪状的设计很可能会像寒武纪的生物一样被市场淘汰。比尔·达利的角度略有不同，他并不完全认同“趋同”这个词。站在足够高的视角看所有AI芯片确实都有一些共同特征，因为应用本身决定了硬件必须满足什么需求。

Transformer需要矩阵乘法所以大家都有张量引擎（Tensor Engine）；Attention和LayerNorm需要向量运算所以所有芯片都有向量单元（Vector Unit）；大模型需要庞大的参数存储所以HBM、高带宽缓存和高速互连几乎成了标配。但这只是共同语言，真正决定产品竞争力的不是这些人人看得见的模块而是藏在架构深处的细节优化。

他举的第一个例子就是数值格式：过去十年AI芯片的发展几乎可以用一条精度路线来概括——FP32、FP16、BF16、FP8。而比尔认为真正改变下一代AI芯片效率的是FP4。几年前英伟达在MLSys会议上发表了关于向量缩放（Vector Scaling）的研究，随后推出了NVFP4格式。这种格式不是简单把FP8再砍一半而是通过更合理的缩放方式在保持模型准确率的同时大幅降低数据表示的成本。

比尔给出的评价很直接：和传统FP8相比它能带来接近两倍的性能优势同时维持相近的精度水平。这意味着未来AI芯片的竞争不再只是谁有更多TOPS而是谁能在更低位宽下依然保持模型可训练、可推理。今天整个行业都在拥抱FP4本质上就是这个思路的延续。除了低精度，比尔谈到的另一项长期投入是稀疏计算（Sparsity）。

早在2015年他就和韩松（Song Han）共同发表论文指出大多数神经网络天然就有大量零值权重，也就是说它们本身就是稀疏的。真正的问题不是网络是否稀疏而是硬件能不能识别并利用这种稀疏性。所以从Ampere架构开始英伟达把结构化稀疏计算做进了Tensor Core让硬件直接跳过无效计算。

有意思的是比尔并没有说稀疏已经成了行业共识，反而特别强调这并不是每一种生物都会拥有的能力。换句话说矩阵计算人人都有但是真正的差距来自这些围绕模型特性的深度优化。这也是为什么就算GPU和TPU的整体轮廓很像实际性能依然能拉开距离。聊到这儿比尔突然把话题转向了商业模式，他说自己其实一直很羡慕Google一件事：就是TPU直到最近之前都只有一个客户那就是Google自己。现场当即笑成一片。

他解释说，Google设计TPU的时候服务对象始终是Google自己的模型和数据中心所以团队可以完全围绕内部需求做架构优化，不用考虑外部兼容性也不用平衡各种行业客户的诉求。英伟达则完全相反：作为开放平台GPU要面对云厂商、互联网企业、科研机构、汽车公司还有几千家软件开发者。

比尔坦言英伟达在训练和推理市场都拥有68%的份额，而伴随这个份额而来的是无数客户的不同需求。每一家大客户都会提出不同的功能请求架构团队不得不在通用性和性能之间不断权衡。他甚至半开玩笑地说如果客户足够大你至少要认真听听他们的功能请求，然后他说了整场最耐人寻味的一句话：“如果英伟达也只为自己设计芯片而不用考虑所有客户也许还能做得更好。”

这句话背后其实就是GPU和TPU两条路线最本质的区别：TPU是应用驱动的架构，先服务Google自身；GPU是平台驱动的架构它必须成为整个AI生态的公共基础设施。两种模式没有优劣却决定了完全不同的产品哲学。这里还延伸出一个很有意思的问题：如果把硬件和某种特定模型死绑定风险有多高呢？

比尔举了一个很新鲜的例子：OpenAI在Hot Chips会议上发表了他们的Jalapeno处理器，这款芯片几乎就是为跑某一个模型而设计的。在AI发展的早期阶段可编程性具有压倒性的决定性价值因为模型变化太快了。诺曼随后补充了一段TPU很少有人知道的历史：很多人以为第一代TPU是一张PCIe推理卡但真正意义上的TPU其实始于第二代。

从TPU v2开始Google就明确把目标定义为训练超级计算机而不是单颗AI加速器。整个系统从设计之初就采用3D Torus互连、液冷架构以及Pod级扩展能力，没有经历传统服务器逐步加功能、不断妥协兼容性的过程而是从一张白纸开始直接围绕超大规模训练来设计。戴夫·帕特森后来评价说Google在2017年前后就意识到训练真正需要的是一台超级计算机而不是一块更快的芯片。

这也解释了为什么今天越来越多AI厂商开始强调Pod、Rack甚至Cluster而不是单GPU性能。真正的计算单元已经从芯片演变成了系统。聊到这里其实已经回答了一个长期存在的行业误区：GPU和TPU的差异不在于有没有矩阵单元而在于它们如何围绕不同的软件生态、客户结构和系统目标做取舍。

过去几年一谈AI芯片竞争行业最容易陷入参数思维：多少TOPS、多少TFLOPS、多少GB HBM、几纳米工艺，好像决定胜负的永远是一颗芯片本身。但是在这场对谈里戴夫·帕特森提出了一个更尖锐的问题：对于今天的英伟达和Google来说互连、内存、封装、电源、液冷这些系统能力会不会已经比硅片本身更难复制？

比尔·达利几乎没怎么思考就给出了答案：“真正的产品是整个系统。”这句话值得反复咀嚼。在AI时代“产品”这个词的含义已经变了：以前服务器厂商卖CPU、GPU厂商卖加速卡、网络公司卖交换机各管各的；但今天一个能稳定运行几万GPU的大模型集群本质上是一套高度耦合的整体系统。

GPU、CPU、高速网络、HBM、交换机、软件栈、调度系统、机房配置，任何一个环节出问题都会直接影响训练效率。所以英伟达真正交付给客户的不是Blackwell而是DGX SuperPOD。比尔回忆说大概从Pascal时代开始也就是2015年前后英伟达就开始给客户提供标准化的AI超级计算机方案。那时候他们还没收购Mellanox但已经会告诉客户用哪款交换机、怎么配置、怎么部署。

按照官方架构搭完一万块GPU的集群开机就能跑。这和传统超级计算机形成了特别鲜明的对比：为了说明系统工程的重要性比尔讲起了自己参与美国能源部超级计算机项目的经历。Titan也好、Summit也好、Sierra也好这些超级计算机硬件安装完之后往往还要经历长达半年的Bring-up阶段。

所谓Bring-up不是芯片坏了而是整个系统要不断调网络配置、节点通信、软件版本和各种边界条件才能真正稳定运行。所以真正难的从来不是把一万块GPU装进机柜而是让这一万块GPU连续训练几个月不出问题。客户买的不是理论峰值性能而是能立即投入生产的算力平台。

有意思的是虽然两家公司都认为系统比芯片重要但是在系统设计上它们选了完全不同的路线：最大的区别来自节点内互连。Google TPU用的是3D Torus拓扑再结合光路交换（Optical Circuit Switching）来动态绕过故障节点。这种设计延续了传统超级计算机的思路更强调规则化拓扑和超大规模扩展能力。

比尔自己也说他很欣赏Google的光互连设计毕竟他自己当年也造过很多3D Torus网络的超算。英伟达走了另一条路：他们在节点内部构建Clos网络采用专有的超低时延互连技术尽可能减少传统以太网协议带来的通信开销；到了更大规模的数据中心层面则继续用标准以太网完成扩展。

简单说Google是超算思维：统一拓扑，用光互连增强可靠性；英伟达是数据中心思维：专有低时延加标准以太网，兼顾开放生态。两种架构没有绝对的好坏只是分别服务于各自的软件和商业模式。说到数据中心比尔还提到了一本很经典的书叫《The Datacenter as a Computer》，作者是路易斯·巴罗索（Luiz Barroso）和乌尔斯·霍尔兹勒（Urs Hölzle）。

这本书讲的不是CPU设计而是如何把整个数据中心当成一台计算机来思考。这个概念影响了整整一代系统工程师，这意味着AI时代真正需要优化的对象已经变了：以前架构师关注的是缓存命中率、流水线效率、分支预测；今天他们思考的是GPU之间如何同步、交换机怎么降低拥塞、液冷如何提升机柜密度还有训练任务如何跨几千个节点保持一致性。

芯片第一次变成了整个系统里的一个组件。谈到这里诺曼也聊了聊对AI芯片创业公司的看法，他说很多初创企业有优秀的芯片设计能力却缺少一样更难积累的东西：就是构建超大规模系统的经验。这些经验不会写进论文也很难靠EDA工具获得，它来自一次又一次真实部署之后踩过的坑。

比如网络怎么恢复、节点怎么热替换、训练任务怎么容错、电源和液冷怎么协同工作等等。比尔也认同这个判断：正是这些看起来不起眼的系统细节构成了英伟达和Google相比很多创业公司的真正优势。今天复制一颗AI芯片或许还有机会但复制一套能稳定运行几万GPU的数据中心门槛要高得多。

AI芯片战争已经进入了系统时代。聊完了硬件和系统话题自然转向了软件：如果说系统工程决定了一家AI芯片公司能不能交付产品那真正决定一款芯片能不能活过十年比尔和诺曼都认为，是软件。戴夫·帕特森在对谈中提了一个假设：如果把英伟达或Google的芯片版图全部交给一家创业公司但不给它们CUDA、编译器和软件栈，它们还能竞争吗？

这个问题看起来在谈软件

实际上讨论的是AI芯片最深的一层护城河。诺曼先回答了这个问题，他讲起了TPU最初设计时的一段往事：当年设计TPU的时候，团队一直遵循他博士导师约翰·轩尼诗（John Hennessy）的一条原则——“不要把能够在编译期完成的事情，留到运行时”。这句话几乎成了整个TPU架构的设计哲学。

第一代TPU的架构团队只有十个人，其中两位就是编译器工程师。也就是说，Google不是先设计一颗芯片再让软件团队去适配，而是编译器从芯片诞生的第一天就参与了架构定义。所以TPU的很多硬件决策，不是为了增加灵活性，而是为了降低编译难度。

一台优秀的AI处理器应该尽可能让编译器提前完成调度、资源分配和数据布局，而不是把复杂决策交给运行时动态处理。这样既能降低硬件复杂度，也能提升整体执行效率。这种思想其实延续了RISC架构最经典的一条原则：把复杂性交给编译器，而不是指令本身。

聊到软件的时候，诺曼还特别解释了TPU为什么能保持长期兼容。虽然每一代TPU都会增加HBM容量、扩大片上存储、提升带宽，但是整体架构并没有发生根本变化。就像一台PC不断加内存却依然能运行同一套软件一样，Google真正保持稳定的不是晶体管数量，而是编程模型。

对云平台来说，这一点远比单代性能更重要。因为Google内部有数量庞大的训练框架和Kernel，一旦架构频繁改变，迁移成本会远高于性能收益。所以TPU选了一条稳定架构、持续扩容的路线。

轮到比尔·达利的时候，他没先聊深度学习，而是把时间拉回了2006年。那一年，CUDA刚刚发布。当时GPU计算面对的根本不是AI，而是成千上万种传统科学计算程序：比如天气模拟、流体力学、金融分析、分子动力学。

这些代码大多是用Fortran写的，很多项目已经积累了几十年，动不动就有上百万行代码。真正难的不是GPU性能，而是怎么让这些程序愿意迁移到新平台。所以英伟达投入了巨大的资源构建CUDA生态：从CUDA语言、FFT和BLAS等数学库、矩阵计算库、编译器，到调试和分析工具，一应俱全。

比尔坦言那是一项远比设计GPU更艰难的工作，因为他们面对的是整个并行计算世界。真正的转折发生在2010年前后。当时英伟达和吴恩达在斯坦福合作开发深度学习软件，后来慢慢演变成了cuDNN。

团队本来以为又要面对一个复杂的软件生态，结果意外发现：深度学习只有少数几个关键Kernel。和天气模拟的几百万行代码比起来，大模型最重要的计算几乎全部集中在卷积、矩阵乘法这些有限的算子上。

比尔形容那种感觉，简直像一种解脱：只要把这些Kernel做到极致，整个模型都会同步提升性能。这也是cuDNN后来成为AI时代最重要的软件基础设施之一的原因——它不是覆盖所有应用，而是把最关键的几个算子优化到了极致。

比尔随后还分享了一个很多人容易忽略的现象：他说，每当一个深度学习模型第一次跑起来的时候，团队通常都会在接下来的半年里再把它提速一倍。原因不是GPU升级了，而是大家不断发现新的性能瓶颈，重新优化Kernel、内存访问和调度方式。

AI软件和传统软件最大的区别在于：它不是一次性交付，而是持续进化。今天大家感受到的大模型推理越来越快，很多时候不是因为换了新硬件，而是来自编译器、Kernel、算子融合和运行时的不断迭代。

硬件提供的是天花板，软件决定的是最终能达到多少。说到软件，对谈中还聊到了一个很前沿的话题：AI会不会填平软件的护城河呢？

比尔的看法很直接：“任何软件护城河都在被显著削弱。”他说，只要你有一个软件库的规格说明，让Claude去重新实现一遍，已经不是什么难事了。诺曼也同意这个判断，他说护城河正在变浅；戴夫·帕特森在旁边补了一句：“正在被沙子填满，人们快能直接走过去了。”

这不是危言耸听。比尔说，现在你只要跟Claude说一句“帮我写个软件栈”，然后去过个周末，它可能就写出来了。这种变化对芯片设计的影响是深远的：未来的芯片设计软件可能就是一个你可以直接对话的大模型。

AI带来的生产力提升也是实实在在的。比尔说，对于普通工程师，AI助手大约能带来两倍的生产力提升；对于优秀工程师，生产力甚至提升了十倍。未来的价值在于知道该设计什么，而不是手动画逻辑门；把AI当作你的合伙人，专注于人类独有的创新思考。

整场对谈还涉及了很多前沿技术的辨析，有几个观点很值得拿出来说一说：一个是量子计算。很多人问：“量子计算会不会颠覆AI？”比尔的回答非常干脆，几乎不会。

原因很简单：量子计算真正擅长的两个领域，一个是模拟量子化学，另一个是Shor算法破解密码。AI恰恰是海量数据、相对较小计算量的架构，和量子计算的优势领域完全不重叠。

另一个是模拟计算。经常有人说：“模拟电路做乘法又酷又高效，为什么不搞模拟AI芯片呢？”比尔的回答是：天下没有免费的午餐，也没有免费的乘法。

模拟计算看似高效，但一旦你要构建真实的系统，就会面临测试、可靠性、存储等一系列问题。在数字系统里，你知道结果对不对；在模拟系统里，这件事本身就变得非常困难。

还有一个是边缘计算。关于数据中心和边缘的关系，比尔的态度很务实：他说一般原则是能放在数据中心做的就尽量放在数据中心，因为数据中心交付算力的成本要低得多。

但如果是因为延迟原因、或者需要在网络断开时依然可靠运行，又或者需要处理的海量数据没法全部传回数据中心，那就需要边缘计算。所以不是非此即彼，而是根据实际场景做选择。

说到能源，比尔还透露了一个很惊人的细节：因为数据中心的离网发电需求太旺盛，工业燃气轮机的订单已经排到了五年后。甚至有公司把退役飞机上的喷气发动机拆下来改成发电机。

对话的最后，戴夫·帕特森请两位给年轻的芯片工程师和AI芯片从业者一些建议。诺曼说：“AI会不断变化，但底层原理不会。”他建议年轻工程师把更多的时间投入到计算机体系结构、编译器、操作系统、网络和数学这些基础能力上，而不是只学某一个热门框架。

今天流行的是Transformer，未来模型可能会变，但基础能力始终适用。比尔则强调：今天最有价值的工程师已经不是只会设计GPU或者只会写Kernel的人，真正优秀的人需要理解整个系统如何协同工作——从芯片架构、内存体系、网络互连，到软件栈、编译器、数据中心部署。

未来最大的创新几乎都会发生在这些交叉领域。他还特别提到：如今AI正在进入医疗、生物、机器人、科学计算等各个行业，真正稀缺的人才不一定是最懂AI的人，而是既懂一个行业又懂AI的人。

生物加AI、材料加AI、医疗加AI、芯片加AI，这些垂直领域未来会诞生大量新机会。谈到自己的职业经历时，两位都提到：他们今天被大家熟知的成果（比如CUDA、TPU、互联网络这些），其实都不是几年完成的，而是经历了十几甚至几十年的持续积累。

诺曼说：“很多看起来突然成功的技术背后往往已经做了十年以上。”比尔也表示：真正重要的是持续解决真正的问题，而不是追逐每一次风口；选择值得长期投入的问题，坚持做下去。

整场对谈持续了一个多小时，但比尔·达利和诺曼·朱佩最终传递出的观点却高度一致：过去几十年，半导体行业的竞争单位是一颗CPU、一颗GPU；今天，竞争已经变成了一整套AI基础设施。

从FP4、稀疏计算到HBM、液冷、光互连，再到CUDA、编译器和调度系统，每一层都在共同决定大模型最终能跑多快、成本有多低。也正因为如此，当越来越多云厂商开始自研芯片时，真正难复制的早已不是晶体管，而是那些藏在系统背后的工程经验。

正如比尔·达利所说：“真正的产品从来不是一颗芯片，而是整个系统。”感谢收看，我们下期再见。