[轻笑声] [音乐声]
我想请你和我一起做一个小小的思维实验。想象一下，你就坐在办公桌前，对吧？然后你让一个 AI 帮你总结这份庞大的文档。>> 没错。这现在已经是一个完全正常、日常的任务了。 >> 确实如此。你按下回车键。现在，请你真正去构想接下来发生的物理现实：那些 AI 的“思考”究竟是在哪里产生的？
是的，我们往往有一种倾向，认为云计算是一种不可见的、无重量的抽象概念，只是漂浮在那里。 >> 就像以太中发生的魔法一样，>> 对吧？但事实上，那些 AI 的思考具有极其密集、沉重且坦率地说炽热的物理足迹。我的意思是，生成一个复杂的响应涉及让河流般的电子穿过微观的硅门电路，这会产生热量，从而物理性地改变其所在房间的温度。 >> 它是金属，是玻璃。而且正如我们今天将要看到的，还有成千上万加仑的液体。我们要深入探究这一物理现实的绝对前沿。我们将详细解读微软 Azure 博客于 2026 年 10 月 12 日发布的一篇博文，该博文详细介绍了其全新 Azure Maia 300 系统的架构。
我们今天深入探讨的使命，是为了真正探索这种迷人的工程哲学，因为微软不仅仅是在尝试制造更快的处理器。 >> 没错？这远不止于此。 >> 确实如此。他们正在优化整个生态系统，从硅通路的原子结构一直到数据中心里的实际管道系统，并且这一切都是专门针对大型语言模型推理进行调优的。 >> 好的，让我们拆解一下这个问题，因为透过这些资料来看，这感觉像是硬件与软件的终极拼图。但在深入芯片本身之前，我想先了解那些迫使这些巨大工程转变的软件需求是什么。
这篇博文强调了一种被称为“代理工作负载”（agentic workloads）的概念。 >> 是的。在过去几年里，AI 的工作负载模式已经完全转变了。以前这种交互是非常事务性的：你向模型发出提示，它生成一个响应，然后就结束了。 >> 一次搞定（One and done），>> 对吧？但随着 Microsoft Copilot、GitHub Copilot 和 Microsoft Foundry 等平台的广泛采用，我们现在面对的是多步骤执行。 >> 所以这不仅仅是回答问题，而是在完成任务。 >> 没错。AI 正在推理问题、调用外部工具、运行一些代码、评估结果并进行迭代。这是一个持续的循环。 >> 我的意思是，我每天使用这些工具，但我一直认为 AI 主要是一个软件游戏：它的算法、神经网络权重以及代码。为什么微软要如此深入地钻研物理硅设计？如果你需要更多的计算能力，难道你不只是从主要硬件供应商那里购买现成的 GPU 吗？
过去确实是这么做的。是的，但标准的现成芯片本质上是通用型的。它们被设计用来做各种事情：渲染电子游戏、模拟天气模式、运行标准数据库查询，以及……你知道的，运行 AI。样样通，>> 对吧？为了做所有这些事情，通用芯片必须以高度灵活的方式移动数据。但是当你以数百万用户的规模运行这些长上下文推理模型时，这种灵活性实际上变成了一个巨大的负担。 >> 因为它效率低下，>> 非常低效。标准硬件在移动芯片上的数据时浪费了巨大的能量，而这些操作对于 AI 软件高效运行基于 Transformer 的数学计算来说根本不需要。硬件必须围绕软件的精确内存和数据流需求进行独特的塑造。
他们追求的那些指标确实突显了这种转变，对吧？我注意到他们不再追逐吉赫兹（GHz）或万亿次浮点运算每秒（Teraflops）。 >> 根据博文，Maia 300 的目标是最大化每瓦特有用令牌数和每美元有用令牌数。 >> 因为坦率地说，在数据中心规模下，这些才是唯一重要的指标。你在从本地电网汲取电量的物理上限是固定的。 >> 你不能只是插上无限长的延长线。 >> 没错。而且在基础设施支出上也有严格的财务上限。所以现在赢得 AI 竞赛意味着要弄清楚如何从每一瓦特电力中榨取更多的生成令牌。这就引出了他们实际上是如何构建这个“大脑”的。Maia 300 采用了基于台积电 N2P 工艺的多芯片模块（chiplet）架构。
现在，我知道 N2P 是超级先进的制造工艺，但请帮我理解为什么他们将其拆分为芯片模块，而不是直接打印一块巨大的硅片。嗯，N2P 工艺（即 2 纳米级节点）让他们拥有了极其微小的晶体管，更小的晶体管切换状态所需的电压更低。 >> 这意味着浪费的电力更少。没错？>> 是的，这直接转化为每次计算产生的废热导致的电能浪费减少。但是制造物理学呈现出一道被称为“光罩限制”（reticle limit）的硬墙：你绝对无法在超过某个物理尺寸的情况下制造出完美的硅片。 >> 打印那么大的完美芯片在物理上是不可能的。>> 没错，缺陷率会变得太高。因此，通过采用多芯片模块架构，他们在昂贵的前沿 N2P 工艺上制造核心数学引擎，但在较旧、更便宜的工艺上制造内存控制器和输入输出系统。
哦，这很巧妙。 >> 是的。然后他们只是将所有这些单独的芯片模块缝合到一个封装中。 >> 所以他们将绝对昂贵的核心区域严格留给矩阵数学，即那些真正重要的部分。为了管理流入该昂贵区域的流量数据，他们改进了一种称为 SDLA（软件定义本地访问数据流架构）的技术。这真拗口。 >> 确实如此，但这很聪明。传统硬件通常依赖这些非常复杂的缓存层次结构。硬件本身基本上试图猜测或预测软件接下来需要什么数据，将其从慢速内存移动到快速内存。 >> 就像试图预判你的下一步行动一样，>> 对吧？但这种 DLA 翻转了整个范式。AI 软件明确协调数据放置的位置、移动的时间以及同步的方式。等等，所以软件完全掌控着物理数据的流动？ >> 没错。因为 LLM 的矩阵乘法是可预测性很高的。软件确切知道它需要神经网络下一层的哪些权重，所以它就告诉硬件确切地……
从而将它们放置好，这完全绕过了所有高能耗的预测机制。>> 我明白了。所以软件实际上充当了交通指挥的角色，而这直接关联到 Maia 300 架构中最大的转变之一：从非统一内存访问（NUMA）向均匀内存访问（UMA）。>> 这对能效来说意义重大。>> 好的，我想在这里打个比方
以便让你们这些听众直观地理解这一点。想象一个巨大的商业厨房。均匀内存访问（UMA）就像是在房间后方有一个巨大的中央冰箱，每一位厨师都必须穿过整个厨房去取食材。这虽然可行，但在来回走动中浪费了巨大的时间和体力，>> 对吧？大量的不必要
移动。>> 是的，但非统一内存访问（NUMA）就像是为每一位厨师在他们各自的切菜台旁配备了一个定制的迷你冰箱。>> 我喜欢这个比喻，食材就在烹饪发生的地方等着。在计算领域，有一个基本规则：将数据从内存芯片移动到处理器所消耗的能源，远多于
一旦数据到达后实际进行数学运算所需的能量。>> 移动数据才是昂贵的那部分。>> 要贵得多，将一比特数据跨主板传输所消耗的功率可能是逻辑门中两个数字相乘的数个数量级。因此，通过转向 NUMA 架构，Maia 300 上的每个计算区域都拥有自己专用的本地内存。所有数据
都保持在本地，>> 对吧？数据传输的物理距离缩短至毫米级，从而大幅减少了传输过程中浪费的能量。>> 而且这些迷你冰箱的规格绝对令人难以置信。单个 Maia 300 加速器内集成了八堆 HBM4 内存，提供了 288 GB 的容量和每秒 18 TB 的带宽，>>
这与其上一代 Maia 200 相比简直令人咋舌。其内存带宽是前代的 2.5 倍，总容量增加了 33%。他们有效地将每瓦特内存带宽翻倍了。>> 效率翻了一番。>> 没错，而对于长上下文的智能体工作负载——你知道的，即在 AI 开始生成响应之前向其输入整个代码库的情况
保持那个巨大的上下文窗口对计算核心的即时可访问性至关重要。>> 它必须随时准备好所有
这些背景信息，但他们还使用另一种技巧来优化这一点，这与正在处理的数字的实际物理大小有关。博客中引人注目的是使用了窄精度格式，特别是增强型 MXFP4 和低于 3 位的存储格式。>> 这里的数学确实变得非常有趣了。>> 现在，低于 3 位听起来几乎危险地小
因为传统计算都是关于极致的精度，对吧？比如带有十几个小数位的 64 位浮点数。如果将数据缩小到少于三位，AI 怎么可能运作呢？>> 嗯，这取决于你在做什么。如果你是在计算火箭的轨迹或运行银行的账本，你绝对需要那种 64 位的确定性精度。
那里的舍入误差将是灾难性的，>> 对吧？你不想让银行猜测你的账户余额。>> 没错。但大型语言模型是概率性的，它们本质上是巨大的统计猜测机器。神经网络的准确性依赖于数十亿参数的聚合行为，而不是任何单个参数 flawless 的精度。>> 所以网络本质上对模糊数学具有韧性
非常坚韧，当你量化一个模型时——这意味着将权重的精度降低到四位甚至低于三位——你实际上是在缩小数据的物理足迹。>> 它占用的空间更少了。>> 没错，在硬件层面，存储和传输三位数字所需的晶体管比十六位数字少得多。>> 哦，哇
所以更小的数字实际上意味着使用的物理布线更少，>> 对吧？这意味着你在移动数据时消耗的电力大幅减少。此外，你可以在那 288 GB 的 HBM4 内存中容纳显著更大的模型。>> 我真的开始看到所有这些超具体优化是如何叠加起来的，但单个芯片无论多么高效都只能让你走这么远。
一旦你的 AI 模型增长到超过一个加速器所能容纳的范围，你就必须将大脑拆分到数千个芯片上
这通常会导致情况崩溃，>> 对吧？这会引入一个可怕的瓶颈。它们如何在保持效率的同时相互通信？源文档详细描述了所谓的超级集群，将多达 12,288 个加速器链接到单个扩展架构中。在这个规模下的网络挑战是巨大的，对 AI 软件来说
这个超级集群看起来不像是一万两千台独立的计算机。它呈现为一个巨大的统一通信模型。>> 它认为自己只是一个大脑。>> 没错，在单个服务器机架内，芯片使用半交换拓扑结构和低功耗电气链路连接。为了将多达 128 个这样的机架连接在一起，它们通过
光学二级交换机进行桥接。现在，历史上数据中心使用两个完全独立的网络来处理这个问题，对吧？比如你会有一个内部网络用于服务器内芯片之间的通信，然后有一个单独的网络使用那些重型网卡（NICs）来与大楼内的其他服务器通信。>> 是的，那是标准做法
但 Maia 300 利用一种定制的基于以太网的 AI 传输架构来服务于整个超级集群。他们完全去除了传统的扩展网卡和主机中介路径，等等，他们彻底取消了网卡？>> 没错。在标准设置中如果芯片 A 想向另一个机架中的芯片 B 发送数据，数据必须经过处理器、操作系统的网络栈
通过网卡发出房间另一侧再反向执行整个过程，>> 听起来非常慢。>> 每一个步骤都会增加延迟这是一个巨大的瓶颈。>> 所以他们只是绕过了中间人。>> 完全正确，加速器通过这种定制架构直接相互发起通信机架一中的芯片可以将张量状态直接推入
第 100 个机架中芯片的内存而无需请求主机处理器的许可。>> 这太疯狂了，这种低延迟的直接连接使得他们重点强调的概念成为可能即解耦推理。博客文章将 AI 工作负载分为两个不同的阶段：预填充和解码，我需要你拆解这里的机制。为什么这两个阶段首先需要解耦？>> 嗯
因为它们需要完全不同的数学运算方式。预填充阶段发生在你提交提示词的瞬间。“好的，所以我提交了关于PDF摘要的请求并点击了回车。”“没错。AI必须阅读并处理你刚刚提供的所有文本。这是一个庞大且高度并行的矩阵乘法任务，计算量极大，因此你需要一次性投入大量的原始处理能力来快速完成它。”“这很有道理。但解码阶段是接下来发生的事情，即AI实际逐词向你写出答案的过程。”
“解码是顺序执行的。它字面意义上必须完成第二个词的写作才能写第三个词。”“所以你不能简单地对其施加并行计算能力？”“正是如此。因为是顺序执行，它严重依赖内存带宽而不是原始并行算力。”“以前单个芯片集群基本上被迫同时兼顾这两者：预填充的繁重并行工作以及解码的顺序性内存消耗。”“是的。这意味着两者都没有得到充分优化。”
但通过将推理过程解耦并分布在统一的12,000芯片互连网络上，微软可以完全独立地配置和分配预填充工作节点和解码工作节点。“哦，我明白了。”“你可能拥有一个专门用于处理提示词的庞大芯片集群。一旦它们完成预填充，就会立即通过高速互连网络将结果数学状态——称为KV缓存——直接发送到一组较小的专用解码芯片，这些芯片的唯一工作就是向用户流式传输文本。”
“这就像一条装配线。一组负责繁重的阅读工作，另一组负责写作。”但这引出了一个明显的运营风险。“如果我将单个任务分散在12,000个高度相互依赖的芯片上，当某些东西不可避免地出现故障时该怎么办？比如机架47中一个微小的硅通路熔断了怎么办？”“整个价值数百万美元的任务会崩溃并迫使用户重新开始吗？”
在传统高性能计算中，确实如此。单个节点故障绝对可能导致大规模任务崩溃。这是云提供商的噩梦场景。“这听起来像是一场交通堵塞，毁掉了整个高速公路系统。”“没错。但Maia 300通过在互连网络和调度器中直接构建弹性来处理这个问题。”“系统在整个超级集群中保持热备用容量。因此，如果加速器开始抛出内存错误或停止响应，系统会立即重定向工作负载。”
“但它如何在不停止整个操作的情况下管理这一点呢？”“他们在机架内部使用张量并行，在跨机架之间使用流水线并行。调度器基本上可以实时透明地将流水线转移到另一个机架中的备用托架中。”“实时？”“是的。运行工作负载的AI软件内核甚至不会察觉到硬件故障的发生。”
你用微小的网络延迟来路由绕过死芯片，作为交换，你获得了巨大的不间断系统可靠性。“这种自愈能力简直太疯狂了。但将12,288个芯片打包在一起，引出了所有约束中最直观的一个：热量和电力。这里的数字确实令人震惊。”“单个Maia 300机架装有96个加速器，密度是上一代的两倍。而这个单机的功耗高达167千瓦。”
“这是难以置信的电力消耗。”“想象一下你的家用烤箱在高温下运行。它使用大约3到4千瓦的电力。现在将这个烤箱乘以50，并将这50个烤箱塞进一个标准厨房冰箱大小的空间里。”“他们为什么要如此密集地打包它们？将它们分散在五个不同的机架中让它们散热不是容易得多吗？”
“如果将芯片分散开来，确实绝对更容易冷却它们。但请记住我们讨论过的数据移动物理学。”“哦，对。”“是的。”“距离问题？”“正是如此。芯片之间的距离越远，电缆就越长。”
“在更长的铜缆上推送高带宽电信号需要消耗显著更多的电力来对抗信号衰减。”“所以你只是在浪费电力去推送信号？”“没错。如果你切换到光纤以解决距离问题，就会增加将电子转换为光子再转换回来的延迟和电力成本。”“所以密度不仅仅是一个设计选择，它是速度和效率的物理要求。”
你必须紧密打包它们以保持低延迟并降低通信功耗。但正如你指出的，将167千瓦塞进单个机架会产生空气冷却根本无法处理的thermal density（热密度）。“你不能只是放一个大风扇在上面。”“如果你试图吹气，风扇必须旋转得如此剧烈，以至于会产生声学振动，这实际上会损坏组件和芯片，而且芯片可能仍然会熔化。”
这就 necessitates（需要）我们在深度解析开头讨论过的管道系统。Maia 300利用液冷来管理超过80%的热负载。“是的，他们通过直接连接到加速器的冷板泵送冷冻液体。”“电压调节器、交换机和ASIC的液冷效率比空气高出几个数量级，能够更有效地吸收并将热量从硅中带走。”“对。它只是吸收了热量。”
“正是如此。由于液体很好地处理了热负载，他们实际上完全消除了独立的主机托架。”“对。我读到主机处理器、内存、冷却机制和加速器都融合在单个机架中的24个四加速器托架中。他们正在武器化那里的每一立方英寸空间。”
但是，你知道电力故事中最迷人的部分不仅仅是液体本身，而是连接它的遥测技术。博客提到了数据中心集成遥测。“这是一个巨大的转变。”“我们通常认为数据中心只是一个存放计算机的仓库。但在这种架构中，建筑物本身被集成到计算循环中。”
“建筑物是计算机的一部分？”“基本上是的。数据中心不断监控其自身的机架和行级电力可用性，以及液冷回路的实时温度。”“所以它将物理设施数据反馈给调度算法？”“是的，在实时中。如果遥测检测到数据中心的一行有临时的冷却能力盈余——也许是因为建筑物外面的环境温度下降了几度——算法可以立即增加该行中芯片的功率上限。”
“哇。允许它们以更高的时钟速度运行并处理更多的令牌？”“正是如此。整个设施……”
从屋顶的冷水机组一直到芯片上的调度器，整个系统就像一个单一的生命体一样呼吸着，动态地转移负载以最大化利用率。那么，当我们把这些元素——芯片组、非均匀内存访问（NUMA）内存、亚3位量化技术、绕过NICs的网络架构、液冷系统以及遥测数据——全部整合在一起时，最终的回报是什么？
数字令人印象深刻。Maia 300相比前代Maia 200，在机架规模的令牌吞吐量上提升了多达七倍。而且它在实现这一吞吐量的同时，每瓦特性能也提高了2.5倍以上。对于正在收听的你来说，这确实是这里最关键的核心要点：无论你是微软Foundry上构建大规模多智能体系统的企业开发者，还是仅仅在周五下午按下回车键、要求Copilot总结一份PDF文档的用户。
这种无形的液冷基础设施决定了你的现实体验。它决定了一切：你得到答案的速度、模型能够处理的推理复杂性，以及运行这些工具的最终成本。这一切都受制于这些物理工程上的突破。因为该架构的每一盎司都是专门为了优化当今大型语言模型和智能体工作流的精确数学形态而锻造的。
这让我留下一个值得你深思的问题：我们花了时间惊叹于Maia 300优化的精妙之处。微软已将他们的十亿美元数据中心硬编码为基于Transformer的大型语言模型的终极引擎，但AI的软件环境以volatile（易变/不稳定）著称。如果三年后行业发现了一种全新的数学范式呢？
比如状态空间模型或神经形态计算完全超越了大型语言模型。而这些新模型需要完全不同的内存结构和数据流。是的，这就是风险所在。物理基础设施是浇筑在混凝土和硅片中的。当你为了某种高度特定的软件模式如此激进地优化硬件时，你就牺牲了通用的适应性。
没错。这种极致的专业化是否会成为一种陷阱？这个为当今AI量身定制的液冷“蜂巢思维”是会进化，还是仅仅成为一个特定时代里价值十亿美元的辉煌遗迹？这绝对是你下次按下回车键、等待思维处理时值得思考的问题。下期再见，继续深入探索。