终于到了这一天，我期待这一刻已经有一阵子了。还记得这些吗？（闪回）是啊，我很庆幸当初买了那个大机箱。说实话有点不好意思，它们现在还在盒子里没拆封，但今天就要把它们请出来了。最近我有点错失恐惧症（FOMO），因为看到很多人晒出他们的Quad RTX 6000，并在X平台上发各种消息。啊，终于轮到我施展神力了。（撕膜前请移除薄膜）好的，我们来处理这个。这是RTX Pro 6000，Max Q版本，最大功耗300瓦。我还有两块工作站版本的卡。为了组装这台机器，我得把它们从我之前的配置里拆出来。但这绝对值得，因为华硕给我寄来了这个ET900 AX机箱，里面已经预装了ProWRX90E Sage主板。

这块主板可不一般，它支持Threadripper Pro处理器。所以是的，我现在得去买一颗这样的CPU了。这背后有个非常充分的理由：自从我组装那台机器以来，过去这一年里我们使用大语言模型（LLM）的方式已经完全改变了。所以我得去采购一番了。这是未来处理器的归宿，这里是费尔法克斯的Micro Center（注：原文口误为MicroEnter）。我想我挺幸运的，因为我开车一小时范围内有三家Micro Center。不过他们一直在开新店，所以你可能很快也能在附近找到一家吧？也许，别太当真。好吧，费尔法克斯的这家店也很壮观。这地方很危险，问题在于这里有六种不同的Threadripper处理器，价格从昂贵到“财务自杀”不等。

这是Alan，他在费尔法克斯的Micro Center工作。你可以来找他。（Alan：是的，来找我。）我们站在微软标志前。不过这些处理器能很好地运行Windows对吧？（Alan：是的，如果你想要的话也能跑Linux。）我今天想用点Linux系统，因为这是一台AI机器。这些都是非Pro版的CPU。橙色盒子是非Pro版，灰色盒子是Pro版。另一种区分方式是看型号后缀：非Pro以X结尾，而Pro以WX结尾。多出来的那个W代表“Win”（胜利）。现在我们要选Pro版，因为我们想要那块主板支持的所有额外通道。还有2TB的内存。（Alan：是的，有。）

现在我没有那么多钱去买那种级别的RAM（需要数百万美元），但店里确实有货，我刚去查过了。他们也有ECC内存对吧？（Alan：我们有。）是的，这种系统就需要那种类型的内存。我手头已经有一些RAM了，所以就不买那个了。但这颗能有多少个线程？（Alan：这是16核的。）之后就是24核、32核和64核。还有一个96核的版本，不过我们现在没有。（Alan：那是9995对吧？）正确。

那就是“大男孩”了。现在这里有六款……不，我有点晕了。16核32线程。这对很多AI爱好者来说是个不错的入门点，配两块GPU完全没问题。起初我在考虑24核的版本，它更适合多显卡进行数据加载和预处理。但32核才是多GPU的甜点区，我可以轻松在上面插八张卡。（Alan：4000美元能买到Threadripper和Ryzen吗？）它们是一起打包出售的。盒子很小，但内涵丰富。（Alan：芯片就在那里。）那就是必须装进主板里的东西。

接下来是64核128线程的版本。这不会让模型生成Token的速度翻倍，但它能处理更重的数据处理、模型转换、虚拟机和多个并发用户。在什么时候它就不再是Threadripper而是“线程 annihilator”（毁灭者）了？（Alan：绝对是那个96核的。）反正我也不会买，因为太贵了。好了，Chad GPT（注：此处可能是口误或玩笑），我需要另一个关于Threadripper的冷笑话讲给Alan听，我想让他做出被耍了的反应。看看AI会生成什么。（片刻后）（Alan：太蠢了。）

所有这些处理器都有相同的128条PCIe 5.0通道，但更大的芯片并不能解锁更多的GPU支持。它们只是给GPU提供更多的CPU工作线程，从而减少等待时间。所以是的，那个“大男孩”9995WX会给你提供所有需要的通道，即使插八张甚至更多GPU也几乎不会有瓶颈。事实上，我知道有人把16块Pro 6000接在一台机器上。（PewDiePie，你听到了吗？比你多。）无论我选哪款CPU，都不包含散热器。这些芯片功耗高达350瓦，所以我不能随便找个普通桌面散热器凑合。我需要专门为Threadripper设计的散热方案。（Alan：这是Silverstone的。）

你说你特别在意噪音。这款算是比较吵的，但因为它性能极强。（Alan：我喜欢高性能。）因为风扇转速能达到2800转。基本上它永远不会过热，但在高负载下会有点吵。（Alan：你把系统放哪？）放在我的桌子上。你也可以选BitFury或者Thermaltake，如果你能塞进420毫米水冷排的话。它们在你旁边运行时会更安静一些，但性能会稍差一点。（Alan：应该还是没问题的。）好吧，那就选Silverstone吧。这是个挺有名的品牌。虽然其他品牌肯定也能做得很好，但我之前的配置里用过Silverstone的产品，所以我信任它。

今天我们就要组装这台AMD Threadripper机器了。剧透一下：我对此感到恐惧。（Alan：我会帮你装，因为Dan怕弯针。我不怕……其实有点怕。）哇，Alex，我不知道你家里有油井什么的。（Alan：小心点把内存条移开。）嘿，轻点。是的，是我的错。这是W系列……这Threadripper的名字真是让人头大。（Alan：这是Sage主板，Pro版本。它有七个PCIe 5.0插槽，可以装很多GPU。）我们要装入128GB内存和AMD Threadripper 9975，这是一款中规中矩的芯片。

说实话有点贵。（Alan：4000美元算中规中矩？）是的，确实算。哦天哪，这是我拿过的每平方英寸最贵的CPU……不，甚至不是按面积算的，反正就是史上之最。他们给了你一把扳手和这个……我不知道这是干嘛用的。（Alan：我们可能用不上。）我们会看手册，等装散热器的时候再说。

"我不看那个，你想看吗？" "嗯，我来读一下。不过不出声哦。""这是个水冷散热器支架。我们可能用得上。你找到说明书了吗？" "呃，找到了。就在这一页。所以……""等等，我不看说明书也能装吗？" "如果你愿意的话，我可以帮你。" "不、不、不、不、不、不、不、不！""你确定？" "呃，不了。还是算了吧。""那上面写着说，你要松开这里的支架……" "用这个工具。" "哦，首先你得把它拧松——""对。""好的。它弹起来了。""然后这个……" "然后我们把它滑进去，就卡在那个位置。""看那儿！快看！""Pro（专业版）。然后我们得把这个东西拆下来。" "对。""哦，看那些针脚！""这感觉就像你有恐高症，站在梯子上不得不往下看。所以我干脆不看它了。"

所以它会咔哒一声卡到位。""咔哒。""在那儿呢！""这是我听过的最让人恐惧的‘咔哒’声了……" "现在装顶框。""对，然后拧紧它。""现在我们把它拧紧，逆时针方向转一圈、两圈、三圈就差不多了。" "这就是为什么你要读说明书的原因。""嗯，我同意这个说法。这次这份手册确实挺有用的。" "不过说实话，这是我们要在这个空间里做任何操作以来，第一次见到说明书。""接下来是什么？内存条（RAM）。" "对，我们可以装内存了。""不过关于这款主板上的内存有点特殊，因为我没用到全部八个通道，所以我根本插不进去。我不知道怎么回事，丹（Dan），为什么我装不上内存？我也不知道是什么导致了这种问题……"

我们这里只能插四条，而且我不幸得从我另一个装机里拆下来。所以我们必须非常小心地插入特定的插槽。那边有人在安装Threadripper（线程撕裂者）处理器，我听到咔哒声了。""我想是咖啡机……等等？" "对，咖啡机在自清洁呢。""哦，好的。""我想我们要把它插进B1、A1、E1和F1插槽里，我们可以试试。最坏的情况也就是把内存拔出来再重新插而已。" "呃……""不用谢，这部分你来弄吗？" "嗯。""你能分清哪个是A1、B1吗？" "上面写着呢，AB顺序。这次我要查一下说明书了。""啊，明智之举。华硕（ASUS）实际上寄给了我这个机箱和主板，所以感谢华硕。最终……"

我希望跑满全部八个通道，因为那样会让一切更快，并充分利用这颗CPU的性能。""天哪，伙计们。如果不是因为世界局势导致内存价格飙升，我根本不会有任何问题就直接装进去了。但现在嘛……好了！""你就这么想吧：这内存又不是你的。" "呃，这话可帮不上忙啊……""好了！没问题了。那这个部件该装哪儿呢？" "哦，你知道吗？这可能是散热片。这肯定是第一个SSD插槽的位置。我知道下面还有更多空间，但这里什么都没有。算了……哦，我猜对了！""而你的奖励就是亲手安装它。" "谢谢老天爷。难道只有我觉得撕掉SSD插槽上导热垫塑料膜很困难吗？" "嗯。""谢谢你的诚实。""来吧，丹！"

我进去了，搞定了！""动作快点。我们还不知道最难的部分是什么。是换电源（PSU）还是装散热器？""我觉得散热器会更难搞。这已经说明很多了，因为换电源很容易，只要拧四个螺丝然后接一堆线而已。""我是搞不好理线的专家，所以机箱背面看起来会一团糟。我想我们就不展示给你们看了吧？" "嗯……我觉得我们还是得展示一下。而且我们要确保电源能给主板上的所有接口供电，包括那些额外的插槽，因为我们要装四张显卡。""那我们为什么要这么做呢？"

因为这个机箱自带的是一个2000瓦的电源，但华硕还寄给我们另一个30,000瓦（注：此处原文可能为口误或夸张，实际应为更高规格如1600W等，但按忠实翻译原则保留数字或语境）的电源。这个怪兽比你们的5090显卡还要重，" "所以我们需要把它换掉。丹说我们不能混用电源线。所以我们不能就这样留着它，必须把原装电源的所有线缆都换成新电源附带的线缆。" "取决于他们用了多少扎带把这些线捆得有多紧，这些线缆可能是我们到目前为止拆过的最难的部分。不过说实话，目前为止我们还真的没遇到什么困难的操作。"

我们之所以这么做是因为里面要装四张Pro 6000显卡，其中两张功耗可达600瓦。你需要电源留有足够的余量（headroom），这样它才不会一直满负荷运转、发疯似的狂转。""我能这么说吗？" "我觉得没问题。""顺便提一下，‘Balls to the wall’（全力以赴/满负荷）这个术语来自飞机和飞行员。""真的吗？Balls to the wall（字面意：蛋贴墙）？" "因为飞行员有个操纵杆，不知为何他们管那个叫‘balls’（蛋）。""当他们把推杆推到最顶端时，就叫Balls to the wall。" "好吧，挺酷的。""看，在另一个时间线里，这家伙是个飞行员。希望你们知道这一点。" "对，你们处于正确的时间线，好的时间线里。""现在说说这个机箱吧，信不信由它其实是DJX Station机箱的兄弟型号。这挺简单的，我喜欢它的简洁设计。" "哦，是的！不过如果我们想把它弄漂亮点，那就是另一回事了。""我以为你说这很容易的？" "嗯……确实容易。现在我只需要把新的装进去就行。""天哪，3000瓦（注：原文为3,000 watts），太疯狂了。你手里拿着的是电源啊！"

好了，这是我们的Silverstone（银欣）XC360 TR5散热器。""哦对！" "这看起来像个风扇支架，所以我实际上不需要拧松上面那些东西。""就像这样直接扣下来就行？" "对，不过我可能还是得拧松那些螺丝。听起来有点意思。这里是散热器底板。这东西出厂时已经涂好了导热硅脂，切成可爱的小方块形状。我不知道你们喜欢怎么涂抹导热硅脂。也许我在以前的视频里说过，我喜欢画个笑脸然后再点上雀斑（模拟毛孔）。" "嗯，我们见过你那么做的。""你们喜欢对吧？我当时挺满意的。说明书在哪儿来着？" "在这儿！""好吧，我们不需要那该死的说明书了。""哦，直接盖在上面就行。这东西就装在那儿。我告诉你，我只剩个风扇要装在底部了。" "哦，完美！一个Cooler Master（酷冷至尊）风扇。""这是全新的风扇。这东西据说相当安静，噪音只有27分贝。好吧，我本来打算留着这个风扇给另一个装机项目用的，但也许……"

我们现在可以这样做了。一个是ARGB风扇，M120 ARGB，另一个是A120，但它上面有一个酷炫的金属格栅。我们该选哪一个？>> 我觉得我们要RGB的。 >> 拜托，这是Threadripper装机，需要RGB灯效。 >> 但它们没有对应的接口。 >> 好吧，你得摸摸这东西的感觉。 >> 天哪。 >> 这和你预期的不一样对吧？全是金属的。 >> 摸起来简直太酷了。嘿，美商海盗船，能卖给我这些吗？不过这种风扇我不希望把手指伸进去。 >> 不，是的，它是金属做的。 >> 是金属的。 >> 不错。 >> 这咖啡真香，丹。我很高兴。如果这东西点不亮的话，我想你得做俯卧撑了。 >> 幸好我不需要做俯卧撑，因为这台机器会点亮并且完美运行，保证如此。或者全额退款。好了，装好了一张卡。 >> 哦，不错。你确定不让我把其他的也插上吗？这不会>> 确定的。我们就装另一张吧。是的，我想分散一下风险因素。 >> 是的，它活了。

丹，这一切是怎么回事？>> 呃，听着，伙计。我从一开始就警告过你我的理线问题。天哪，别给观众看前面，求你了。 >> 好吧，我们在看前面。呃>> 这里怎么了？ >> 呃，我在修它。我在修好它。好吧，我可以解释一下。这根线不够长，不能舒舒服服地按我们想要的方式走位，你知道的。 >> 所以，>> 别开玩笑了。 >> 现在没人开玩笑。 >> 看起来不错。 >> 这里是无玩笑区。 >> 这，是的，我们不不开玩笑了。这里一切都超级严肃。好了，就这样了。看起来不错。 >> 好了。 >> 这东西现在重多了。天哪。

对于这一张，我们需要特殊的电源。这是240伏特。是的，因为这个电源需要它。所以，如果你住在世界其他地方，那就没问题了。但如果你住在美国，好吧，你需要一个小转换器。你得叫你的电工给你弄一个这个。因为普通的美国插头是115伏特。我先用两张Pro 6000启动系统。即使这样也让我有点紧张。呃，然后如果一切顺利，我稍后会再加两张。好吧。

哇，这东西背面的风扇真不小。好了，顶部的水冷正在工作。这个疯狂的风扇在后面非常吵，但这个美商海盗船风扇现在相当安静。它正在训练内存，希望如此。所以这需要几分钟。啊，感觉不错。你知道的，在炎热的日子里，这会很棒。顺便提一句，我不得不通过刷写来更新BIOS。后面有一个小的闪存工具。只需下载文件，放到U盘上，格式化为FAT32，按下那个按钮。之后它重启了。听着，很安静。按Yes重置FTPM。因为这是全新的，我打算直接这样做。按Yes。砰。它进去了。顺便说一句，这种键盘，老式的有线功能键，是必须的。每当我安装新系统时，这个小家伙都会跟我一起。这就是我刚刚安装的正确的BIOS版本。我们要确认总内存是否正确。这是DDR5 128GB。相当不错。我觉得我们可以做得更好，不是速度方面，而是呃在高级NVME配置下更多的内存，它检测到了我们安装的驱动器的正确大小。所以，这很好。一切看起来都没问题。然后是PCI子系统设置。我们要确保启用了可调整大小BAR支持，因为我们将在那里安装多块GPU。准备就绪。让我们安装操作系统。非常简单。Ubuntu 24.04。顺便说一句，Nvidia对它的支持非常好。我喜欢这些东西。如果你好奇的话，我会在下面链接。哦，呃，差点忘了。安全启动。我想暂时禁用它。在操作系统类型下，不是Windows，我要选择其他，然后在引导配置中，快速启动。禁用快速启动。F10保存并退出。完成。现在有点热了。我要分享我的技巧。我是一个随意的Linux用户，所以我不了解所有的细节。但在过去的一年里左右，我突然变成了Linux大师、专家。那是因为我的第一件事就是安装Claude Code。不是他们赞助的，但你可以安装任何能知道所有命令的智能体。所以你只需说英语。所以当我需要升级驱动程序时，我只需说升级驱动程序。专业提示。现在让我们把这剩下的GPU都装进去。呼，这很令人满足。

现在我知很多人会因为各种原因骂我，但我会以稍微奇怪的方式安装GPU噪音。让我们看看会发生什么。别炸了。别炸了。你准备好了吗？它在启动。Nvidia SMI。嗯？Max Q Max Q工作站版。但另一个在哪里呢？>> 几分钟后。 >> 好吧，别评判我。这很奇怪。我知道。它在延长线上，我以为PCI插槽的连接可能会有问题，而我是对的，因为这是一个双槽卡，底部的插槽正好紧贴前面板USB和音频的所有连接。所以它没有完全坐好。果然，Nvidia SMI现在报告有四块GPU。我们做到了。除了呃现在我需要想办法把它弄进去。但这是进步。你知道我现在迫不及待想做什么吗？运行一个模型。是的，就像这样。Deepseek V4 Flash，这是人们现在讨论的模型之一。它总是在变。好吧，但这是FP4专家混合FP8注意力机制。在所有四张卡上，我们每秒获得33个令牌。这是一个智能体的情况。然后随着并发增加而上升。并发为2时是62个。这意味着同时有两个智能体。并发4时为116，一直到同时有16个智能体时达到每秒364个令牌。然后从那里开始下降。但这对你来说并不有趣。嗯，也许对你有兴趣。我们是在四块GPU上做的。我们可以快速做一些很酷的事情，但这并不是最有趣的部分。所以这里有四块RTX Pro 6000 Blackwell GPU，每一块都有自己的PCIe根复合体。根复合体基本上是一个通往CPU的私人入口匝道。所以没有卡需要与其他卡共享通道。这对于运行LLM来说很棒。但当你使用它配合智能体时，让我展示一下所有这些实际去向哪里。首先，关于电源预算的一个快速说明。由于其中两块是Max Q卡，这两块每张最大功耗为300瓦。工作站版，外面的黑色那些，可以达到600瓦。所以加在一起可能达到1800瓦，我可以以那个功率运行它，但我将总功耗限制在1200瓦。为什么我没事

那么，实际情况是怎样的呢？关键在于我的实际工作负载并非 GPU 处理，而是智能体（Agents），即编码代理。每个智能体的回合流程如下：这里的小时间轴展示了单个回合的样子。首先是大语言模型（LLM）调用，接着是脚手架搭建、编译、运行测试、分析语法树、哈希处理，最后打包所有内容。那些色彩斑斓的小色块代表了不同的步骤。

其中一些环节非常短暂，甚至肉眼难以察觉。大家通常只关注模型调用，也就是 GPU 上运行的部分，却很少有人谈论运行智能体时发生的其他一系列操作。让我们切换到另一个更清晰的图表来看，这里展示了更多的 LLM 调用空间（青色部分），即 GPU 进行处理的时刻。而之后的橙色、粉色和紫色部分，则代表 CPU 正在执行实际工作。

我制作这张图是为了直观说明：实际情况更像这样——GPU 工作的微小切片与其余部分形成鲜明对比。实际上，每个回合中有 71% 的工作根本不在 GPU 上发生。那么我机器里那个强大的 CPU 真的有必要吗？我决定做一个对比测试，搭建了一台基于我的开放机架的小型机器。

这台机器配备了 AMD 9700X 处理器，它与 Threadripper（线程撕裂者）拥有相同的 Zen 5 架构基准测试标准，但只有 8 个核心和 16 条线程。每个工作器代表一个正在运行的智能体，32 个工作器意味着所有任务都在争夺相同的资源。冷静点，伙计们。这款芯片其实散热表现还不错。

相比之下，Threadripper 有 64 个核心可供分配。让我们看看消费级 CPU 在单个工作器下的表现：每分钟完成 89.7 次迭代或回合，而 Threadripper 为 85.6。两者相差约 5%，表现相当接近，甚至可以说是不分伯仲。如果你的工作负载只是单个工作器，那么选择消费级 CPU 就足够了，能省下一笔钱。

但请看当我增加工作器数量时会发生什么：两个工作时，Threadripper 与消费级 CPU 的表现依然相近。继续增加至八个工作器时，差异开始显现：Threadripper 总耗时 11.57 秒，而消费级 CPU 为 14.96 秒。在十六个工作器时，差异变得更加明显：Threadripper 的墙钟时间为 16.11 秒。

而消费级 CPU 的时间则翻倍，且在十六个工作器时几乎停滞不前。如果增加到三十二个工作器，消费级 CPU 的时间保持不变，峰值仅为 568。但 Threadripper 9975X 依然强劲，线程数飙升至 2113，并在六十四个工作器时达到峰值，每分钟完成 2239 个回合。

这几乎是四倍的差距：消费级 CPU 需要 13.5 秒，而 Threadripper 仅需约 3.5 秒。让我们看看三十二个工作器时的效率：9700X 此时甚至无法有效运行智能体，其每个工作器的吞吐量仅为 0.21，而 Threadripper 为 0.74，差距悬殊。

接下来，我在开启模型调用（即使用 GPU）的情况下重新运行了测试，工作器数量设为十六。结果一切开始崩溃：平均模型延迟从 0.5 秒激增至 12 秒。原因如下：所有 32 个智能体都连接到一个服务器，共享全部四张 GPU。

CPU 工作分布在 64 个线程上，但模型调用无法分散，只能排队。每个请求都要等待前面其他 31 个请求的处理完毕，这就是延迟从半秒变成十二秒的原因。也许我哪里做错了？当然，大概率会有人在评论区纠正我，但这确实是我测量到的结果。

我们一直追逐 GPU 是因为运行模型需要它，直到今年情况才有所变化——智能体成为了重点。GPU 仍然非常重要：如果你是在本地运行模型，资金应优先投入 GPU。但现在出现了不同的智能体工作流，你可以在本地使用智能体调用云端模型。

在这种情况下，GPU 对你毫无帮助，决定你能同时运行多少智能体和工作的瓶颈在于 CPU。如果你只一次运行一个智能体，8 核 CPU 与 32 核 CPU 表现相当。真的没必要多花钱。你打算用什么来运行智能体？请在下方评论区告诉我。

如果你想看这两款 GPU 的对比，或者了解我如何在非专业版 TRX 主板上组装这台机器，请观看这里推荐的视频。否则，感谢收看，我们下期再见。