硬件升级与机箱准备
博主终于迎来了期待已久的时刻,将长期闲置在盒子里的 RTX Pro 6000 显卡取出组装。此次升级的核心动力源于近期在社交媒体上看到的 Quad Pro 6000 用户分享,激发了博主对算力的渴望。新主机将采用 ASUS ET900 AX9 机箱,并预装了 ProWRX90E Sage 主板。这款主板并非普通产品,它专为支持 Thread Ripper Pro 系列处理器设计,拥有七个 PCIe 5.0 插槽,能够容纳大量显卡。为了匹配这一平台,博主决定从旧主机中拆解出之前的组件,为这台未来的 AI 机器腾出空间。这一决定源于过去一年大语言模型(LLM)使用方式的根本性变化,使得原有的硬件配置已无法满足需求。
选购 Thread Ripper Pro CPU
在 Fairfax Micro Center,博主面对六款不同的 Thread Ripper 处理器感到困惑。店员 Alan 解释了区分标准:非 Pro 版以 X 结尾,Pro 版以 WX 结尾,后者拥有更多的 PCIe 通道。博主明确表示需要 Pro 版本以获得主板所需的额外通道支持,并计划搭配 2 TB ECC 内存(尽管因预算原因最终未购买)。在核心数选择上,博主对比了 16、24、32 和 96 核版本。虽然最初考虑 24 核用于多 GPU 数据加载,但最终认为 32 核是处理多个显卡的甜点选择,能够轻松支持八张 GPU。而 96 核的 9995WX 虽然性能最强,但价格过于昂贵且目前缺货。博主指出,更大的芯片并不解锁更多 GPU 插槽,而是提供更多 CPU 核心来减少 GPU 等待时间。
散热方案与装机过程
由于 Thread Ripper Pro CPU 功耗高达 350 瓦,普通桌面散热器无法胜任。博主在店员建议下选择了 Silverstone(银欣) 的高性能风冷散热器,尽管其风扇转速可达 2800 RPM,噪音较大,但能保证在高负载下不过热。考虑到系统放置在桌面上,水冷方案虽然更安静但性能略逊且安装复杂,因此风冷是稳妥之选。装机过程中,博主对 AMD Thread Ripper 9975WX(32核64线程)的庞大体积和昂贵价格感到震撼,称其为“每平方英寸最昂贵的 CPU”。在安装时,博主表现出对弯曲针脚的恐惧,并在店员的协助下小心翼翼地将 CPU 放入主板插槽。最终配置确定为 128 GB 内存,以平衡性能与成本。
散热器安装与主板内存插槽的艰难适配
视频记录了在构建高性能工作站时,组装者首先尝试安装液冷散热器的固定支架。尽管起初对阅读说明书表现出抗拒态度,但在实际操作中,遵循手册指导成为避免失误的关键步骤。组装者按照说明书指示松开支架、弹出部件并滑入到位,伴随着一声清脆的“咔哒”声完成固定。随后安装顶部框架并拧紧螺丝,这一过程虽然繁琐但相对顺利。
“这就是为什么要读说明书。”
接下来是内存(RAM)的安装环节,这成为了本次组装中的第一个重大挑战。由于主板并非所有通道都可用,且内存条是从其他构建中拆借而来,必须极其谨慎地将四条内存插入特定的插槽(B1, A1, E1 和 F1)。组装者坦言,由于缺乏经验且担心损坏硬件,心理压力巨大,甚至需要查阅手册才能确认正确的插槽位置。尽管最终成功安装,但这一过程凸显了在高密度主板上进行硬件适配时的复杂性与风险。
存储设备与电源系统的极端升级需求
在内存安装完成后,组装者转向固态硬盘(SSD)的安装。这一环节看似简单,实则充满细节陷阱。移除 SSD 散热片上的塑料薄膜成为考验耐心的关键步骤,组装者自嘲这是新手常犯的错误。随后,话题转向更为关键的电源系统(PSU)。原机箱配备的是 2000W 电源,但为了支持即将安装的 四张 Pro 6000 GPU(其中两张功耗高达 600W),必须更换为华硕提供的 30,000W(原文如此,疑为笔误或夸张修辞,但依规则保留原数字)超级电源。
这一升级带来了巨大的物理和操作挑战。新电源极其沉重,且不同品牌的电源线不可互换。组装者指出,由于原电源的线缆被扎带紧密捆绑,拆卸这些电源线可能成为迄今为止最困难的环节。为了预留足够的功率余量(Headroom),避免电源长期处于满载状态,必须彻底更换所有电源线。这一决策直接决定了后续硬件运行的稳定性与安全性。
散热器本体安装与机箱美学考量
电源更换后,组装者开始处理 Silverstone One XC360 TR5 液冷散热器的主体安装。与之前的支架不同,散热器风扇托架的设计允许直接弹出而无需拆卸上方组件,简化了部分操作。然而,散热器底板的安装仍需小心对齐。预涂在底板上的导热硅脂以方形小块形式存在,组装者展示了其独特的涂抹风格——画一个笑脸并点缀雀斑,这种非传统但个性化的方式引发了同伴的调侃。
“我们不需要该死的说明书。”
尽管组装者试图摆脱对说明书的依赖,但在风扇安装环节仍需谨慎。新安装的 Cooler Master 风扇标称噪音仅为 27 dB,旨在提供静音体验。组装者原本计划将此风扇留作他用,但鉴于当前构建的紧迫性,决定立即投入使用。整个过程中,机箱内部理线的混乱程度被刻意回避展示,组装者承认自己是“最糟糕的线缆管理专家”,暗示最终成品在背面可能显得杂乱无章,但这并非本次展示的重点。
金属美学与硬件开箱
这次构建的核心在于 Cooler Master A120 ARGB 风扇,它拥有独特的金属格栅设计。虽然博主最初担心 RGB 功能因缺乏连接器而无法使用,但对手感的反馈证实了其价值。这款风扇由全金属制成,触感极佳,甚至被博主形容为“疯狂地酷”。> "It's all metal. That is insanely cool to feel." 这种材质也带来了安全隐患,博主明确表示不希望将手指伸入其中。尽管外观硬核且沉重,但硬件通电测试顺利,没有任何故障风险。
供电挑战与BIOS配置
安装过程面临严峻的电源适配问题。由于该电源需要 240V 电压,而美国标准插座仅为 115V,用户需联系电工进行改造。博主首先安装了两张 RTX Pro 6000 Max Q 显卡,随后计划增加另外两张。在 BIOS 设置阶段,博主通过闪存驱动器更新了固件,并重置了 fTPM。系统成功识别出 DDR5 128 GB 内存及 NVMe 驱动器,并启用了 Resize BAR Support 以支持多 GPU 环境。为了简化后续操作,博主禁用了 Secure Boot 和 Fast Boot,并安装了 Linux 系统以便通过自然语言指令管理驱动。
GPU安装策略与拓扑结构
显卡的物理安装采用了非传统方式。由于 PCIe 扩展槽位与前方面板接口冲突,其中一张显卡通过 riser cable(转接线)连接。> "Nvidia SMI now reports four GPUs. We did it." 最终,系统成功识别出四张 RTX Pro 6000 Blackwell GPU。这些显卡具有独特的拓扑结构:每张卡拥有独立的 PCIe root complex(根复合体),这意味着它们可以直接连接到 CPU,无需共享通道。这种架构对于大型语言模型(LLM)的运行至关重要,因为它消除了 PCIe 带宽瓶颈。
功耗限制与推理性能基准测试
电源预算是本次构建的关键约束。两张 Max Q 显卡功耗上限为每张 300W,而另外两张工作站版 Blackwell 显卡可达 600W。理论上总功耗可高达 1800W,但博主将系统限制在 1200瓦 以内。在此配置下,使用 DeepSeek V4 Flash(FP4 experts with FP8 attention)模型进行基准测试。单代理并发时,四卡总吞吐量为 364 tokens/秒(16个代理并发时的峰值数据,原文表述为"all the way up to 16 agents at the same time with 364 tokens a second",此处需仔细核对原文逻辑:原文说 concurrency of 1 is 364? No,原文是: "On all four cards... getting 33 tokens a second. That's with one agent." -> "62 at concurrency of two" -> "Concurrency of 4, 116" -> "all the way up to 16 agents at the same time with 364 tokens a second"。因此,单卡或单机总吞吐需按并发数累加)。
| 代理并发数量 (Concurrency) | 总吞吐量 (Tokens/Second) |
|---|---|
| 1 Agent | 364 (原文此处表述有歧义,通常指单卡或基础值,但原文明确说 "On all four cards... getting 33 tokens a second. That's with one agent." 随后列出后续数据。根据上下文逻辑,364是16个代理时的总数) |
修正:根据原文严格数据提取
| 场景描述 | 性能数据 |
|---|---|
| Single Agent (1个代理) | 364 tokens/second? No, text says: "On all four cards... getting 33 tokens a second. That's with one agent." -> 364 is for 16 agents. |
重新梳理原文数据点: - Concurrency of 2: 62 tokens/sec - Concurrency of 4: 116 tokens/sec - Concurrency of 16: 364 tokens/sec
| 并发代理数 (Concurrency) | 总推理速度 (Tokens/Second) |
|---|---|
| 2 Agents | 62 |
| 4 Agents | 116 |
| 16 Agents | 364 |
原文指出,虽然单卡性能并非最引人注目的部分,但这种无共享通道的架构使得多代理并发处理变得高效。
代理工作流的真实构成:CPU才是主力
许多用户误以为AI处理的核心完全依赖GPU,但实际的工作负载分析揭示了截然不同的图景。以编码代理(Coding Agents)为例,一个完整的“回合”包含多个步骤:首先是LLM调用,随后是脚手架搭建、代码编译、运行测试、语法树分析以及打包等后续操作。在时间轴上,代表GPU处理的青色部分仅占极小比例,而橙色、粉色和紫色代表的CPU处理环节占据了绝大部分时间。数据显示,每个回合中高达71%的工作实际上并不在GPU上发生。这意味着,当人们关注模型推理时,往往忽略了CPU在处理代理逻辑、代码执行和系统交互时的繁重任务。这种架构上的误解导致了对硬件需求的错误评估,实际上CPU承担了代理工作流中的主要计算压力。
结论
本次构建证明,针对多代理AI工作流,单纯堆砌GPU算力存在边际效应递减。基准测试显示系统支持16并发代理达364 tokens/s,但核心洞察在于CPU承担71%工作负载。Thread Ripper Pro的高PCIe通道数消除了带宽瓶颈,而32核CPU成为多卡数据加载的甜点配置。该方案优势在于高并发下的低延迟与稳定性,短板是高昂成本及散热噪音。它适用于需要复杂代码执行、编译测试等CPU密集型任务的本地LLM部署,而非纯推理场景。