224GB显存奇迹：AMD与NVIDIA的跨界协作
桌面上这台小巧的设备竟然拥有224GB的图形内存，由两块显卡协同工作以运行单个1220亿参数的模型。这并非普通的组合，而是NVIDIA GPU与AMD Strix Halo APU的罕见联手。Strix Halo是一种将CPU和GPU集成在一起的APU，它们共享高达128GB的内存池，其中大部分可分配给GPU用于运行LLM或图像生成。GMK Tech推出的EVO X3迷你PC首次引入了OCuLink接口，这是一个速度高达63GB/s的外部PCIe插槽。这一设计使得用户可以将真正的桌面级显卡插入迷你PC，从而打破了以往的限制。
"They're both working. I can hear it."（它们都在工作，我能听到声音。）
这种混合架构让原本不打算一起工作的两家巨头被迫协同。在实际测试中，两者结合产生了33到34个token/秒的输出速度。这一突破性的硬件组合不仅展示了极高的内存容量，更证明了不同品牌GPU在特定条件下可以共同承担大型AI模型的推理任务。
基准测试验证：X3与旧款性能对比及基础配置说明
为了确保新硬件的可靠性，测试者首先验证了去年在X2上进行的测试结果是否依然有效。使用的模型是Qwen 2.5（320亿参数），这是一个较旧但稳定的基准模型。测试结果显示，在X2上该模型的运行速度约为11 token/秒，而在新的X3设备上达到了11.2 token/秒。这种一致性证明了硬件基础的稳定性，使得后续更复杂的测试数据具有可比性。
| 设备型号 | GPU配置 | 模型参数规模 | 量化方式/状态 | 推理速度 (tokens/sec) |
|---|---|---|---|---|
| GMK Tech EVO X2 (旧款) | Strix Halo APU内置GPU | 32 Billion | Qwen 2.5 | ~11 |
| GMK Tech EVO X3 (新款) | Strix Halo APU内置GPU | 32 Billion | Qwen 2.5 | 11.2 |
此外，测试者特别指出所有基准测试均使用Llama CPP而非Ollama。尽管Ollama更为便捷，但在该硬件平台上其速度较慢。这一细节确保了性能数据的纯净性，排除了软件层级的干扰因素。
显存瓶颈：RTX 5080的爆发与崩溃
测试者首先接入了一块NVIDIA RTX 5080显卡（16GB显存）。当模型大小适合时，其速度是内置GPU的三倍。然而，一旦模型超出16GB显存限制，性能便急剧下降。当尝试运行更大规模的模型时，GPU内存被100%占用，输出速度骤降至约1.6 token/秒。相比之下，Strix Halo内置的8060核心仍能保持11.2 token/秒的速度。这表明，虽然eGPU在显存充足时性能卓越，但一旦溢出至系统内存或交换空间，速度会遭遇断崖式下跌。
| 显卡型号 | 显存容量 | 测试场景/模型状态 | 推理速度 (tokens/sec) | 备注 |
|---|---|---|---|---|
| RTX 5080 (eGPU) | 16 GB | 模型适配显存内 | ~3倍于内置GPU | 性能强劲 |
| RTX 5080 (eGPU) | 16 GB | 模型超出显存 | ~1.6 | 性能崩溃 |
| Strix Halo (内置) | N/A | 同等大模型负载 | 11.2 | 稳定输出 |
多任务与旗舰级测试：NVIDIA Pro 6000的极致表现
在单代理（Single Agent）测试中，使用可扩展Web架构提示词同时驱动两块GPU。结果显示，NVIDIA GPU贡献了87 tokens/秒，而AMD GPU贡献了24 tokens/秒。在10个代理并发处理、每个输出10,000 token的多任务场景中，NVIDIA GPU迅速完成所有代理（总速约70-80 tokens/秒），仅消耗21瓦功率；而AMD GPU则因负载过重仍在运行，速度维持在21-24 tokens/秒。这展示了NVIDIA在并发处理上的显著优势。
随后，测试者接入了价值10,000至14,000美元的旗舰级显卡NVIDIA Pro 6000（96GB显存）。对于之前压垮RTX 5080的320亿参数模型，Pro 6000以69 tokens/秒的速度运行（使用近600瓦功率），速度是内置芯片的六倍。更惊人的是，它成功加载了1220亿参数、Q4量化（占用76.5GB显存）的超大模型。此时，Pro 6000使用了19.9GB显存（此处原文可能有误或指特定部分，但明确提到成功运行），证明了超大显存在处理超大规模模型时的不可替代性。
"The Pro 6000 does it at 69 tokens a second using almost 600 watts."（Pro 6000以每秒69个token的速度完成，功耗接近600瓦。）
MoE架构优势：大参数不等于高负载
本次测试的核心突破在于模型架构的选择。尽管1220亿参数的模型听起来庞大，但它采用了混合专家（Mixture of Experts, MoE）架构。这种设计使得模型虽然总参数量巨大，但在任何时刻只有极少部分参数处于激活状态。具体而言，该模型总参数量为1220亿，但同一时间仅激活约10个专家模块。这种“身轻如燕”的特性解释了为何大模型反而比320亿参数的稠密模型运行更快。测试数据显示，该配置下的推理速度达到了121 tokens/秒。这一效率提升不仅体现在高端显卡上，同样适用于集成在Strix Halo芯片中的8060核显。通过对比现代MoE模型（如Qwen 3.6）与传统的稠密大模型，可以发现前者在同等规模下速度提升了近六倍。这证明了从“稠密”到“混合专家”的技术演进，是提升大模型推理效率的关键路径。
硬件兼容性挑战：冷启动与热插拔的妥协
在物理连接层面，实验遭遇了严峻的硬件兼容性问题。当首次插入这块巨型显卡时，计算机完全无法启动，出现黑屏故障。这是因为主板固件在开机自检阶段无法处理如此庞大的显卡功耗与信号负载。由于Oculink接口通常不支持热插拔，为了绕过这一限制，作者采取了一种非常规的“后门”操作：先在无显卡状态下启动Linux系统，随后通过脚本控制在系统运行后通电并接入GPU。虽然这一过程存在风险且不符合标准规范，但成功实现了硬件的识别与加载。这种操作揭示了当前高端GPU在消费级主板上的兼容性痛点，也展示了通过软件脚本（如Cloud Code生成的自动化脚本）解决硬件启动障碍的可能性。尽管过程曲折，但最终实现了单卡独立运行所有负载的基础目标。
异构双显卡推理：跨阵营的模型拆分实验
为了挑战极限，作者决定运行一个130GB大小的Q8量化版本模型。由于该体积超过了单张显卡的显存上限，实验进入了更具挑战性的跨厂商异构推理阶段。模型被拆分加载到NVIDIA和AMD两张不同架构的显卡上：其中88GB权重分配给NVIDIA RTX 6000 Ada，剩余部分加载至AMD Radeon显卡。这一操作的核心难点在于解决NVIDIA的CUDA生态与AMD的ROCm（Radeon Open Compute Platform）生态之间的语言不通问题。最终，实验选择了Vulkan接口作为跨平台桥梁。测试结果显示，这种混合架构成功运行了模型，推理速度稳定在37-38 tokens/秒。功耗方面表现优异：NVIDIA显卡仅消耗约150瓦，AMD端约为70瓦。尽管受限于Oculink接口的带宽瓶颈，未能达到理论最高速，但成功证明了不同软件栈的显卡协同工作在技术上是可行的。
并发性能与硬件选购建议：性价比权衡
除了单任务推理，实验还测试了多请求并发处理能力。NVIDIA RTX 6000 Ada以出色的服务性能著称，当同时发起8个并发请求时，系统总吞吐量提升至约80 tokens/秒。这表明该配置在处理多用户Agent任务时具有良好的扩展性。在硬件选购方面，作者对比了Strix Halo系列的X2与X3机型。两者均搭载相同芯片及128GB内存。新款X3增加了Oculink接口以支持eGPU扩展，但价格比旧款X2贵约100美元。然而，增加接口也带来了稳定性隐患：外接eGPU底座在桌面上容易倾倒且无法平放。如果用户不需要扩展显卡，X2凭借更丰富的原生端口和更高的稳定性仍是更具性价比的选择；若需利用Oculink进行高性能扩展，则必须接受X3带来的物理形态妥协。总体而言，低于4000美元的价格获得Strix Halo芯片已属罕见，是否升级取决于对扩展性需求与桌面稳定性的权衡。
结论
本次测试证实，通过OCuLink接口将NVIDIA与AMD显卡混用可实现224GB显存协同推理，但受限于接口带宽，速度仅37-38 tokens/秒。NVIDIA Pro 6000凭借96GB显存和CUDA生态，在单卡运行122B MoE模型时达到69 tokens/秒且功耗可控，展现了旗舰级性能与稳定性。相比之下，RTX 5080显存瓶颈导致溢出后速度骤降至1.6 tokens/秒，而Strix Halo内置GPU虽稳定但算力有限。MoE架构显著提升了大模型推理效率，使122B参数模型运行快于32B稠密模型。硬件兼容性方面，冷启动黑屏需依赖脚本绕过，且X3机型存在物理稳定性隐患。总体而言，该方案证明了异构协同的技术可行性，但NVIDIA单卡仍是追求高性能与稳定性的更优解。