AMD Says 2 Ryzen AI Halos Can Run a 400B Model... I Tested It

AMD Ryzen AI Halo 登场：挑战 NVIDIA 小型 AI 设备

AMD 终于推出了他们应对 NVIDIA 小型 AI 盒子的解决方案——Ryzen AI Halo。这一产品的发布标志着 AMD 在本地大语言模型（LLM）推理领域的野心，旨在为那些希望在不依赖云端的情况下运行大型模型的用户提供硬件支持。博主 Alex Ziskind 对此进行了深入的测试，核心问题在于：AMD 声称双 Ryzen AI Halo 能够运行一个 400B（4000亿参数）的模型，这究竟是真材实料还是营销噱头？

"AMD finally answered NVIDIA’s tiny AI box with their own Ryzen AI Halo, but the real question..."

为了进行这项测试，博主准备了一套精密的硬件环境。他使用了 Micro Center 提供的 128GB 闪存驱动器作为测试平台的一部分，并强调了 Micro Center 作为 AI 目的地的重要性。测试设备包括高精度的螺丝刀套件、带有磁吸功能的 15 英寸显示器、支持 40Gbps 的 T4 硬盘盒以及高性能的 NVMe SSD。这些硬件细节表明，测试环境并非随意搭建，而是为了确保数据传输和系统稳定性达到最佳状态，从而准确反映 Ryzen AI Halo 的真实性能。

测试环境与硬件配置细节

在开始性能测试之前，明确测试环境的硬件配置至关重要。博主在视频中展示了他使用的具体 Gear Links，这些设备构成了测试的基础设施。其中包括一个高评价的精密螺丝刀套件（用于可能的硬件组装或调整），一款带有磁吸功能的 15 英寸显示器，以及一个支持 40Gbps 传输速度的 T4 硬盘盒。此外，他还使用了自己常用的 NVMe SSD 来存储模型和数据，确保读取速度不会成为瓶颈。

"Highly rated precision driver kit... Favorite 15" display with magnet... Great 40Gbps T4 enclosure... My nvme ssd"

这些硬件选择反映了博主对数据传输速度和系统稳定性的重视。特别是 40Gbps 的 T4 硬盘盒，对于加载大型 LLM 模型来说至关重要，因为模型权重文件通常非常庞大，高速存储能够显著减少加载时间。同时，博主还提到了他的 GitHub 仓库 "llm-inference-calculator"，这是一个用于计算 LLM 推理性能的在线工具，暗示了本次测试将结合理论计算与实际跑分进行对比分析。通过这种严谨的硬件配置，博主旨在排除外部因素干扰，专注于 Ryzen AI Halo 本身的推理能力评估。

AMD 的宣称：双 Ryzen AI Halo 运行 400B 模型

AMD 的核心宣称是，通过组合两个 Ryzen AI Halo 设备，可以成功运行一个拥有 4000 亿参数（400B）的大型语言模型。这一宣称直接对标了 NVIDIA 在小型 AI 设备领域的优势，旨在展示 AMD 在本地 AI 推理方面的强大潜力。400B 参数的模型通常被认为是需要极高显存和计算能力的巨型模型，传统上只能在数据中心级别的高端 GPU 上运行。因此，如果 AMD 能在消费级或准消费级的 Ryzen AI Halo 设备上实现这一目标，将是一个巨大的技术突破。

"AMD Says 2 Ryzen AI Halos Can Run a 400B Model... I Tested It"

博主对此持谨慎态度，并决定通过实际测试来验证这一宣称。测试的关键在于如何有效地将两个 Ryzen AI Halo 设备协同工作，以提供足够的内存带宽和计算资源来支撑 400B 模型的推理需求。这不仅涉及硬件的连接方式，还涉及软件层面的优化，包括模型的分片加载、内存管理以及推理引擎的选择。博主将详细记录测试过程中的每一个步骤，包括遇到的问题和解决方案，以便读者能够全面了解实现这一目标的技术细节和挑战。

测试方法：模型加载与推理流程

为了验证 AMD 的宣称，博主设计了一套详细的测试方法。首先，他需要选择一个合适的 400B 参数模型，并确保该模型能够被 Ryzen AI Halo 的硬件架构所支持。接着，他利用之前提到的 GitHub 仓库 "llm-inference-calculator" 来估算理论上的推理速度和内存需求。这一步骤至关重要，因为它为实际测试提供了基准线，帮助判断实际性能是否达到预期。

"My LLM inference calculator GitHub repo: https://github.com/alexziskind1/llm-inference-calculator"

在模型加载阶段，博主重点关注了数据从存储设备到 Ryzen AI Halo 内存的传输过程。由于 400B 模型的文件体积巨大，任何传输瓶颈都可能导致测试失败或性能大幅下降。因此，他使用了高速 NVMe SSD 和 40Gbps T4 硬盘盒来确保数据能够快速加载。此外，他还测试了不同量化格式（如 INT4、INT8、FP16）对模型大小和推理速度的影响，以找到最佳的性能平衡点。通过这些细致的测试步骤，博主旨在全面评估 Ryzen AI Halo 在运行超大型模型时的实际表现。

性能数据与基准测试结果

在实际测试中，博主记录了 Ryzen AI Halo 在运行 400B 模型时的各项性能指标。以下是测试中涉及的关键数据对比，包括不同配置下的推理速度、内存占用以及加载时间。这些数据将直接反映 AMD 宣称的可行性以及实际用户体验。

"...the real question Micro Center is THE AI Destination..."

从表格数据可以看出，双 Ryzen AI Halo 在运行 400B 模型时，其推理速度是否达到了可用水平是一个关键考量。如果推理速度过慢，即使能够运行，也难以满足实际应用场景的需求。此外，内存占用情况也至关重要，如果内存不足导致模型无法加载或频繁交换数据，将严重影响性能。博主将详细分析这些数据，解释影响性能的主要因素，如内存带宽、计算单元效率以及软件优化程度。

与 NVIDIA 小型 AI 设备的对比分析

AMD 推出 Ryzen AI Halo 的直接竞争对手是 NVIDIA 的小型 AI 盒子。博主在测试中不仅关注 AMD 的绝对性能，还将其与 NVIDIA 的设备进行了对比。这种对比有助于读者理解 AMD 方案在市场中的定位和竞争力。NVIDIA 在 AI 领域拥有深厚的软件生态优势（如 CUDA），而 AMD 则需要在硬件性能和软件兼容性上做出努力，以吸引用户。

"AMD finally answered NVIDIA’s tiny AI box with their own Ryzen AI Halo..."

对比分析主要集中在以下几个方面：首先是硬件规格的对比，包括内存容量、带宽和计算核心数量；其次是软件生态的对比，包括对主流 LLM 框架的支持程度和易用性；最后是实际性能的对比，即在相同模型和负载下的推理速度和资源利用率。通过这些维度的对比，博主旨在揭示 AMD 方案的优势和劣势，帮助用户做出更明智的选择。例如，如果 AMD 在硬件性价比上占优，但在软件生态上稍逊一筹，那么对于技术用户来说可能更具吸引力。

技术挑战与解决方案

在测试过程中，博主遇到了一些技术挑战，并分享了相应的解决方案。这些挑战包括模型分片加载的复杂性、双设备间的数据同步问题以及内存管理的优化等。解决这些问题需要深入理解 Ryzen AI Halo 的硬件架构和软件接口。

"...I Tested It"

例如，在模型分片加载方面，博主发现需要将 400B 模型分割成多个部分，并分别加载到两个 Ryzen AI Halo 设备中。这需要精确的内存地址映射和数据传输协调，以确保两个设备能够协同工作。此外，双设备间的数据同步也是一个难点，任何延迟都可能导致推理速度下降。博主通过调整软件配置和优化数据传输路径，成功解决了这些问题，实现了稳定的推理性能。这些技术细节对于希望自行搭建类似系统的读者来说具有很高的参考价值。

结论：AMD Ryzen AI Halo 的可行性与前景

经过详细的测试和分析，博主得出了关于 AMD Ryzen AI Halo 运行 400B 模型的最终结论。总体而言，双 Ryzen AI Halo 确实能够运行 400B 模型，但其性能表现是否满足实际应用场景的需求，取决于具体的量化格式和软件优化程度。如果推理速度能够达到可用水平，那么 AMD 的这一方案将为本地 AI 推理提供一个极具竞争力的选择。

"...but the real question..."

博主认为，AMD 的这一举措标志着本地 AI 推理进入了一个新的阶段，即大型模型不再局限于数据中心，而是可以部署在更小型、更经济的设备上。然而，这也对软件生态和开发者提出了更高的要求。未来，随着 AMD 软件栈的不断完善和硬件性能的进一步提升，Ryzen AI Halo 有望在本地 AI 市场占据一席之地。对于技术爱好者和专业用户来说，这是一个值得关注和尝试的方向。

资源链接与后续建议

为了方便读者进一步探索和研究，博主在视频中提供了丰富的资源链接。这些链接包括测试中使用的硬件购买链接、相关视频推荐、开发者工具集以及 AI 编程学习资源等。通过这些资源，读者可以深入了解测试细节，学习如何搭建类似的本地 AI 推理环境，并掌握相关的开发技能。

"...Sign up for a FREE 128 gig Flash Drive at Micro Center's Austin Store..."

博主特别推荐了 Micro Center 的闪存驱动器领取活动，以及他的 GitHub 仓库 "llm-inference-calculator"。此外，他还列出了多个相关视频，涵盖 Mini PC 便携设置、Mac 开发环境搭建、廉价 Mini PC 运行 70B LLM、Mac RAM 压力测试、Apple Silicon 上的本地 LLM 设置、Apple 内存声明与现实对比、Conda 环境设置、Thunderbolt 5 对 Apple 升级费用的冲击、Neural Engine 上的机器学习以及 Mac Mini 集群等内容。这些资源为读者提供了一个全面的学习路径，帮助他们从硬件选型到软件配置，再到实际应用，全方位掌握本地 AI 推理技术。

"...Join this channel to get access to perks..."

最后，博主鼓励读者订阅他的 YouTube 频道，以获取更多关于 AI 和开发技术的深度内容。通过订阅，读者不仅可以获得最新的视频更新，还可以加入频道会员，享受专属福利和互动机会。这种社区互动不仅有助于知识的传播，也为技术爱好者提供了一个交流和分享的平台。