“榨”出硅的极限：怎么让GPU不“闲着”？

算力荒下的效率革命：重新定义GPU价值

当前，OpenAI、谷歌、Deepseek等前沿AI模型厂商正陷入一场激烈的“造芯大战”。尽管市场依旧面临严重的显卡短缺和算力不足问题，但硅谷AI基础设施（AI Infra）领域正在开辟一条千亿级的新赛道：如何让手中已有的GPU发挥出更大的价值。随着AI的应用重心从训练转向推理，GPU虽然看似处于满载状态，但实际上却将大量时间耗费在重复计算、缓存搬运和任务等待上。这种表象下的低效，引发了行业对算力本质的重新思考。

“当推理成为AI的主战场，GPU看似满载，却仍把大量时间耗在重复计算、缓存搬运和任务等待上。”

本期内容通过与推理引擎开源社区SGLang孵化出的RadixArk团队深入交流，探讨了这场围绕调度与系统优化的效率革命。嘉宾包括RadixArk联合创始人、英伟达前首席研究科学家朱邦华，RadixArk技术团队成员陈震林（Richard），以及前微软能源战略经理、突破能源科研总监Ethan Xu。他们共同揭示了如何从“硅”的极限中榨取性能，以及当算力增长不再单纯依赖堆叠显卡时，AI竞争的尺度将如何被改写。

昂贵的GPU为何“又忙又闲”？

在传统的AI推理场景中，最昂贵的GPU往往呈现出一种悖论状态：既忙碌又空闲。这种状态并非因为硬件故障，而是源于系统架构与算法执行之间的错位。GPU的计算单元在生成Token时确实全速运转，但在等待数据加载、处理上下文切换或进行I/O操作时，计算核心却处于闲置状态。这种“忙闲交替”的现象导致整体吞吐量远低于理论峰值。

朱邦华指出，这种低效是系统层面的问题，而非单一硬件缺陷。在大规模并发推理中，任务调度策略决定了GPU是持续工作还是频繁停顿。如果调度器无法有效预测和管理请求，GPU就会陷入“等待数据-计算-再等待”的循环，造成巨大的算力浪费。因此，重新定义一块GPU的价值，不再仅仅看其峰值算力（FLOPS），更要看其在实际推理负载下的有效利用率。

“为什么最昂贵的GPU仍会‘又忙又闲’？AI Infra还能榨出多少藏在‘硅’里的性能？”

这一问题的核心在于，传统的推理引擎往往假设请求是独立的，忽略了请求之间的语义相似性和计算复用性。RadixArk团队认为，解决这一问题的关键在于深入理解AI Infra的底层架构，并通过软件层面的优化来弥补硬件层面的冗余等待。

AI Infra的四层架构解析

为了系统性地解决效率问题，我们需要将AI基础设施（AI Infra）拆解为四个层次。这四层架构分别是：硬件层、系统层、框架层和应用层。每一层的优化都能带来不同程度的性能提升，但往往被业界忽视。

1. 硬件层：包括GPU、内存、网络等物理资源。这是传统优化的重点，如升级H100到B100。
2. 系统层：涉及操作系统、驱动程序、内核调度等。这一层决定了硬件资源如何被底层软件调用。
3. 框架层：包括PyTorch、TensorFlow等深度学习框架，以及推理引擎如vLLM、TGI等。这一层负责将模型计算转化为硬件指令。
4. 应用层：最终的AI应用，如Chatbot、代码生成器等。这一层决定了请求的模式和负载特征。

“AI Infra的四层架构，每一层都有优化的空间，但大多数优化只停留在应用层或框架层。”

朱邦华强调，大多数厂商只关注应用层的模型微调或框架层的算法优化，而忽视了系统层和硬件层的协同。例如，在系统层，如果内核调度不能高效地管理显存带宽，那么再先进的算法也无法发挥性能。RadixArk的工作正是从系统层和框架层的交界处入手，通过重构推理引擎的核心逻辑，实现跨层的性能优化。

优化“计算”：SGLang、Radix Tree与K/V Cache复用

在框架层，RadixArk的核心创新在于引入了Radix Tree（基数树）结构，以优化K/V Cache（键值缓存）的复用。在LLM推理中，K/V Cache用于存储历史Token的中间状态，避免重复计算。然而，传统的缓存机制往往是线性的，无法有效利用不同请求之间的前缀共享。

Radix Tree通过将具有相同前缀的请求组织成树状结构，实现了细粒度的缓存复用。当新请求与已有请求共享前缀时，系统可以直接复用树中已有的K/V Cache，无需重新计算。这种机制在长上下文推理和多轮对话场景中效果显著，能大幅减少重复计算量。

陈震林解释道，Radix Tree不仅优化了计算，还优化了显存访问模式。通过减少不必要的内存读写，系统能够更有效地利用GPU的高带宽内存（HBM）。这种优化使得GPU在相同硬件条件下，能够处理更多的并发请求，从而在本质上提升了每瓦特算力的产出。

优化“等待”：PD分离架构

除了计算优化，RadixArk还针对推理过程中的等待时间进行了重构，提出了PD分离（Prefix Decomposition）架构。在LLM推理中，计算过程分为两个阶段：Prefill（预填充）和Decode（解码）。

• Prefill阶段：处理输入Prompt，计算量大，但只需一次。
• Decode阶段：逐个生成Token，计算量小，但延迟敏感，需持续进行。

传统架构将这两个阶段混合在同一个GPU上执行，导致Prefill阶段的大计算量会阻塞Decode阶段的低延迟需求，造成资源争用。PD分离架构将这两个阶段分配到不同的GPU或计算单元上：一个专门处理Prefill，另一个专门处理Decode。这样，Decode阶段可以专注于低延迟的Token生成，而Prefill阶段则可以充分利用算力进行批量处理。

“PD分离让Prefill和Decode各取所长，避免了计算资源的相互干扰。”

这种分离不仅降低了延迟，还提高了资源利用率。Prefill阶段的GPU可以并行处理多个请求的Prefill，而Decode阶段的GPU则可以稳定地输出Token。通过这种流水线式的优化，系统整体的吞吐量得到了显著提升，特别是在高并发场景下，效果更为明显。

优化“算力”：多释放一倍算力的两条路径

在硬件资源固定的情况下，如何释放更多的有效算力？RadixArk提出了两条主要路径：算法优化和系统调度优化。

1. 算法优化：通过改进模型结构或推理算法，减少不必要的计算。例如，使用Speculative Decoding（推测解码）技术，利用小模型快速生成候选Token，再由大模型验证，从而加速生成过程。
2. 系统调度优化：通过更智能的调度算法，减少GPU的空闲时间。例如，动态调整请求的优先级，确保高优先级请求优先获得算力；或者通过Batching（批处理）技术，将多个请求合并处理，提高计算密度。

朱邦华指出，这两条路径并非互斥，而是可以协同工作。例如，在Speculative Decoding中，系统调度器可以优化小模型和大模型的分配，确保两者都能高效运行。通过这种协同优化，RadixArk声称能够在不增加硬件成本的情况下，释放出一倍以上的有效算力。

资源协同：适配RLHF训练的Miles

除了推理优化，RadixArk还关注RLHF（人类反馈强化学习）训练过程中的资源协同问题。RLHF训练需要大量的计算资源，且对显存带宽和通信效率要求极高。传统的训练框架往往无法高效利用多GPU集群的资源，导致训练效率低下。

Miles是RadixArk为适配RLHF训练而设计的资源协同方案。它通过动态资源分配和通信优化，实现了训练过程中的高效协同。Miles能够根据训练阶段的需求，动态调整GPU的计算和通信资源，确保每个GPU都能发挥最大效能。

“Miles让RLHF训练不再是资源的黑洞，而是高效协同的计算过程。”

在RLHF训练中，奖励模型（Reward Model）和策略模型（Policy Model）的更新需要频繁的参数同步。Miles通过优化All-Reduce通信模式，减少了同步延迟。同时，它还支持混合精度训练，进一步降低了显存占用。通过这些优化，Miles使得在相同硬件条件下，RLHF训练的速度提升了30%-50%，显著降低了训练成本。

RadixArk的更大野心：消除“Frontier Lab”壁垒

RadixArk的最终愿景不仅仅是优化单个GPU的性能，而是通过系统级的创新，降低AI开发的门槛。朱邦华表示，RadixArk希望实现“以后没有Frontier Lab这个词”的目标。这意味着，通过高效的推理引擎和训练框架，中小型团队甚至个人开发者也能享受到与顶级实验室相当的计算效率。

“我们的野心是，以后没有Frontier Lab这个词。算力不再是巨头的专利。”

这一愿景的实现，依赖于开源社区的力量。RadixArk作为SGLang的孵化项目，始终坚持开源策略，与全球开发者共同优化AI Infra。通过共享代码、算法和最佳实践，RadixArk希望推动整个行业向更高效、更普惠的方向发展。当算力效率得到极大提升时，AI竞争的焦点将从“谁拥有更多显卡”转向“谁拥有更优的系统架构”，这将彻底改写AI行业的竞争格局。

总结：从堆硬件到拼软件

本期视频深入探讨了AI Infra领域的效率革命。通过RadixArk团队的案例，我们看到了从Radix Tree缓存复用、PD分离架构到Miles资源协同的一系列创新。这些技术不仅提升了GPU的利用率，还降低了AI开发和部署的成本。

随着AI应用规模的扩大，单纯依靠堆叠硬件已难以为继。未来的AI竞争，将是系统架构与软件优化的竞争。RadixArk的实践表明，通过深入挖掘“硅”的极限，我们可以在不增加硬件投入的情况下，获得显著的性能提升。这不仅是技术的进步，更是AI行业走向成熟和普惠的必经之路。