AI算力支出激增与推理效率的矛盾

当前人工智能领域的资源投入正在呈现爆炸式增长。Cerebras的AI工程师Daniel与Gimlet Labs联合创始人Michelle指出，全球对算力的支出预计将在2031年达到1.6万亿美元。这一趋势源于前沿实验室为训练和服务大规模模型而进行的硬件抢购战。以Google为例，其月处理Token数量从去年的480万亿激增至最近的3.2千万亿（quadrillion）。与此同时，模型推理成本正在下降且速度提升，例如Llama 3.7B相比初版快了3.6倍且成本降低了25%。这种“更快更便宜”的需求与巨大的吞吐量压力形成了鲜明对比，迫使行业必须寻找新的优化路径。

"All of this is happening at the same time as models are getting cheaper and faster."

自回归生成的内存墙与并行计算的代价

大语言模型（LLM）采用自回归循环（auto-regressive loop）生成Token，即每次仅生成一个Token。这一过程的核心瓶颈在于内存带宽限制。由于模型权重巨大，计算机在等待从内存加载所有必要权重的过程中，高达90%的时间处于空闲状态。为了缓解这一问题，业界常采用将模型拆分到多个GPU上的并行策略。理论上，若将模型分为四份由四个GPU处理，单个Token的生成时间可缩短至原来的四分之一。然而，这种并行化带来了显著的通信开销：在注意力机制（Attention）和前馈神经网络（FFN）模块前后，必须执行All-Reduce操作以合并各GPU的计算结果。这导致在增加四倍算力的情况下，实际速度提升仅为2倍。若以吞吐量与速度的关系绘制帕累托前沿（Pareto Frontier），可见随着算力投入增加，服务单个Token所需的能量呈指数级上升。例如Claude Code的快速模式通过消耗更多资源换取两倍速度，正是位于该前沿右侧的权衡体现。

"Up to 90% of the time, the computer is just sitting there waiting on memory to load."

连续批处理与KV缓存的内存挑战

为突破上述瓶颈，优化重点转向了批量处理（Batching）与连续批处理（Continuous Batching）。传统批处理允许复用已加载的权重服务多个请求，但因各请求长度不一导致计算资源闲置。连续批处理通过在每一个空闲时间槽插入新请求，最大化利用权重读取周期。然而，这种方法引入了严重的内存管理问题：注意力机制需要保存KV缓存（Key-Value Cache），其大小随上下文长度线性增长。对于70B参数模型，每3,000个Token需额外占用1GB内存。若处理一个拥有128k上下文的编码代理请求，仅该请求的KV缓存就需42GB。当同时服务多个长上下文请求时，内存需求将迅速爆炸，导致系统无法容纳所有并发用户。

"The idea here is that for every single idle slot, you slot in a new user request to be served during the same weight read."

分页KV缓存技术的内存优化创新

为解决连续批处理带来的内存碎片与浪费问题，分页KV缓存（Paged KV Cache）技术应运而生。传统方法需预先预留物理内存块以容纳最大可能的KV缓存，导致大量未使用空间被锁定。分页机制借鉴了操作系统的虚拟内存理念：将物理内存划分为页，按需动态分配。系统不再为每个请求预占固定大小的连续空间，而是将KV数据存储在任意可用的空闲内存页中。这种机制消除了预分配带来的浪费，显著提高了内存利用率。据Cerebras与Gimlet Labs的经验数据，采用分页KV缓存后，系统能够服务的请求数量提升了三倍。这一创新使得在有限的硬件资源下支持更多并发长上下文推理成为可能，从而向右推移了性能与吞吐量的帕累托前沿。

"This allows you to serve three times more requests than not having a paged KV cache."

运行时优化：从Prompt缓存到分块预填充

为了应对推理过程中内存资源的浪费，行业引入了提示词缓存（Prompt Caching）技术。其核心逻辑在于复用已计算的KV Cache，避免重复计算。>

多硅芯片推理云与异构硬件映射

Gimlet Labs正在构建一个多硅片推理云平台（multi-silicon inference cloud），其核心能力是将用户的工作负载拆解为更细粒度的单元。系统会分析每个单元的资源特征（resource characteristics），并将其映射到最合适的底层硬件上。这种策略打破了单一硬件的限制，支持的芯片类型极其广泛，包括Nvidia、AMD、Trainium、Cerebras、D-Matrix以及Intel Gaudi等。通过让任务在最适合其运行的机器上执行，Gimlet实现了显著的性能提升。相比具有相同功耗预算的同构系统（homogeneous systems），推理速度提升了3到10倍。 这种提升不仅源于硬件选择的优化，还得益于对预填充（prefill）和解码（decode）阶段的进一步解耦。

投机解码：基于模型的阶段分离

传统的解码过程通常需要对每个输出的Token执行一次前向传播（forward pass），效率较低。Gimlet引入了投机解码（speculative decoding）技术，这是一种基于模型而非单纯阶段的解耦方式。该技术使用一个较小的草稿模型（draft model）来近似全量模型的结果，由于规模较小，它运行更快且资源占用更少。具体流程是：草稿模型首先生成候选Token序列，随后全量模型执行验证阶段（verify stage）来确认哪些Token是正确的。例如，为了获得9个后续Token，传统方法需要在全量模型上运行9次前向传播；而使用投机解码时，全量模型仅需运行3次。只要草稿模型的推理时间足够短，整体生成Token的时间就能大幅缩短。

性能前沿与注意力-FFN解耦

在Pareto最优曲线图中，X轴代表Token生成速度，Y轴代表吞吐量。基准测试显示，在同构GPU上仅进行预填充/解码解耦时，随着速度提升，吞吐量会急剧下降。引入投机解码后，曲线向右移动，因为在全量模型上的运行次数减少了。若进一步结合D-Matrix或Cerebras等擅长快速处理小模型的硬件，交互速度相比同构机器提升了10倍。此外，Gimlet还探讨了针对万亿参数大模型的注意力-FFN解耦（attention FFN disagg）。由于模型极大，单个层的计算资源消耗巨大：注意力层（Attention layer）主要受限于内存带宽和KV Cache访问，而前馈神经网络层（FFN layer）则依赖密集矩阵乘法。因此，系统会将注意力任务分配给高内存带宽的机器，将FFN任务分配给擅长矩阵计算的机器。模型内部在不同硬件间“乒乓”切换，实现了每一层的极致解耦。

无最佳方案与AI辅助优化

Gimlet强调，不存在最佳的解耦形式或最佳的硬件。选择取决于模型特性、工作负载需求以及延迟和吞吐量的权衡。随着AI代理（Agents）日益普及，对Token速度和数量的需求持续激增。“我们甚至可以看到代理正在帮助我们解决这些问题并推动技术前沿。” 为应对异构硬件优化的复杂性，Gimlet开发了KForge工具。传统内核优化依赖人工调优，且高度依赖于具体的模型、硬件代际和工作负载形状。KForge利用AI代理生成优化的内核（optimized kernels），使得在如此广泛的硬件范围内支持高性能推理变得更加可行和高效。

自动化内核优化与性能突破

Cerebras 利用名为 KForge 的自动化工具，通过输入硬件配置、工作负载特征等多元信息，将内核优化问题转化为暴力求解过程。这一方法能够针对特定模型和硬件生成高度定制化的计算内核，从而显著提升推理效率。KForge 的核心优势在于它能在已有优化基础上进一步挖掘性能潜力，而非从零开始。在最近的一次实验中，该代理系统在不到一周的时间内，成功将 GPT-OSS-120B 模型在 AMD 硬件上的端到端推理速度提升了 33%。这一成果证明了自动化代理在处理复杂内核调优任务时的强大能力，为后续更高效的模型部署奠定了基础。

硅片设计与 AI 的递归增强循环

超越软件层面的优化，Cerebras 正在探索将代理技术应用于定制硅片的设计与开发。通过利用 AI 代理辅助硬件架构设计，可以构建针对特定模型或工作负载进行超调优的定制芯片。这种软硬件协同优化的路径形成了一个递归增强循环：更智能、更快的 AI 模型被用于设计下一代定制硅片，而这些新硬件又反过来支持更强大的 AI 训练与推理。正如演讲者所言："This loop keeps going on and on and it is a recursive loop." 这种正反馈机制有望加速硬件迭代周期，使系统能够更快速地适应不断变化的模型需求。

全栈推理优化与未来愿景

除了核心的计算内核，Cerebras 还致力于将代理工作流扩展到推理服务的整个生命周期。这包括模型发布初期的快速部署（Day-one support）、系统可靠性提升、以及后端采购和法律等行政流程的自动化。通过全栈优化，目标是实现更快、更便宜的 Token 服务。演讲者指出："We are working both very, very hard to give you faster and cheaper tokens." 这种从底层硬件到上层应用的全面优化策略，旨在应对日益增长的 Token 需求。最终愿景是构建能够根据工作负载和模型特性即时定制软件的推理系统，正如 Anthropic 在两周内构建编译器所展示的那样。这种灵活性将极大提升资源利用率和服务响应速度，为 AI 应用的普及提供坚实支撑。

结论

视频论证表明，应对Token需求激增需从单一硬件优化转向全栈异构协同。核心突破在于：通过分页KV缓存解决内存碎片，使并发请求量提升三倍；利用投机解码与注意力-FFN解耦技术，在Cerebras等特定硬件上实现10倍交互速度提升；借助KForge自动化代理，在AMD硬件上将GPT-OSS-120B推理速度提升33%。然而，这些优化高度依赖硬件特性与工作负载匹配，不存在通用最佳方案。当前技术虽显著推高了性能-吞吐量前沿，但多硅片云的资源映射复杂性及内核调优的算力成本仍是挑战。未来趋势是AI辅助软硬件递归增强，旨在实现更灵活、更低成本的Token服务。