头部AI初创企业的惊人收入构成

目前全球拥有至少5亿美元年化收入的AI创业公司中，前五名中有三家是推理平台。这一现象引发了市场的好奇：这些主要提供模型服务而非创建新价值的公司，如何能超越像Moonshot AI这样拥有顶级模型的实验室？尽管ZAI近期突破了10亿美元ARR，但推理公司击败前沿AI实验室的事实依然存在。这促使我们深入探讨“推理即服务”（Inference-as-a-Service）的运作模式及其未来前景。

推理即服务公司的四大阵营分类

提供开放权重模型服务的公司主要分为四类：超大规模云厂商（Hyperscalers）、新云计算商（Neo Clouds）以及两类专注于推理的平台。超大规模云厂商如Amazon和Microsoft，其核心业务是出售计算资源而非专门服务LLM；新云计算商如CoreWeave，主要优势在于廉价出租GPU集群。相比之下，全栈推理平台（如Fireworks、Together AI）和定制硅芯片推理平台（如Groq、Cerebras）将模型服务作为核心商业模式，尽管它们不创建自有模型。

推理服务的本质与高昂的技术门槛

"Inference is what happens after a model has already been trained... It takes your input, runs it through the neural network, and generates output tokens."

推理即服务是指公司代为处理模型训练后的使用过程，用户只需调用API。然而，LLM推理极具挑战性：模型庞大需要协调昂贵的GPU集群，且难以优化以实现高速响应。这些公司通过填补运行成本与服务附加值之间的差距来获利。但利润空间可能极薄，因为它们不仅要与官方API竞争（如DeepSeek因优化极佳导致其API价格难以被超越），还要面对其他十家提供相同模型服务的竞争对手。

DeepSeek v4 Pro的硬件成本基准测试案例

以部署DeepSeek v4 Pro为例，其权重文件约为865 GB（混合FP4和FP8存储）。理论上需要约五个B200 GPU，但实际部署需考虑KV缓存、运行时缓冲和批处理等开销。因此，最基础的实际配置是一台拥有八个B200的DGX服务器。假设每个B200租赁成本为每小时6美元，则该服务器的基础硬件成本约为48美元/小时。这仅仅是裸机成本的底线，尚未包含CPU、存储、网络及人力成本。要在此类高竞争市场中盈利，服务商必须通过规模效应或技术优化大幅降低单位推理成本。

推理服务的盈亏平衡困境与定价逻辑

在LLM即服务（Inference-as-a-Service）市场中，收入与需求的紧密绑定是核心经济特征。以Fireworks和Together AI为例，DeepSeek V4 Pro的定价约为每百万输入token 1.74美元、输出3.48美元。假设典型工作负载中每生成一个输出token需发送两个输入token，则每百万输出token的工作量可产生约6.96美元收入。然而，基于AB200 GPU的基础开源VL部署在批处理工作负载下仅能生成每秒约900个输出token，折合每小时324万个输出token，每小时收入仅约22.55美元。这一数字甚至无法覆盖GPU每小时48美元的硬件成本，意味着服务器必须达到每秒2000个输出token的吞吐量才能勉强盈亏平衡。

"Demand creates revenue, and you would need to maintain the demand to create constant revenue."

这种计算未包含内存开销、劳动力成本及需求波动风险。因此，优化推理速度成为提升利润率的关键路径。DeepSeek在2025年2月的开源周中展示，其H800节点运行DeepSeek V3和R1时可达每秒7.37万个输入token和1.48万个输出token，即便以极低价格（0.55美元输入、2.19美元输出）提供服务，仍能实现高达545%的利润率。相比之下，DeepSeek V4模型规模约为V1的2.6倍，理论上成本应大幅上升，但其API价格反而降至0.435美元输入和0.87美元输出。这表明DeepSeek通过极致的底层优化，在保持低价的同时仍拥有丰厚利润空间。

预填充与解码：LLM推理的两个截然不同的阶段

要理解优化原理，必须区分LLM推理的预填充（Prefill）与解码（Decode）两个阶段。预填充是模型读取并处理整个输入提示词的过程，例如接收10,00个输入token时，模型可通过大规模矩阵乘法并行处理这些token。这一阶段计算密集度高，但GPU在并行工作方面表现出色。解码则是生成响应的后续过程，模型每次仅生成一个token。由于新生成的token依赖于前一个token，解码阶段无法并行处理，必须反复加载模型权重、读取现有的KV缓存（键值缓存），生成一个token后重复整个过程。

"This is why output tokens are normally much more expensive than input tokens and its speed is often limited by how quickly the GPUs can move weights and cache data through memory."

正是这种架构差异导致输出token通常比输入token昂贵且速度受限。解码阶段的速度瓶颈在于GPU在内存中移动权重和缓存数据的效率，而非单纯的计算能力。因此，针对解码阶段的优化（如KV缓存复用）能显著降低成本并提升吞吐量。第三方服务商如火山引擎和Together AI虽然可能因无法像DeepSeek那样深度优化V4模型而收取更高费用，但它们仍可通过服务GLM 5.2和Kimiko V3等其他模型竞争。若能在官方API高流量导致延迟增加时，提供更低延迟或更稳定的服务，即便价格略低或不具优势，也能凭借一致性吸引客户。

KV缓存命中：大幅降低输入token成本的秘密

LLM推理优化的首要手段是KV缓存（Key-Value Cache）复用。当模型处理输入时，会创建包含中间注意力状态的KV缓存。若服务器从未处理过该提示词前缀，则发生缓存未命中（Cache Miss），模型需从头计算所有层并生成新缓存。若请求包含相同前缀，则发生缓存命中（Cache Hit），服务器可直接复用已有缓存，仅处理新增部分。对于代码代理等场景，系统提示、工具定义和对话历史重复发送频率极高。缓存命中可将输入token处理成本降低约120倍，DeepSeek V4 Pro对缓存命中的输入token仅收取每百万0.3625美分，而未命中则需43.5美元。

"73.7 thousand tokens per second was not the raw speed of recomputing completely new prompts... more than half of the input was being reused from an on-disk KV cache."

值得注意的是，DeepSeek此前宣称的每秒7.37万个输入token吞吐量中，约56.3%为缓存命中。这一数据反映的是真实生产工作负载下的效率，而非重新计算全新提示词的原始速度。尽管缓存命中仍需从SSD或内存读取、传输至正确机器并处理新token，但其成本远低于重新运行整个模型。这一机制揭示了生产环境中复用率对性能指标的巨大影响，也解释了为何优化缓存策略能带来如此显著的边际成本下降。

批处理技术：提升GPU利用率的核心手段

除了缓存优化，批处理（Batching）是另一项关键优化技术。若仅单个用户使用模型，即使拥有庞大GPU集群，其在解码阶段也可能大量闲置，因为每个请求每一步仅需生成一个token。通过将数百个用户请求组合成一个批次，GPU可同时为所有用户生成下一个token。这种并行化使得模型权重的加载效率大幅提升，因为同一组权重可服务于多个序列。批次越大，GPU的运算效率越高。

现代推理引擎通过动态批处理技术最大化这一优势。在解码阶段，由于每个请求的计算量极小且依赖性强，单独处理会导致严重的资源浪费。批处理允许GPU利用其并行计算能力，在一次内存访问中完成多个序列的token生成。这不仅提高了吞吐量，还平滑了负载波动对性能的影响。结合缓存命中策略，批处理使得服务商能够在保证低延迟的同时，以极低的边际成本服务海量并发用户。这种组合优化是LLM即服务商在激烈价格战中维持高利润率的技术基石，也是区分普通API提供商与深度优化型服务商的关键能力。

连续批处理：在吞吐量与延迟间寻找平衡

LLM推理服务中的连续批处理（Continuous Batching）技术彻底改变了传统的请求处理方式。服务器不再等待固定的一组请求全部完成，而是持续移除已完成的请求并插入新请求到批次中。这种机制确保了即使每个用户的提示词长度不同、生成的Token数量各异，GPU也能保持满载状态。正如视频所述："Demand does not just create more revenue. More demand also allows the provider to build larger batches, which can lower the cost of serving every individual token." 这意味着大规模服务商能通过更大的批次降低单个Token的服务成本，从而比小规模用户更高效、更盈利地运营。然而，这也带来了权衡：为了构建更大的批次而等待会导致用户排队延迟增加。此外，大批次会消耗更多的KV Cache内存。因此，推理提供商必须在吞吐量、首Token时间（Time to First Token）、输出速度、内存使用和排队延迟之间不断进行精细平衡。

预填充与解码分离：解耦计算瓶颈

由于预填充（Prefill）和解码（Decode）阶段对硬件资源的需求截然不同，将它们运行在同一组GPU上往往并非最优解。预填充需要巨大的原始计算能力（Raw Compute），而解码阶段则更依赖于内存带宽、KV Cache容量以及活跃用户的大批次规模。为此，大型提供商常采用预填充-解码分离（Prefill-Decode Disaggregation）架构。在这种架构中，一组GPU专门处理输入提示词（预填充），另一组则专注于生成输出Token。> "After the prefill workers process the prompt, they transfer the completed KV cache to the decode workers through a high-speed network." 这种分离允许公司独立扩展两个阶段，并防止巨大的预填充请求干扰对延迟敏感的解码过程。Kim Moon Shaw提出的"Prefill as a Service"概念进一步延伸了这一思路，建议将长上下文的预填充卸载到独立的数据中心，再将KV Cache传回解码集群。这不仅减少了首Token时间，还让本地集群能将更多硬件资源 dedicated 给解码任务。

自定义内核与融合优化：减少数据移动而非计算量

尽管架构分离至关重要，但自定义内核（Custom Kernel）带来的优化仍是无可替代的。在此语境下，内核并非操作系统内核，而是直接运行在GPU上的小程序函数，指导成千上万的线程执行具体的计算和数据移动。通用框架（如PyTorch）通常使用灵活但非最优的通用内核，而自定义内核则是针对特定模型架构、张量形状和硬件编写的高度专业化程序。优化的核心往往不在于减少计算次数，而在于减少数据在HBM、共享内存和GPU核心之间的移动频率。例如，通过内核融合（Kernel Fusion）技术，可以将归一化、量化和矩阵乘法等多个操作合并为一个内核执行。> "A custom fused kernel could combine all three operations into one, completely saving the time of rereading and writing the data into memory." 即使数学运算量几乎相同，这种融合也大幅减少了中间结果在内存中的读写开销。此外，分块（Tiling）技术通过将大矩阵分割为小块以匹配GPU内存层级和Tensor Core，实现数据的高效复用。这种优化高度依赖于具体的硬件（如H100与B200表现不同）和任务类型，体现了自定义内核在提升模型利用率方面的巨大优势。

Flash Attention与MoE：极致优化的具体实践

自定义内核的潜力在LLM的核心组件中得到了充分展现，尤其是注意力机制（Attention Mechanism）。传统的朴素实现会分别计算注意力分数、将其写入HBM、应用Softmax，再读回并与值向量相乘。而Flash Attention则利用自定义的分块内核，在较小的区块内计算注意力，并将大部分中间值保留在GPU最快的内存中。> "Flash attention instead uses a custom tiled kernel that calculates attention in smaller blocks and keeps most of those intermediate values inside the GPU's fastest memory, producing the same attention result without ever materializing the full attention matrix in HBM." 这种方式避免了在全HBM中实例化巨大的注意力矩阵，从而显著提升了速度。随着模型组件如混合专家（MoE）复杂性的增加，工程师有更多空间进行优化。这也是为什么即使模型开源，第一方开发者（First-party developers）仍拥有巨大优势：他们深知模型内部的精确张量形状、激活的专家数量、量化方式以及通信停滞点。这种对底层细节的掌控，使得他们能编写出比第三方提供商更极致、更具针对性的自定义内核和优化策略。

第三方服务商的软件优化困境与局限

在LLM推理即服务（Inference-as-a-Service）的生态中，第三方服务商面临着比官方API更复杂的挑战。他们必须逆向工程瓶颈并将模型集成到自身的推理栈中，同时需要在多代GPU架构上进行优化。这种滞后性导致同一模型在第三方平台上可能需要更多显卡、产生更低的每秒令牌（tokens）生成量，或消耗更高功率。> "a third-party provider has to reverse engineer those bottlenecks, integrate the model into its own serving stack"。此外，第三方服务商仅在模型发布后才能获取代码，而AI实验室可以提前准备优化内核。然而，自定义内核并非万能药，它们编写和调试困难，且仅针对特定配置有效。这构成了推理服务的第三类优化方式：通过软件层提升利润率，但若无法超越官方API和其他竞争对手，利润将微乎其薄。

定制硅基芯片：Groq与Cerebras的硬核路径

第四类服务商采取了更激进的策略，即开发定制硅基芯片以大幅提升令牌吞吐量。Groq推出了语言处理单元（LPU），其核心理念是编译器在模型运行前规划所有操作和数据传输，利用片上SRAM避免等待HBM，像装配线一样精确执行。> "Groq's compiler plans every operation and data transfer before the model runs"。Groq实现了每用户475个令牌/秒的速度，这是单用户速度而非批量总和。相比之下，Cerebras采用晶圆级封装设计，将数百个小芯片整合为一个覆盖几乎整个硅晶圆的处理器。其WSE-3包含90万个AI核心和44GB片上SRAM，带宽约为21 PB/秒。这种设计让数据在单个巨大芯片内移动，而非在不同GPU间传输。

定制硬件的性能极限与架构兼容性挑战

Cerebras的晶圆级设计带来了惊人的性能表现，在GPT-OSS-120B模型上实现了每用户每秒1,794个输出令牌。这一速度至少是其他第三类推理提供商的三倍。然而，这种极致性能伴随着显著的兼容性代价：如果模型架构过于复杂（如Deep Seek V4），Cerebras可能无法支持或需长时间适配，因为需要优化或编写大量复杂内核。这揭示了定制硬件在追求极致速度时面临的架构约束，也说明了并非所有模型都能从这种专用硅片中受益。

开源生态与训练/推理分离的经济必然性

当前的前沿AI生态系统正推动“模型构建”与“服务提供”的专业化分离。许多实验室缺乏同时训练前沿模型和运营全球推理平台的算力，原因包括资金限制、芯片获取困难（尤其是受出口管制的中国实验室），以及每块用于推理的GPU都减少了下一轮训练可用的资源。> "every GPU used for inference is one less GPU available for the next training run"。随着竞争焦点转向谁能更快训练十万亿参数模型，训练层与推理层的差距将进一步扩大。实验室可能发布强大模型但缺乏低延迟、高可用的基础设施，这正是推理提供商的切入点。随着开源模型性能超越ChatGPT和Claude等专有模型，对其高效服务的需求将爆炸式增长，这构成了推理即服务的终极机遇。

学习资源与社区支持

视频最后推荐了IntuitiveAI.academy平台，旨在帮助学习者建立对LLM核心概念的直觉理解，从基础到混合专家（MoE）和模型优化等高级主题。平台新增了每章后的测验系统和每周排行榜以增强互动性，并发布了关于线性注意力机制的新章节。观众可使用限时代码“back to school”享受年费会员50%的折扣，感谢Patreon和YouTube支持者如Spam Maj、Chris La Doux等人的贡献。

结论

LLM推理即服务的经济核心在于通过极致优化缩小硬件成本与API定价间的差距。DeepSeek凭借底层内核融合、KV缓存复用及预填充-解码分离，在保持低价的同时实现超高利润率；而第三方服务商受限于逆向工程和硬件兼容性，难以匹敌官方API的效率。定制硅芯片虽能提供单用户极速体验，但面临架构适配难题且缺乏通用性。

最终结论是：推理服务的盈利高度依赖技术深度与规模效应。只有掌握自定义内核、动态批处理及缓存策略的提供商，才能在激烈的价格战中生存；单纯提供算力租赁或通用API调用的模式利润极薄。随着训练与推理分离趋势加剧，具备深度优化能力的平台将在开源模型爆发中占据关键生态位。