这是目前所有年收入运行率至少达到5亿美元的人工智能初创公司名单，不包括“三巨头”。如果你仔细观察，会发现前十家公司中有五家都是某种用于运行人工智能模型的推理平台。你可能会想知道它们究竟是如何赚到这么多钱的？像Cursor这样的一些AI包装应用之所以合理，是因为它们在LLM的使用周围创造了额外的价值。但这些公司主要只是向人们提供模型服务。此外，它们运行的模型大多是开放权重的。那些真正开发模型的实验室难道不应该在市场上拥有更大的优势吗？比如，你敢相信中国AI初创公司月之暗面（Moonshot AI）甚至没有进入这份名单，尽管它们有能力制造出全球第三好的模型？

至于ZAI，他们最近确实突破了10亿美元的年度经常性收入（ARR），但这并没有改变一些推理公司仍然领先于前沿AI实验室的事实。所以在今天的视频中，让我们深入探讨这些公司的运作方式、什么是推理即服务（Inference as a Service），以及未来对这些公司意味着什么。但在深入探讨之前，你知道我觉得AI助手与真正的个人助理相比缺少了什么吗？那就是打电话的能力。让它处理电子邮件或Slack很酷，但能够操作电话才是真正将AI代理与现实世界连接起来的关键。

这就是今天的赞助商Telenyx发挥作用的地方。通常，拥有一个电话代理意味着需要从五家不同的公司获取服务：一家提供模型，一家提供语音转文本，一家提供文本转语音，一家提供号码的运营商，以及一个将所有内容粘合在一起的平台。而Telenyx集所有这些功能于一身：一个平台，一张账单。在推理方面，Telenyx拥有GPU所有权，因此像GLM 500B Flash和DeepCV4 Flash这样的最新模型没有云加价。因此，你可以将常规代理通话放在这些模型上，而不是前沿模型上，账单通常会下降高达75%。

它还兼容OpenAI，因此迁移过来只需更改基础URL和模型名称即可。由于所有内容都在其自己的网络上运行，用户说话与代理响应之间的跳数更少。因此，如果你想构建一个真正感觉像助手的AI代理，请通过描述中的链接访问Telenyx，并使用我的代码by cloud 25获得25美元的构建积分。感谢Telenyx赞助本期视频。

无论如何，实际上有很多公司提供运行开放权重模型的服务，但它们可以分为四大类：超大规模云服务商、新云计算公司（Neo Clouds）、全栈推理平台和定制硅芯片推理平台。第一类是超大规模云服务商，如亚马逊、微软、谷歌、甲骨文等公司。它们已经拥有庞大的云计算基础设施和现有的企业客户。因此，他们习惯于销售计算、存储以及公司运行软件所需的所有其他组件。这意味着当AI需求爆发时，他们只需在他们已有的云业务之上简单地添加GPU和模型服务API即可。

因此，我今天不会深入探讨它们，因为提供LLM服务并不是他们的主要业务。第二类是新云计算公司，如Nebius、CoreWeave和Crusoe。我已经有一个视频深入解释了它们的商业模式，简而言之，它们更侧重于提供用于训练和推理的GPU集群，因为它们的优势通常是廉价出租大量GPU。因此，实验室可以毫无摩擦地使用它们。然而，它们也提供LLM服务，只是这并非其主要商业模式。

但对于后两类公司来说，提供服务推理是它们的主要商业模式。第三类是全栈推理平台，包括Fireworks、Together AI、Base 10、Deep Infra和Novidade等公司。第四类是定制硅芯片推理平台，包括Groq、Cerebras、SambaNova和Etched等公司。然而，这些公司的业务听起来起初很奇怪。由于它们通常不创建自己的模型，而是经常提供任何人都可以下载的模型。尽管如此，仅凭这一点它们仍然能够产生巨额收入。那么，“市场需求巨大，因此它们可以轻松赚取大量金钱”这一想法能证明它们的成功吗？

这肯定没那么简单。为了更好地理解它们在做什么，我们首先需要了解什么是推理即服务。简单来说，推理是模型训练完成后发生的过程。它是使用模型的流程。因此，每当你向ChatGPT发送提示时，模型就在进行推理。它接收你的输入，将其通过神经网络运行并生成输出令牌。推理即服务意味着一家公司为你处理整个过程。因此，你不需要自己做所有这些工作，只需从它们那里调用API即可。

LLM推理特别困难，因为模型很大，这需要协调大量昂贵的GPU。此外，它们很难优化以实现快速运行，而且设置起来也极其困难。因此，这些提供推理即服务的公司的利润来自于它们运行模型的成本与它们在向用户提供服务时增加的价值之间的差距。有时利润率会非常薄，因为它们不仅要与官方API竞争。例如，由于DeepSeek惊人的推理优化，DeepSeek v4的官方API价格是不可能被击败的。

但你还要与另外10家也提供完全相同模型的企业竞争。那么利润率究竟有多紧呢？以提供DeepSeek v4 Pro服务为例。发布的DeepSeek v4 Pro检查点约为865 GB，因为其权重使用FP4和FP8的混合存储。因此，从技术上讲，大约五个B200 GPU就足以存储模型权重。但在实践中，你需要额外的内存用于KV缓存、运行时缓冲区、批处理和其他开销。你通常也不会恰好将模型部署在五个GPU上。

因此，最基本的实际设置是一台拥有八个B200的服务器，例如单个DGX B200。如果我们假设每个B200的小时租金约为6美元，那么八个B200的小时成本大约为48美元。这还是在扣除公司所需的其他CPU、存储、网络或任何人力成本之前。因此，每小时48美元只是你需要超越的一个粗略底线。既然我们已经有了大致的成本，让我们看看为了盈利需要多少需求。在一些第三方推理平台上

Fireworks 和 Together AI，DeepSeek V4 Pro 的输入令牌定价约为每百万个1.74美元，输出令牌为3.48美元。假设一种工作负载场景：每生成1个输出令牌，客户发送约2个输入令牌。虽然实际情况可能并非如此，因为比例会因用例而异，但我们可以假设这是一个在聊天代理、编码和文档工作流中合理的估算值。因此，每百万个输出令牌的工作量收入约为6.96美元。

在 A100 上部署的基本开源 VL（视觉语言）模型，在批处理工作负载下每秒可生成约900个输出令牌。“批处理”基本上意味着系统接收来自用户的多个请求并批量处理它们。这相当于每小时约324万个输出令牌。乘以6.96美元，每小时仅产生约22.55美元的收入，甚至无法覆盖48美元的 GPU 小时成本。

这意味着服务器设置至少需要在每个批处理工作负载中每秒生成约2000个令牌才能收支平衡。更不用说，我们假设需求是恒定的，并且未包含任何其他内存开销或人力成本。因此，需求创造收入，你需要维持需求以产生持续的收入。但这并不是赚钱的唯一途径。

从之前的计算可以看出，有许多方面可以得到改进以产生更多收入。最基本的一点当然是优化推理速度，因为这是提高利润率的主要途径。在2025年2月的 DeepSeek 开源周上，他们分享了如何在一台运行 DeepSeek V3 和 R1 的 H800 节点上实现每秒7.37万个输入令牌和1.48万个输出令牌，即使以每百万个55美分输入和2.19美元输出的低价提供服务，利润率仍高达545%。

现在，DeepSeek V4 比 DeepSeek-V1 大约大2.6倍。由于需要更多内存来存储和传输 GPU 之间的数据，成本至少翻三倍是合理的。但有趣的是，其 API 成本实际上现在更便宜了：输入为43.5美分，输出为87美分。所以谁知道呢？鉴于他们相比 Fireworks 和 Together AI 等第三方优化运行效果极佳，这可能仍然为他们带来丰厚的利润率。

即使 Fireworks 和 Together AI 可能不会专门因服务 DeepSeek-V4 而赢得客户，因为他们无法像 DeepSeek 那样进行优化而导致加价更多，但他们仍有其他许多模型可供服务，如 GLM-5.2 和 Kimi V3。如果他们能优化并提供比官方 API 更便宜或至少相似的价格，并且由于官方 API 通常流量较高，他们的服务能提供更一致性或更低延迟的需求，那肯定会给他们带来更强的需求。

特别是考虑到 Kimi 目前因计算资源有限而难以服务所有用户的情况。但当我说到“优化”时，具体指的是什么？理解这一点最简单的方法是：LLM 推理实际上分为两个截然不同的阶段：预填充（prefill）和解码（decode）。

预填充是模型读取并处理整个输入提示词的过程。如果你发送1万个输入令牌，模型可以通过大型矩阵乘法并行处理其中的许多令牌。这极其消耗计算资源，但 GPU 非常擅长这种并行工作。解码是随后发生的过程。基本上，当模型一次生成一个令牌时响应。

与预填充不同，这些输出令牌不能全部并行生成，因为每个新令牌都依赖于前一个令牌。因此，模型必须反复加载其权重、读取现有的 KV 缓存（键值缓存）、生成一个令牌，然后重复整个过程。这就是为什么输出令牌通常比输入令牌更昂贵，且其速度往往受限于 GPU 在内存中移动权重和缓存数据的快慢。

这引出了第一个主要优化技术：缓存。每当模型处理输入时，它会创建一个包含这些令牌中间注意力状态的 KV 缓存。如果服务器之前从未处理过完全相同的提示词前缀，这被称为“缓存未命中”，意味着模型必须将每个层的前缀全部运行一遍，从头创建 KV 缓存，然后将其保存以供解码阶段使用。

但如果另一个请求以相同的前缀开始，服务器可能能够重用已经创建的 KV 缓存。这被称为“缓存命中”。因此，服务器无需重新处理数十万个令牌，而是可以检索现有缓存并仅处理提示词的新部分。例如，编码代理会反复将相同的系统提示、工具定义、仓库上下文和对话历史发送回模型。

如果没有缓存，代理每采取一步都需要重新计算所有这些内容。但有了缓存命中，大部分之前的工作都可以跳过。这就是为什么 DeepSeek 目前对 V4 Pro 的缓存命中输入令牌仅收取每百万个0.3625美分，而未命中的令牌为43.5美分。这便宜了约120倍。

当然，缓存命中并非完全免费。系统仍然必须定位缓存、从 SSD 或内存中读取它，将其传输到正确的机器上，并处理在缓存前缀之后添加的任何新令牌。但这仍然比再次将整个提示词通过模型运行便宜得多。

这也是 DeepSeek 之前声称每秒处理7.37万个输入令牌背后的一个重要注意事项，因为在该生产基准测试中，约56.3%的输入令牌是缓存命中。DeepSeek 明确将这些缓存命中率包含在吞吐量数字中。因此，每秒7.37万个令牌并不是重新计算全新提示词的原始速度。

它代表了他们的实际生产工作负载，其中超过一半的输入正在从磁盘上的 KV 缓存中重用。下一个主要优化技术是批处理（batching）。如果只有一个人使用模型，那么即使是巨大的 GPU 集群也可能花费大量时间处于未充分利用状态。

这在解码阶段尤其如此，因为在每个步骤中，每个请求只需要生成一个令牌。但是，如果你将数百个用户合并到一个批次中，GPU 可以同时为所有这些用户生成下一个令牌。因此，与其加载模型权重来服务一个序列，现在相同的权重负载可以在许多序列之间共享。

批次越大，GPU 的运行效率就越高。现代推理引擎使用一种称为……

连续批处理机制下，服务器不再等待固定的一组请求全部完成才进行下一步操作，而是持续移除已完成的请求并将新请求插入批次中。即便每个用户的提示词长度不同、生成的令牌数量各异，这种机制也能确保 GPU 始终处于满载状态。因此，需求的增长不仅带来更高的收入，还允许服务提供商构建更大的批次，从而降低每个单独令牌的推理成本。这就是为什么服务数百万请求的公司往往比仅服务于少量用户的公司运营效率更高、盈利能力更强的原因。

然而，批处理也涉及权衡取舍。如果为了构建更大的批次而等待更长时间，虽然总吞吐量会增加，但每个用户可能需要等待更久才能开始处理请求。此外，较大的批次还会消耗更多的 KV 缓存内存。因此，推理提供商必须在吞吐量、首令牌生成时间（TTFT）、输出速度、内存使用和排队延迟之间不断寻求平衡。但还有一个问题：预填充（Prefill）和解码（Decode）阶段的运行特性差异巨大，在同一组 GPU 上同时运行这两个阶段并不总是理想的。

预填充阶段需要海量的原始计算能力，而解码阶段则更依赖于内存带宽、KV 缓存容量以及活跃用户的大批次规模。因此，大型提供商通常采用一种称为“预填充与解码分离”的技术。不再让每台服务器执行这两个阶段，而是由一组 GPU 专门处理输入提示词（预填充），另一组 GPU 专门生成输出令牌。在预填充工作节点处理完提示词后，它们会通过高速网络将完成的 KV 缓存传输给解码工作节点。

这种架构允许公司独立扩展这两个阶段，并防止一个巨大的预填充请求中断其他数百名用户对延迟敏感的解码过程。Kim Moon Shaw 最近提出了一个类似的想法，称为“预填充即服务”（Prefill as a Service）。该方案选择性地将对长上下文的预填充卸载到独立的数据中心，然后将生成的 KV 缓存发送回解码集群。这缩短了首令牌生成时间，并允许本地集群将其硬件资源更多地专注于解码任务。

但最终而言，没有任何优化能比运行自定义内核（Custom Kernel）带来的提升更显著。那么，什么是内核呢？在此语境下，内核基本上是一个直接在 GPU 上运行的小程序。顺便说一句，这个术语与操作系统内核无关。GPU 内核只是一个函数，它告诉成千上万个 GPU 线程确切地执行何种计算以及如何移动数据。因此，当你在 PyTorch 中编写简单的代码时……

例如矩阵乘法、应用激活函数或归一化隐藏状态，PyTorch 本身并不执行这些操作。它会启动一个或多个 GPU 内核来实际完成工作。因此，在每一次前向传播过程中，语言模型可能会为矩阵乘法、注意力机制、归一化、量化、专家路由以及 GPU 间通信等操作启动数千个内核。问题在于，通用框架通常使用旨在跨多种模型、张量形状和 GPU 运行的内核。

这些内核虽然灵活，但也意味着它们并不总是针对特定模型进行完美优化。自定义内核是专门围绕确切的操作、张量形状、精度格式、模型架构和正在使用的硬件编写的内核。与其让 GPU 执行通用实现，提供商会编写一个更专业的程序，以较少的无效工作完成相同的数学运算。而且，许多优化实际上并非为了减少计算次数，而是为了减少数据移动的频率。

现代 GPU 每秒能执行惊人的计算量，但反复在 HBM（高带宽内存）、共享内存和 GPU 核心之间移动数据很容易成为真正的瓶颈。例如，想象模型的一部分应用归一化并将结果写回 HBM，然后启动另一个内核对其进行量化并再次写回结果，最后启动第三个内核进行矩阵乘法。虽然每个操作单独来看可能很快，但 GPU 会不断读取和写入相同的数据，同时还要承担启动三个独立内核的开销。

一个自定义的融合内核可以将这三个操作合并为一个，完全节省重新读取和写入内存数据的时间。因此，尽管模型执行的数学运算量几乎相同，但它花在移动中间结果上的时间大大减少。这被称为内核融合（Kernel Fusion），是自定义内核提高推理速度的最常见方式之一。另一个主要的优化技术是分块（Tiling）。

大型矩阵通常无法一次性放入 GPU 最快的内存中，因此内核会将它们划分为称为“块”（Tiles）的较小部分。设计良好的内核会选择与 GPU 内存层次结构和张量核心相匹配的分块大小，使得每部分数据在必须被丢弃之前能够被多次重用。但是，最佳的分块大小取决于确切的 GPU 型号、矩阵维度、批次大小和精度。

在 H100 上表现良好的配置，在 B200 上的性能可能会差很多；而针对大型预填充批次优化的内核，在单令牌解码期间可能效率低下。这就是为什么自定义内核如此具有模型特定性和硬件特定性的原因。但是，内核工程师可以完全控制线程的分配方式、内存访问的安排以及相邻线程是否读取内存中的相邻位置。

LLM 的注意力机制就是一个很好的例子。朴素的注意力实现会分别计算注意力分数，将巨大的分数矩阵写入 HBM，应用 Softmax 函数，再次读取该矩阵，然后将其与值向量相乘。Flash Attention 则使用自定义的分块内核，以较小的区块计算注意力，并将大部分中间值保留在 GPU 最快的内存中，从而在不将完整注意力矩阵物化到 HBM 的情况下产生相同的注意力结果。

随着 MoE（混合专家）等 LLM 组件复杂性的增加，工程师可以优化的部分越来越多，以提高模型利用率。这也是为什么即使模型开源，第一方开发者通常也比第三方提供商拥有巨大优势的原因。例如，DeepSeek 知道其模型内部的确切形状、激活的专家数量、量化的工作方式、通信停滞发生的位置以及其真实的……

生产流量的样子就是这样，因此它可以针对这些确切的条件编写内核。另一方面，第三方提供商必须逆向工程那些瓶颈，将模型集成到其自己的服务堆栈中，然后在几代不同的 GPU 上对其进行优化。在那项工作完成之前，相同的模型可能需要更多的 GPU、每秒产生的令牌更少，或者比在开发人员自己的基础设施上运行时消耗更多的电力。更不用说，第三方提供商只有在模型发布后才能访问该模型，而 AI 实验室可以提前准备好优化的内核。

但自定义内核并非魔法。它们很难编写，也很难调试，而且通常仅针对其设计所围绕的确切配置才快。而这仅仅是优化的软件层，也就是我之前提到的推理即服务的第三类。它们开发自己的优化措施以增加利润率，同时与其他做同样事情的公司竞争。因此，除非他们的推理服务比官方 API 和其他公司提供优势，否则他们几乎赚不到什么钱。

但第四类甚至更加硬核。它们开发定制硅片以增加可以服务的令牌数量。因此，像 Groq 和 Cerebras 这样的公司没有优化 Nvidia GPU，而是围绕 AI 推理重新设计了处理器本身。Groq 将其芯片称为语言处理单元（LPU）。主要思想是，GPU 动态调度工作负载，而 Groq 的编译器在模型运行之前规划每一个操作和数据传输。

其芯片随后像精确计时的装配线一样执行模型，使用快速的片上 SRAM 来避免反复等待高带宽内存（HBM）。在 Groq 上，每秒能生成 475 个令牌。这是每个用户的速度，而不是整个用户批次的速度。但不幸的是，我们不知道一个批次中有多少用户。

另一方面，Cerebras 采取了非常不同的方法。它不是连接数百个小芯片，而是构建一个覆盖几乎整个硅晶圆的处理器。其 WSE-3 包含 90 万个 AI 核心和 44 GB 的片上 SRAM，内存带宽约为每秒 21 PB。这使得数据可以在一个巨大的芯片上传输，而不是在不同的 GPU 和服务器之间不断传输。

使用这种晶圆级设计，Cerebras 在 GPT-OSS-120B 上实现了令人震惊的每秒每个用户 1,794 个输出令牌。这比其他任何第三类推理提供商至少快三倍。但缺点是，如果模型架构过于复杂，例如 Deep Seek V4，它们无法支持它，或者至少不能立即支持，因为需要优化或编写的复杂内核实在太多。

是的，这就是推理即服务的粗略经济学原理。令人惊讶的是，当前的前沿 AI 生态系统可能使这种商业模式变得更加重要，因为目前存在一种趋势：开源实验室越来越专注于构建模型，而单独的公司则专注于提供服务。

许多实验室没有足够的计算能力来同时训练前沿模型和运营大型全球推理平台。对于某些人来说，这种限制来自于资金有限或芯片获取受限。而对于其他人来说，尤其是中国 AI 实验室，出口管制使得高端 GPU 容量更加难以获得。即使硬件可用，每块用于推理的 GPU 就意味着下一轮训练少一块可用的 GPU。

目前的趋势是谁能尽快训练出一个十万亿参数的模型，这将扩大训练层和推理层之间的差距。一个实验室可能会发布一款极其强大的模型，但仍然缺乏处理突发全球需求、低延迟和可靠可用性的基础设施，而这正是推理提供商发挥作用的地方。

随着开源模型变得比 ChatGPT 和 Claude 等专有模型更好，对其提供服务的需求只会爆炸式增长。这就是推理即服务背后的终极机会。请在评论中告诉我你最喜欢的推理提供商是谁，并告诉我你是否喜欢这种解释性视频。

如果今天关于预填充和解码的学习让你想更深入地了解 LLM，我的平台 intuitiveai.academy 可能是你开始学习的完美场所。该平台专注于帮助你建立对 LLM 背后关键概念的直观理解，从基础一直到专家混合模型和模型优化等高级主题。

我们不想用令人望而生畏的数学轰炸你，而是确保你先充分理解更高层的逻辑，这样当你接触到技术细节时，它们才真正有意义。此外，我们最近添加了一个新的测验系统，在每一章之后测试你的理解程度，以及一个每周排行榜，让学习更具竞争性。

我们还刚刚发布了一章关于直观分解线性注意力的内容，这是 KiMiK-3 和 Qwen 模型所基于的最新前沿概念之一。因此，如果你在工作中使用 LLM、转型进入该领域或想从事 LLM 研究，请查看描述中的链接，并使用我们的限时代码“back to school”享受年度会员五折优惠。

感谢大家的观看。特别感谢 Spam Maj、Chris La Doux、D Gan、Robert Zaviarsa、Poof 和 E New、DX Research Group、Alex、Leo Halawani 以及许多通过 Patreon 或 YouTube 支持我的人。如果你还没有关注我，请在 Twitter 上关注，我们下期再见。