大家好,我是史蒂夫·杰森(Steve Jameson),Jellyfish 的 AI 研发与工程负责人。我今天要展示的是,为什么 Token(令牌)才是成本中便宜的那部分。我即将呈现的研究数据源自 Jellyfish 平台,该平台拥有业界最大的工程工作流数据集,并融合了 AI遥测数据。AI 成本攀升已不是秘密,与去年同期相比上涨了 60 倍。应用场景广泛多样,模型和工具链也在变得更好,其影响令人兴奋,但关于预算和支出的讨论却没那么愉快。

这些对话通常涉及你的同事、高层领导甚至董事会,尤其是当你没有合适的数据时,面对这些受众并不容易。毕竟这是真金白银。产出也在增加:每位工程师合并的 PR(拉取请求)数量在相同的一年时间跨度内上升了 43%。这是现象级的,我们从未见过如此规模的生产力投入增长,尤其是在这个时间尺度上。

大量研究和 anecdotal 数据表明,AI 和 AI 驱动的编码正在推动这些吞吐量增益。连我们的图表也显示了这种相关性,请注意拐点出现的位置:当 AI 支出在 2026 年初增加时,吞吐量开始稳步增长。然而这两个数字之间存在张力:如何调和它们?支出增加了 60 倍,吞吐量也上升了 43%。这是好是坏?

43% 是个大数字,但 60 倍更是巨大。你怎么知道是否花得足够多?支票簿后面是否还藏着更多的生产力增益?我们应该增加 50% 的支出吗?还是两倍?或者你怎么知道是否花太多了?我相信许多人都感受到了这种张力。CFO 或董事会要求查看支出的凭证,你能展示给他们吗?

合并的 PR 增加了 43%,这能让他们满意吗?此外,如果你限制使用量和支出会发生什么?你是阻止了 Token 的浪费,还是阻碍了进一步的效率提升?你可以询问其他公司的同行他们支付了多少。尽管对许多人来说,这仍然是一个动态变化的目标。但如何将那些数据与你的组织进行对比呢?

显然,仅仅比较他们的账单和你的账单是不足的。我们听过这样的报告:有些公司在 AI 上花费了 10 万、50 万美元,甚至数百万美元。随着现实情况的显现,他们不断设定并重置 AI 预算。最终,这两个数字无法讲述完整的故事。即使放在一起,它们也遗漏了成本侧最大的一笔支出:开发者薪资。

AI 以前所未有的规模提高了开发者的生产力。它不仅仅是一个工具,它是智能。这种智能极大地改变了每位开发者能够产出的数量。因此我们需要以不同的方式思考其成本,不应将其视为侧面的开销,而应作为生成每个 PR 所需的一部分。我们将此称为“智能成本”。

即你支付给工程师的工资加上为 AI 支付的费用,将它们归入同一个成本池。AI 仅占合并代码单位成本的约 2.5%。薪资则占了其余的 97.5%。这与其它报告的数据一致,且该数据来自 2026 年 8 月。在这里,Token 是便宜的部分。但这是当前的相对成本比例,而非绝对美元金额。让我们看看过去一年中合并 PR 的成本变化。

[清嗓子] >> 在过去一年里,单个合并 PR 的美元成本下降了 26%。注意是已合并的 PR,而非创建的 PR。这里还考虑了代码审查时间以及一定程度的质量关卡通过情况。这种每个合并 PR 成本的下降,是在同期 AI 成本增加 60 倍的情况下实现的。

这种变化几乎是普遍的:我们研究的 83% 的公司都显示出每个 PR 成本的下降。这告诉我们要什么?额外的吞吐量增益被分摊到更薄的薪资成本上,而且这一过程比 AI 成本的增加速度更快。Token 支出的范围是多少?我们按 Token 使用量对公司进行排名,然后将其分为五分位数(即五组)。

这里的范围相当大。最轻的一组中,AI 成本约占 PR 成本的 0.3%。这代表每位开发者每月约使用 6,000 万 Token。AI 支出最高的前 20%(我们称为最重支出组),其 PR 成本中有 8.5% 是 AI。这代表每位开发者每月约使用 25 亿 Token,比最轻的一组高出两个数量级。

我们将在接下来的幻灯片中使用这些组别来观察 Token 支出如何影响其他指标。首先是 PR 吞吐量,以每位开发者合并的 PR 数量衡量,并按上一幻灯片中相同的 AI 支出五分位数进行划分。底部五分之四的支出资深者看到了约 40%(上下浮动)的 PR 吞吐量增益。

但最重支出组的改善幅度更大,达到了 67% 的增长。更多的 AI 支出带来了更多的吞吐量增益。现在让我们看看每个 PR 的成本。 Across the board(全面)再次看到积极结果:所有 AI 使用组的每个 PR 成本都在下降。然而,同样地,最重的五分之一组(即支出最多的公司)改善最为显著。

他们在过去一年中见证了每个 PR 成本下降 32%。其他四组则看到了约 25% 的成本降幅。与那些投入较少的同行相比,投资更多 AI 支出推动了每个 PR 成本的更大改善。因此我们看到,正如我们在人口平均水平中所见的一样:每个 PR 成本的变化主要由 PR 吞吐量驱动,而非由 AI 支出决定。

最重支出资深者的 PR 吞吐量增益为 67%,而其同行仅为约 40%。将相同的薪资分摊到当月更多的 PR 上,比不断上升的 AI 成本影响更大,因为 Token 才是便宜的部分。这并不是说组织应该肆意浪费 Token 并毫无节制地花钱。

这里我们在横轴上查看使用的 Token,纵轴上是每个 PR 的成本。起初有一个陡峭的下降阶段,此时相对较小的 AI 支出带来了巨大的初始收益。随着 Token 使用量的增加,每个 PR 成本的改善幅度逐渐减小。这就是边际效益递减。

但我需要强调,边际效益递减并不等于没有回报。我们看到前 10% 的公司支出的 Token 是中位数的 8 倍,并实现了低 25%-27% 的每个 PR 成本。虽然终有一天 Token 将不再便宜,但对于大多数公司而言,我们远未达到那个阈值。更多的 Token 导致更多的 PR,从而降低了交付成本。

到目前为止,我们讨论的是公司层面。接下来我想岔开话题,谈谈我们与开发者进行的一项研究。在这里,我们比较了高 Token 使用量的开发者周与低 Token 使用量的相同开发者周。

[咳嗽] [清嗓子] >> 在这里,我们在个体层面看到了同样的现象。将每位开发者使用 AI Agent 技能的高强度周与他们不使用技能的周进行比较。他们在 Token 上的支出约为一倍,合并的 PR 多了 27%,一旦将薪资和 Token 成本计算在内,每个 PR 的成本降低了约 18%。

当我谈论这项工作时,常有两个令人好奇的问题。第一,更快的交付是否意味着更差的质量?第二,我们看到的PR(拉取请求)吞吐量增长,是由更小规模的工作块驱动的吗?第一个好奇心关于“更便宜、更快是否导致质量下降”。如果AI让PR的生成既快又省,我们是不是在制造更多的错误?衡量这一点的一个指标是代码回退率(River Reverts),即合并后撤销先前PR的情况。在大多数Token增长之前,回退率最高的那组数据处于最低水平,且随着分组不同,回退率略有下降。虽然这些差异略低于数据噪音范围,但这并非质量改进的证据。

然而更重要的是,我们没有看到任何令人担忧的迹象表明高Token投入和更快的PR吞吐量伴随着泛滥或严重的质量问题。我的第二个好奇心是:吞吐量的增长是否由更小的PR驱动?事实证明并非如此,并不是更小规模的PR。事实上,AI正在推动每个PR生成的代码行数增加。这对在座的开发者来说并不意外。如果你曾对冗长、不必要的行内AI注释,或满是无关紧要测试的文件翻过白眼,请举手。生成式AI喜欢生成代码。

此外,开发者创建PR的门槛很低,且有一种倾向是在单个PR中处理更多工作,而不是开启另一个工单。只需一两个提示词:“我来处理这个边缘情况”或“我可以合并这两个元素”。这样就能减少需要管理的PR数量。但这与当下人们感受到的PR审查压力并不完全契合。[清嗓子] 另外,AI正变得更有能力,因此我们的目标也更具雄心。深入探讨是什么真正驱动了代码行数的变化超出了本次演讲的范围,但PR吞吐量的增加并非来自更小的PR。

这对大多数人来说很直观,但仍需验证。回到最初的问题:多投入60%的成本是否值得换取43%的产出增长?孤立地看无法得出结论,你应该同时追踪这两项数据。它们是重要的数字,但属于支持性指标。“每个PR的AI支出”是你作为资源购买以加速开发的“智能”,而“每位工程师处理的PR数量”则是你通过这笔支出获得的回报。

然而,仅看这些数据会掩盖权衡关系。[清嗓子] 将薪资纳入方程,计算成本与吞吐量的比率,你就能得到答案。在同一时期内,每个PR的成本下降了26%。很明显,尽管账单增加,AI正在推动成本效率的提升。相对而言,获得这些效率所需的AI支出很小。AI仍只占每个PR成本的极小部分,平均仅为2.5%,重度用户组也不到10%。Token是便宜的部分。

[清嗓子] 在我们观察到的范围内,更多的投入带来了回报。重度Token用户相比低投入的同行获得了67%的PR吞吐量增长,而后者仅为40%。这使得重度用户的每个PR成本下降了32%,相比之下低投入组约为25%。观察PR成本与Token比率曲线,按Token使用量排名的前10%公司月份使用了中位数8倍的Token,但每个PR的成本却比中位数低25%。AI以前所未见的规模提高了开发者的生产力。

它不仅仅是另一个工具,它是智能,改变了每位开发者能产出的数量。这就是我们需要以不同方式思考其成本的原因:不应将其视为侧面的开销,而应作为生产每个PR的必要组成部分。你需要将AI支出和人类薪资支出相加,才能计算出真实的每个PR成本。这并不意味着可以挥霍无度。当然,你应该警惕失控的任务,追踪你的AI支出。

我不是说不要关注每个PR中有多少AI投入在起作用。我是说不要让这成为你的核心驱动指标。新的框架可能会引导你如何以及何时思考其他投资,例如集成模型路由器、对自有模型进行后训练、实施Token限制等。你是通过控制AI成本获得更多效率,还是继续投资能增加吞吐量的事物(如更多的AI赋能)中获得更多收益?无论哪种方式,每月都要追踪每个PR的总智能成本(人类加人工智能)。

将其与AI账单和PR吞吐量并列。你的趋势如何?吞吐量是否持续改善?交付成本效率又如何?在此之外,还要监控回退和质量指标作为制衡。我们不需要AI生成的垃圾代码来阻碍进程。因此,在预算季到来之际,将“每个PR的成本”带到桌面上讨论。不要只看Token账单或吞吐量的提升。账单告诉你花了多少钱,而每个PR的成本则告诉你是否有效。

目前对于大多数公司来说,答案是继续投资。[清嗓子] Token是获取效率提升的廉价部分。做得好,你坚持到了最后。以下是保持与我们最新研究同步的方法,这些研究再次利用了行业内最大的工程工作流和AI遥测数据集。你可以在LinkedIn上关注我、我的同事或Jellyfish公司,订阅我们的Substack,或者访问网站查看Jellyfish博客。

如果你想帮助追踪你所在组织的工程工作流和AI效能,包括每次合并的PR成本,请访问我们的网站预约演示,或联系我,我会将你与相关人员对接。再次感谢观看,我是Jellyfish的AI研究与工程负责人Steve Jameson。干杯。