活动指标与成功指标的错位陷阱
许多团队在衡量AI使用情况时,往往陷入一个误区:将活动指标(Activity Metrics)直接等同于成功指标。这种做法类似于销售团队过度关注通话量,虽然每周都能轻松达成活动目标,但这并不能保证季度销售额的完成。纯使用量的增加并不直接代表业务价值的提升。当团队仅仅关注“有多少人用了AI”或“消耗了多少Token”时,这些数字只是活跃度的代理指标,而非最终成果的体现。随着AI从实验性工具转变为日常基础设施,这种以使用量为核心的衡量方式开始暴露出严重的问题。
"The challenge comes when those metrics become proxies for success rather than simply indicators of activity."
这种错位在AI普及初期尤为明显。团队通过采用率指标来衡量AI的使用,例如统计用户数量和Token消耗量。一个Token是AI模型处理文本的基本单位,因此Token消费成为了衡量AI使用和成本的通用语言。许多团队鼓励更广泛的AI使用,认为大量的消耗会带来更好的结果。这种将Token消费视为参与度代理指标的做法被称为“Tokenmaxxing”(最大化Token使用),其核心信念是更多的活动等于更多的价值。作为采用信号,这在早期确实有效,但随着系统规模的扩大,其局限性日益凸显。
Tokenmaxxing的局限与成本隐忧
IBM Consulting的高级副总裁Neil Dhar指出,在缺乏真正衡量标准的情况下,团队创建了使用仪表板,而这些数据很快就被人们“游戏化”了。随着AI演变为能够完成实际工作的系统,单纯关注Token消耗的方法变得愈发局限。现在的Agentic AI(智能体AI)不仅仅是生成代码,它们还在规划工作流、分析仓库、调用工具、测试解决方案以及协调跨系统的工作。更有能力的智能体自然会产生更多的Token消耗,但仅凭Token数量无法区分“活动”与“可衡量的成果”。
"Usage soon became a proxy for value."
这导致了一个尴尬的局面:团队可以看到AI使用量的增加,却不清楚实际产生了什么价值。随着成本的上升,团队开始提出一个艰难的问题:“如果我们要为所有这些消耗买单,我们到底得到了什么?” 仪表板显示使用量持续增长,Token计数不断攀升,但活动与系统级结果之间的联系依然模糊不清。这种消耗与价值之间的差距触发了对话的下一阶段,即从单纯的使用转向对实际产出的审视。团队开始意识到,仅仅关注输入端的Token数量并不能反映整个工作流中的真实效率。
走向另一个极端:Token最小化的陷阱
面对日益增长的AI成本,许多团队采取了极端的应对措施:聚焦于最可见的指标——Token消耗。新的政策应运而生,包括限制使用、封锁较新模型、缩小上下文窗口以及精简提示词。然而,Token最小化(Token Minimization)陷入了与Token最大化相同的陷阱。这两种做法都假设Token消耗是首要且唯一的衡量标准,而两者都没有真正测量运营结果。这种思维定势导致团队在优化过程中往往顾此失彼。
"Token minimization falls into the same trap as token maxing."
通常情况下,团队会移除明显的低效环节,如过大的工具目录或陈旧的上下文信息,这当然是合理的。但随后他们可能会过度削减,开始移除关键信息,如任务描述、领域约束和架构上下文。例如,为了节省500个输入Token而剥离了架构上下文,AI可能会生成在孤立环境下能运行的代码,但在更广泛的系统中却会崩溃。结果是:你节省了500个输入Token,但随后可能在调试和返工上花费了5,000个Token。成本并没有消失,只是转移到了工作流的其他地方。团队庆祝输入Token的降低,却在其他地方为相同的复杂性买单。
转向Valuemaxxing:以结果为导向的衡量体系
为了解决上述问题,Nebius的首席营收官Mark Boroditsky提出了“Valuemaxxing”(最大化价值)这一概念,将对话从消耗转向结果。团队不再问“我们用了多少Token”,而是开始关注不同的问题:完成了多少次部署?节省了多少开发者时间?避免了多少返工?解决了多少漏洞?这些指标决定了AI是否创造了可衡量的成果,以及增量Token的使用是否具有合理性。
"Valuemaxxing... shifts the conversation from consumption to outcomes."
Token消耗应根植于更高质量的软件和软件开发生命周期(SDLC)中的成功结果。随着模型成为基础设施,访问优秀模型的差异不再主要。系统的有效性正更多地转向围绕模型构建的系统本身。这包括上下文管理、工作流编排、治理以及优化。如果结果比Token更重要,那么系统就比模型更重要。因此,模型编排(Model Orchestration)的重要性正超过模型选择(Model Selection)。IDC预测,到2028年,70%的领先大规模AI部署将跨多个模型工作,而不是依赖单一模型。这一趋势表明,未来的竞争焦点在于如何高效地管理和编排复杂的AI系统。
开发者与平台领导者的双重责任
在这种新范式下,开发者和平台领导者都承担着“Valuemaxxing”的责任。对于开发者而言,AI效率正在成为一种新的工程技能。开发者应以对待云资源、数据库或应用性能的方式来思考AI的使用。目标不是少用AI,而是更有效地使用AI。良好的上下文卫生、执行前的规划以及理解成本与结果之间的权衡,都有助于产生更高质量的结果。开发者需要关注上下文管理、工作流编排和治理优化,以确保AI产生的Token转化为实际的业务价值。
"The objective is not to use less AI, but to use AI more effectively."
对于平台领导者而言,责任则有所不同。他们需要同时掌握成本和结果的可见性。他们需要通过衡量价值而非数量、奖励效率,并为团队提供理解影响的工具来追踪结果。构建AI效率文化需要问责制、可见性以及工程工作流中的共享指标。平台在这一过程中也是关键组成部分。开发者和领导者不能独自承担AI效率的责任,他们使用的平台应帮助将AI消耗与结果联系起来。管理控制提供预算、治理和对使用情况的可见性,而分析功能则帮助团队将AI消耗与运营结果联系起来。工作流能力、技能和工具集成减少了不必要的工作,并保留了交付高质量结果所需的上下文。
结论
AI应用的演进已经从第一阶段的“采用与使用”进入了第二阶段的“价值创造”。Token消耗帮助团队了解AI是否被使用,而Valuemaxxing则帮助团队理解AI如何创造价值。随着模型效率的提升和成本的转移,经济格局将继续变化。未来的核心竞争力不在于使用了多少Token或选择了哪个模型,而在于如何通过系统化的编排、治理和上下文管理,将AI的消耗转化为可衡量的业务成果。团队必须摒弃单纯的活动指标思维,建立以结果为导向的衡量体系,实现从“Tokenmaxxing”到“Valuemaxxing”的根本性转变。