训练时计算的局限性与固定成本
大型语言模型（LLM）的演进长期遵循“扩大规模”的策略，即通过增加参数量、训练数据和预训练算力（FLOPs）来提升模型智能。这种被称为训练时计算（Train Time Compute）的方法，其核心逻辑是将海量数据通过Transformer架构和下一个词预测任务压缩进模型权重中。然而，这种方法的显著特征是固定成本极高，需要耗费数月的计算时间和数百万美元。一旦训练完成，模型权重即被冻结，无论用户请求是简单的邮件摘要还是复杂的物理问题，模型都执行相同的操作。这种机制下，模型通过单次前向传播逐词生成响应，每个生成的词都是基于统计概率做出的最可能选择。由于前向传播是单向且不可逆的，一旦初始选择偏离正确路径，模型便会沿着错误方向继续生成，这也是LLM产生幻觉的主要原因之一。
"All of this gets compressed into the weights of the model. And for years, the playbook for making that model smarter has been scale up."
测试时计算：赋予模型推理预算
为了解决上述局限，研究者提出了测试时计算（Test Time Compute）的概念。与训练时一次性投入不同，测试时计算是在推理阶段为模型分配额外的计算预算，允许模型在运行时决定如何消耗这些资源。这种机制解释了用户在与聊天机器人交互时看到的“正在思考”提示。研究表明，测试时计算可能成为与模型规模同等重要的扩展轴。通过引入推理预算，模型不再局限于单次前向传播的即时决策，而是可以在生成最终答案前进行更复杂的内部处理。这种转变意味着模型可以从“查询直接到答案”的模式，转变为“查询-推理-答案”的中间步骤模式，从而显著提高复杂任务的解决能力。
机制一：思维链与推理模型
测试时计算中最直观的机制是思维链（Chain of Thought, CoT）。传统上，用户可以通过提示词要求模型“一步步思考”来触发这一过程。然而，新一代推理模型（Reasoning Models）通过强化学习（RL）将思维链内化，能够自动执行此过程。在强化学习训练中，模型发现生成中间推理令牌（Thinking Tokens）——即分解问题并逐步推导逻辑——能获得更高的奖励，因此更倾向于这样做。这些思考令牌在最终回答之前生成，虽然它们消耗真实的计算资源，但改变了前向传播的用途。与标准响应中模型从第一个词就开始承诺最终答案不同，思考令牌充当了草稿纸，允许模型探索方法、发现错误并尝试不同角度，直到确定最终答案。这种机制将推理过程显式化，提高了复杂逻辑任务的准确性。
"The RL process bakes chain of thought into the model itself... essentially, we can say that it is generating what we'll call thinking tokens as it goes through this process."
机制二：树搜索与验证器
除了思维链，搜索（Search）是测试时计算的另一种关键机制。标准推理通常采用贪婪解码或近贪婪解码，即选择概率最高的下一个词并继续，这是一种“一次完成”的前向传播。而在测试时计算中，模型可以执行类似树搜索（Tree Search）的策略。模型在开始推理链后会进行分支，尝试不同的推理路径。为了决定沿着哪条分支继续，模型会使用验证器（Verifier）对各个分支进行评分，选择最有希望的路径深入探索。这种机制允许模型在生成最终答案前评估多种可能性，从而避免早期错误决策导致的后续偏差。验证器在此过程中起到了筛选和引导的作用，确保计算资源被投入到最有可能产生正确结果的推理路径上，显著提升了模型在复杂问题上的表现。
机制三：自洽性与多数投票
第三种机制是自洽性（Self-Consistency），它通过运行同一问题多次来生成多个独立的推理路径。具体做法是在高温度（High Temperature）设置下运行模型N次，从而获得N种不同的推理结果。随后，对最终答案进行多数投票，如果大多数独立链得出相同结论，则具有较高的置信度。与树搜索不同，自洽性不需要外部验证器，而是利用模型自身输出的统计分布作为信号。这种机制利用了模型输出的多样性，通过聚合多个独立推理的结果来抵消单个路径可能出现的错误。虽然它增加了计算量，但通过统计手段提高了最终答案的可靠性，特别适用于那些存在多种合理推理路径或模型输出具有较高不确定性的场景。
性能提升与缩放定律
测试时计算的有效性得到了实证支持。Google DeepMind在2024年发表的研究表明，测试时计算遵循其自身的缩放定律（Scaling Law）。数据显示，随着推理计算量的增加，模型在推理基准测试上的性能呈缓慢、平滑且可预测的增长。最具震撼力的案例是：一个仅30亿参数的小型模型，通过应用测试时搜索策略，在硬数学问题上击败了拥有700亿参数的大型模型。这意味着一个参数量小20多倍的模型，仅通过更长时间的思考就能实现更优的性能。这一发现颠覆了传统认知，证明推理时间的延长可以弥补模型规模的不足，为资源受限场景下的高精度推理提供了新路径。
| 模型参数规模 | 推理策略 | 测试任务 | 性能对比结果 |
|---|---|---|---|
| 30亿参数 | 测试时搜索策略 | 硬数学问题 | 击败700亿参数模型 |
| 700亿参数 | 标准推理 | 硬数学问题 | 被30亿参数模型超越 |
权衡：延迟、成本与过度思考
尽管测试时计算能提升精度，但也带来了显著的权衡（Trade-offs）。首先是延迟增加，如果每个查询都需要45秒来遍历搜索树，用户体验将大幅下降。其次是成本上升，思考令牌被视为常规输出令牌计费，单次响应消耗10,000个思考令牌将导致运行成本剧增。此外，还存在过度思考（Overthinking）的风险。对于简单问题，强制模型进行深度推理可能导致其自我怀疑，反而得出错误答案，这类似于学生在考试中因过度纠结而改对为错。从经济学角度看，训练计算属于资本支出（CAPEX），是一次性投入；而测试时计算属于运营支出（OPEX），按查询量付费。因此，如何平衡精度、速度与成本成为实际部署中的关键挑战。
"More thinking time means more latency... thinking tokens are billed as regular old output tokens... forcing a reasoning model to deliberate on simple questions can actually degrade performance."
自适应路由与未来方向
鉴于上述权衡，最佳实践是采用自适应（Adaptive）方法，根据请求难度动态调整推理策略。系统可以将简单查询路由至快速的单次前向传播，而将复杂查询送入完整的推理管道。例如，ChatGPT使用选择器（Picker）在推理模型和非推理模型之间路由查询。这种混合架构既保证了简单任务的响应速度，又确保了复杂任务的准确性。测试时计算代表了AI扩展的第二个轴，与训练时扩大模型规模并行。未来的AI模型不仅会更大、更快，还将学会何时减速思考。这种能力使得模型能够智能分配计算资源，在需要深度推理时投入更多算力，而在简单任务时保持高效，从而实现性能与效率的最优平衡。
"The best approach is actually one that is considered adaptive... route easy queries to the fast single pass inference... test time compute is the second axis."