推理效率与计算成本的博弈
在大语言模型（LLM）领域，追求极致的推理能力往往陷入一场持续的拉锯战。研究人员致力于提高准确率，常采用自洽性（Self-Consistency）或并行思维等强力技术，但这些方法几乎总是伴随着巨大的计算开销，成为实际部署中的主要瓶颈。如果能在不增加沉重负担的前提下实现卓越性能，并大幅减少复杂推理任务中生成的Token数量，将是巨大的突破。 本文深入探讨了一篇名为《Deep Think with Confidence》的前沿预印本论文，该研究提出了一种新颖的方法，旨在测试时（Test-time）提升推理的效率与性能。
该研究的核心亮点在于其无需额外模型训练或超参数调整的特性。对于已经运行现有系统的部署环境而言，这种即插即用的适应性极具价值。作者利用模型内部的置信度信号，智能地过滤甚至实时中止低质量的推理轨迹，而非将所有生成的推理路径视为同等有效。这种范式转变使得模型能够利用自身的内部状态和思维过程变得更加智能，从而在保持高性能的同时显著降低资源消耗。
自洽性技术的局限与痛点
为了理解《Deep Think with Confidence》的价值，首先需要回顾当前主流的测试时推理增强技术——自洽性（Self-Consistency），也被称为并行思维。该技术的基本逻辑是让LLM对同一问题多次生成推理路径（Traces），形成多样化的解决方案集合。最终通过多数投票机制（Majority Voting）聚合这些轨迹的最终答案，选择出现频率最高的结果作为最终解。 这种方法在处理复杂的多步问题时被证明极其有效，相当于在单个模型内部实现了“群体智慧”的汇聚。
然而，这种准确率提升的背后隐藏着严峻的性能与成本困境。研究明确指出，生成数十甚至数百条推理轨迹会导致推理成本线性增长，这在注重延迟或资源受限的实际部署场景中构成了主要瓶颈。论文提供了一个极具冲击力的具体案例：在AM 2025数据集上，为了将Qwen-3 8B模型的Pass@1准确率从68%提升至82%（14个百分点的增益），使用标准多数投票需要为每个问题额外生成511条推理轨迹。这一过程仅在该数据集上就产生了1亿个额外的生成Token。
"While self-consistency undeniably improves accuracy, generating dozens or sometimes even hundreds of these reasoning traces for every single query... it scales the inference cost linearly."
这种高昂的计算代价引发了一个关键问题：为什么随着轨迹数量的增加，准确率提升会出现边际效应递减？直觉上，更多的处理步骤应带来更好的结果，但事实并非如此。核心原因在于传统的多数投票机制将所有推理轨迹视为同等有效，无法区分逻辑严密的稳健轨迹与中途出错的低质量轨迹。 当大量低质量甚至错误的轨迹被生成时，它们不仅稀释了投票过程，甚至可能集体收敛于错误的答案，从而抵消了增加样本量的正面效果。
Deep Think with Confidence 的核心机制与数据表现
针对上述痛点，《Deep Think with Confidence》提出了一种基于内部置信度的动态过滤机制。该方法不再被动地接受所有生成的轨迹，而是实时评估推理过程中的质量信号。它能够在生成过程中实时中止低质量轨迹，或将其从最终投票中剔除，从而避免无效计算资源的浪费。 这种机制无需重新训练模型，直接利用模型现有的内部状态进行决策，极大地提升了部署的灵活性。
研究团队在多个模型（包括最新的开源系列如Qwen-3和GPToss）及极具挑战性的基准测试上进行了严格评估。在AM 2025数据集上，使用512条轨迹预算，Deep Think with Confidence 实现了高达99.9%的惊人准确率，几乎达到完美水平。 更令人瞩目的是其效率提升：与不进行智能过滤的全并行思维相比，该方法同时减少了84.7%的生成Token数量。这一数据表明，通过智能筛选而非盲目增加样本量，可以在保持甚至超越原有准确率的同时，实现计算资源的极大节约。
| 模型/数据集 | 基准方法 | 准确率 | 额外生成Token/轨迹 | 备注 |
|---|---|---|---|---|
| Qwen-3 8B (AM 2025) | 标准多数投票 (Pass@1 68% -> 82%) | 82% | 1亿 Token (511条额外轨迹) | 传统并行思维的典型成本 |
| Qwen-3 8B (AM 2025) | Deep Think with Confidence | 99.9% | 减少 84.7% (相比全并行) | 使用512条轨迹预算 |
"On the AM 2025 data set, Deep Comp, using a budget of 512 traces... achieves an astonishing accuracy of up to 99.9%. Almost perfect."
这一结果不仅展示了Deep Think with Confidence在准确率上的卓越表现，更凸显了其在大规模LLM部署优化方面的潜在突破性意义。通过消除低质量推理带来的噪音和计算冗余，该方法为平衡推理精度与计算效率提供了一条切实可行的新路径。
全局置信度指标的局限性与噪声陷阱
在利用多个推理轨迹（traces）进行多数投票以提升大模型准确率的过程中，增加轨迹数量并非总是有效的。相反，盲目增加轨迹可能导致性能次优甚至准确率下降，其本质类似于引入了噪声。正如对话中指出的：“Adding bad data points to an aggregation doesn't necessarily improve the signal”（向聚合中添加坏数据点并不一定能改善信号）。以往的研究试图利用下一个词元（next token）分布统计来估计轨迹质量，其核心直觉是：当大模型对下一个词元的预测高度自信时，词汇表上的概率分布会非常尖锐，即高概率集中在一个词元，其他词元概率极低，表现为低熵（lower entropy）和低不确定性。
然而，这些方法通常将词元级别的统计信息（如熵或直接置信度分数）聚合为整个推理轨迹的单一全局置信度度量，用于过滤低质量轨迹。尽管这种“先过滤，后投票”的策略在理论上能增强多数投票过程，但 DeepComp 论文批判性地指出了这种全局置信度度量存在的两个实际局限性。首先，全局指标容易掩盖局部置信度的波动。在一个长链条的推理过程中，关键的推理错误或瞬间的高不确定性可能发生在特定的中间步骤，但如果仅查看整个轨迹的平均或全局置信度分数，开头或结尾的几个高置信度词元很容易掩盖这些至关重要的早期或中期错误，导致丢失粒度信号，无法知晓错误发生的具体时机。
计算效率瓶颈与在线干预机制
除了掩盖局部错误外，全局置信度度量的第二个、也是更显著的问题在于其计算效率低下。这些全局指标根本要求在生成完整的推理轨迹后才能计算。这意味着无法实现“早停”（early stopping）机制。正如对话所强调的：“You can't terminate unpromising lowquality traces partway through”（你无法在途中终止那些前景不佳的低质量轨迹）。这导致了严重的计算资源浪费：模型必须付出生成整个长且最终有缺陷的推理路径的全部成本，之后才能识别出它是低质量的并将其丢弃。
针对这一痛点，DeepComp 提出了一种新的范式，即在推理时（test-time）智能结合并行思考与置信度过滤。其关键区别在于依赖局部置信度测量而非全局测量，旨在大幅减少不必要的词元生成，同时保持甚至提高推理准确率。DeepComp 设计了两种主要操作模式以应对不同的效率和性能优化需求。第一种是离线模式（offline mode）：假设推理轨迹已经完全生成，DeepComp 在此之后介入，从预先存在的已完成轨迹池中智能识别并丢弃低置信度的轨迹。这本质上是一种事后处理（post-processing），旨在通过更明智的选择来改进最终聚合答案。
动态早停与实时置信度量化
第二种模式是在线模式（online mode），这被认为是更具突破性的部分。在此模式下，DeepComp 在生成过程中动态识别并丢弃低置信度的推理轨迹，即随着轨迹逐个词元被创建，实时进行控制。这种实时控制实现了关键的早停机制，通过防止大模型浪费时间和资源去完成一个已经显示出明显低质量或易错迹象的轨迹，从而大幅提升了计算效率。正如比喻所言，这相当于“在过程中干预以停止有缺陷的项目”，而非“审查一份可能已完成的有缺陷的报告”。对于研究人员和从业者而言，这意味着可以用显著更少的生成词元实现优于传统多数投票的推理性能。
为了验证这一理论，作者对 DeepComp 进行了严格的评估，测试了包括 AIME 2024/2025、Brumo 25、HMMT25 等高难度数学竞赛问题，以及 GPQA Diamond 等研究生级别的 STEM 推理任务。实验涵盖了从 80 亿参数（DeepSeek）到 1200 亿参数（GBIT OSS） 的各种开源模型，以确保其在不同模型规模下的鲁棒性。每个设置下的结果均经过 64 次重复的平均处理，提供了强大的统计基础，证明这是一个旨在实现现实世界效率增益的实用部署解决方案。
DeepComp 的核心创新在于其细粒度的置信度测量，这些测量直接源自模型的内部工作，无需外部监督或额外标注数据。模型通过其生成的每个词元的概率输出，直接提供关于其自身确定性的洞察。基础指标包括词元熵（token entropy），记为 $H_t$。当语言模型在位置 $t$ 预测下一个词元时，它会生成一个覆盖整个词汇表的概率分布 $P_t$。该分布的熵 $H_t$ 量化了模型在该位置的预测不确定性。高熵表示模型对下一个词元的选择感到困惑，低熵则表示高度自信。这种词元级别的细粒度信号是克服全局平均局限性的关键。
熵与置信度的基础定义
在评估大语言模型（LLM）的推理质量时，不确定性（Uncertainty）是核心指标。低熵（Low Entropy）意味着高确定性，表现为概率分布的峰值集中；而高熵则代表高不确定性，分布更为平坦。与熵紧密相关的是Token 置信度（Token Confidence），其定义为位置 $t$ 处前 $U$ 个最高概率 Token 的负平均对数概率。这一指标本质上是模型对其最佳预测的信念强度的平均值。高置信度对应于峰值分布，表明模型对下一个 Token 的选择非常有把握，几乎像是一个“确定的赌注”；低置信度则指向扩散分布，意味着模型看到多个可能合理的后续 Token。
"High entropy reflects significant uncertainty, meaning the model sees multiple plausible next tokens."
为了更全面地捕捉模型的预测能力，通常不只关注单个最高概率的 Token，而是使用Top K（如 K=5 或 10）来计算置信度。这种方法能够涵盖模型预测强度的大部分内容，而不仅仅是其单一的最佳猜测。这些 Token 级别的指标虽然有价值，但传统方法往往将其聚合为平均轨迹置信度（Average Trace Confidence），即整个推理轨迹中所有 Token 置信度的均值。
平均轨迹置信度的局限性
尽管平均轨迹置信度在一定程度上能区分正确和错误的推理路径——如图二所示，在 HMMT25 数据集中，正确与错误轨迹的分布通常由该指标分隔开来——但这种全局聚合方法存在关键缺陷。首先，它掩盖了中间推理步骤中的失败。少数高置信度的 Token 可能会掩盖大量低置信度的片段，从而隐藏局部问题。其次，也是最重要的一点，它要求必须拥有完整的推理轨迹，这导致即使最终会被丢弃的错误轨迹，模型仍需支付完整的计算成本。
"It obscures intermediate reasoning failures. A few high confidence tokens can mask many low confidence segments."
这种全局平均无法实现早期终止，因为只有在生成完整轨迹后才能计算平均值。因此，DeepConf 引入了局部置信度测量（Local Confidence Measurements），旨在更有效地捕捉中间步骤的质量，克服上述局限性。这些新指标专门设计用于识别推理流中的细微断裂，从而在保留计算资源的同时提高推理的准确性。
局部置信度指标：Group Confidence 与 Bottom 10%
DeepConf 提出的第一个新指标是组置信度（Group Confidence, CGO）。与整个轨迹的一个平均值不同，组置信度通过滑动窗口在推理轨迹上计算重叠跨度内的 Token 置信度平均值。窗口大小（Lever）可以是 124 或 2048 个 Token。这种机制类似于移动平均，旨在识别置信度的急剧下降或重复的低置信度序列。作者将这些低置信度片段比作模型内部的“等等，让我再想想”，这通常标志着推理流的中断，并往往预示着错误的发生。
在此基础上，提出了Bottom 10% 组置信度（Bottom 10% Group Confidence）。该指标通过取轨迹内所有组置信度中最低的 10% 的平均值来确定轨迹的整体置信度。这种方法专注于最薄弱的环节，实证表明它在不同模型和数据集上都能有效捕捉最具问题的推理片段。如图二所示，该指标在分离正确与错误轨迹分布方面表现优异，比简单的平均置信度更适合质量估计，因为它直接锁定了思维链中的“最弱一环”。
极端值与尾部置信度：Lowest 与 Tail Confidence
除了 Bottom 10%，DeepConf 还引入了最低组置信度（Lowest Group Confidence）。这是一个更激进的变体，仅识别整个推理轨迹中置信度最低的单个组。其主要用途在于提高在线思考场景（Online Thinking）中的推理效率。如果轨迹中哪怕有一个小片段显示出极低的置信度，这可能意味着该轨迹不值得继续追求，从而提供直接的信号以停止生成。
最后，尾部置信度（Tail Confidence）专注于评估轨迹的可靠性，特别是针对推理的最后部分。例如，计算最后 2048 个 Token 的平均 Token 置信度。这一指标的设计动机在于观察到长思维链的末尾阶段推理质量往往下降，而这些最后步骤对于得出正确结论（尤其是数学推理）至关重要。许多错误源于轨迹开头强劲但结尾崩溃的情况，尾部置信度正是为了捕捉这些晚期失败。结合这些细粒度的置信度测量，DeepConf 实现了离线和在线两种思考模式。
"Reasoning quality often degrades towards the very end of long chains of thought."
离线思考模式：置信度加权多数投票
在离线思考（Offline Thinking）场景中，给定问题的所有推理轨迹已经生成完毕（通常生成了完整长度）。核心目标是从这些完整的轨迹中智能聚合信息，以得出最佳最终答案。传统的基线方法是标准多数投票（Standard Majority Voting），即每个轨迹提取的答案权重相等，简单统计票数最多的答案。DeepConf 通过引入置信度加权多数投票（Confidence Weighted Majority Voting）改进了这一方法。
在这种改进方法中，每个答案的投票权重由其产生轨迹的置信度决定。如果一条导致答案 A 的轨迹具有非常高的置信度（使用前述任一指标计算），那么它对答案 A 的投票权重将远高于一条导致答案 B 的低置信度轨迹。这种方法本质上偏向于由高置信度轨迹支持的答案，从而在聚合阶段利用局部置信度指标的优势，提高最终答案的准确性，同时避免了低质量推理路径对结果的干扰。
离线思考中的置信度过滤机制
DeepConf 的核心创新在于引入置信度过滤（Confidence Filtering），旨在通过加权投票减少不确定或错误推理路径的影响。该机制首先计算每条推理轨迹的置信度分数，然后仅保留置信度最高的前 N% 轨迹参与最终答案的生成。这种“先过滤，后投票”的策略类似于在小组讨论中更重视专家的意见，从而提升最终输出的可靠性。
论文主要探讨了两种过滤比例：10% 和 90%。10% 选项极具侵略性，仅聚焦于置信度极高的少数轨迹，这在少数轨迹真正可靠时效果显著，但若模型对错误问题过度自信，则存在偏差风险。90% 选项更为保守和平衡，它保留了更广泛的轨迹多样性，有助于降低模型偏差，确保在置信度分布较广时，替代性的推理路径仍能被考虑。
"The 10% option is quite aggressive. It focuses only on the very highest confidence scores."
算法流程包括：生成轨迹、计算置信度、选择顶部百分比轨迹，并在该子集上计算加权投票。这一离线思考过程如图3所示，展示了置信度测量如何介入推理过程。
在线思考中的动态终止与自适应采样
在线思考模式利用置信度指标在实时 Token 生成过程中进行动态终止，这对资源受限环境或最大化吞吐量至关重要。核心机制是监控最低组置信度（Lowest Group Confidence），即当前生成 Token 的滑动窗口平均值。如果该值低于预设的临界阈值，系统会立即停止生成该轨迹，从而避免计算资源的浪费。这是一种基于实时自我评估的主动剪枝策略。
为了实现这一机制，DeepConf 需要一个短暂的离线预热阶段（Offline Warm-up Phase）。该阶段不涉及训练，而是运行少量示例（如 16 条轨迹）以建立稳健的停止阈值。阈值设定基于预热轨迹置信度分布的特定百分位数：DeepConf Low 使用第 90 百分位作为阈值（对应 10% 过滤目标），而 DeepConf High 使用第 10 百分位（对应 90% 过滤目标）。
"If the group confidence of the currently generated tokens... falls below a critical pre-established threshold, we just stop generating that trace."
此外，DeepConf 还采用自适应采样（Adaptive Sampling），根据问题感知难度调整生成的轨迹总数。系统通过计算共识度（Consensus）——即当前领先答案获得的投票比例——来评估难度。如果共识度低于预设阈值（如 95%），则继续生成直到达到最大预算；若达到或超过阈值，则全局停止生成，防止对已出现清晰答案的问题过度生成。
实验验证与性能基准
论文通过广泛的实验验证了 DeepConf 在准确性和效率上的表现。实验设计严谨，涵盖了五种开源大语言模型（LLMs），以证明该方法在不同场景下的鲁棒性。虽然具体模型名称在片段末尾被截断，但实验重点在于展示 DeepConf 如何在 diverse scenarios 中保持性能。
实验结果旨在证明 DeepConf 不仅能提升准确率，还能通过在线早期停止和自适应采样实现巨大的计算节省。在线终止的轨迹本质上是那些在离线过滤中会被排除的低质量轨迹，因此在线近似离线策略的同时避免了完成这些轨迹的计算开销。
"The paper presents extensive experiments to back up DeepConf's claims... proof is in the pudding."
算法2详细描述了在线流程：预热、基于置信度的单轨迹早期停止、以及基于共识的全局自适应停止。图4直观展示了这一过程。这些实验为 DeepConf 在实际应用中的准确性与效率平衡提供了实证支持，表明其在资源受限环境下具有极高的实用价值。
| 机制类型 | 关键参数/阈值 | 过滤目标 | 特点描述 |
|---|---|---|---|
| 离线过滤 (Low) | 第 90 百分位置信度 | Top 10% | 极具侵略性，仅保留最高置信度轨迹 |
| 离线过滤 (High) | 第 10 百分位置信度 | Top 90% | 保守平衡，保留更多多样性 |
| 在线停止 | 预热阶段置信度分布 | 动态 | 低于阈值即终止，节省计算资源 |
| 自适应采样 | 共识度阈值 (95%) | 动态 | 共识高则提前停止，防止过度生成 |
实验模型选择与基准测试设定
本研究为验证深度思考（Deep Think）方法的有效性，精心挑选了来自不同架构的五个开源大语言模型作为测试对象，包括 DeepSeek 8B、Qwen 3 38B、Qwen 3 332B 以及 GPT-oss 20B 和 GPT-oss 120B。选择这些模型的核心原因在于它们具备强大的数学推理能力和长链条思维生成能力，且开源特性保证了实验的可复现性。更重要的是，80亿至1200亿的参数规模跨度使得研究者能够检验该方法在不同模型容量下的一致性表现。为了全面评估推理能力，实验采用了五个极具挑战性的基准数据集，涵盖数学竞赛和研究生级别的STEM推理任务。
"They were chosen for a few reasons. They generally have strong mathematical reasoning capabilities and are good at long chain of thought generation."
具体的基准测试数据集包括 AIM 2024、AIM 2025、Brumo 25、HMMT25 以及 GPQA Diamond。其中，前四个数据集以高难度的数学竞赛题目著称，而 GPQA Diamond 则专注于研究生水平的科学推理。这些基准在 Math Arena 等排行榜上广泛使用，是评估当前最先进推理能力的重要标准。实验的主要对比基线是标准的 Self-Consistency（自洽性） 方法，即使用未加权的多数投票机制，以此作为衡量 DeepComp 增益的清晰参照点。
实验设置与离线评估方法论
实验设计极其严谨，旨在控制变量并确保证据的统计显著性。研究团队首先为每个问题预生成一个包含 4,96 条推理轨迹 的大型池子，作为离线实验的一致基础。在每次运行中，从该池中重采样大小为 K（例如 K=512）的工作集，应用投票方法并记录结果。这种重采样机制有效控制了轨迹生成过程中的随机性波动。在线实验也采用了类似的重采样概念，但通过提前停止机制模拟了实时生成过程。实验报告了多个关键指标，包括 Pass@1（单条轨迹准确率）、Cons@K（标准多数投票）以及 Meas@K（置信度加权多数投票）。
"This large pool served as a consistent foundation for the offline experiments. They would then resample a working set of size K... from this cool for each run."
特别值得注意的是 Meas+@K 指标，该方法在加权投票前会根据置信度过滤掉部分轨迹，分别保留置信度最高的 Top 10% 和 Top 90% 轨迹。所有结果均基于 64 次独立运行 的平均值，以确保统计稳健性。在线实验的具体参数包括使用最低组置信度指标、2048 个 token 的窗口、696 条轨迹的预热以及 955 的共识阈值。这些细节的透明化展示使得实验过程极具可重复性和说服力，为后续的性能对比奠定了坚实基础。
离线性能数据：置信度过滤的显著增益
离线评估结果有力地证明了引入置信度信号优于平等对待所有轨迹。在 K=512 条轨迹的设置下，使用置信度过滤的方法在大多数场景下显著优于标准多数投票。特别是激进的 Top 10% 过滤策略 往往能带来最大的准确率提升。以下是具体模型在特定基准上的性能对比数据：
| 模型 | 基准数据集 | 标准多数投票准确率 | Top 10% 过滤准确率 | 提升幅度 | 备注 |
|---|---|---|---|---|---|
| DeepSeek 8B | AIM 2025 | 82.3% | 87.4% | +5.1% | 使用底部10%组置信度过滤 |
| Qwen 332B | AIM 2024 | 85.3% | 90.8% | +5.5% | 使用尾部置信度过滤 |
| GPT-oss 120B | AIM 2025 | 97.0% | 99.9% | +2.9% | 几乎饱和基准测试 |
对于巨大的 GPT-oss 120B 模型，在 AIM 2025 基准上，标准多数投票准确率为 97.0%，单条轨迹仅为 91.8%，而使用尾部置信度过滤后达到了 99.9% 的惊人准确率。此外，使用 最低组置信度（Lowest Group Confidence） 指标在保留 Top 10% 轨迹时，平均准确率比最佳多数投票高出 5.27 个百分点，比单条轨迹准确率高出 14.30 个百分点。即使采用更保守的 Top 90% 过滤，该指标仍能匹配或略微超过多数投票，平均增益为 0.29 个百分点，相比单条轨迹增益 9.31 个百分点。这表明关注最不可靠的推理片段能有效识别局部推理崩溃，提供强大的过滤信号。
在线评估：效率与精度的平衡
在线评估环节展示了 DeepComp 在实时应用中的变革性潜力，特别是在平衡准确率与 token 消耗方面。在自适应采样版本中，DeepComp Low（采用等效于 Top 10% 过滤的激进策略）在 K=512 的预算下，相比使用 512 条完整轨迹的标准多数投票，在数学基准测试中将生成的 token 数量大幅减少了 43% 至 79%。这一结果令人印象深刻，因为它在实现显著效率提升的同时，在大多数情况下保持了与基线持平甚至更高的准确率。
"The results for the adaptive sampling version of Deep Cough... are quite impressive. At K512, this method reduced the number of tokens generated by a substantial 43% to 79%."
这种效率提升主要得益于早期停止机制，该机制在检测到推理轨迹置信度低于阈值时立即终止生成，从而避免了无效 token 的浪费。数据表明，通过过滤掉低置信度的轨迹，模型能够更集中地处理高质量推理路径。虽然激进过滤（Top 10%）在准确率上表现优异，但研究也指出存在 过度自信（Overconfidence） 的风险，即模型可能错误地排除正确但置信度较低的轨迹。因此，保守策略（Top 90%）提供了更安全的平衡，避免了准确率的剧烈下降。总体而言，DeepComp 通过置信度感知的集成方法，成功证明了在保持高精度的同时大幅降低计算成本是可行的。
激进与保守过滤策略的性能权衡
在评估 DeepComp 的不同过滤策略时，激进过滤（DeepComp Low）与保守过滤（DeepComp High）呈现出截然不同的性能特征。激进策略通过保留置信度最高的前 10% 片段，往往能带来显著的准确率提升，但同时也伴随着一定的风险。例如，在 AM24 数据集上测试 DeepSeek 8B 模型时，该策略使准确率提升了 +5.8%，并实现了巨大的 Token 节省。然而，这种策略并非完美无缺，在特定设置下可能出现准确率轻微下降的情况，如 Qwen 332B 在 Brumo 25 数据集上出现了 0.9% 的微小降幅。这表明激进过滤虽然高效，但偶尔会丢弃有用的信息。
相比之下，保守过滤策略（Top 90%）在保持基线准确率方面表现更为稳健。该策略在多个数据集上实现了 18% 至 59% 的 Token 节省，同时维持了与基线几乎相同的准确率，或仅造成可忽略的精度退化。这种策略在效率与可靠性之间提供了更好的平衡，特别适合对准确率要求极高的场景。正如讨论所指出的："> Deep comp high using the top 90% filtering strategy equivalent also delivered significant token savings ranging from 18% to 59% on these data sets... while maintaining nearly identical accuracy to the baseline or incurring only minimal, often negligible degradation."
大规模模型与对比实验的数据验证
为了进一步验证效率优势，研究者在 GPT-OSS 12B 等大规模模型上进行了可视化分析。Figure 6 显示，GPT-OSS 12B 在保留竞争性准确率水平的同时，实现了高达 85.8% 的 Token 减少，证实了计算节省的显著性。此外，Figure 7 通过对比 DeepComp 与多数投票法（Majority Voting）在 DeepSegate B 模型上的表现，从另一个角度强调了效率优势。为了达到与多数投票法相同的准确率水平，DeepComp 平均需要少使用 62.88% 的 Token，而另一种变体则少使用 47.67% 的 Token。这直观地展示了"相同结果，更少工作"的核心价值。
在线行为与离线实验结果高度一致：Top 10% 过滤（DeepLow）通常带来最大的准确率增益但伴随小幅风险，而 Top 90% 过滤（DeepHigh）则更为安全。这些结果有力地验证了核心思想：利用最低置信度片段进行门控跟踪以实现早期终止，并结合自适应共识停止，可以在不牺牲复杂推理所需准确率的前提下，有效减少 Token 消耗。这是一种优化思考过程而非单纯增加算力的方法。
关键超参数与组件的消融实验
深入的分析揭示了不同超参数对 DeepComp 性能的具体影响。在共识阈值（TAL）的消融实验（Appendix B.1, Table 3）中，使用 Qwen 332B 在 AM24 数据集测试发现，TAL = 0.955 似乎是最佳平衡点。该设置下，DeepComp Low 在预算 32 和 512 时的 Token 节省分别为 15.4% 和 52.8%；DeepComp High 则为 22.0% 和 54.7%。更激进的阈值（更早停止）虽然能进一步节省 Token，但可能导致 DeepComp Low 的准确率下降，而 DeepComp High 对此变化表现出更强的鲁棒性。此外，在更高预算（如 512）下，由于自适应停止在初始热身阶段后有更多内容可截断，Token 节省效果更为显著。
在热身采样大小（Warm-up Sampling Size）方面（Appendix B.2, Table 4），研究者比较了 8、16 和 32 个热身轨迹对置信度分布稳定性的影响。增加热身样本通常有助于稳定置信度分布，使在线准确率更接近理想的离线准确率，两者差异（Delta Acc）通常小于 1%。尽管增加热身样本会增加固定成本，但考虑到收益递减，研究者最终选择 16 作为平衡默认值。
过滤比例与置信度指标的深入对比
过滤比例（Filtering Percent）的消融实验（Appendix B.3, Table 5）系统地调整了保留比例，从 90% 降至 10%。结果显示，更激进的过滤（保留 Top 10% 或 20%）在大多数情况下带来了更高的准确率。Top 10% 经常实现最佳性能，这证实了直觉：过滤器优先剔除低置信度且常错误的轨迹，将最终投票集中在高置信度证据上，从而提升平均准确率。
在置信度指标（Confidence Metrics）的全面对比中（Appendix B.4, Table 6-9），研究者评估了多种聚合方式。基于头部（Head-based）的置信度表现较弱，甚至有时低于简单多数投票；而基于尾部（Tail-based）和平均值的信号则频繁带来增益。值得注意的是，最低组置信度（LGC）结合 2K 窗口和 10% 过滤表现极具竞争力，平均准确率达到 84.4%，与底部 10%（84.0%）和尾部 10%（84.6%）相当。这表明局部置信度信号（尾部、底部、LGC）不仅不劣于全局平均轨迹置信度，反而能支持在线停止并实现同等或更优的准确率。
以下是关键实验数据的汇总：
| 模型/数据集 | 策略/配置 | 准确率变化/节省率 | 备注 |
|---|---|---|---|
| DeepSeek 8B / AM24 | DeepComp Low (Top 10%) | 准确率 +5.8% | 伴随巨大 Token 节省 |
| Qwen 332B / Brumo 25 | DeepComp Low | 准确率 -0.9% | 激进过滤的风险案例 |
| 多数据集 | DeepComp High (Top 90%) | Token 节省 18%-59% | 准确率与基线几乎一致 |
| GPT-OSS 12B | DeepComp | Token 减少 85.8% | 保持竞争性准确率 |
| DeepSegate B | DeepComp vs 多数投票 | Token 减少 62.88% | 达到相同准确率所需 Token 更少 |
| DeepSegate B | DeepComp (变体) vs 多数投票 | Token 减少 47.67% | 达到相同准确率所需 Token 更少 |
| Qwen 332B / AM24 | TAL=0.955, Budget=32 | DeepComp Low 节省 15.4% | 最佳阈值下的节省表现 |
| Qwen 332B / AM24 | TAL=0.955, Budget=512 | DeepComp Low 节省 52.8% | 高预算下节省更显著 |
| Qwen 332B / AM24 | TAL=0.955, Budget=32 | DeepComp High 节省 22.0% | 保守策略的高鲁棒性 |
| Qwen 332B / AM24 | TAL=0.955, Budget=512 | DeepComp High 节省 54.7% | 保守策略的高预算表现 |
| 综合测试 | LGC (2K window, 10% filter) | 平均准确率 84.4% | 极具竞争力的局部置信度指标 |
| 综合测试 | Bottom 10% | 准确率 84.0% | 作为对比基准 |
| 综合测试 | Tail 10% | 准确率 84.6% | 作为对比基准 |
自适应策略在推理中的性能优势
研究通过对比不同采样策略，证实了置信度感知集成在提升推理可靠性方面的价值。数据显示，多数投票（Majority Voting）策略带来了平均0.17%的收益，被确认为一种安全且可靠的选择。而Top 10% 过滤策略在大多数数据集上产生了更显著的提升，平均增益达到1.22%，尽管伴随偶尔的性能下降和“自信的错误”案例。然而，这两种策略均大幅优于单一样本基线（B1），强化了在线深度组合（Deep Comp）中置信度感知的扩展行为价值。
"Both however substantially beat the single sample baseline B1 reinforcing the value of confidence aware ensembles and the scaling behavior for online deep comp"
为了更直观地展示不同策略的效果，下表汇总了关键性能数据：
| 策略 | 平均增益 | 备注 |
|---|---|---|
| 多数投票 (Majority Voting) | +0.17% | 安全、可靠的选择 |
| Top 10% 过滤 | +1.22% | 增益显著，但偶有下降及自信错误 |
| 单一样本基线 (B1) | 基准 | 性能最低 |
自适应深度组合的成本与精度权衡
表10进一步揭示了自适应深度组合（Adaptive Deep Comp）与仅基于预算的早期停止或标准多数投票相比的优势。在匹配预算（K=512）的条件下，自适应部分发挥了巨大作用。DeepComp Flow实现了最大的成本降低，减少了43.84%的Token消耗，同时通常保持或提升了准确率。DeepComp High则更为保守，节省了16.59%的Token，且准确率基本保持不变。图9的帕累托前沿显示，自适应深度组合在达到相同准确率水平时，始终比仅使用早期停止的非自适应版本使用更少的Token，主导了Token与准确率的权衡。
| 模型变体 | Token节省率 | 准确率表现 |
|---|---|---|
| DeepComp Flow | -43.84% | 匹配或提升 |
| DeepComp High | -16.59% | 基本不变 |
| 非自适应早期停止 | 基准 | 基准 |
在GPQA Diamond（研究生级别STEM问题）的离线测试中，Top 10%过滤在Qwen 3模型上通常优于基线，而Top 90%过滤则作为更安全的选择匹配或超过基线。在线测试中，自适应策略再次实现了更高的Token节省，DeepComp 5i保持了准确率，而激进的DeepComp Low模式在DeepCate BB上有时略低于基线，但这进一步验证了这些策略的广泛适用性。
VLLM框架下的极简集成方案
对于实际部署者而言，该论文提供的实施细节极具价值。作者展示了如何在VLLM（流行的LLM服务框架）中以极小的改动集成DeepComp。仅需两个关键修改：首先，扩展VLLM中的logprobs_processor类，以维护滑动窗口置信度计算并暴露新方法check_comp_stop；其次，在主输出处理循环output_processor.py中插入一次对该新方法的调用。这种优雅的方法无需对推理引擎进行深度改造。
"They've gone to great lengths to provide practical guidance even showing how deep can be integrated with minimal changes into VLLM"
启用该功能只需通过OpenAI兼容API传递额外参数，如enable_contined_window_size（例如248）和threshold（例如17）。关键要求是必须请求logprobs=true，且至少包含前两个log概率，因为置信度计算依赖于这些概率值。在技术实现上，logprobs_processor添加了跟踪组置信度、置信度列表、窗口大小和阈值的字段。置信度计算为固定窗口内候选token负平均log概率的移动平均值。当check_comp_stop返回true时，主解码循环将finish_reason设置为test.py，并添加停止原因标签（如Jon of THR），以便在日志中追踪早期停止的原因。
未来研究方向与核心洞察
作者指出了两个重要的未来研究方向。首先是将DeepComp扩展到强化学习（RL）设置。在RL训练期间使用基于置信度的早期停止，可以指导策略探索，通过提前剪枝模型对行动或预测结果缺乏信心的不具前景的探索轨迹，从而显著提高样本效率，解决RL中的主要瓶颈。其次是解决模型自信错误（Confidently Wrong）的问题。鉴于Top 10%过滤有时会降低准确率，未来研究需要深入探讨更鲁棒的置信度校准技术，使模型表达的置信度与其实际正确概率更好地对齐，并探索更先进的不确定性量化方法，以识别和减轻过度自信但错误的预测。
"By carefully tuning into its own confidence signals, particularly these local ones, we can fundamentally make the model a much more efficient and potentially a more reliable thinker"
综上所述，DeepComp提供了一种强大而优雅的解决方案，应对LLM推理中的高计算成本和盲目增加推理选择带来的收益递减问题。核心启示在于，不应仅仅增加计算资源，而应更仔细地倾听模型的内部信号。通过利用模型的本地置信度信号，可以使现有计算工作得更聪明，使模型成为更高效、更可靠的思考者。
深度思考与置信度：推理系统的优化新范式
在探讨大型语言模型（LLM）推理系统的未来设计时，一个核心问题浮出水面：如何利用局部置信度信号和实时追踪剪枝技术来优化推理过程？ 传统的做法往往依赖于无限扩大模型参数规模，但新的视角指出，优化推理过程本身同样具有巨大潜力。通过引入智能的置信度过滤机制，系统可以在生成过程中实时评估每一步的可靠性，从而决定是继续深入推理还是提前终止。这种方法不仅提升了推理的准确性，还显著提高了计算效率，为实时追踪剪枝提供了理论依据和实践路径。
细粒度控制带来的技术挑战与新机遇
针对视觉语言模型（VLM）等复杂系统，对生成过程的细粒度控制带来了前所未有的技术挑战，同时也开辟了新的应用机遇。正如讨论中所指出的，“考虑到他们详细描述的极其微小的VLM编辑，你预见到将这种细粒度控制集成到现有推理管道中的具体技术挑战或令人信服的新机会是什么？” 这种控制能力使得开发者能够更精准地干预模型的输出，从而在成本高昂或速度缓慢的先前不可行场景中，实现新的应用类别。例如，在需要极高准确率的医疗或金融领域，细粒度控制可以确保每一步推理都经过严格验证，从而降低错误率并提升用户信任度。
测试时方法的优雅与效率
本次深度探讨的核心结论在于，一种概念上简单且优雅的测试时方法，能够通过基于模型自身内部信号的早期停止机制，显著增强LLM的推理性能和计算效率。这种方法不依赖于模型参数的无限扩展，而是通过智能的置信度过滤和早期停止，在推理阶段实现资源的最优配置。正如总结所言：“我们已经探索了一种简单、概念上优雅的测试时方法，它可以通过智能的置信度过滤和基于模型自身内部信号的早期停止，显著增强LLM的推理性能和计算效率。” 这证明了优化推理过程本身而非仅仅扩大模型规模，是通往下一代AI系统的关键路径之一。
持续探索AI推理的未来
随着对LLM推理效率的重新审视，我们看到了效率提升与性能增强并存的希望。这种新的方法论不仅改变了我们对推理过程的看法，也为未来的AI系统开发提供了新的思路。“如果这次讨论激发了你的一些新想法，或者让你以全新的眼光看待LLM推理，并对效率抱有 renewed sense of possibility，那么我们的任务就完成了。” 在人工智能快速演进的领域中，保持持续学习、不断质疑和积极探索的态度，将是推动技术前进的关键动力。通过关注推理过程的优化，我们有望在资源受限的环境中实现更强大、更高效的AI应用。