评估框架的失灵：测试时计算被系统性忽视
Noam Brown 指出，当前主流的模型评估方式存在一个根本性缺陷：它完全忽略了测试时计算（test-time compute）这一关键变量。在 GPT-3 时代，模型确实无法通过增加推理时间显著提升性能，因此当时的评估框架（如责任缩放政策与准备框架）默认模型能力是固定的，仅取决于训练阶段的投入。但如今，模型能力已本质上变成一个“投入预算的函数”——给模型一万美元预算，它能完成的任务远超十美元；一千万美元预算下，能力边界进一步拓展。问题在于，现有政策从未明确回答“应在何种预算水平下评估模型”这一问题。这种评估方式的滞后，导致基准测试结果严重低估了模型的真实潜力。例如，GPT-5.5 在控制思考时间后，相比 GPT-5.4 展现出巨大跃升；但若仅看标准基准表格（未控制计算量），差异仅几个百分点，引发广泛质疑。
“问题在于我们现在所处的世界，模型的能力基本上是你投入多少钱的函数。”
“你现在该在什么预算下评估这些模型？现有的政策并没有真正解决这个问题。”
平台期太远：现代模型的思考时间远超合理测试窗口
Brown 强调，现代模型（如 GPT-5.5）的性能平台期已远非昔日可比。在 GPT-3 时代，性能在几分钟或几小时内即可趋于平稳；而如今，某些基准测试中，模型在数周甚至更长时间的推理后仍在持续进步。这意味着，传统“运行至性能平稳再评估”的方法已完全不具可行性。行业被迫退而求其次，设定人为限制——如 token 预算或用户耐心上限——但这恰恰掩盖了模型的真实能力差异。他主张，正确的评估范式应是：将性能绘制成测试时计算量的函数，或在统一预算下横向比较。以网络安全任务为例，IC 的实测显示模型在一亿 token 预算下仍在稳步提升，虽无法跑满平台期，但通过外推斜率可合理预测其能力走势。Brown 甚至建议，这正是学术界值得深耕的方向：能否仅用低预算（如十美元）准确预测高预算（如一万美元）下的性能表现？
从扑克求解器看推理演进：糊弄 vs. 深度思考
为验证模型推理能力，Brown 以构建扑克求解器为实证场景，揭示了模型迭代的清晰轨迹：GPT-5.2 已能辅助完成河牌阶段求解（需人工引导），但存在明显“糊弄”倾向——例如计算弃牌损失时给出“92 美元”这种荒谬答案，仅因“接近 100”便草率通过；而 GPT-5.5 已接近零样本完成完整求解器开发，仅需轻微引导。他指出，这种演进不仅体现在速度与精度上，更在于模型能否系统性识别并修正自身错误。此外，Brown 提醒，当前行业存在“刷榜”风险：通过组合多个模型、多次采样或引入裁判模型，可在基准测试中虚高分数，但一旦控制测试时计算量，优势便大幅缩水。他建议，除私有测试集外，真实能力验证仍需回归开放、可复现的复杂任务——如扑克机器人开发，因其对推理链条完整性、错误检测与迭代修正能力要求极高，难以被表面优化绕过。
“如果你想知道一个 agent 在一个非常长期任务上的表现，唯一的方法可能就是让它跑上一年。”
模型能力评估的现实困境
当前模型发布节奏过快（约每两三个月一次），导致没人真正有时间将模型推至能力极限。例如，当 Slash Go 刚发布时，人们一周后才意识到它能完成需要超一周运行时间的任务。这种“边跑边发现”的模式，使得模型的真实上限长期处于未知状态。唯一能完全确定模型能力的方法，就是让它实际运行足够长的时间——若想验证六个月后的潜力，就必须让它跑满六个月。然而在激烈竞争压力下，实验室往往不愿推迟发布以进行充分测试。这造成了一种系统性盲区：我们频繁推出新模型，却对它们的极限缺乏系统性认知。
“如果你想知道六个月后的情况，唯一能完全确定的方法就是让它跑六个月。”
“我们花的成本非常低……就是训练了一个新模型，好奇它能做什么，然后拿一些问题跑了一下。”
ERD 单位距离猜想的启示
OpenAI 内部模型曾低成本推翻数学界长期悬而未决的 ERD（Erdős–Faber–Lovász）单位距离猜想。这一成果并非依赖超大预算或专门优化，而是通过一个通用模型配合少量引导性脚手架实现——例如让模型列出多种策略路径，再聚焦其中最有希望的一条深入探索。粗略估算，完整实现需约 1–10 万美元算力，但关键在于：该成果本可在更早由通用模型达成，只是无人系统性尝试。这揭示了一个重要趋势：随着模型发布周期推进，达成同类突破的成本正以每周期 10–100 倍速度下降。因此，与其等待“下一个更强模型”，不如立即用现有模型做高价值探索。尽管有人调侃“等两个月模型更强了再干更划算”，但现实是：时间本身已成为核心瓶颈，而研究者正全力与之赛跑。
“你肯定看过那个梗，就是我干嘛还要做任何工程工作？等下一个模型发布不就行了？……你同意这种说法吗？”
测试时计算的边界与研究范式演进
尽管增加测试时计算（如更长推理链）能显著提升模型在部分任务上的表现（如数独求解），但并非所有任务都能从中受益——例如事实检索类问题（如林肯生日）在无外部工具辅助时，延长思考时间未必提升准确率。更深层的限制在于：当前模型尚未具备‘研究品味’。它们能高效优化已有算法（如博士课题中提升 10–100 倍），却难以独立提出全新研究方向；即使给予大量时间，也难以从零构建突破性框架。这表明，模型正加速研究流程，但尚未替代人类研究者的判断与创造力。未来可能迎来拐点，但现阶段更现实的路径是：将模型视为‘超级实习生’——大幅提效，但仍需人类设定目标、筛选方向、构建脚手架。多智能体系统等前沿方向虽初显潜力，但受限于小规模实验，其真正价值仍待更大规模、更长上下文的模型释放。最终，人类知识的积累依赖群体协作与代际传承，而当前 AI 仍处于‘单次诞生、短暂存在’的阶段；要实现类似人类文明的知识叠加效应，需突破上下文窗口限制，走向可协调、可传承的复合智能系统。
重构评估标准：从表格到成本-性能曲线
Noam Brown 提出，当前 AI 模型发布与评估中普遍存在一种虚假均衡——即行业习惯性地依赖静态性能表格（如准确率、BLEU 分数等）进行横向比较，而忽视了计算成本这一关键变量。他认为，如果整个行业能共同转向以令牌数或推理成本为 X 轴、性能为 Y 轴的评估方式，就能更真实地反映模型在资源约束下的实际能力上限。这种转变将促使公司不再将性能表格作为营销重点，转而更关注模型在有限预算下的效率表现。他强调，基准测试本身不应被盲目信任，尤其当路由层（如模型选择、并行调度）在特定任务上带来显著提升时，必须进一步追问：“让单个模型增加推理时间，是否仍能超越当前路由策略？” 只有在控制测试时计算量的前提下，才能判断路由策略是否真正带来了净收益。
“一旦你控制了测试时计算量，它实际上还会更好吗？这才是你需要搞清楚的问题。”
“你可以用路由针对某些基准测试做优化，然后展示说，看我们在这些基准测试上取得了巨大提升，但在真实世界用例里，最终却并没有显著改善。”
路由策略的价值与陷阱：在预算约束下做最优决策
针对专注于特定领域的 AI 公司，Noam 认可其价值定位——即通过路由层与选择层（如模型调度、并行化管理、算力分配）在预算限制下实现任务最优解。他指出，路由既发生在模型内部（如思维链中的动态路径选择），也发生在应用层（如多模型协同服务），而当前趋势正将这些决策外部化。但他同时提醒，路由策略的性能增益必须放在统一标量（如成本或延迟）下与单模型扩展进行对比，否则容易陷入“基准测试幻觉”。关键问题在于：路由带来的提升是否足够显著？是否具有鲁棒性？是否能迁移到真实场景？ 若仅针对基准测试优化路由，可能在实际部署中失效。因此，评估时仍需保持对基准测试一贯的批判性怀疑，并坚持控制变量、可复现、贴近真实用例三大原则。