欢迎收听跨过串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播一凯，一位热衷于 AI 领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来，让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话。本期我们克隆的是知名科技播客 No Prayers 主持人 Sarah Gu 在 2026 年 6 月与 OpenAI 的研究科学家 Noam Brown 进行了一场深度对谈。Noam Brown 是 AI 推理领域的先驱，也是推动测试时计算扩展的关键人物。
在节目里，他有几句原话让我印象特别深刻。在 GPT 三那会儿，你没法扩展测试时计算，比如你给他一千万美元的预算，说好我们看看 GPT 三能做什么，它其实做不了太多。现有的准备框架和责任缩放政策并没有真正考虑测试时计算量，他们只是说好模型的能力是什么。问题在于我们现在所处的世界，模型的能力基本上是你投入多少钱的函数。
你给他一万美元的预算，他能做的比十美元预算多得多。给他一千万美元预算，他能做的更多。那你应该在什么预算下评估这些模型？现有的政策并没有真正解决这个问题。这些话背后有着很长的故事。接下来就让我们一起走进这期完整的对话。在 GPT 三那会儿，你没法扩展测试时计算，比如你给他一千万美元的预算，说好我们看看 GPT 三能做什么。
它其实做不了太多。现有的准备框架和责任缩放政策并没有真正考虑测试时计算量，他们只是说好模型的能力是什么。问题在于，我们现在所处的世界，模型的能力基本上是你投入多少钱的函数。你给他一万美元的预算，他能做的比十美元预算多得多；给他一千万美元预算，他能做的更多。那你应该在什么预算下评估这些模型？现有的政策并没有真正解决这个问题。
嗨，听众朋友们，我是kuaguo，欢迎回到No Priors。今天我请到了Noam Brown。我们 AI 推理领域的教父级人物之一，我们来聊聊评估体系的失灵，超大规模的测试时计算，他如何看待递归自我改进以及前沿竞争的下一个前沿是什么？Noam，非常高兴你能回来。很高兴回来。对，你是我们节目的第一位嘉宾。
我对自己在播客上挑选朋友和研究员的品味感到非常自豪。考虑到推理时扩展对行业变得如此重要，你也应该感到自豪。毕竟你实际上是这方面的先驱。出了一份力，对，跟很多人一起。你刚写了一篇文章，引起了很大共鸣，讲的是大规模测试时计算以及为什么行业没有像应该做的那样严格的评估这些模型。写这篇文章的动机是什么？对，动机是我们发布了 5.5，最初的反应是大家有点怀疑它是不是一个显著更好的模型。
公平地说，这种怀疑只持续了几个小时。之后，人们有时间上手试用，自己体验了一下，就发现它确实好得多。但我认为很多怀疑来自于发布的那张基准测试表格。基本上，每当有新模型发布，就会有这么一张基准测试表格。x 轴是各种不同的基准测试，y 轴是不同模型的表现。你可以直接比较不同模型，就是一个模型在一个基准测试上的单一数字。
如果你在纸面上看五点五和五点四或其他模型之间的差异，它确实有提升，但不是巨大的提升，在一些基准测试上只有几个百分点，所以人们看了之后就怀疑它是不是真的更好。等他们上手一用，看法就变了。我认为它没能在基准测试上显得好那么多的原因是，这些基准测试的呈现方式不对，他们没有控制每个基准测试问题上所使用的测试时计算量。
事实证明，5.5 在思考效率上要高得多。如果你用最高设置运行。五点四的思考时间要长得多，它返回响应的时间比五点五长。一旦你控制了思考时间，你就能看到五点五相比五点四是一个巨大的飞跃。我认为，这也是人们日常使用中的感受。然后当我和别人提到这点时，他们的反应，我常被问到的一个典型问题就是：好吧，那为什么不让五点五思考的和五点四一样久呢？
问题在于，他们应该思考多久？通常我得到的回答是：直到性能达到平台期，对吧？总有一个点，基准测试的性能会趋于平稳，你就评估到那个点。问题是，现在这个平台期到来的点其实非常遥远。在二零二二年的
GPT-负三时代，模型确实没法那么长时间的进行有效思考，所以你可以直接运行它们，直到性能平稳。那个点并不远。但我们现在看到的是，对于现代模型五点五和其他模型，如果你给他们搭建好合适的框架，他们可以思考数周，在某些基准测试上性能才会达到平台期。
所以他们达到平台期的点儿实在太远了，没法合理的进行测试。我们现在都需要实际设定一个限制，要么是耐心上线，要么是从令牌角度看预算上限。这在几年前是不成立的。没错，所以我认为正确的评估方式，我的主张是，现在评估模型的正确方法是，你要么为基准测试设定某种预算，无论是令牌成本还是时间，要么就把性能绘制成投入模型的测试时计算量的函数。
这样一来，如何比较不同模型之间的性能就变得清晰多了。考虑到模型的评估周期，以及很多任务在相当长的时间内性能都不会趋于平稳，你该怎么解决这个问题？你想跑的一些评估？既超出了合理的预算范围，也超出了当前模型发布周期下合理的时间范围。我觉得像网络安全这类任务，我们已经看到，IC 在他们的评估里也显示，模型在一亿个 token 的预算下还在持续提升，跑到一亿个 token 性能还在往上走。
这确实要花很长时间去跑，但你也能看到，性能不是那种断崖式的跳跃。而是能看出在一亿个 token 范围内的提升斜率，所以你可以做到某个预算上限的评估，然后直接说好，这是我们预测的性能走势。我觉得这方面目前研究还很少。如果有学术界的朋友在找研究方向，这其实是一篇很值得发的论文。能不能只用十美元或一百美元的推理预算去预测一万美元推理预算下的性能表现？
问你一个可能不太相关的问题，你觉得用户是不是普遍没有让模型对问题进行足够长时间的思考？你说的没有足够长时间思考是指什么？如果你能构建一个 agent。或者控制测试时计算的使用量，这里面有模型自己做的事儿，也有用户可以做的事儿。你觉得行业目前对测试时计算的使用量是刚刚好，还是严重不足，还是说问题出在模型本身，需要让他们思考得更快？
我觉得这取决于具体问题。让模型思考一周再回复，这个想法听起来不错，基准测试成绩也确实好看，但在实际工作中不太可行。因为你问模型一个问题，然后干坐一周等他回复。我觉得大家发现最有效的方式是跟模型快速迭代，所以思考时间需要灵活。该快速回应用户的时候就快速回应，该长时间思考，用户也希望他长时间思考的时候就长时间思考。
我觉得大家目前在现有条件下已经找到了合适的平衡。你怎么看？现在有很多关于刷榜和操纵不同基准测试的讨论，你会怎么描述当下的基准测试格局？有没有你觉得更能体现真实能力的基准测试？刷榜这件事儿也是我写那篇文章的动机之一。我觉得很容易就能在基准测试上做出比之前模型好得多的成绩，比如把一堆模型组合起来。你说好，我们不让这个模型只跑一次，而是跑五次，取五次里最好的回答，或者让一个裁判模型来判断哪个最好，这样就能拿到比单个模型高得多的分数。
所以很容易做出一个纸面上好看很多，但一旦控制测试时计算量就其实没有更好的东西。这是我对刷榜比较担心的一点。我唯一的顾虑就是它有点误导人。至于基准测试本身，我觉得总是存在被针对性优化的风险。我当然鼓励我的团队不要针对特定基准测试做优化。我觉得 OpenAI 在这方面做得还不错，但一旦你发布一个基准测试，它就始终面临被针对性优化的风险。
我觉得一个应对办法是保留不公开的私有测试集。大家最常用的退而求其次的建议是，想判断一个模型是不是明显更好，就自己多玩一阵儿。你有没有比这更系统的方法建议给大家？比如除了 OpenAI 内部的私有保留集，你每次会不会自己新建一套评估？我觉得每个人都有自己的那套问题，每次新模型出来都会去问。对我来说，最近的做法是用它们来做扑克机器人，看他们能把扑克机器人做到多好。
我觉得这是个不错的评估方式，因为做扑克机器人的开源代码非常少，发表的论文倒是很多，但你得真正把每一步都推理清楚。这需要大量的推理和迭代，还有很多小的坑，我自己之前都踩过，所以能看到模型在哪些环节会卡住。他们现在这方面已经做得很好了。你能不能描述一下用你做扑克机器人的例子，在最近几个模型版本里，推理能力是怎么演进的？
对，早期模型在这方面真的很差，基本上什么都做不了。到了五点二，我能跟他一起做一个河牌求解器，也就是扑克的最后阶段，这本身我就觉得很厉害了。当然，我得稍微引导一下，但我确实很惊讶，因为我做这个河牌求解器的速度大概比我自己单干快了五倍。他会在一些地方卡住。阻断牌一直是个大问题，但总的来说，稍微引导一下，他就像个研究生，会碰到问题，但至少我知道问题在哪儿，也知道怎么修。
我提建议，他就去改，然后很快就能拿出很不错的结果。尤其是优化部分，我觉得特别厉害，他能把代码优化的非常好，速度比我做的快了十倍。五点二的缺点是我感觉他老是在糊弄我，我得一直非常仔细的检查，确认他是不是真的做了他说的事儿，有没有什么明显的漏洞他没发现，或者假装没问题。我记得有一次，我在玩另一个模型，不是五点二，我做了个单元测试，跟他说，假设我往底池里放了一百美元，然后弃牌，我亏了多少？
模型说九十二美元，我就想。这太离谱了！我放了一百美元，然后弃牌，怎么可能不是亏一百美元？他就说：“哦，九十二嘛，很接近一百了，没事儿，问题不大。”我就觉得这明显有问题啊！所以模型确实有这种爱糊弄人的毛病。但到了五点五，我觉得就好太多了，它基本可以零样本完成。实际上，我最近在做一个完整的扑克求解器，它基本上能搞定全部，我只需要稍微引导一下。
我甚至不会惊讶，如果再过六个月或一年，模型能零样本直接做出一个完整的扑克求解器，基本上就是我整个博士论文的内容，一次性搞定。我们来聊聊更大的影响，就是评估这些模型时，相对于推理速度或效率、跟令牌消耗量、或者资金预算、或者随便什么标量来比，该怎么看？你能讲讲你文章里提到的一些更广泛的影响吗？包括安全评估方面的？
对，安全评估这事儿，有点像那个不太方便说破的真相。先交代下背景，现在所有实验室都有一些政策，叫责任缩放政策准备框架，名字五花八门，但核心思想是，每次发布模型都要做一系列评估，看它有没有危险的能力，模型能不能被坏人用来做我们不想看到的事。如果模型能力不强，那就无所谓；但如果它能力很强，比如能被用来制造生物武器，那你就得加一些防护措施。
但问题在于，你怎么评估模型有没有这个能力？他们也有各种评估的流程，但这些框架很多都是在 ChatGPT 那个时代前后建立的。那时候测试时计算扩展还不是个大事，这在当时是合理的。比如 GPT 三。你没法扩展它的测试时计算，就算你给他一千万美元的预算，说看看 GPT 三能做什么，它其实也做不了太多，跟花十美元或一美元的结果差不多。
那些准备框架和责任缩放政策，并没有真正考虑测试时计算量这个因素。他们只是问模型的能力是什么？问题是，我们现在所处的世界，模型的能力基本上是你投入多少钱的函数。你给他一万美元的预算，他能做的远比十美元预算多得多；给他一千万美元预算，他能做的就更多了。那么你到底该在多少预算下评估这些模型？现有的政策并没有真正解决这个问题，有些政策做的稍微好点儿，但总的来说，这不是一个被认真考虑的因素。
至于模型到底该不该发布，我不想趟这浑水，两边都有道理，但我觉得重要的是要认识到这个问题，我们一直在假装不存在。我认为关键是要正视它，不管怎样都得把它考虑进去。对，这就像能力问题的镜像。如果模型在非常大的预算下能在某些任务上持续进步，不遇到瓶颈，那他们同样也能在我们社会不希望他们做的任务上做到这一点，对吧？
所以针对这一点进行测试以及分配多少预算，这些问题也跟模型发布周期本身脱节了，对吧？现在发布速度在加快，有时候几天几周就出一个新模型。而不是六个月。你在文章里有一句话，大意是说，要真正评估一个 agent 在某个非常长期的任务上的表现，唯一的方法可能就是让它跑上一年。这对有用的任务和有害的任务都成立，对吧？
那你怎么看待这个问题和模型发布周期之间的关系？对，这确实是个很有意思的动态。基本上，随着模型变得越来越强，它们能在更长的时间跨度里运作。还是拿 GPT 三举例，如果你想让它跑一周，其实你很难通过脚手架把它搭成一个能真正跑一周的有用东西。但我们现在看到，最新的模型已经可以做到，比如把五点五搭建成能跑几周甚至几个月的系列实验。
你有没有给你的扑克求解器任务无限的预算去跑过？我还没真正搭过那种直接让它跑好几周的东西。我觉得我可以给他试试，我大概可以给他一个 slash go，然后让他放手去干。但我觉得现在如果我只给他 slash go，他绝对能做出和牌求解器。不过我觉得他还没到那个水平。如果我只给 slash go，让他去跑一个月，就能做出完整的扑克求解器。
但是，我们很快就会到那个临界点。我可能真的可以直接告诉他去花一个月时间做这个，然后带着一个完整的最先进的扑克求解器回来找我。问题在于，如果你想评估一个模型的能力，想知道它跑一个月之后能做什么，唯一能完全确定的方法就是真的让它跑一个月。如果你想知道六个月后的情况，唯一能完全确定的方法就是让它跑六个月。
我待会儿会讲到一些我们可以应对这个问题的办法，但重要的是要认识到模型发布周期是，你看，我们现在大概每两三个月就发布一个新模型，所以一个模型出来需要两三个月才能把它推到极限，然后下一个模型又出来了，结果就是没人真正知道这些模型的能力上限在哪里。因为没人真的让他们跑足够长的时间去验证，比如 Slash Go 刚出来的时候，人们开始跑一些需要超过一周才能完成的任务。
所以大家其实是在发布一周之后才意识到这件事有多重要。我觉得这种情况会越来越普遍。这里面的影响，我觉得挺有意思的。因为实验室在发布前要怎么充分评估自己的模型，这其实非常困难。因为对你唯一能真正做评估的方法就是推迟模型发布周期，而现在竞争压力很大，大家都不太想这么做。你觉得已经发布的模型里，有没有那种因为时间线限制，人们还没充分挖掘出来的令人兴奋的潜在能力？
我觉得绝对有，一个很好的例子就是 ER face 单位距离问题。可能有些观众不知道，我们几周前在 OpenAI 用了一个内部模型推翻了 ERD face 单位距离猜想。我不是数学家，但这在数学界好像是一件挺大的事儿。这是很多数学家花了大量时间研究的第一个问题，而模型做到了他们没做到的事儿，而且做出来的方式对数学家来说既有趣又有用。
说实话，我们花的成本非常低，我们没在这上面投入太多精力，就是训练了一个新模型，好奇它能做什么，然后拿一些问题跑了一下。这个问题在很低的预算下，模型就说，哦，对我好像有一个反证，然后我们验证了一下，发现这个反证是对的。我们公布结果之后，很多人发现用五点五也能得出这个答案。当然，不是简单的问五点五，这是 ER Diffus 单位距离猜想，反证是什么就行。
你得给他搭一些脚手架，做一些引导。有人发现，你可以问五点五，列出解决这个问题的各种方法，然后他会列出其中一条确实有希望得出反证的路径，你再告诉他。好，沿着这个方向继续探索。如果重复足够多次，它最终就能得出反证。这意味着原则上你可以用一个通用的脚手架，让五点五列出各种不同的策略，然后针对每个策略让它去深入研究，这样它大概就能用通用脚手架得出反证。
当然，那个脚手架会非常贵，我粗略估计大概要花一千到十万美元。但这是可行的，而且本来有人可以在我们之前就用通用模型推翻 Earthface 单位距离猜想，只是没有人充分探索过。如果我把价值十万美元的算力砸进五点五，会发生什么？它能做什么？答案是你大概真的能从中得到这样的成果。所以大家应该对当前这代模型做更多实验，在这其实是个有意思的问题，就是值不值得去做实验？
因为模型发布周期是每隔几个月，我们就会推出一个更强大的新模型，推翻 ER Diffus 单位距离猜想的成本，每经历一个模型发布周期就会下降大概十到一百倍，有些情况下可能更多，所以。你肯定看过那个梗，就是我干嘛还要做任何工程工作？等下一个模型发布不就行了？对，去度个假，两个月后回来，成本就变成千分之一了。
你同意这种说法吗？我。你们现在在 OpenAI 就是这么做的吗？就等着下一个模型发布？我得说，我们正处在一个进展非常快的时期，模型确实在变得越来越强。我可以讲，在 OpenAI
我们有一件事是刻意不去做的，我们有很多数学家、很多物理学家，大家对现在这些模型能做什么都非常兴奋，尤其是内部模型。我们在努力鼓励大家，不要把所有时间都花在遍历各种数学开放问题、物理问题上，去把模型推到极限，看他们能证明或推翻什么。
因为我们真的认为，重点应该放在如何做出更强的模型，如何尽快把它们安全的交到全世界科学家手里，让他们自己去用这些模型解决问题。所以，从某种意义上说，我们确实在思考这个问题。是的，把所有精力都投入到扩展这些模型，看看它们现在极限在哪里。确实很诱人，但真正的重点应该是如何用这些模型去做出更强大、能力更强的模型，让一切都能以更低的成本完成。
考虑到你对超大规模测试时计算的影响所持的看法，你觉得研究方向或资源分配会发生什么变化？这跟递归自我改进的想法，比如任何实验室达到最强模型的主流思路会如何相互作用？有一点我需要澄清，我不认为我们已经到了那种地步，只要给他一个任意极高的推理预算，他就能在所有方面都超级智能，就像 Slash Goal。对，让他做出 GPT 七之类的，然后放手让他去干。
那我们离那一步还差什么？我玩过这个模型，首先有些基准测试，就算给再多推理预算，模型也不会进步。很多事实检索类问题就属于这一类，比如你问一个人亚伯拉罕·林肯什么时候出生的，他不知道具体日期，他可以坐在那儿想一个星期。但如果没有电脑之类的工具，他想一个星期跟想五秒钟，答案不会更好。模型也一样。有意思的是，如果你给模型这类事实检索问题，再给它一点思考时间，它确实会做得更好。
如果不行，就换一组随机数字试试。显然，只要时间足够，用这个策略能解开任何数独。你可以很直观地看到，任何模型只要给更多测试时计算，就能不断进步。而所有基准测试大致都落在这两个极端之间。模型还没到那种程度，给足够测试时计算就能替代我们所有工作。因为有些基准测试上他们不会进步，有些事情上他们就是不会进步。
我观察到研究领域的一个问题是，他们目前的研究品味不太好，所以我觉得他们其实是很好的补充，对研究人员来说尤其如此。我发现用了这些模型之后，我的效率高了很多，但他们还没法完全替代整个研究周期。那会不会随着时间改变？大概会。我觉得模型在全面进步，有些方面进步得比另一些快，但还没到光靠给出测试时计算就能完全替代研究人员的程度。
能不能举一两个例子？比如让模型做一个研究任务，或者那种这想法太烂了的情况。回到我那个扑克求解器的例子，模型优化我博士期间开发的算法的能力真的让我印象深刻。回头看，我当时效率低得令人震惊。而他们能把速度提升十倍、一百倍。然后我就想，好，那你能不能想出一个比我或者比任何人想出来的都更好的算法，去把所有已发表的研究看一遍，综合起来，然后试着搞出点新东西？
他做不到。我给他很多时间，还是做不到。当然，如果我搭个框架，再给他一些约束，也许最终能搞出更好的东西。但这需要很多，不是简单说一句“请想出一个更好的算法”就行。那你觉得这方面要怎么改进？我看到的是，每次模型发布新版本，这方面都会变好一些。按我的标准还是很差，但没以前那么差了。我不会惊讶，如果某个时候，就像编程、数学那样，突然出现一个拐点，研究品味突然就好到能用了，我不会惊讶，我们也会遇到那个拐点。
即便如此，你今天怎么看递归自我改进？我们应该怎么理解它？模型确实在加速实验室里研究人员的工作，但我觉得它加速了一些事情，另一些没有。目前我们处于这样一个阶段，如果某件事快了一百倍，你就会被那些没快一百倍的事情卡住。随着时间推移，卡住我们的东西会越来越少。我觉得这方面会是一个渐进起飞的过程，但现在更多是改变研究人员的工作方式，而不是完全替代研究人员。
所以这其实意味着，你觉得我们现在离一个非常快速的起飞还很远。我觉得快速起飞是相对的，事情确实进展很快。但有一种假说认为，可能出现一夜之间的智能爆炸，模型发现某种突破，让自己变聪明，然后这个突破又带来更多突破，让自己立刻更聪明，瞬间模型就在所有方面都远超人类。我不认为我们会走向那个世界，很大程度上是因为模型极度依赖大规模测试时计算来达到最高智能。
如果需要那么多测试时计算才能解锁模型的全部能力，那就意味着你被时间卡住了。事情只能快到一定程度，因为模型需要运行足够久才能真正做出非常强大的东西。时间本身成了我们能做什么的瓶颈。我觉得现在很多实验室就是这种情况。最终，我们所有人最大的瓶颈就是时间。这也是为什么所有研究人员现在都这么拼命工作，每周投入那么多小时，因为我们都看到了潜力有多大，看到了能力有多强。
我们只是被做事的速度卡住了。你觉得现在前沿领域里哪些方向探索的还不够？我们之前聊过多智能体，我觉得多智能体这块已经探索的挺多了，在足够大的规模下。我觉得能做的事情还有很多，但这也是在小规模下很难做好的事情之一。很多研究在小规模下都很难做，多智能体尤其如此。要真正释放它的能力，我觉得需要前沿模型。我们见过一些挺有意思的多智能体框架，它们能做不少事，但我觉得这真的只是冰山一角。
我思考这个问题的一个角度是：，你看，人类文明并不是说人类在过去五万年里进化的更聪明了，而是今天的人类能比穴居时代做更多事，是因为有数十亿人长时间思考，并在彼此积累的知识上不断构建。我们现在的检索和框架能力，跟五万年前比强太多了。我甚至不觉得那叫框架，这是一种非常有机的涌现出来的特性，就是人类能够积累知识、分享知识，并在此基础上继续构建。
我们现在在 AI 模型身上还看不到这一点，它们诞生于某个世界，在一个很短的上下文窗口里存在，然后就消失了。当然，你可以做一些事情让它们延续下去，但非常有限。我确实认为，最终我们会，而且我们已经开始看到一些迹象，表明我们正在进入一个他们可以大规模协作的世界。我觉得 MultiBook Open Call 刚出来的时候，显然有点被过度炒作了，但他们预示了未来可能的发展方向。
我确实认为，我们最终会进入那样的世界，某种协调的复合的状态。对，就是模型能够在更全局的层面上分享知识，并在此基础上进行有生产力的构建。基于你这些信念和你的工作，你怎么看前沿领域里这三家之间的竞争？如果没有一夜之间的飞跃，只是研究人员埋头苦干，试图在算法方向、投资决策上做出高品位的正确选择，然后是算力分配，再然后是政策和评估决策，这感觉比那种冲向某个没人能追上的即刻的硬起飞要更接地气一些。
我觉得现在的竞争非常激烈。我确实认为现有的模型正在加速前沿实验室研究人员的工作。当然，就像我说的，目前还有局限，但用模型来改进模型研究这件事儿是真实存在的。它就像一个放大力量，我认为就会持续下去。而且会越来越明显。让我感到安心的一点是，我觉得所有前沿实验室的研究人员，所有前沿实验室都认识到这其中的利害关系和这些模型的风险，这让我感到安慰。
我觉得每个人都真正理解，这是一件非常严肃的事儿，可能带来非常好的结果，也可能带来非常坏的结果。是的，实验室之间存在竞争关系，但我们也可以想办法一起走向积极的结果，而不是非常消极的结果。我觉得不问这个问题就太失职了，因为你很早就一直正确认识到测试时计算和推理框架的重要性。你在使用模型方面有没有什么方式是你想鼓励大家去用的？
就是给所有事情设定目标吗？我觉得对很多人来说，这对你的听众可能不一定适用，但有很多人在二零二三年左右尝试过 AI，觉得不能信任它的输出，然后就不再把它用于真正高风险的决策了。实际上，我认为模型已经进步到了一个程度，他们在这些事情上已经非常出色了。比如我问他们税务建议，或者我最近买了个公寓，就问他建议。
比如我需要填哪些文件，这些都意味着什么？他回答这类问题真的非常好，所以我每天都在用它处理很多这类事情。我觉得他们现在已经到了一个阶段，其实已经有一段时间了，让我觉得我可以信任他的输出，甚至可能比信任一个人的输出更放心。一个专家级的人，我还有最后两个问题：一个是你觉得有没有什么事情是研究社区里其他人不同意你，或者还没完全理解其重要性的？
这个问题问的太好了，我真希望我提前有时间想过这个问题。你可以就跟我待一会儿，慢慢想。现在成了共识，会不会感觉有点奇怪？三年前你还有点愤愤不平，觉得为什么人们不理解这件事儿有多重要？我仍然不觉得这已经是共识了，因为你看，人们还是不以这种方式发布基准测试。这倒是真的，这其实就是我写那篇文章的原因。我觉得那是惯性，对，差不多，这也是我写那篇文章的原因。
我就想说，我们可以讨论这件事儿，但部分动机是我跟研究人员聊的时候会说，我们在展示基准测试时应该加一条x轴。不管是按令牌成本还是时间，总之得有条 x 轴，然后每个人都会说：“对，有道理，我们应该这么做。”但他们并没有带着应有的重视去行动。我们必须衡量正确的东西。其实大家的反应是外界期望我们发布那个表格。
那为什么外界会期望发布表格呢？因为每个人都在发布表格，于是你就陷入了一种糟糕的均衡。所有人都知道这不好，但没人愿意打破它。我就觉得，好吧，如果我站出来说，各位，我们都承认自己处在一个糟糕的均衡里，然后我们一起转向另一种均衡，也就是用 x 轴来绘图。那么下次有模型发布时，公司就能安心的不发布那个表格，至少不把它放在最前面作为头条，这样我们就能对这些模型进行更有成效的评估。
最后一个问题，你怎么看那些专注于特定领域的公司？他们觉得自己提供的价值本质上在于路由层、选择层，也就是我的目标由一堆离散任务组成，有些需要更高智能，有些则不需要。而我作为供应商的工作，就是在考虑预算限制的前提下，解决这个问题或达成最优结果。所以我会管理并行化以及针对不同模型投入多少推理算力，因为我认为前沿实验室的观点是，这种路由既发生在
API 背后、应用背后，也有一部分发生在模型内部，而这些环节的某些部分显然正在所有这些应用中被外部化。
对我确实觉得这跟基准测试应该用令牌或成本作为 X 轴来评估有关。我最近看到一些评估显示，通过路由层，基本上靠模型间的共识就能获得好得多的表现。我绝对相信，如果你在模型间达成共识，表现会比任何单个模型都好。但重要的是要问一句：让那个模型思考更长时间，会不会做得更好呢？一旦你控制了测试时计算量，它实际上还会更好吗？
这才是你需要搞清楚的问题。这是个非常原则性的观点，路由没问题，但一切都受制于同一个预算问题。如果你把它放在同一个标量上，就能做出最优决策。我想，也许我会赢。我倒不一定是那个意思，我愿意相信路由做得更好，但问题在于，它能好很多吗？它是不是很脆弱？跟基准测试相比，它反映真实世界用例的程度如何？因为你可能遇到的一个问题是，你可以用路由针对某些基准测试做优化，然后展示说，看我们在这些基准测试上取得了巨大提升，但在真实世界用例里，最终却并没有显著改善。
所以，我至少会说，你需要控制测试时计算量，然后你还需要对基准测试保持所有你通常会有的怀疑态度。太棒了，Noam，非常感谢你，也感谢你致力于打破这种虚假的均衡。很高兴能回来。在Twitter上找到我们账号是No Priors Pod，想看我们的脸就订阅我们的YouTube频道，在Apple Podcasts、Spotify或你平时听节目的地方关注我们，这样每周都能收到新节目。
也欢迎访问No Priors点com订阅邮件或查看每期节目的文字稿。