今天，我和三位AI研究员朋友聊天，每次交谈我都受益匪浅。他们恰好都在一些相对开放的研究机构和公司工作，所以你们可以听到他们的公开言论。与我交谈的有Zyphra的首席技术官Beren Millidge，该公司正在开发开源模型；Thinking Machines的首席科学家John Schulman，他曾是OpenAI的联合创始人之一，并领导了促成ChatGPT诞生的RLHF工作；以及Baseten模型训练负责人Charlie O’Neill。我的第一个问题是：如果我们身处2036年，却没有看到数十亿疯狂运行的超级智能在周围彻底改变世界，那么最可能的原因是什么？排除外部政治冲击、战争或禁止AI等情况。2036年没有变成疯狂的外星超级智能世界，最可能的技术原因是什么？
有一个经典的现象，有点像莫拉维克悖论，我们认为AI“如果能做到这一点，将会非常惊人”。如果它能解决这些高深的数学问题，如果在国际象棋中获胜等等……那么当它解决了这些问题时，影响却并没有那么大。显然，它在某些方面是有影响的，但并非无所不在。如果这种情况持续下去，且从未出现真正的泛化火花，我认为这可能导致AI仅仅在人们放入基准测试或环境中的任务上表现得极其出色。但仍然存在某种持续的“仿真到现实”的差距，阻碍着一切的发展。我认为这不太可能。事实上，我们已经在实践中看到了这种来自强化学习的泛化能力。但如果元学习真的难以泛化，且我们未能解决持续学习的问题，导致其极其困难甚至不可能……那这将是我的默认情景。
我同意这一点。人类目前相比模型拥有许多优势。每出新模型时，它都会在部分领域赶上人类。但最终你会在模型的薄弱环节、判断力较差或无法充分自我检查的地方遇到瓶颈。存在着这样一个不断重复的循环：新模型发布，人们惊叹不已，“这就是了，这是AGI。”但使用一段时间后，它开始显得愚蠢。这个循环可能会一直持续下去。很难预测它会重复多少次。目前，你在尝试进行研究和工程时仍然受到足够的瓶颈限制，因此能力并没有出现爆炸性增长。即使模型能写出比人多得多的代码，也不会让你 productivity 提高100倍。所以也许会有比我们预期的更多的此类循环发生。
对我来说，这是一个关于“芯片上的学习者”的全局最优解与当前的Transformer+RL基本配方之间距离有多远的问题。人们想象，一旦你拥有一个在AI研究方面优于全人类的代理（即使只比人类好0.1%），那么你可以并行运行数十万甚至数百万个这样的代理——并且随着芯片速度提升，它们的运行速度快得多——这将抵消其他所有瓶颈。你最终将实现自我改进方面的快速起飞。我可以想象，如果我们继续沿着当前的轨迹发展，即主要是自注意力、强化学习以及扩展RL环境……想想摩尔定律发生了什么。我们有一条非常漂亮的直线，并且维持了很长时间。但为了保持这种扩展律，必须发生许多离散的 discontinuities 和创新。
LLM的情况也是如此。我们有了预训练扩展律，然后遇到了收益递减。接着我们引入了RL并解决了这个问题，然后又出现了一条新的收益递减曲线，使其看起来仍然像一条向上的直线。因此，如果需要另一个这样的 discontinuity 来解决这个问题，我不确定当前使用这些RL环境（即使是针对RSI的RL环境）训练LLM的方法能否发现那个 discontinuity。如果不是这样，我们可能会遇到这条渐近曲线。但你认为这个 discontinuity 会比2012年以来的任何创新都更难吗？如果我们有了答案，我们就有能力实施它。但也许我们应该区分一种对当前范式有累积作用的 discontinuity——即我们需要在现有的RL之外发现某些东西，也许它们有能力将直线上的点连接起来——或者再次回到我们距离全局最优解有多远的问题？我们需要回过头来抛弃梯度下降和一般的神经网络吗？
我认为，如果你继续扩展当前的范式（LLM），无论运行多少个LLM，如果距离太远，它们不一定有能力发现这一点。真正的希望在于深度学习无法让我们获得至少能在人类研究和开发中占据主导地位的AI，包括人类提出新范式等能力。或者我不知道，也许人类也永远不会发现下一个学习架构。但在某种程度上，如果人类最终能够发现它……但这似乎……如果你只看自2012年以来至今的进展，并假设这种趋势继续下去——我知道这主要是由巨大的计算量扩展等推动的——如果它没有达到至少在研发领域主导人类的程度，那将是很奇怪的，尤其是在未来几年内。Ryan Greenblatt最近上了播客。他提出了一个观点，我很想听听你们的想法。你可以想象，随着AI变得越来越有能力，它们能够在模拟中取得进展，这些模拟激励人们不仅提高在AI研发方面的能力，也在科学方面的一般性进步。这是所有实验室和许多初创公司都瞄准的目标。
另一个直觉泵是，如果你查看自80年代以来国际象棋机器人的Elo等级评分。随着时间推移，Elo呈现出非常线性的增长。但是当它们跨越人类范围时，出现了一个巨大的 discontinuity：从人类专家总是战胜AI到人类专家从未战胜AI。随着Elo的这种线性增长发生，我同意你的观点，到目前为止，AI能力在世界上的最终经济影响方面并没有那么大。但这是因为它们相对于人类的Elo等级在缓慢上升。我同意这将会非常令人惊讶。唯一不发生这种情况的方式是，正如你所说，它在接近之前以某种方式渐近停滞了。因为在我看来，我们已经非常接近
我们将开始跨越人类的 Elo 评分。因此，在那之前我们需要趋于平缓。我认为这是该场景发生的唯一方式——在这个场景中，我们假设 2035 年一切正常。另一种可能是对 AI 实施严格的监管，这实际上是我认为该场景最可能发生的途径，而非技术因素。
我认为存在不同类型的研究。有一种“自主研究”风格的研究，其目标已经非常清晰地指定好了，你只是在优化那个目标。我认为大家都设想，如果我们继续沿着降低预训练损失、提高环境奖励的路径走下去，这将带来进步。但也许 Ryan 谈论的是那种更开放式的科学类型，这是范式转变所必需的，在这种科学中我们无法指定目标，AI 也肯定无法指定该目标。
我们必须非常、非常谨慎地如何为这些事情设定目标。也许你的观点是，自 2012 年以来发生的突破性质在于……在 2012 年，人们并没有说……我假设你们当时都在场。或者至少 John 你在。但我当时不在，我在上小学。John，我很好奇你作为“过来人”或曾在一线奋斗过的智慧。
据推测，一个重大突破是意识到下一个词元预测就是……在 2014 年时，你绝不会想到 nanoGPT 的快速迭代是应该优化的目标。但现在我们进入了这个新范式，你会认为要在这一点上进行快速迭代，让 AI 在这方面变得非常出色。但也许有一个 AI 无法预见的内部循环需要优化。
虽然最终应该存在一个强大的外部循环，比如收入之类的东西，但这是一个非常缓慢的外部循环。事实上，我记得在 OpenAI 早期就有这样的直觉：仅仅最小化对数损失并不能让你获得智能。因为重要的部分仅占损失的极小一部分，它们会被噪声淹没。因此，仅在下一个词元预测上训练语言模型不会让 AI 学到你想要它学到的有趣内容。
我们需要设计更好的目标，以加强对重要事物的重视。你可以为此提出各种论点。你可能会说：“哦，人类可能不会学习如何模拟环境中的所有内容。大多数人无法创作出他们所看到的场景的逼真复制品。”所以我们必须需要一个更好的目标。但后来事实证明，它无论如何都起作用了。
正如你指出的那样，即使在当前的 AI 研究中，内部循环如后训练基准测试等，并不一定转化为用户所喜欢的东西。哦，是的。整个领域非常依赖泛化能力，而且很难预测何时能获得泛化能力，或者何时能实现某种分布外泛化。我们知道如果在你在意的任务上进行训练，表现会更好。
但最重要的进步往往是那些我们没有理由去期望的泛化类型。例如，仅仅通过这种非常朴素的下一个词元预测目标进行预训练，就能实现各种需要以某种深度方式理解输入的兴趣任务；或者从预训练中学习到一些非常罕见且未被充分代表的技能。
此外，从这些可验证的任务泛化到较少可验证的任务也是一种泛化类型，事前没有理由去期望它。这是一个有趣的问题，因为对于为什么你会看到某种奇点迅速出现——即使不增加那些不仅仅是 AI 劳动力的 AI 进步输入量——你可以有一个直觉泵：
在你运行的每一个七位数实验之前，你在 AI 劳动力上花费了等量的计算资源。所以你只是拥有自动化的版本，让你这样的人花一个世纪思考运行什么是最优实验，进行小规模消融研究，开发 literally 一个世纪的理论知识，甚至追溯到深度学习之前。在决定运行什么实验之前，你正在进行极其优化的实验设置。
然后在实验结束后再花一个世纪思考，分析发生了什么以及下一个要运行的实验是什么。如果你足够深入地思考，你可能本来可以预先预料到其中的一些事情。可能有一种非常巧妙的方法来进行小规模实验，从而构建出随后能泛化到大规模实验的理论。
因此，我预计我们远未达到研究能力的上限。我想象这样一个未来：AI 正在进行大量的分析和理论构建，花费与实验本身相当的计算资源，进行各种分析并围绕我们目前所见建立理论。我认为当目标明确指定时，确实有具体的例子表明这一点。
思考所能做的只是根据自形成先验以来获得的比特更新你的后验概率。仅仅通过思考，你无法获得任何新信息。但当目标明确指定且数据就在那里时，我想象在当前范式中会出现巨大的加速。
一个很好的例子是如果让 AI 思考 Kaplan 缩放定律。此时的 AI 会注意到：“哦，他们只是取了这些中间检查点而没有考虑退火过程，所以这是错误的。”那将会早在几年前就被发现。仅凭 AI 的这一观察结果，我们就能节省一两年的进步时间。
同样，一旦目标明确指定（例如更低的预训练损失等），有很多很好的例子表明如果你再多思考一点，就能显著减少你所做的事情。比如 muP（最大更新参数化），以及学习率如何随模型规模缩放，并意识到模型宽度在这方面也很重要。我觉得你可以回溯出很多东西，砍掉很多触手可及的成果（低垂的果实）。
如果我想象我们的目标仅仅是“最大化我们当前追求的目标”，我会预见到 10 倍的加速。但我看不出这如何能泛化到最初确定正确目标的问题上。仅仅思考并不一定能让你一开始就获得正确的目标。我认为这是任何类型的非常……
当前AI的快速递归自我改进（RSI）能力如何？AI在学会设定自身目标方面的泛化能力怎样？要实现任何自我驱动的自动化循环，我们需要AI提出目标、优化它们、解决这些问题，然后提出新目标，并且在很长一段时间内不偏离轨道。回到莫拉维克悖论（Moravec's paradox），这里可能存在一种情况：我们认为这种自主性和自我封装性——即我们思考自己该做什么然后去执行，形成闭环——非常简单，因为我们一直在这样做。显然，进化需要创造出能够长期独立生存的生物体。这可能恰恰是AI难以做到的事情，就像运动能力很难但数学却很容易一样，尽管这对我们来说数学也很难。
时间跨度的增加是否暗示了这一点？是的，完全正确。这是另一种可能性，但我同意，目前没有明显的证据支持这一观点。事实上，我们的智能体现在非常持久且很容易做到这一点，这反而是反对该观点的证据。但如果这是难点所在，这可能是我们不会立即出现智能爆发的原因之一。回顾从2012年到现在——或者也许是从你开始研究至今——自那以来发生的所有创新，包括纯工程类和纯概念类的，哪一部分看起来是人类在AI完全自动化AI研发之前最后需要做的事情？
可能是迭代地提出正确的问题。如果你能让AI做任何实验，你仍然需要决定做什么实验。目前我认为与编写代码相比，AI在这方面并不擅长。每当我们要谈论研究时，它们提出的一堆杂项内容都是非常微小的步骤。或者从DeepMind的方法——“我们要通过以超人类水平学习玩游戏来解决智能问题”——转变为像Radford这样的研究人员提出的“我要尝试预测非常广泛数据集中的下一个词元”。即使Radford发现了这一点，人们花了一段时间才决定扩大规模，因为我们需要提出缩放定律的概念以及你可以非常可靠地预测这些事实。
我认为人类最后的工作，或者说持续时间最长的人类角色，是定义目标并决定我们真正想要什么。在这方面，比如决定AI助手应该如何表现、什么是有帮助的含义，或者在进行人类反馈强化学习（RLHF）时的目标是什么，就是其中之一。随后，定义宪法和模型规范是另一项工作。即使AI能完成所有技术工作，我们仍然需要做很多这类事情并决定我们真正想要什么。对齐（Alignment）是最终的工作，也是对齐本身就是答案的一部分。
但对齐本身可以分解为目标规范（即弄清楚正确的目标应该是什么）以及实际实现或优化你定义的目标。我认为前者不会很快消失。如果我思考后训练团队（post-training team）以及为什么需要很多人，仅仅是因为有很多不同的领域你需要弄清楚模型应该如何表现。自动化整个过程将非常困难，仅仅因为必须有人思考模型在这个领域的行为方式。
Jane Street于2025年初开始使用Antithesis来测试其软件，团队对该产品印象深刻，决定投资公司。我最近采访了共同领导Jane Street技术团队的Ron Minsky，询问Antithesis如何接入系统。我认为Antithesis最令人印象深刻的一点是，我们开始在一个构建高保障软件并非常谨慎的团队中使用它。尽管如此，它还是能挖掘出原本很难发现的bug。这很重要，因为它不仅有助于使这些系统更可靠，还有助于构建它们的团队加快进度。随着代码生产日益自动化这一点变得越来越重要。
我认为，一般来说，随着我们越来越多地使用智能体（agents），遇到的关键问题是验证瓶颈：即人们查看代码并确定这是否真的是你想接受到生产软件中的内容所花费的时间。使测试更好的工具在这方面非常有帮助。它们缓解了验证瓶颈，使你能够完成更多工作并加快进度，因为你可以更有信心地认为智能体生成的代码没有引入新问题。要了解Antithesis如何融入你的开发流程，请访问antithesis.com/dwarkesh。
为什么模型提供商之间没有巨大的整合？这里有很多指向集中化的因素。如果退后一步，纵观多年时间，有什么东西会阻止这种情况吗？我认为蒸馏（distillation）是主要对抗集中化力量的因素。基本上，任何可以通过强化学习（RL）学到的东西都可以很容易地蒸馏出来，因为它是少量的比特。这是你可以从少量数据中学到的东西。如果你能从模型中获得显示某种行为的轨迹，你就可以很容易地将其蒸馏出来。我认为蒸馏是抵抗集中化的因素之一。
还有一种可能性是公司特定的模型，即可以从部署中学习并使公司不断改进其自身模型。这样的系统可以由当前的寡头模型提供商或其他目前较小的公司提供。但这会改变游戏规则一点。我还要指出，说实话，持续学习并不会阻止蒸馏。即使你的模型每天都在改进，人们也可以每天对其进行蒸馏。循环可以以相同的速度运行。这说得通。所以复制模型行为……我想你需要知道正确的提示分布是什么，以便获得相关的模型行为？
是的。对于仅使用监督学习进行蒸馏来说，提示分布极其重要。即使你完全访问模型并拥有思维链（chain of thought）等一切，蒸馏一个模型也是非常非平凡的。从其中蒸馏出所有有用的能力是非平凡的，因为你需要用某些东西提示模型。你需要用真实的提示来提示它。你需要拥有非常广泛的真实提示分布。
最近涌现出的一种情况是，一些中国公司可能正在使用这些路由服务。这些服务的目的是允许中国用户使用美国的顶级模型，否则它们在中国会被屏蔽。存在各种各样的路由或代理服务器，允许中国用户使用这些模型，主要用于编程目的。而这些路由服务正在收集并出售部分数据。这对于蒸馏来说是一个非常有用的数据集，因为它提供了完美的提示分布。我认为这是AI能发挥巨大作用的地方之一。如果你仔细查看顶级流水线，或者他们论文中实际发布的中国模型，你会发现它们从某处获取种子提示词，这是人类和此类数据的某种组合。
然后他们利用现有模型或其他顶级模型，从这些种子提示词中合成出广泛的覆盖范围。你可以自动化大量收集这种提示分布和创建环境的工作。随着模型变得更好，人类需要提供的信息越来越少。但这似乎仍然受限于拥有一个有用户通过的服务这一瓶颈。并非如此，这显然很有帮助，但从理论上讲，你可以仅仅思考用户想要什么。但关键在于用户会说：“给我做一个像这样的应用。”“哦，那没起作用。我实际上想让你做这个新功能。”但实际上，“让我们退一步，做别的事情吧”。捕捉整个交互过程才是关键。
或者在你可以做到这一点的范围内，那就只是递归自我改进（RSI）。最终，如果你有一个完全自动化的循环，那基本上就是RSI。AI决定数据，它决定训练过程。这就是那个循环。但这取决于你需要多少人类信息。在某些时候，如果你只是说：“我想要看起来像这样的轨迹”，你就把这个提示给模型。模型将能够产生一个相当好的近似值。但如果你想做的是：“给我做一个非常好的政治家”，然后它必须从头开始预测参议院大厅里的讨论会如何进行，或者类似的事情呢？
我觉得会有很多情况——讽刺的是，这对蒸馏者来说实际上比顶级实验室更容易。蒸馏者的想法很简单：“我想要一个好的政治家。”他们去问顶级模型。顶级模型已经知道如何成为一个好政治家，所以它只是生成这些轨迹。而如果你实际上想构建第一个能做到这一点模型，你必须以某种方式获取关于政治家日常行为的数据并建立它。实际上，“我想要类似这样的东西”，然后让AI产生十亿种变体，这比一开始就真正创建像这样的东西要容易得多。
我认为基于这一观察——即中国实验室拥有这些路由数据，你可以做出一个非常具体的预测。最初引发这一切的是我在说：“Sonnet 5和Opus 5几乎客观上比GLM-5.3和Kimi K3更差的模型，这难道不奇怪吗？尽管它们不仅获得了蒸馏的机会，还从Mythos那里获得了逻辑输出蒸馏。”反驳意见是提示分布真的非常重要。你需要看到用户正在做什么，以便将这些行为等内容蒸馏进来。我认为由此得出的预测是顶级实验室在强化学习环境方面并不一定拥有优势，或者几乎没有优势。
是的，用户分布对于一般行为等很重要，但衡量能力最好的指标是你自己在顶级水平上创建的非常、非常难的强化学习环境。如果你像Anthropic那样能够访问这些强化学习环境，并且拥有逻辑输出蒸馏的能力，但仍然做出了更差的模型，那么也许——现实世界的部署比环境更重要。这真的很有趣。但他们必须在Fable或顶级模型中首先激励这些能力的发展。所以奇怪的是，他们不能用较小的模型再次激励它们。
也许我们只是处于这种奇怪的“恐怖谷”中，试图过多地复制那个顶级模型，师生差距whatever it is 太大了。人们曾就Opus提出过这一点。Opus 4.6和Opus 5之间的区别在于，Opus 5真的感觉像是有一个AI作为裁判在检查它所做的每一件事。这就是为什么它使用了这么多token。它试图思考所有这些事物，但它不一定具有Fable那种大模型的“气味”，不知道何时停止这样做，或者哪条路径是好的。这种能力超过了它的掌控范围。
我会提出一个稍微不同的假设。我认为你可以创建的环境有几个不同的维度。一个是难度，另一个是真实性。相对容易创造出许多涉及更复杂任务或需要更多聪明的困难环境。你可以说这是“基准最大化”分布，因为许多最突出的基准测试只是涉及做一些非常难的类似谜题的任务，而且很容易验证。然后是真实性维度，你希望模型在真实的编码代理设置中表现出色，那里有与人类的多轮来回互动以及多个目标。
首次塑造模型行为的实验室需要在两个方向上推动。为了获得良好的模型行为，你需要在真实性维度上进行真正的推进，并使用评分标准或某种人类反馈来告知你在那里使用的奖励函数。但是如果你尝试天真地进行蒸馏，最终只是在基准最大化分布上匹配老师模型。如果没有足够多的在这些更棘手的真实设置中真正锻炼能力的环��，你就无法将这些能力转移到你的学生模型中。
我认为正在发生的一件事可能是大模型能够从棘手的狭窄任务更好地泛化到这些更真实的任务中。如果你有一个非常好的用于蒸馏的真实提示分布，你可以很好地匹配大模型。但是如果你只有这种容易验证的任务分布，那么你可以在所有基准测试中匹配大模型，但在更广泛的分布上表现较差。这甚至可能解释Anthropic较小模型（如Sonnet 5）的一些情况，尽管很难准确预测他们对这些模型进行后训练的具体操作。
也可能是他们总是改变他们的后训练堆栈，并且在某些模型中只是搞错了几件事。我不知道……他们把某个参数调得太高，创造了一些人们非常不喜欢的怪癖。
在某种程度上，后训练过程很容易出错，而这些错误往往不会体现在基准测试中。还有一个非常基础的观点是：前沿AI实验室都从大型数据公司购买所有训练数据。中国也可以直接从这些数据公司购买相同的数据，而且他们确实正在这么做。虽然这让一些人感到恼火，但如果对手拥有完全相同的训练数据并能够获取它，他们同样可以进行知识蒸馏。这意味着保持竞争力其实相当容易。
我还有一个问题：那些具备自动化AI研发能力的模型究竟将如何训练？目前有一个玩具版本的设想，正如Ryan之前提到的：让GPT-8尝试构建规模相当于GPT-3但在内循环挑战中表现极佳的模型，例如在需要持续学习的电子游戏中获胜，或者以最小的计算量达到特定的损失值等。但John，我认为你曾提出过一个有趣的观点：也许在实际操作中情况并非如此。因此我很好奇，当AI真正具备自动化研发能力时，它们大概是如何训练的？
我们可能会结合人类反馈学习以吸收研究人员的偏好与品味，并创建大量涉及多步研究项目的练习环境。在实践中，人们可能会结合这两种方法，并在每次迭代中修补上一轮中最明显的问题。研究人员将大量使用AI并注意到其存在某些一致的弱点，这些缺陷要么通过收集人类反馈来修补，要么通过创建特定环境来解决。
思考这一过程的一个有用视角是：我们需要回溯多少历史谱系，然后从那里开始让模型进行自我对弈。在极限情况下，你想象的是只给它们一块GPU和一些神经网络结构，然后说：“好吧，想办法训练出一个能完成这些特定任务的模型。”而目前的做法是：我们停留在谱系的最前沿，指出Anthropic在过去几个月里在训练栈中发现的Bug，并将这些转化为练习环境。
你需要在前沿进行训练并不断提升水平，因此你显然锁定了谱系中所有的历史积累。但你也可以想象这样一个世界：我们回溯到GRPO（分组相对策略优化）出现之前的阶段，创建旨在让模型自主发现RL最佳形式的环境；然后进一步回溯……但我认为，由于算力瓶颈依然严重，人们仍将停留在前沿，本质上是将自上一模型版本以来发现的Bug和改进措施进行差异对比，并将其转化为训练环境。
这也非常有利于在模型代际之间产生非陈旧的新数据。再次强调，这基本上是在AI实验室内部进行的持续学习：通过环境和RLHF（基于人类反馈的强化学习）等手段，将过去三个月AI研究的进展蒸馏回模型本身。这确实是一种“蒸馏”过程，这也可能是为什么我们有些人觉得进步是渐近式的——你总是在试图吸收过去三个月的进展。
当然，这些进展是由AI贡献的，但人类仍然在循环中发挥作用。这让人感觉你只是不断地、缓慢地接近人类研究人员所发现并能够做到的水平。不过我要说的是，如果你仅仅是在蒸馏轨迹数据，那么模型永远无法超越人类的表现。但环境可以极大地拓展这一界限：设计一个人类无法解决但对AI来说可解的环境是非常容易的。这将是超越单纯依靠人类AI研究的路径。
关于RSI（递归自我改进），你是否有具体的训练集例子？比如“NanoChat速通”，但比人类速通玩家更快。我觉得在AI研究领域，定义目标非常容易。你可以设定损失值需要达到1.3或类似数值，而目前没有任何人类能达到这一指标。这是一个极其可衡量、可验证的任务。如果AI做到了，那就太好了；或者构建一个能击败《我的世界》的1亿参数模型。
也许这太简单了，不如去打败一个更复杂的游戏或类似的东西。难道1亿参数的模型就能击败《我的世界》了吗？我们竟然还觉得这太简单了？想象一下五年前你说这话的情景。不过我认为，很多研究并不完全像这样在定义明确的目标上进行“爬山”式优化。更多时候是这样的：我们对模型应该如何变得更好有一种直觉，同时也有一些看似能朝这个方向前进的算法构想。
于是我们设计一个任务来展示这种方法是否展现出“生命力”，看看是否能观察到这些迹象。如果观察到了，我们就可以构建越来越逼真的任务版本。这种研究更多地受直觉引导：内循环的目标是验证该直觉，而不是由测试本身直接产生洞察。没错，你并不是直接优化最终关心的目标或实际的生产级指标，而是稍微放宽了要求。
你说：“让我们在真实性维度上稍作放松，找到一些真正有效的方法，然后在方法成熟后再尝试回归真实场景。”此外，还有一些研究更侧重于解释现象和发展理论。在机器学习中，我们往往缺乏具有高度预测性的数学理论，但我们有很多关于正在发生什么的非正式理论。
显然，模型将在所有这些任务的组合上进行训练。有些任务将非常容易验证；另一些则可能采用“LLM即裁判”的方式，或者直接询问人类：“这看起来合理吗？”我们希望这些能力都能泛化到那些更难、更模糊的任务中。这在一定程度上肯定会发生，但是否能泛化得足够好，使得整个循环在没有人类参与的情况下也能自我封闭，目前尚不清楚。
让我们退一步看。在我看来，未来AI研究的计划大致如下：请告诉我你是否认为这会奏效或是否同意这种描述。我们的赌注是，我们将在数百万个多样化的环境中、跨越数百种不同的领域扩展RLVR（基于验证的强化学习）训练。最终涌现出的将是一个掌握了基本技能的智能体——或者说，是比基本技能稍弱一些的能力：如持久性、对信息和上下文的筛选能力，以及最终与其他智能体协作的端到端优化等。
这样的智能体在上下文环境中将具有极高的样本效率——你曾研究过如何将上下文学习扩展到任意长度并不断扩展它。而最终从另一端涌现出的……
最终结果将类似于一个远程工作人员，在一周或一个月的时间内基本发挥作用。首先，你是否同意这是实验室正在押注的方向？其次，这足够了吗？基本上是在数据中心内的模拟环境中学习如何学习，然后部署到现实世界中，但实际上并不从真实世界的部署中学习……只是从数据中心模拟环境中学习这些元技能。我认为现在很难区分出实验室的努力有多少是直接用于递归自我改进（RSI），还是用于打造通用智能模型，以便他们继续部署以收集收入来资助下一次大型训练运行。对于后者来说，是的，那可能正是他们押注的方向。过去几年中这些环境的发展轨迹非常清晰。Anthropic 的环境谱系就是一个很好的例子。首先，我们专注于编码，并在这方面变得非常非常出色。然后，从我们在编码任务中获得的视野——这在互联网上创建环境的数据方面可能是最容易获取的果实，以及他们可以将内部资源转化为环境的材料——接下来我们将实现通用化。
我们要进军金融领域，在强化学习训练中处理大量的 Excel 数据等类似内容。然后是 PowerPoint 演示文稿。这是工作经济学的长尾部分。这似乎非常奏效。许多其他实验室，包括开源实验室，现在都意识到这是正确的赌注。但这意味着什么？当我在播客中采访 Dario 时，我问他的问题是：如果你真的期望模型具备像人类一样在工作中学习的能力，为什么还要试图将所有与处理 PowerPoint 等工作相关的技能内置进去？难道你不期望模型在部署时能够自行掌握这些吗？这里有多种不同的解释。一种是我们预计模型很快就能达到这一水平，但尚未实现，所以为什么不将这些技能分摊到模型训练中呢？另一种是我们并不专注于让它成为广泛部署的工作专家。我们只希望它在递归自我改进方面非常出色。这只是为了让我们获得收入，以便将其重新投入到一个真正擅长进行 RSI 开发的模型中。
一旦奇点到来，最终产生的东西将在所有看似阻碍当前一代模型发展的瓶颈方面表现出色。约翰，我不知道你对如何解释为什么在这些模型中存在如此多的特定任务知识有什么看法，如果路径是这种通用化的话。如果模型足够擅长上下文学习，那么理论上你就不需要训练它们处理金融知识了。它们只需即时阅读所有书籍并弄清楚如何在适当的司法管辖区完成一切工作。你可以争辩说，需要进行大量的领域特定训练只是为了让它们更高效。即使它们足够聪明可以即时解决这个问题，你可能仍然希望通过大量强化学习将所有这些直觉植入权重中，从而使模型在运行时更高效。在实践中，似乎模型提供商正逐领域推进，试图在高价值领域中加强模型能力。我认为这是解释模型为何变得如此出色的原因之一。
这仅仅是因为模型提供商已经覆盖了大量的高价值领域和最常见类型的技能。另一件事是同时进行这两项工作并不昂贵。模型规模庞大，从参数角度来看，它们完全可以负担得起学习一切的成本。可能存在某种迁移效应。即使金融知识不是特定于 RSI 的，这些信息对 RSI 也很重要。关于如何确定重要性、拥有品味以及进行长周期工作的通用元学习可能是可迁移的。此外，世界上 RSI 数据并不多。生成这些数据很难且需要大量努力。因此，如果你能分摊使用其他数据，你就能从中获得一定的迁移效果。你已经拥有大量的算力和参数空间，那么为什么不也这样做呢？当然，还有显而易见的商业意图：销售模型。我还要补充一点，关于当前进行模拟到现实（sim-to-real）的范式是否会永远成为主导的问题。
看看现实世界的任务是什么样的，然后尝试创建一堆可以在数据中心模拟的环境，并在这些环境中进行强化学习。显然，这非常成功。但它有很多弱点，因为很多事情很难模拟，特别是如果涉及与许多人类实时互动的情况。因此，有人质疑 sim-to-real 是否会永远成为主导框架。我认为在样本效率较低时，sim-to-real 必须是主导框架，因为目前你需要成千上万次与人类的互动。没有人会坐在那里参与强化学习训练的循环中。所以我们现在必须模拟这种情况以获得所需的样本量。但显然，如果样本效率大大提高，你预计从部署中学习将成为其中更大的一部分。不过还有其他你可以做的事情。
你可以进行离线学习，所以你可以获取所有轨迹数据，即使不重新模拟所有内容，你也可以从中潜在地学到一些东西。Jane Street 刚刚推出了一项新竞赛，这是他们迄今为止最雄心勃勃的一项：设计一个协议模拟器 ASIC。基本上，如果你有一个想要测试的芯片，你可以将其连接到这个 ASIC 上，ASIC 将模拟逼真的流量。这样你就可以在不将芯片插入实时系统的情况下看到它的响应情况。Jane Street 正在寻找灵活、通用的设计，而不是单一协议的模拟器。当我与他们交谈时，他们建议我从尝试实现三种非常常见的协议开始：UART、SPI 和 I²C。Jane Street 还提到，他们希望更雄心勃勃的设计能够解决低速 USB、以太网以及任何能发挥芯片特定架构优势的协议。重要的是，你的设计应该是可重编程的，而不是将一堆特定的协议直接固化到芯片上。
如果在你的 ASIC 流片后出现了新协议，你的芯片仍然需要能够处理它。具体如何实现由你决定。但有一个硬性约束：你的设计必须针对开源 130 纳米工艺节点。这是因为 Jane Street 将支付费用来流片最……
新颖的投稿并将实体副本寄给获奖者。比赛开放至2027年1月18日，强烈鼓励团队合作。请访问janestreet.com/dwarkesh下载模板代码并着手开始。我想就此多问一些，因为令人费解的是，有50%的计算资源被用于推理过程，而这些并未直接帮助模型变得更好。数字智能最终应具备的关键优势之一是：与仅拥有50年现实经验的人类不同，模型将通过其所有实例体验数百万年的部署时间，涵盖经济中各种与经济相关的工作。目前，这些数据在某种意义上并未帮助模型变得更好。这看起来显而易见，即最终模型应能从这些数据进行学习。
一旦它们做到这一点，你将拥有某种几乎像是广泛部署的智能爆炸的事物，因为模型正在吸收所有已部署实例中的大量信息。你预计这种蜂巢思维般的疯狂现象何时开始发生？我认为从非常基础的层面来看，这已经在发生了……就在下一代模型中。目前，你显然可以将部署数据放入未来模型的预训练或中期训练中，特别是如果你对该数据进行某种过滤、判断、标注或合成。你认为这在多大程度上解释了代际间的改进？我认为这解释了不少原因。
我不知道实验室是否这样做，因为理论上他们声称不使用人们的数据进行训练。但中国人100%会这么做。他们肯定获得了这一优势。这基本上就是蒸馏的过程。他们获取模型，通过探测模型获得一部分部署数据，然后在其上训练下一代模型。当然也可以在他们自己的模型上进行此操作。完全没有理由不这样做。我完全同意这一点。如果看得足够远，这肯定正在发生。
我们所有人所构想的持续学习的圣杯，是个体模型获得经验并即时更新、从中学习的那种非常有机的实时循环。但当你深入到这种粒度级别时，很多事情都会出错。然而大型实验室正在这样做。闭源模型也在这样做。此外，也有早期迹象表明人们在使用开源模型以更快速度进行此类操作。一个很好的例子可能是Composer。Harvey也在法律代理方面做着同样的事情。你拥有某种模型，并从为该特定任务拥有的数据中获取非常具体的环境信息，以及用户抱怨的内容和你从具体部署中提取的所有反馈。
许多这类公司相比大型实验室拥有优势，因为它们能极好地利用这些数据。然后它们会创建环境。它们会对Kimi K3进行大规模后训练，随后部署它。可能还会像Composer之前那样做一些在线学习……基本上就是长时间的REINFORCE算法。仍然有人在循环中参与，仍有人会说：“好吧，这些是我们关心的信号。”“我们将如何从我们拥有的数据中创建环境。”这仍然比你想象的要慢一些，但它确实在发生。最终这个循环会变得越来越快。
Composer的事情很有趣，因为在Cursor中，人们按下Tab键或者不按模型建议的下一个补全。基于此，Composer每天都变得更擅长预测下一步——那是旧的Tab模式。他们实际上不仅对Tab模型做了同样的事情，还对实际的生成模型也这样做了。哦，我明白了。很有趣。这很难，因为当你进行在线强化学习时，你没有群体数据。你只有一个用户说一句话，然后得到一次 rollout（展开）。所以你面临巨大的方差减少问题。Cursor对此的模糊回答是：“我们有很好的启发式方法，能够估计该响应比平均水平好多少或差多少。”然后他们会进行大规模的REINFORCE更新。
他们解决是否变差的方案是：如果在CursorBench上有所改进，每五小时部署新模型；如果没有改进，则丢弃该版本。我认为你最大的问题其实只是不知道自然数据的奖励函数应该是什么。如果你使用某种表面信号，比如他们是否接受了编辑，这可能会以某种方式导致奖励黑客行为。但这难道不是模拟到现实（sim-to-real）更大的问题吗？任务的时间跨度越长，在数据中心内就越难模拟。在我看来，即使在编码领域，我们也已经到达这样一个阶段：不存在不需要最终与客户交谈、与公司互动或与用户互动的为期一年的编码任务。
如果你思考我们希望AI具备能力的各种事物，最终超级智能应能经营一家企业、创办新企业并使其盈利，或在市场上进行盈利的日内交易，或赢得一场法庭诉讼。这些都是很难在数据中心内模拟的事情。其中的学习部分必然涉及与现实世界的互动。也许他们通过从模拟到现实的转移来学会更好地处理这些事情。或者，相反地，你可能需要来自这些交互的权重更新才能在这些方面变得更好。如果是这种情况——如果转移不够强大，且确实需要权重更新——那么模型样本效率低下的事实可能是一个更深层的问题。
我对此好奇的原因是，默认情况下，我看不到如何在未来10年内不发生某种疯狂的递归自我改进。但可能不会发生的一个原因是，就权重更新的样本效率而言，模型似乎远远落后于人类。在从出生到成年一个人看到的数据量与模型从零开始训练完成所看到的数据量相比，人类可能领先百万倍。总而言之，首先，模拟与AI在现实世界中需要做的极其长周期、真正复杂的现实事务之间是否存在良好的转移？如果没有，这是否意味着这些模型样本效率低下的问题会真正困扰我们？也许我应该这样分解这个问题：
区分模型擅长和不擅长的两类任务的关键，在于该任务是累积性的，还是处于非平稳分布中——即你需要不断学习并重新评估大量信息。递归自我改进（RSI）就是一个累积性任务的例子。理论上，存在一个少于百万令牌的 Python 文件，能从零开始训练出一个具备递归自我改进能力的模型。你发现的每一个突破都是一条不可逾越的底线。如果 RSI 确实不需要发现新的注意力变体或其他新架构，那么一旦你发现了注意力机制、混合专家模型（MoE）以及 GRPO 算法，只需将它们加入训练栈即可。
一个很好的例子是 Solana、Terra 或 OpenAI 声称训练的某个模型，它们无需回头重新发现注意力机制。它基本上只需调用一些脚本（如 pre-training.sh 和 post-training.sh）即可完成训练，这就是累积性任务。我认为现实世界——这也是人们如此关注持续学习的原因——并非真正的累积性任务。想象一下律所中担任法律助理的 AI 代理，这是一个典型的非平稳分布场景。你必须将公司内所有重要人物之间的关系变化纳入上下文，同时掌握做事的隐性规则、信息查找方式等。
与 RSI 相比，这并非那么纯粹的累积性任务示例。我认为未来会出现这种任务类型的分化。但如果实验室意识到 RSI 是累积性的（即无需回头发现全新架构），那么更多的精力和算力可能会集中在 RSI 上，而非其他任务。遗憾的是，RSI 竟然比担任法律助理更容易实现。
我认为当今的模型在许多方面仍弱于人类，其中一些差异可能与特定模式下的样本效率有关。在某些模式下，模型具有极高的样本效率（如上下文学习），但在中等长度序列的模式下，它们的样本效率较低。这是因为人类能以比模型更高效的方式进行权重更新。我认为在某些模式下样本效率较低，可能是模型的弱点来源之一。但还有其他与样本效率完全不同的弱点。
例如，思维多样性低于人类，或在某些长周期判断任务中表现不佳。我认为人们常说的“品味”（Taste），是指那些在长期运行中行得通的行为模式，是人类经过验证认为有效的。这并非全部品味，而是其中某些方面。特别是在软件工程领域，“品味”往往意味着构建那些在该项目长期发展中具有可维护性且运行良好的系统。
模型的多种弱点限制了递归自我改进（RSI）及其他能力的发展，其中一些与样本效率有关，另一些则无关。这里有一个有趣的思维实验：假设你能为模型提供一个万亿令牌的上下文窗口，足以容纳其在强化学习人类反馈（RLHF）之前的所有经验。如果它拥有所有这些经验，且样本效率和上下文学习能力与百万令牌时相同，你认为“品味”问题就解决了吗？它能做出与你相同的判断吗？
还是说，除了拥有相同样本效率的更长上下文窗口外，还缺少某些根本性的东西？它必须经过训练才能从该上下文中学习。要么需要训练模型从中做出正确的更新，要么需要具备泛化能力。所以你认为不能简单地将你的一生或研究经验全部倒入其中？即使理论上能获取万亿上下文，仍需同等长度的数据来训练它。目前只有 10k 上下文时，你不能直接倒入百万条信息。
我只是假设你拥有那样做的情境。理论上我认为可以，但这归根结底取决于“品味”能否从较短周期的片段中通过元学习获得。我觉得没有明显理由表明它需要极长的周期，因为人类在缺乏大量长周期的情况下也发展出了品味。我们活不到一万年，但能迅速形成判断力。
以博士生为例，一年级学生与最终年学生或博士后之间可能只有五年的差距，他们总共只完成了大约 10-30 个研究项目。然而，通过相对较短的一系列小任务积累，他们迅速形成了品味。理论上 AI 可以通过这种方式发展出品味，且显然它将拥有更丰富的经验来进行元学习。问题在于这种能力能多好地泛化到真正的长周期任务中，这目前仍未解决。
我们尚不清楚这一点。回到这个问题，最终应该会出现一个阶段：AI 能从每次部署实例中学习大量内容。目前可以说存在一种模糊的元过程，使模型从部署中改进，但我认为这是一种非常弱的反馈回路。你是否预见这种蜂巢式学习会在近期出现？如果会，具体是如何实现的？
我认为我们是否能获得从所有部署经验中学习的蜂巢智能，很大程度上取决于激励机制，而非技术问题。公司不希望模型提供商从其所有部署中学习，因为这可能会削弱其业务优势。我认为经济压力将推动的不是向单一大型共享模型进行权重更新，而是采用可替换的模块。
一个明显的例子是 LoRA（低秩适应），但也可能是其他形式。目前有很多工作试图将任意上下文长度适配到固定大小，例如线性注意力机制；还有“卡带”（Cartridges），本质上是经过训练以极度压缩的 KV 缓存，以便容纳大量信息。这也是公司可能愿意采用的方案之一，如果它被插入模型中且不改变基础底层模型本身。
从实时数据中学习有许多不同版本，上述后者并不真正涉及……
帮助大型实验室，因为它们只是这些模块。但我认为经济压力会迫使实验室先走上那条路，然后才能踏上这条……哪方面的经济压力？我觉得即使你有一堆卡带或LoRA或其他东西，你还是可以把所有这些轨迹数据全部倾倒进下一代模型的预训练中。是的。这可能是大型实验室获得的一种更间接的学习形式。这显然对他们来说仍然非常有价值。但我无法想象这样一个世界：我们从一开始就打算“我们将直接在一个大模型上训练我们获得的所有确切数据”。不，我认为肯定会经历阶段性的过程，因为这是在假设存在一个突然发生的非连续性事件，我们持续地修复权重更新。
在实践中，我认为更有可能的情况是卡带等东西允许你在部署中专业化。然后你生成轨迹数据，将其放入你的模型中，三个月后你会得到一个在这方面表现更好的新模型。你再次对其进行专业化处理，然后进行整合，最终我们会让这一飞跃变得越来越快。原本每三个月发布一个模型，现在变成每周、每天，甚至每小时，到那时我们基本上就解决了这个问题。这也是一个好观点，因为你问了我们距离能够这样做还有多远。我们对此进行了一些研究，人们也做了很多研究。在非常大的规模上，当你洗掉足够的噪声并且拥有足够大的批次时这种将数据放入中期训练并创建我们自己的环境的外循环过程，在某种持续学习机制中是有效的。
但问题是，当你足够近距离地观察微观层面时——我有一个模型，我正试图再次为律师事务所更新它，并且我正在尝试用相对少量的数据非常持续地这样做——所有的方法都稍微失效了。如果我对模型仅基于成功的轨迹进行监督微调（SFT），无论是离策略还是在线策略，最终在非常迭代的机制中，当你进行数百次这种微观更新时，你会看到灾难性遗忘。你会忘记在基础模型上更早学到的先前信息，并且你还会看到通用能力的退化。在线策略蒸馏似乎将这一界限推远了一点，但它最终仍然屈服于同样的问题。强化学习（RL）在获取能力方面很好，但在获取知识方面并不那么好，这种非常显式的知识：“啊，好的，这个人在这家律师事务所这样做，这是一个我们发现的具体流程。”你必须投入大量的计算资源来创建合适的环境，以便通过强化学习获取这些知识。
你认为这里的基本问题——为什么你在其他技能上表现变差或出现遗忘——根本上是容量问题还是技术问题？两者都有。我认为监督微调和甚至在线策略蒸馏可能过于具有破坏性。强化学习之所以好，是因为它只改变了模型非常小的一部分。有很多证据支持这一点。它只是在这个非常小的损失山谷中进行微调，以使其进入正确的点。但这同时也限制了你能用强化学习做什么，以及你实际上能改变模型多少。所以你是说这之所以不是赢家通吃的原因可能是很难将那么多信息蒸馏到基础模型中？而不破坏任何东西，以迭代的方式。很容易将其蒸馏到不同的基础模型中。我认为这主要是技术问题。肯定不是因为缺乏容量。如果你有一个包含所有这些数据的模型，然后拿一个大小完全相同的模型并用中期训练中的所有东西从头开始预训练，它会更好。
我认为这就是今天正在发生的很多事情。确实存在一个瓶颈阻止我们永远继续训练同一个模型，而不是从旧模型中获取所有数据并从头开始训练新模型。这正如查理所说：可塑性和灾难性遗忘的结合。如果你只是天真地在非平稳数据上训练，因为你一边添加新数据，这会扰乱数据分布，所以旧的东西就被遗忘了。我们还没有很好的方法来阻止这种情况发生。所以在极限情况下，你可能只是被用所有这些新信息重新训练模型所瓶颈了。是的，这当然非常昂贵。从头开始训练一个模型是很昂贵的。但你无论如何都会这样做。
不一定。也许最终，如果你有持续学习，你就永远不需要训练新模型。你只有一个模型，它不断学习和扩展。但可能有一些深层的技术原因使得这非常困难。这就是问题所在。我认为我们已经推迟了我们需要从头开始做多少工作。现在完全有可能获取预训练基础，并在其上非常良好地进行中期训练，可以说是连续的，再加上来自后期训练中不同检查点的某些强化学习。这看起来更像是持续学习，但肯定不是取最新的模型应用几个非常小的更新并且迭代地永不丢失任何东西。抱歉，我有点困惑，因为这难道不是训练过程中实际发生的事情吗？在后期训练中或类似的情况下，你有一个已经经过大量训练的模型，然后你将某个进一步进行强化学习的分支蒸馏出来。这难道不是实际发生的事情吗？
但我认为它仍然在足够大的规模上，你正在洗掉很多噪声，并且你没有只关注一个分布，正如贝伦所说，这是问题所在。如果你只是专注于一个任务——但在最终的机制中你会做……有数十亿个部署实例。你同时从所有它们那里学习，所以希望从中洗掉一些噪声。也许在那个规模下是的。正如查理所说，你绝对可以进行长期的持续中期训练，你可以回滚到检查点并给它新的中期训练数据。但同时，你不能无限期地这样做。如果你只是不断地永远训练同一个基础模型，它最终会在某处趋于平稳。你不能在那个基础上学习新东西。这就是人们最终以训练新基础模型结束的原因。否则，你只会永远对同一个基础进行中期训练。每当我完成一次采访录制时，我会立即将所有想法脑暴倾倒到Slack中——比如
最有趣的是，这能确保我的编辑拥有开始剪辑节目所需的所有背景信息。但这些脑暴笔记没有清晰的时间戳，而且我的未编辑录音长达数小时。仅为了找到我引用的确切时刻，就需要耗费大量的编辑时间。因此，我们决定尝试在聊天中添加一个 Grok Bot 制作人。现在，每当我的编辑发布一集节目的粗剪版时，Grok Bot 就会在其计算机上自动打开转录文本并开始工作，通常在我看到消息之前就已经开始了。
它会将我放入 Slack 的笔记提取出来，并在转录文本中高亮显示相关片段。它还使用了我整理的一份包含所有偏好的大型案例文件，因此它可以建议潜在的编辑方案。完成后，它会发送给我最顶尖的几个片段候选项，以便我通过手机审查所有内容。这效果非常好。能够发送非正式消息（就像我在给编辑发短信），然后让转录文本立即反映我的偏好，这真的非常有帮助。
不妨亲自试试 Grok Bot：访问 x.ai/bot 了解更多。现在让我们谈谈数据问题。我通常对这个问题感兴趣：AI 的进步在多大程度上仅仅由数据的进步来解释？这并不意味着自动化一定很难，但那是另一个单独的问题。是否存在某种数据分布，如果在当前架构上对其进行训练，会产生一种在所有领域都完全主导人类专家的超级智能？
我们讨论的是预训练加后训练数据，以及环境吗？我认为这种存在是显而易见的。问题只在于我们能否创造合适的环境以达到这一目标。在 trivial 的情况下，我们可以直接训练它输出那个用于训练实际超级智能的 Python 文件。只需将其记忆在权重中即可。是的，可能存在着一种强化学习环境阶梯，我们可以构建它，从而获得至少与人类研究人员一样好的 AI 研究员。
但攀爬每一级阶梯所需的努力呈指数级增长。这就是你需要权衡的两件事：我们要多快才能达到那个最终阶梯，在那里它变得更好？我认为这一点相当明确。我们在强化学习环境创建方面仍处于相对早期的阶段。为了创造好的环境，我们利用了许多不对称性。
其中一种我们已经讨论过的不对称性是：在某些环境中，向后走比向前走更容易。我的意思是，定义这种复杂的数据生成过程非常容易，而这个潜在变量是你向模型隐藏的。你可以生成任意复杂的环境，而模型必须花费大量不可约减的 token 消耗和不可约减的工作来弄清楚那个数据生成过程是什么。
在从现实世界注入信息方面也存在不对称性。Anthropic 通过数万名人类和 LLM（大型语言模型）的结合发现了一个 bug，并将其转化为一个非常整洁的环境。理论上，单个 LLM 可以在几百万个 token 内找到它。我们都在挑选这些不对称性，并寄希望于这种任务视界泛化能力。
但我认为它最终会遇到收益递减的情况，即在首先创造这些环境时的难度会出现收益递减。因为你不能仅仅依靠那些“向后走比向前走更容易”的过程。你实际上必须坐下来构建一些看起来具有足够长人类时间视界的东西，这将是一项非常复杂的任务。
此外，代理实际执行这些任务还将面临算力和时间的瓶颈。我认为你只会看到这条曲线逐渐平坦化。我看到过关于有人微调 Talkie 模型的消息，该模型仅训练至 1930 年的数据，却是在现代编码代理数据上进行微调的。它在 SWE-bench 上的表现优于 Claude 3 Opus。
因此，这个对代码一无所知的模型只需在适量数据上进行微调，就能表现得比这个大得多的预训练模型更好作为编码代理。这相当疯狂。它在某种程度上表明，一旦你有了正确专家行为的示例，将其复制到一个相对较弱的模型中其实出乎意料地容易。
但反例是最近的一篇论文，他们训练了一个达到五年级数学水平的模型，以及小学英文等，所以它是一个不错的语言模型。他们试图通过强化学习（RL）让它进行高中后期和大学的数学运算。差距太大了，它根本无法攀爬。但如果你采取逐年递进的方式……
比如先进行七年级数学，然后是八年级数学……以此类推，你显然可以攀爬到十二年级。再次强调，这仅仅是关于那些阶梯上的层级之间的距离是多少，以及创造它们有多难？这就回到了强化学习信号的问题。目前的强化学习在探索方面表现不佳。如果模型无法在一百二十八次 rollout 中获取信号，那么它获得进步信号的几率就非常小。
这就是为什么在强化学习中我们需要课程安排（curricula），而在预训练中不需要，因为这对预训练来说根本不是问题。再次强调，预训练数据与后训练数据是不同的。我想象随着我们的继续推进，人类参与的会越来越少，但这并不改变你受限于能从现实世界提取多少信号的事实。
世界上有很多信号，这是真的。人们在做电子表格任务、法律任务等等。但在模型当前所处的能力前沿上，世界上有多少比特实际上与提高模型的能力真正相关？有多少新的数学问题正在被解决，而这些问题的范围超出了当前模型的触及能力？
又有多少新的编码问题正在被创造或解决，且超出了当前模型的能力范围？我认为这就是收益递减开始起作用的原因。因为即使整个世界也没有提供那些有用的比特，回到这个话题的起点，这些比特对于将你推向下一个能力盆地至关重要。我完全同意这一点。这确实是一个关于信号来源的问题。
在预训练中，信号已经存在于 Common Crawl（公共网页爬取数据）中。对于你在预训练中所关心的任务，问题根本不是获取信号。而是过滤掉存在的所有噪音。这是一个相当自动化的过程。但随着模型变得更好，当我们进入中期训练和后训练阶段时，信号在我们现有的原始数据中根本不存在。
无论多少过滤都无法……
这其中的关键问题在于，我们不可能在 Common Crawl 的海量数据中通过简单过滤就能找到千禧年大奖难题的隐藏证明。在那种情况下，你必须以其他方式获取“比特”（即信息或信号），要么直接向人类索取，要求他们写出推理过程；要么是创建特定的环境，让人类决定应该生成什么样的环境以及这些环境的目标是什么；要么是对部署中存在的某种人类数据进行训练。总之，你必须从某个地方获取这些关键信息。
这就引出了一个关于预训练中数据驱动进步程度的问题。我和普林斯顿大学的学生 Jerry Han 做过一项调查，我们将自2019年至今的所有训练配方（recipes）与同期所有的数据集进行配对训练。例如，用最新的数据集如 Ultra-FineWeb 来训练 GPT-2；或者用 Pile 等旧数据集来训练最新的开源配方 Delphi。我们进行了完整的网格测试，观察在达到一定能力水平时，整个网格中所需的计算量减少了多少。
结果显示，数据似乎解释了约 12.0 倍的计算效率提升，而架构改进在极小规模下仅解释了约 3.7 倍的提升。如果这种趋势在大尺度上依然成立，即大部分预训练计算效率的提升来自更好的数据，那么这种情况还能持续多久？我们能否不断过滤更多数据并构建更多的合成数据？你对这种预训练进步的持续性有怎样的看法？
我的直觉是，低垂的果实（容易获取的收益）已经被部分摘完了。互联网作为一个巨大的数据块，其增长速度并不一定保持恒定，其中有用的内容增长也非同步。我们可能还有一些微小的损失率下降空间（如 0.1%），但肯定不像过去那样多。有趣的是，你会发现两者累积带来了33倍的改进。
我记得 Epoch 或其他人曾估计自2019年以来每年有3倍的增长，这意味着大约 $3^7$ 次方，即超过2000倍的改进。那么缺失的那100倍或其他倍数是从哪里来的？这很可能给出了一个很好的信号，表明有多少提升来自于后训练（post-training）。我认为解释在于大量的计算效率增益是依赖于规模的，而我们目前的研究规模极小。
这就提出了一个问题：数据带来的计算效率增益与算法/架构带来的计算效率增益，哪一个更依赖于规模？我不确定你是否对此有先验判断。我们之前因为计算资源不足，无法深入调查这个问题。从理论上粗略来看，架构的规模依赖性是比较已知的，你可以为其拟合一条直线。
然而，对于结合预训练、后训练和中训练数据的整体情况，我完全不知道该如何进行这样的分析。有趣的是，我觉得随着规模扩大，数据实际上变得更加重要。我感觉架构改进更像是一次性的事情。单纯说“提升了X%的效率”具有误导性，因为架构的作用是让你进入一个旧架构无法达到的全新质态。
在这个新质态内部，显然数据是决定性能的主要因素。但如果没有 GQA（分组查询注意力），如果我们整天都在做全注意力机制，处理百万级上下文将会昂贵得离谱。正因如此，我们永远无法使用那些真正具有百万级上下文的优质数据，也就无法获得相应的能力。
即使你只是天真地计算它在2K上下文下的表现（此时架构并未解锁新功能），数据看起来会比实际更重要。在我看来，这些东西并不是简单的乘法增益关系。那么你对数据的规模依赖性有何看法？
关于规模依赖性，我认为目前我们拥有的许多中训练和后训练数据实际上会随着模型规模的扩大而变得更有价值。因为其中很多内容——特别是长上下文视野和环境相关的数据——确实需要大模型才能有效利用。如果你尝试用只有1亿参数的模型在 SWE-bench 轨迹上进行训练，它不会取得任何进展。
它无法显示出如果你用真正合理规模的模型进行训练时所能获得的那种改进难度也很大，因为现在的许多架构修改——以 Kimi 或 DeepSeek 为例——不仅仅是为了降低预训练损失，还考虑了模型在现实世界中的使用方式。例如 DeepSeek 模型中某种形式的压缩注意力带来的推理效率，并不一定是为了根本性的权衡改进。
这仅仅是因为：“好吧，我们在考虑模型将如何被使用。”我有一个好奇的问题，为了理解未来：当我们进入更依赖强化学习（RL）的阶段时，参数规模将如何发展？你可以查看开源架构，看看参数增长有多快。对于前沿的开源模型来说，也许每年大约是2倍的增长。
考虑到即使是前沿闭源模型的活跃参数也只有100B或200B，你认为这种每年翻倍的趋势会持续下去吗？或者，既然我们现在进入了强化学习阶段，你也希望在 rollout（推理采样）过程中节省计算资源……此外，也许存在一个阈值效应：当你拥有足够的容量后，随意增加参数的重要性就不那么大了。
你们对2030年前沿模型的活跃参数量有多少感知？我认为在未来几年，因为我们如此专注于进行更长视野的强化学习 rollout（这对推理效率至关重要），感觉模型在实现这一目标的能力上尚未饱和。瓶颈仍然在于环境本身。因此我们可能会看到一段短暂的停滞期。
我有一种感觉，Mythos 和 GPT 模型的规模远小于人们谈论的10万亿参数范围。即使只是天真地将它们与开源模型进行比较，你也能推导出这个结论。因此，在未来几年里，我不认为参数量会有巨大的增长。但同样，这里有很多不同的权衡因素。
你根据预训练数据的大小以及需要训练的强化学习环境的难度来决定模型规模。理想情况下，你要找到一个最佳平衡点，以便在最困难的任务上获得不错的 pass@1 指标或其他评估结果。
你现有的环境决定了模型规模的上限。让更大的模型去适应这些环境是没有意义的，因为这会导致推理成本远超实际需求。因此，很大程度上取决于Mercor和内部团队能否快速提升他们训练所用的强化学习环境（RL environments）的复杂度。我预计模型规模会持续扩大，主要是因为人们正在增加算力投入且GPU性能不断提升。但具体能扩大多少，则取决于非显而易见方式下的缩放定律（scaling laws）。
我认为数据效率将成为比计算效率更重要的驱动力，这取决于人们采用的具体架构。随着我们进入高质量预训练数据稀缺的阶段，这一点尤为明显。这可能会影响你对模型稀疏度的设定。我也认为我们对稀疏性的理解还不够深入。参数和激活参数是不同的资源。虽然稀疏性确实有所增加，但尚不清楚它是否会无限增长，可能存在某种最佳平衡点。
有一种观点认为稀疏性会降低数据效率，因为你可能需要在多个专家网络中重复学习相同的内容，尽管这一点存在争议。我认为我们还没有建立起足够完善的缩放定律理论来真正理解稀疏性为何有效、能带来多大提升，以及它是否会在某个特定的稀疏度水平上达到瓶颈。抱歉，能否具体说明数据效率对参数规模的影响？听起来你似乎认为应该减少稀疏性。
那么这对参数缩放还有其他什么影响呢？简单来说，根据缩放定律，我们不再仅仅优化计算效率。你可以在架构上做出多种选择，每一种都会产生不同的缩放定律。传统做法是基于算力绘制性能包络线，即观察不同模型在相同计算量下的表现并取最优。但如果我们基于数据来做决策——假设算力充足，将数据作为横轴而非计算量——那么我们将得到一组不同的最优解或前沿模型。
此外，我认为过去几年中模型规模并非每年翻倍。训练万亿参数模型的尝试已经持续了好几年。甚至有一个名为Falcon的开源模型存在。Liam from Periodic Labs昨天在Twitter上发帖提到，他们早期的实验正在训练一个极其稀疏的万亿参数模型。OpenAI之前、Google曾推出的Switch Transformer也是类似做法，它在知识存储方面表现极佳，但在推理能力上却很差。
感觉我们在至少一段时间内一直在1000亿到2万亿参数的范围内探索，规模增长绝非简单的线性增加。我认为主要有两点：正如Charlie所说，推理效率对于强化学习（RL）的 rollout 过程至关重要。这将大幅降低激活参数的数量。而总参数量则很大程度上取决于硬件条件。
要实际服务多万亿参数模型，你需要极高的内存带宽和显存容量。目前人们仍大量使用H100等硬件。随着大家转向GB系列及未来的Vera Rubin芯片，我们将获得更强的扩展能力，从而能够在更大规模上进行大规模强化学习推理。关于数据的问题很有趣，因为直观上看，更大的模型在单个数据点上的样本效率更高。
即使未饱和模型容量，扩大规模通常仍更有利，因为大模型泛化能力更强，能在相同数据量下达到更低的损失。目前我认为我们拥有大量数据，这并非约束条件，算力才是瓶颈。因此我们现在使用推理效率极高的小模型。但如果算力不再是瓶颈，我们可能会回归到那些未饱和但具备强大泛化能力的大模型。
如果仅看基本的Chinchilla缩放定律并最大化参数，实际上所需的数据量减少幅度很小。如果将参数量推向无穷大，由于幂律的性质，所需数据量的下降不会超过10倍。但我们现在处于Chinchilla定律中“数据过多”的一侧，目前我们根据该定律对模型进行了过度训练。
因此，随着高质量数据的耗尽，我们很容易回到Chinchilla最优配置点，甚至偏向于欠训练模型的一侧。然而，考虑到新芯片陆续上线，未来几年我们可能仍会严重受限于算力瓶颈，这种情况未必会发生。这取决于训练算力和推理算力的比例。如果你严重受限于数据而非算力，就应该扩大模型规模；如果严重受限于算力，则应缩小模型。
此外还可以使用计算机生成的合成数据，这使得预测变得非常困难。我认为人们花了很长时间才弄清楚缩放定律的原因之一是：如果这些要素没有全部做好，就无法得到如此清晰的关系。图表上漂亮的直线掩盖了确保正确缩放每个超参数、以可扩展方式参数化优化器以及在不改变模型大小时无需调整超参数的复杂性。
Bug也有其自身的清晰缩放定律。例如Kaplan忘记了余弦退火机制，或者甚至没有考虑嵌入参数（embedding parameters），我认为这导致对小模型的估计出现了偏差，因为嵌入参数量占模型总参数相当大比例。再谈谈强化学习（RL）。一年前，许多人认为RL在模型扩展方面不会取得巨大成功。John曾发表研究论文指出，当你进行强化学习时，模型每集只学到一位信息。
他们学到的只是“答案是对还是错”。今年早些时候我写了一些博客文章指出情况甚至更糟：当通过率很低且模型极不可能答对时，从一次RL回合中几乎学不到任何东西。但我观察今天的模型，它们似乎相当聪明。这似乎是扩大强化学习规模的结果。
你几周前发过一篇帖子，试图解释正在发生的事情。为什么强化学习（RL）比人们直觉认为的更成功？我认为，强化学习的成功归结为几件不同的事情。首先，人们稍微低估的是中期训练（mid-training）。我们所看到的强化学习的许多成功，实际上来自于非常、非常好的中期训练数据。这本质上是在合成推理数据和那些为强化学习预热模型的环境上进行预训练。这使得模型通常能完成通往最终强化学习检查点约 80% 的路程。
然后，在此基础上，强化学习所做的本质上是调整策略（tweaking the policy）。这也是为什么它不需要像你直觉认为的那样多的比特数。它不必从头开始学习所有这些行为。它只需要从这些片段中获得少量的关键信息，而这些是你确实能获得的。我在博客中提到的另一件事是，与常规预训练相比，这些关键信息的信号强度极高。这就是为什么你需要使用强化学习，而不是仅仅对成功的推理轨迹进行监督微调（SFT）。
因为那些关键信息正是关于如何得出正确答案的。这里有两点原因。第一，它确实是关于如何得出正确答案的关键信息。但这并不完全像你想象的那样简单，因为在监督微调中，你拥有整个推理轨迹。例如，你说有一堆数学推理过程以及最后的答案。关键信息仍然在那里，你确实对答案标记进行了监督微调。
重要的是，目标函数忽略了所有其他信息。在监督微调中，你必须试图匹配模型产生的确切推理标记。你实际上获得了太多关于你所训练的那个其他模型的精确推理方式的信息。而对于强化学习，你只获得那一个关键信息位。这意味着该信号不会被模型拥有的所有其他噪声淹没。
这在训练期间极大地提高了信噪比，这就是为什么强化学习在步骤效率上如此显著的原因。关于强化学习与中期训练或监督微调对模型的影响，一直存在大量争论。每个人都谈论 pass@1 会上升，但 pass@256 会下降。非常罕见的正确推理轨迹会被降权，并被来自更容易推理轨迹的梯度信号所超越。
我认为看待强化学习的简单方式是：如果你有足够大的计算量来采样一个足够大的组大小——使得你获得一堆正确答案的概率超过某个不可忽视的阈值——那么这些轨迹就会被升权。正如 Beren 所指出的，中期训练和更多的预训练——即强化学习的起点 pass@1 ——随着对数数量的预训练标记而扩展。
我可以问一些非常基本的问题吗？这个答案听起来合理，也许有实证研究表明这就是正在发生的事情。但我只是看着模型本身……我不知道发生了什么发生。或许你能给我一些关于过去一年 AI 进步基础的感觉吗？也许这仅仅是升权那些本来就会进行正确思考的策略。
但这在定性上似乎表明，模型的能力变得强大了得多。也许这之间没有内在的矛盾。但是，我们如何调和这一观点所暗示的强化学习相对较小的影响与模型似乎获得的实际定性能力之间的矛盾呢？我想在这里指出的一点是，这并不一定意味着强化学习的影响很小。
即使你只有少量的关键信息位，并且只改变了少量参数，对函数空间——即模型学习的输入到输出的映射——的实际影响仍然可能非常巨大。即使一个关键信息位也能极大地改变你的函数空间。它可以排除一半的假设空间，这是巨大的影响。
我不认为少量的关键信息位、少量的强化学习，一旦你从一个非常好的起点开始，就意味着你不会在行为上产生巨大的影响。至少……不一定如此。我认为这归结为两件事。第一件是，每个人都希望强化学习能将这种推理能力泛化到所有这些不同的领域。我认为我们并没有必然地获得这种水平泛化（horizontal generalization）。
仅仅在数学上进行训练并不一定让你成为最好的程序员。你还必须在代码环境上运行强化学习。但我认为我们确实获得的是水平延伸泛化（horizon generalization）。模型只是学会了使用更多的标记进行更长时间的推理，并在某种任务上取得进展。你可以在它们运行时间越来越长的环境中训练模型，然后将它们放入一个完全新的环境中。
是的，他们可能没有泛化出允许他们在该环境中表现良好的推理模式，但他们至少泛化了在该任务上继续更长时间的能力，这与成功是相关的。有一篇名为 EdgeBench 的论文表明，模型能够更长时间工作的速度每三个月翻一番。这是泛化的明确证据。
最后一种思考方式是，在预训练中，存在“量子”的概念。你拥有非常平滑的预训练损失曲线。当你观察模型中发生的事情时，模型正在学习所有这些非常离散的任务，并且存在许多出现相变的涌现点。它以前没有诱导头（induction heads），现在有了。有成千上万、数百万，可能数亿个这样的东西。你将它们全部平均在一起，就得到了这条非常平滑的损失曲线。
在某种程度上，强化学习也在发生类似的事情。正如 Beren 提到的那样，存在一个非常缓慢的外层循环。我们将训练一个模型，然后对其进行强化学习；在接下来的模型迭代训练中，我们会将大量这些合成推理数据放入中期训练数据中。我们实际上是在击中所有这些不同任务的所有“量子”，在单个任务的层面上，它可能看起来像是一个相变。
你突然从某个特定金融任务或 Excel 任务的 0.5% 通过率跃升至 90%。但当你将所有这些事物平均在一起，加上水平延伸泛化时，你会觉得：“哇，我们拥有了定性上更好的模型。”我认为其中很大一部分也是……强化学习确实有一定的泛化能力。你在数学和代码之间，或者谜题、数学等事物之间获得了一些迁移学习的效果。
此外，人们针对的环境数量 sheer amount 要广泛得多。两年前，当你尝试做一些你在日常生活中做的任务时，实验室对此并不真正关心。他们不会为此训练模型。现在范围要广泛得多。它们有很多针对这一特定事物的环境。在对话的早期，我们谈到……
关于强化学习在导致这种熵坍缩中的作用，或者仅仅是将概率集中在基础模型已经完成的解决方案上，从而导致策略中相对稀疏的更新。但我认为关于强化学习还有另一个故事，那就是回到雅达利游戏以及AlphaGo提出第37步那极具创造力的棋招。因为它从未在人类数据上进行初始化，所以它能以人类甚至未曾思考过的方式去思考，并提出极其创造性的解决方案。
你是否有一种感觉，认为我们应该期待、或者如果不应该的话强化学习在大型语言模型上何时会导致像第37步那样极端创造力、甚至超越人类创造力的事物出现，因为这是智能的从头初始化？这里有几点。首先，我认为AlphaGo使用的是蒙特卡洛树搜索（MCTS），这显然比常规的策略梯度进行了更多的探索。
但我也认为强化学习并不一定会降低创造力。这显然是定性的，但如果我们看看OpenAI与Hugging Face的那起事件，这些模型当时同时提出了多个零日漏洞以突破沙盒。这显然已经具备了一定程度的第37步创造力，而这我们只是从大型语言模型的一般泛化属性中获得的。
强化学习绝对没有完全摧毁熵，特别是在长视距的情况下。人们所称的创造力只是解决困难搜索问题的一种方式。第37步显然是这方面的一个例子，或者是写一首满足大量不同约束条件的诗。如果对此进行训练，AI显然会在这方面极其擅长。
然而，在另一种方式上，强化学习后模型输出的多样性要低得多，并且它们发展出了一些刻板印象。虽然这些模型看起来擅长写作，但当你进行某种分布分析时，你会发现它们一直在重复某些主题，并且一直使用相同的人物名字。你并没有获得像人类作者那样的多样性。
你得到了一种非常优秀的风格。所以我认为这种形式的多样性确实被强化学习大幅削减了。事实上，既然我们之前谈到了蒸馏，正在发生的一件事是，如此多的人主要从Claude进行蒸馏，以至于所有开源模型都以与Claude相同的方式写作并具有相同的刻板印象。这在我看来有点令人担忧，因为我们正在形成这种单一文化。
不过，我认为这并不是强化学习作为一种方法的根本问题。蒸馏也是如此。即使进行蒸馏，你只是在数据上进行训练。仅仅因为你的数据不是非常广泛，并不意味着训练方法本身有什么错误。这是数据的问题。我认为许多强化学习的熵坍缩基本上是由于在没有大量环境多样性的情况下利用相当简单的验证器。
例如，写作通常由某种评判者进行评分。评判者有一些特定的刻板印象，而模型正在学习对评判者进行奖励黑客攻击，这就是它坍缩的原因。但这确实是评判者的问题，而不是一般强化学习的问题。好的，关于未来的超快速预测。
我想对以下几个问题给出时间线：到什么时候我们会有这样的模型……对用户来说感觉如何？你基本上雇佣它作为各种白领工作的即插即用远程员工吗？不仅仅是编码，还包括视频编辑、法律、律师助理等等。它 literally 是一个真正的远程员工，拥有完整的计算机使用能力，经过整整一个月的无缝学习和操作。
执行需要与他人互动的复杂项目等等。人类工人在一个月内能做的所有事情。如果你强制它使用浏览器或其他东西——而不是公司设置信息以便以编程方式访问的话，也许需要几年时间。但如果它不是基于浏览器的——它可以发送Slack消息，可以做所有这些事情——我可能还是会说大约一年。
我会说完全通用性可能需要三年左右。但正如Charlie所指出的，我们最终会让很多人使他们的组织更容易被AI使用，因此在那之前你就已经完成了80-90%。抱歉，但那里的一年和三年之间的差异仅仅是……我认为会有一长串杂项内容，某些人类可以完成，但模型需要相当长的时间才能做到。
你是指计算机方面的事情还是基本的认知能力？我认为这归根结底是一个我们多快能解决这种在线学习的问题，以及我们是否能通过压缩和向自己写入文件等方式完成80-90%的工作。这是我的主要不确定性。我真的不知道。
一个它不擅长的例子是，如果我必须在大声喊叫以在工作中获得某样东西，或者真正推动某人完成某项工作。模型不会那样做。它会太友善了。我会说人类远程员工的质量有很大的差异。如果你尝试从Upwork雇佣某人来做软件工程项目的，会有巨大的变化。
通常很难让他们做好工作或注意你给出的所有反馈。我猜在某些情况下，AI之前的版本可能比你现在从现有AI获得的还要糟糕。我认为这可能会变得有点复杂，因为在某种程度上我们已经对某些不太高质量的工作有了这种能力。但显然我们在某些更高质量的形式的工作中还没有达到人类水平。
但我基本上同意Charlie和Beren的观点，也许在一年左右的时间里我们会有一些版本还可以的。我们将拥有那种形态因子，并且它能很好地做一些事情，不太擅长做另一些事情，情况将从那里开始改善。我们总是根据非常长的尾部来调整目标。
我觉得你以前用过这个例子，比如报税之类的。今年，我 literally 只是告诉Codex去获取我需要的所有东西并发送给会计师。有一大堆它必须使用计算机点击和下载的东西。它做到了，完美无缺。很多这类事情它已经可以做了。好的：给你10倍的整体生产力提升。
基本上，如果现在需要一年时间才能取得突破，那么每个月都能取得一次突破。我想我会拒绝给出一个标量值。在某些类型的工作中，我们可能已经超过了这一点。假设你正在尝试做某些类型的数学……哦，抱歉。但对于作为AI研究人员试图推进AI研究前沿的你来说呢？
AI研究者被加速或提升了多少？5到10年之间吗？哦，真的吗？
这太遥远了。真的，你认为它比一般远程工作者的时间还要长吗？有意思。我意识到你可能对“完全通用的远程工作者”有一个非常不同的定义。我本可以早点说明这一点。确实如此，因为显然AI研究人员可以是远程工作者。我是在想象一个月内的普通白领工作。我认为在两个月之后，情况开始有些分歧。
一位非常有能力的白领工作者，但不一定是超级有创造力的研究人员。我会说是两年。两年？十倍？好吧。贝伦，你呢？我其实能理解这一点，因为现在在编码方面肯定已经超过十倍了。所以如果它还能进行一到两轮的实验反馈循环，那实际上已经是巨大的提升了。
因此，两年内AI研究人员的效率提升十倍。如果你将这个因素代入到一个非常简单的AI进步模型中，考虑到有多少进展来自AI研究人员，如果他们的生产力提高十倍，那么从两年后开始，AI进步的节奏将急剧加速。我认为这意味着AI进步不会再受限于研究人员运行小型实验的能力。
它将受制于其他因素。当然，但速度会快十倍，这是一个巨大的变化。这也帮助了下一个带来百倍加速的因素更早实现，等等。我很乐意在这方面多花一点时间。关键点是什么？是我吸收信息并做出贝叶斯最优决策以进行下一个实验的能力。我假设你可以将其中一部分委托给AI。
AI在做出决策方面正变得不错。它运行了这个实验，得到了这个结果，然后进行下一个实验。如果它能连续运行两三个实验而不崩溃，那实际上是一个巨大的提升。好了，最后一个问题：一个在计算机上能完成的每一个工作领域都主导顶级人类专家的AI。
所以不仅是AI研究，还包括所有认知工作。不仅仅是短期工作，而是 literally（字面意义上），如果某事需要三年或更久，AI仍然会比人类做得更好。这基本上就是超级智能（ASI）吗？是的。我会说是三到四年。什么鬼？我的意思是这听起来没错，但是——
AI显然受到了更多的关注。这是一件很难的事，但投入了大量精力。对于AI来说，这也不是最难的事情之一，因为它涉及大量的代码和数学，而模型非常擅长这些。对于涉及3D、空间或物理的事情，我认为那需要更长的时间。
如果是机械工程之类的领域，目前没有得到最多的关注，那么可能需要稍长一点的时间。但也包括那些因为领域性质而数据相对较少的领域，它必须即时学习这些数据。例如，它必须在台积电这样的地方成为超级人类水平的工程师。所以你必须假设你可以给AI提供相同的入职材料。
然后必须解决关于长周期学习的问题。我会说是五到十年。所以基本上，你认为自动化AI研究是ASI完备的或者类似的东西？是的，我是这么想的。我认为世界上有很多事情，即使你有一个模型外部的某种记忆系统，并且上下文长度稍微增长一些，仍然有一些根本性的事情是：即使你可以自己研究信息或写笔记，在今天也需要超过一百万token的上下文窗口。
我至少在实验室关注的领域上同意五年的时间范围。但我认为会有一个很长的尾部，AI理论上可以出去学习这些内容，但没有人 bother（费心）去做，计算资源也没有分配给这部分。所以对于每一个人类专家来说，这可能都需要更长的时间。抱歉，但我这里也包括了像人类一样快速学习新领域的能力。
我认为这不一定必要，因为AI将拥有比任何人类都广泛得多的经验。非常感谢大家做这个访谈。我觉得这是一个很好的格式，让不同的专家能够分歧、辩论和讨论事情在一起。这非常富有成效。谢谢邀请我们。