这里有一个所有实验室都在押注的重大研究赌注。他们认为，如果我们训练人工智能在数千种不同的强化学习环境里完成数百万个可验证的任务，那么我们就基本上构建了通用人工智能（AGI），因为这种训练将创造出一种问题解决代理：那种能够在面对错误、失误和歧义时，连续数周在开放式任务上取得进展的东西。
那些对这一愿景持乐观态度的人会表示，我们目前所谈论的当前训练范式中的根本缺陷——例如这些模型的数据低效性，或者它们缺乏持续学习能力的事实——都可以通过扩大训练规模来轻易克服。这就像在自然语言处理领域，当我们投入足够的算力到大语言模型时，所有基础的研究问题都迎刃而解一样。
在上一篇文章中，我谈到这些模型的样本效率只有人类的百万分之一。支持当前训练范式的人会反驳说：“看，这可能没错，但这仅适用于训练阶段。”训练是一次性成本，分摊到模型将经历的数十亿次会话中。真正重要的是模型在单次会话中的智能程度、通用性和样本效率，而随着我们进行更多的强化学习训练，这显然正在改善。
任何使用过这些模型进行编程的人都知道这一点：AI代理能够解决越来越雄心勃勃的问题，且持续时间也越来越长。同样地，人们会说，持续学习——我反复强调的那种基于模型从部署中学习来更新权重的能力——可能根本没必要。因为如果上下文学习在越来越长的时间跨度上变得足够好，那么你就不需要把模型在工作中所学的一切蒸馏回权重中。
人们经常说他们的员工在入职六个月或更长时间后才真正产生净生产力。因此，在线学习对于胜任力显然是必要的。但是，如果你能把这六个月压缩到上下文窗口中呢？已经出现了大量架构创新，极大地增加了Transformer能够存储的信息量或上下文量。为什么不认为在几年的进展之后，我们可能会拥有感觉上无限大的上下文窗口呢？
在我们进一步讨论这个研究赌注之前，我想退一步问一个完全无关的问题。我发现这个问题关于当前AI进步的本质非常有趣且令人困惑：为什么计算机操作领域的进展比其他领域慢得多？计算机操作显然是可验证的。你可以问这样的问题：我订购的爱 Etsy 商品送达了吗？我正在组织的活动场地预订好了吗？我的税表提交了吗？
那么，计算机操作的进展为何比编程、数学和其他这些可验证领域慢得多呢？这难道不奇怪吗？我确信原因有很多，其中之一当然是模型在预训练期间接触到的高质量多模态数据要少得多。但我认为有一个原因被人们严重低估了，它揭示了这条AI进步之河只能缓慢侵蚀的峡谷壁。
那就是一个领域不仅要可验证，还必须非常“易于打磨”（grindable）。这意味着你必须能够针对确定性和可重放的模拟器运行大量并行 rollout，并且必须从相同的起点开始这些 rollout。如果你试图让模型更擅长编程，你可以定义一个包含软件仓库的容器，其中有一些缺失的功能是你指派给AI创建的。
然后你可以让一千个并行代理去解决这个问题，每个代理都有一个相同的容器副本。但这在计算机操作上行不通，至少不能简单地实现。你不能让一千个代理去尝试亚马逊上的同一结账流程以提高使用网站的能力，因为安迪·贾西会发现你的机器人并把你封杀。
你可以通过克隆 Slack、Gmail 和其他常见应用程序及网站来解决这个问题。但目前，这是一种非常劳动密集且不可扩展的环境构建方式。当然，一旦AI足够擅长编程来以极高的保真度自行构建这些克隆体，我相信计算机操作将比现在取得更快的进展。
而且通过这种程序你也杀死了两只鸟，因为让AI从头重建整个应用程序也是编程的一个很好的强化学习目标。因此，虽然计算机操作本身可能很快会被解决，但其目前的停滞不前告诉我们以下这一点：除非你能为一个领域构建一个非常可重放的训练目标，否则模型将难以取得多大进展。
当然，之所以如此，是因为模型在训练期间极其缺乏样本效率。这是我上一期视频论文中提到的观点。因此，对于计算机操作，我们也许可以通过构建这些可农场化的确定性模拟器来弥补样本效率的缺陷。但对于我们需要AI拥有的许多其他不同类型的技能，我们根本无法做到这一点。
我们要如何训练一个非常擅长从零开始建立企业的AI？或者赢得法庭诉讼、在市场中实现盈利的一天交易，或帮助候选人赢得选举呢？这里的 rollout 需要与现实世界互动，你无法仅从数据中心内部重现它。这里的外层验证可能需要数月甚至数年的现实世界行动才能引发，你无法通过在数千个并行 rollout 中轻微扰动模型的行动来重新观察它。
以隔离出模型究竟做了什么才真正奏效，这是已知的强化学习中无重置、非平稳环境的问题。我并没有指出任何新东西。但我确实想强调，由于世界上大多数领域数据的独特性和稀疏性，你需要样本效率才能变得熟练。如果AI要发展人类拥有的所有技能，甚至人类没有的技能，那么它们必须能够从稀缺的现实世界互动中揭示的、非结构化、不可验证和模糊的信息中学习。
因为在许多领域，相关的训练信息根本不存在于任何其他形式中。那么，要制作一个像林登·约翰逊那样擅长政治的AI，其强化学习环境应该是什么样的？
约翰逊，或者像埃隆·马斯克那样擅长建立太空发射业务？各大实验室都在押注强化学习验证（RLVR）能够泛化。也就是说，如果你在一个个容器化、可复现的环境中进行足够多的训练，你将培养出一个非常通用的智能体。它能够在单个会话中制定并执行计划、从新信息中学习，甚至掌握新技能。如果你把这个经过无限次 RLVR 训练的 AI 投放到1948年的德克萨斯州政坛，它能给你的建议会比林登·约翰逊（LBJ）关于赢得参议员席位更好。如果你在2002年给它一亿美元并让它自由发挥，它会为你建立起 SpaceX。
现在，RLVR 是否能如此好地泛化是一个经验性问题。如果各大实验室将从强化学习环境投入数十亿美元增加到一万亿美元，你能否在上下文窗口内获得那种完全像人类一样的通用智能？达里奥（Dario）在我们共同播客期间给出了一句意味深长的话，我认为这暗示了 RLVR 的泛化能力并非无限强大。当他在解释为什么模型性能在长上下文时会下降时，他说：“有两点：一是你训练时的上下文长度，二是你提供服务（推理）时的上下文长度。如果你在较短的上下文长度下训练，然后试图在较长的上下文长度下进行服务，可能会遇到这些性能下降。”
也许我过度解读了这一点，但这似乎意味着短视界的强化学习训练不一定能泛化到长视界的表现。如果你无法从短视界泛化到长视界，那么智能体应该如何将从一堆白领任务中获得的训练经验，泛化为像山姆·沃尔顿那样被投放到现实世界并从头建立企业的能力呢？即使经过足够的上下文内经验后，AI 能够变得像亨利·福特或阿尔伯特·爱因斯坦一样出色，如果你无法将这些学习成果重新注入到模型权重中，这一切都将是短暂且被浪费的。
大约30%到50%的实验室算力用于推理，而这些算力目前并未在帮助改进模型方面发挥任何生产性作用。这似乎是一个巨大的浪费。而且情况甚至比听起来更糟，因为只有在使用部署时，模型可以从中学到的最有价值的信息片段才会真正显现。在我被使用的组织中实际发生了什么？他们让我做什么？我在现实世界中倾向于犯哪些错误？我们有一位天才研究生，从未被允许去实习，而我们却不断通过环境中的强化学习训练给他更多的课堂案例研究。
这太荒谬了，我们拥有已经在经济中广泛部署的 AI，它们参与各种各样的任务，掌握着大量特定领域和组织的隐性知识，却无法利用这些知识。但这种持续学习需要回到权重层面。AI 不能仅仅随着从更多用户那里学习到东西而不断构建越来越大的 KV（键值）缓存。这既不可扩展，也不符合人类的运作方式。我们的大脑中参数和激活之间没有清晰的界限，就像你的头骨不会随着你一生中学习的增多而不断扩张一样。
当我们学习东西时，显然存在某种压缩过程，这有助于我们的泛化和深度理解（grokking）。事实上，有些人类拥有类似自闭症学者般的特殊能力，能够在几年后回忆出随机的数字表或无意义的音节——这基本上就是模型在上下文中保持的信息保真度。而这种 sheer volume（海量数据）会削弱这些人理解抽象概念和隐喻的能力。人类的持续学习更多不是将所有观察结果挂在嘴边，而是将正确的直觉和大局知识雕刻回权重中。
但一旦你进入权重层面，你就必须放弃上下文学习的样本效率优势。因为梯度更新极其缺乏样本效率，所有成功上线的在线学习模型都必须在数百万用户身上学习完全相同的内容。例如，Cursor Tab 模型的在线学习方式是通过预测超过4亿次请求的同一确切目标来完成的。这里的目标是用户实际接受了哪些编辑。至少到目前为止，我们还没有看到模型为不同用户在线学习不同的内容，因为虽然单个会话产生的数据足以让一个人从中学习，但不足以训练一个更强大的 AI。
目前的在线学习仅适用于非常有限的使用场景。但这正是持续学习的重点所在：世界非常复杂，每个工作、公司和面临的问题都不同，你需要你的智能体能够学习与特定部署相关的特定信息。这些信息根本无法塞进某个共享的训练运行中。当我们谈论“在职学习”时，指的就是这些事情：比如你组织中的每件事是如何运作和相互关联的、如何与所有基础设施和其他人合作以在某个更大的项目上取得进展、常见的故障模式有哪些，以及许多其他类似的事情。
随着播客的发展，我不得不处理越来越多的运营开销。以支付账单为例。过去，承包商只需通过电子邮件发送发票给我。每隔几周，我就会翻遍收件箱，创建一个包含所有账单的文件夹，并手动支付每一笔。不过现在，我只是给每个人一个直接指向 Mercury（我的银行平台）的电子邮件地址。每当有人向该地址发送发票时，Mercury 会自动下载、扫描并提取所有相关信息——如承包商名称、地址、付款金额、发票号码和到期日等，然后利用这些信息创建草稿支付。Mercury 随后为我存储这些草稿列表供我审查。
我只需过目清单，双重检查它们是否构建正确即可。我不需要跟踪任何事项或输入任何信息。Mercury 极其出色地为你处理业务的基础事务，并将它们集中在一处。如果你想了解更多，请访问 mercury.com。Mercury 是一家金融科技公司，而非受 FDIC（联邦存款保险公司）承保的银行。银行业务由 Choice Financial Group 和 Column N.A.提供，它们是 FDIC 成员。
以这种方式来看，样本效率和持续学习实际上是紧密相连的问题。模型在职时可用的数据相对较少。现在，要从这些数据中学习……
这需要样本效率，而模型可以在上下文中做到这一点，但使用的是由注意力机制动态构建的快速权重（fast weights），这种机制虽然能实现样本效率，但在内存方面的扩展性却非常差。因此，我们需要架构上的创新，以支持某种形式的中间表示。我之前谈过，针对这类问题我们已经有了许多不同的工作思路，从稀疏注意力到 KV 缓存压缩。每周都有人发布新论文，提出某种其他的架构优化方案。在我看来，架构并不是从根本上限制持续学习（continual learning）的瓶颈所在。所以，也许瓶颈在于损失函数：我们如何更新权重？换句话说，基于从特定会话中学习到的信息，我们要如何改进模型本身？
即便在这里，直观上看似乎也有很多可行的想法。最近很多人都在讨论一种称为“在线策略自蒸馏”（on-policy self-distillation, OPSD）的技术。如果你想了解更多，我和 Sasha Rush 几周前用 iPhone 即兴录制了一段黑板讲座视频，链接在简介中。简而言之，其核心思想是鼓励基础模型在面对某些现实世界问题时做出的预测，与经过长时间会话积累了所有上下文后的模型所做出的预测保持一致。这一过程的整个目的，是将模型在会话中学到的知识蒸馏回权重本身。
这比 RLVR（基于强化学习的价值回归）更好，原因有二：首先，OPSD 不需要我们拥有某种外部可验证的奖励机制。我们只需要一个能够在上下文窗口内学会正确事物的模型即可。只要具备这一点，我们就可以训练基础模型去匹配那位在会话中积累了丰富经验的“老教师”模型。其次，OPSD 比原始的强化学习（RL）提供了更密集的监督信号。与其将单一奖励投射到整个轨迹上，不如利用教师模型与学生模型之间的逐 token 概率差异进行训练。
对于持续学习而言，OPSD 也优于监督微调（SFT）。你能想象到的针对此应用最朴素的 SFT 版本，就是简单地训练基础模型去预测会话期间观察到的所有 token。但如果将其视为学习目标来思考，这毫无意义。你提升工作能力的方式，并不是以完美的保真度回忆每天发生的每一件事的逐字记录。相反，你是通过整合那些真正有助于你提升工作能力的少量见解和知识片段来实现的。
强化学习训练不会陷入这种失败模式。RL 非常擅长将更新集中在与正确获取结果相关的内容上。这就是为什么 RL 的更新极其稀疏的原因。这对于持续学习来说是一个非常重要的特性，因为当你边工作边学习时，你不希望覆盖并遗忘基础模型所知道的所有其他内容。几个月前我写过一篇文章，论证 RL 每个样本学到的信息量远少于监督学习。但这可能是一件好事而非坏事：你仅在绝对必要的情况下改变模型以实现预期结果，不多也不少。
OPSD 保留了 RL 的这一特性：与监督学习那样急切地滑向教师分布不同，你只提取在真实世界任务中达到与教师相同结果所必需的知识。OPSD 是解决样本效率问题的一种途径：你利用这些稀缺的现实世界经验，将所有信号压缩进一个微小且目标明确的更新中。但还有另一个更具推测性的想法，让我们称之为“做梦”（dreaming）。如果 AI 能够构建一个良好的现实模拟环境来演练新技能、尝试替代策略并强化真正有效的做法，那么 AI 可以在相同的墙钟时间内体验到数量级更多的模拟样本。
让我们回顾一下历史。DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个名为 EfficientZero 的模型。该模型的核心目标是在数据使用上极其高效。因此，如果这个模型和一个人类都有两小时的时间去对抗一个他们未曾见过的 Atari 游戏模拟器，该模型实际上可能会击败新手人类。这是否意味着模型的样本效率高于人类？那是训练的目标，但这取决于你如何衡量样本效率。因为在真实游戏的每一步中，EfficientZero 都在脑海中进行了数十次模拟游戏。
以类似的方式，未来的大型语言模型（LLMs）可能在练习针对自我构建环境的无尽模拟时，消耗远少于现实世界的数据。当然，巨大的区别在于：构建整个世界的模拟比模仿围棋游戏要困难得多。这就是我说这是一个更具推测性的想法的原因。如果它奏效，它将成为继预训练、强化学习和推理时计算之后的第四个扩展维度。你可以称之为测试时训练（test-time training）或做梦。模型花费计算资源来编写强化学习环境，然后针对这些环境进行训练，并排练那些将在特定用户的生产环境中实际使用的所有技能。
因此，与其在 Codex、Cursor 或 Claude 中点击 /compact（这会激发少量计算资源来编写摘要，从而提供持续学习的表象），不如点击 /dream。这将消耗巨大的计算资源，以构建并针对模型在现实世界中目睹内容的“电子游戏版本”进行训练。那么到 2027 或 2028 年，持续学习会是什么样子？我们如何到达那里？这里有一个场景：所有这些 RLVR 训练正在产生一个智能体，当它被抛入陌生问题时能够找准方向，尝试不同的策略，并在遇到障碍时进行迭代。
这是 RLVR 赋予你的关键事物：一个至少足够胜任以开始获取现实世界经验的 AI，前提是其能够从经验中学习。一旦你拥有这样的能力，你就将其投入真实世界中从事实际工作，即使是在训练分布之外的项目上。现在假设此时有效的上下文长度已经扩展，使得 AI 能够与你一起工作整整一个墙钟时间。在一周结束时，你给它竖起大拇指或拇指向下（即给出工作评估）。如果你给了它好评，基础模型将蒸馏该 AI 在会话期间学到的所有内容。
这种技术可能是我们尚未察觉的，或者它将是上述所有技术的结合。借助强化学习验证（RLVR），人工智能能够在与其先前明确训练领域相邻的领域中变得更强。而在下一轮中，它会在之前在线学习过的相邻事物上变得更加擅长。通过这种方式，人工智能的技能、知识和能力范围可以远远超出模型在部署前最初接受训练的、可验证的领域。
正如预训练创造了一种足够聪明、足以在加上足够的 RLVR 后成为胜任代理的基础智能一样，RLVR 也创造了一种足够胜任、实际上可以在世界中广泛部署的代理。而从这种广泛的部署中，一旦持续学习的训练配方真正到来，它就能在工作中学习。
到那时，人工智能变强的主要方式不再来自于它们在向公众发布之前所接受的训练。相反，它们将变得更强是因为在广泛部署于经济体系中并参与各种不同任务的过程中所积累的所有经验。
每次你与人工智能互动时，它都会变得更聪明。这不仅是因为它从你之前的会话中学习到了东西，还因为它在与世界上所有其他用户的互动中不断学习。这非常令人恐惧、兴奋且不同于人工智能目前变强的方式。
这是我在 dwarkesh.com 网站上发布的博客文章的旁白。如果你想阅读所有的脚注，或者想注册以了解我何时发布下一篇博文，请前往该网站。否则，我们下期节目再见。