强化学习作为通向AGI的研究押注

当前所有主要AI实验室都在进行一项重大的研究赌注：他们认为，如果在数千种多样化的强化学习（RL）环境中训练AI完成数百万个可验证的任务，就能基本构建出AGI。这种训练方式旨在创造一种问题解决型智能体，它能够在面对错误、失误和歧义时，持续数周推进开放式任务的进展。乐观者认为，当前训练范式的根本缺陷——如数据效率低下或缺乏持续学习能力——可以通过扩大训练规模来克服。正如自然语言处理领域的所有基础问题在投入足够算力给大语言模型（LLM）后都迎刃而解一样，这些缺陷也将被“碾压”。

上下文窗口对持续学习的替代假设

支持者反驳道，虽然模型在训练期间的样本效率仅为人类的百万分之一，但这只是一次性摊销成本。真正关键的是模型在单次会话中的智能程度和样本效率，而这随着RL训练的深入正在显著提升。关于持续学习（即根据部署中学习的内容更新模型权重），乐观派认为这可能并非必要，因为上下文学习（In-context learning）能力的提升可以替代权重蒸馏。如果模型能在更长的时间跨度内保持优秀的上下文学习能力，就不需要将工作中学到的所有内容重新注入权重中。这类似于员工入职前六个月才达到净生产力，但如果能将这六个月的经验压缩进上下文窗口呢？随着Transformer架构的创新，存储信息的容量大幅增加，未来几年内可能出现感觉上无限大的上下文窗口。

计算机操作领域进展缓慢的深层原因

尽管编程和数学等可验证领域的进步迅速，但计算机操作（Computer Use）的进展却异常缓慢。这不仅仅是因为预训练阶段缺乏高质量的多模态数据，更深层的原因在于该领域不够“可磨性（grindable）”。强化学习需要能够在确定性且可重放的模拟器中运行大量并行 rollout，并从相同的起点开始。例如在编程领域可以定义包含缺失功能的软件仓库容器让数千个代理并行测试，但在计算机操作中无法简单克隆亚马逊等网站进行训练，因为现实世界的交互不可重放且受法律限制。除非能构建高保真的应用克隆环境，否则这一领域难以通过并行化加速。

现实世界交互中的样本效率困境

计算机操作的停滞揭示了一个核心真理：除非能建立高度可重放的训练目标，否则模型在难以模拟的领域将举步维艰。这是因为模型在训练中极度缺乏样本效率，必须依赖可并行化的确定性模拟器来弥补这一缺陷。然而，对于许多需要与现实世界交互的技能（如建立企业、赢得诉讼或政治竞选），这种模拟器无法构建。这些任务的验证周期长达数月甚至数年，且数据具有独特性和稀疏性。在大多数领域中，相关的训练信息以非结构化、不可验证且模糊的方式存在。因此，AI若要掌握人类甚至超越人类的技能，必须具备从稀缺的真实世界交互中学习的能力，因为在其他任何地方都找不到相关的训练信息。

RLVR的泛化神话与长上下文困境

实验室目前押注强化学习验证（RLVR）能够产生高度通用的智能体，假设通过在大量容器化、可复现的环境中训练，AI能发展出制定计划、快速学习新信息甚至单会话内掌握新技能的能力。这种愿景极具野心，例如认为AI若被置于1948年的德克萨斯州政治环境中，能比林登·约翰逊（LBJ）更好地建议如何赢得参议院席位；或者在2002年获得一亿美元资金后，能自主构建出SpaceX。然而，RLVR能否实现如此广泛的泛化仍是一个实证问题。如果实验室将投入从数十亿美元增加到万亿美元，是否就能在上下文窗口内获得完全类人的通用智能？Dario Amodei的观点暗示了这种泛化能力并非无限强大，他指出模型性能在长上下文中往往会出现退化。他认为存在两个关键概念：训练时的上下文长度与服务时的上下文长度。如果仅在短上下文中进行RLVR训练，却试图在长上下文中部署，性能可能会下降。这意味着短视界的RL训练不一定能泛化到长视界的表现。如果无法从短期任务泛化到长期复杂场景，AI又如何能从白领工作技能跨越到像山姆·沃尔顿那样从零开始建立商业帝国？

上下文学习的局限与权重更新的必要性

即使AI能在单次会话中通过大量在体验习得亨利·福特或阿尔伯特·爱因斯坦般的技能，如果这些学习成果无法回写到模型权重中，它们也是短暂且被浪费的。目前，实验室约30%至50%的计算资源用于推理（inference），而这些计算并未以生产性方式帮助改进模型。更糟糕的是，最有价值的学习信息往往只在部署阶段才会显现。例如，组织实际如何使用AI、发生了哪些错误等隐性知识（tacit knowledge），目前广泛部署的AI无法利用。这就像让一个从未实习过的天才研究生不断通过RL环境进行课堂案例研究，却忽视其在真实世界中的表现。持续学习必须将知识回写到权重中，因为AI不能仅靠不断扩大的KV缓存来学习，这既不可扩展也不符合人类的学习机制。人类的记忆并非简单存储所有观察结果，而是通过压缩和提炼直觉及宏观知识到权重中。那些能回忆随机数字表的“学者症候群”式人类，虽然拥有模型般的上下文保真度，但这种海量信息反而阻碍了他们对抽象和隐喻的理解。人类持续学习的核心在于雕刻正确的直觉和大局观知识回写入权重。一旦进入权重更新阶段，就必须放弃上下文学习的高样本效率。因为梯度更新极其缺乏样本效率，目前成功上线的在线学习模型必须让数百万用户共同学习同一个目标。例如，Cursor Tab模型的在线学习目标是在每天超过4亿次请求中预测用户实际接受的编辑。目前尚未出现模型为不同用户在线学习不同内容的案例，因为单次会话产生的数据对人类足够，但对更强大的AI而言不足以进行训练。在线学习目前仅适用于极少数用例。持续学习的意义在于世界极其复杂，每个工作、公司和问题的独特性要求智能体能学习与特定部署相关的信息，这些信息无法塞入共享的训练运行中。这就是“在职学习”的核心：理解组织运作、协作基础设施及常见故障模式等具体细节。

商业案例与样本效率的深层联系

以播客运营中的账单支付为例，过去需要手动从邮箱提取发票、创建文件夹并逐一付款。现在通过Mercury银行平台，所有发送给特定地址的发票会被自动下载、扫描并提取关键信息（如承包商名称、金额、到期日等），生成付款草稿供审核。Mercury作为金融科技平台，通过自动化处理基础业务事务展示了效率。样本效率与持续学习是深刻相连的问题。在职环境中模型可用的数据相对较少，且每家公司、每个问题的独特性要求智能体能够学习特定部署相关的信息。这些信息无法被塞入共享的训练运行中，而是需要在实际工作中通过持续迭代来积累和优化。

架构创新并非持续学习的首要瓶颈

当前模型在上下文中利用注意力机制构建的“快速权重”虽然具备样本效率，但在内存扩展性上表现极差。因此，我们需要架构层面的创新来引入中间表示（intermediate representation）以解决内存瓶颈。尽管业界每周都有新论文提出如稀疏注意力（sparse attention）或 KV cache 压缩等优化方案，但作者认为架构本身并非持续学习的根本瓶颈。真正的挑战可能在于损失函数（loss function）的设计，即如何基于单次会话中学到的信息来更新模型权重。这涉及到如何将特定会话中的经验有效转化为模型的长期能力，而非仅仅依赖架构的堆叠。

策略：OPSD（On-Policy Self-Distillation）蒸馏学习成果

为了解决权重更新问题，近期备受关注的技术是策略内自蒸馏（On-Policy Self-Distillation, OPSD）。该技术的核心逻辑是鼓励基础模型在解决现实世界问题时，做出与积累了完整上下文经验的“资深教师模型”相同的预测。> "The whole point of this procedure is to distill what the model learned in a session back into the weights themselves." 这一过程旨在将会话中学到的知识蒸馏回模型权重中。相比强化学习验证奖励（RLVR），OPSD 具有两大优势：首先，它不需要外部可验证的奖励信号，只要模型能在上下文窗口内学会正确内容即可；其次，它提供了比朴素强化学习更密集的监督信号（denser supervision signal）。OPSD 通过训练学生模型匹配教师模型的每个 token 概率差异，而非仅投影单一奖励到整个轨迹上，从而更精细地传递知识。

对比 SFT：从记忆转录到提炼洞察

在持续学习场景中，OPSD 优于监督微调（SFT）。最朴素的 SFT 方法是让基础模型预测会话中观察到的所有 token，但这并非有效的学习目标。> "The way you get better at your job is not by recalling the transcript of every single thing that happened... Rather, it's by consolidating the handful of insights and pieces of knowledge." 提升能力的关键在于提炼相关的洞察和知识片段，而非完美复述日常对话。RL 训练之所以有效，是因为它能将更新集中在对结果relevant的内容上，具有稀疏性（sparse updates）。这种特性对于持续学习至关重要，因为它防止了模型在更新时覆盖（overwrite）和遗忘基础模型原有的知识。OPSD 保留了 RL 的这一优点，仅提取实现相同结果所必需的知识，避免像 SFT 那样盲目地向教师分布靠拢。

未来展望：模拟训练（Dreaming）与第四扩展轴

除了 OPSD，还有一种更具推测性的思路称为“做梦”（Dreaming）。如果 AI 能构建现实的模拟环境来演练新技能或尝试替代策略，它可以在相同时间内获得数量级更多的模拟样本（simulated samples）。以 DeepMind 的 EfficientZero为例，在与人类进行 Atari 游戏对比时，该模型通过在每个真实步骤中在脑海中模拟数十局游戏，实现了极高的样本效率。> "Future LLMs might be able to consume far less real-world data while practicing endlessly against environments that they build for themselves." 尽管构建世界模拟比模仿围棋更难，但若成功，这将成为继预训练、RL和推理时计算之后的第四扩展轴（fourth axis of scaling）。到 2027-2028年，场景可能是：RLVR训练出具备初步能力的智能体进入现实工作一周；随后通过OPSD或Dreaming技术，将这一周的体验蒸馏回基础模型，实现真正的持续学习。

超越预设领域的技能扩展机制

未来的AI能力提升不再局限于其初始训练数据的边界，而是通过一种名为RLVR（基于验证的强化学习）的技术实现跨域迁移。这种技术允许AI在与特定领域相邻的任务中变得更强，并在下一轮迭代中进一步扩展至更广泛的邻近领域。这意味着AI的技能、知识和能力范围将远远超出模型在部署前所针对的可验证领域。这种机制类似于预训练阶段构建了足以成为胜任代理的基础智能，而RLVR则在此基础上构建了一个足够成熟的代理，使其能够被广泛部署到现实世界中。一旦这种持续学习的训练配方真正到来，AI将在实际工作中通过在线学习不断进化。

部署即训练：从静态模型到动态智能体

AI性能提升的主要驱动力正在发生根本性转移。过去，AI的进步主要依赖于发布前进行的集中式训练；而在未来范式下，提升的主要来源将是AI在经济活动中广泛部署所积累的经验。随着AI参与各种不同类型的任务，其智能水平将随交互频率而增长。这种变化标志着从“静态发布”向动态在线学习的转变，AI不再是一个被冻结在时间中的产品，而是一个随着使用而不断进化的实体。这种转变使得AI能够适应从未在训练数据中出现过的复杂场景，从而极大地扩展了其应用边界。

全球协同学习与潜在风险

每一次用户与AI的交互都成为其智能增长的燃料。这不仅是因为单个会话中的反馈，更因为AI正在从全球所有其他用户的交互中学习。这种集体学习机制意味着你的每一次互动都在帮助优化模型，使其对全球用户更加智能。然而，这种去中心化、实时且基于海量真实世界数据的自我进化过程既令人兴奋又充满恐惧。它彻底颠覆了当前AI通过封闭数据集和固定版本迭代来提升性能的传统方式，预示着一种不可预测但潜力巨大的智能演进路径。

结论

视频论证指出，当前依赖RLVR在封闭环境训练以构建AGI的范式存在根本局限：其难以泛化至缺乏可重放模拟器的现实复杂任务，且长上下文部署易导致性能退化。核心短板在于样本效率低下及无法将隐性知识回写至权重，仅靠扩大上下文窗口不可持续。

未来突破依赖于OPSD自蒸馏或“做梦”模拟等机制，实现部署即训练。通过在线学习将真实交互经验压缩为直觉与洞察并更新权重，AI才能从静态模型进化为动态智能体。这一转变虽具潜力且能利用全球协同数据，但需解决梯度更新中的遗忘风险及稀疏数据训练难题。