欢迎收听跨过串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播伊凯，一位热衷于 AI 领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来，让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话。本期我们克隆的是 Dwarkesh Patel 的个人深度音频论文，发布于二零二六年六月二十六日。Dwarkesh 是硅谷知名的科技思想者和播客主持人，以长篇幅、高密度的深度访谈著称。在这期节目里，他单刀直入探讨了AI训练的下一个范式，以及持续学习为何是通往通用智能的关键。
在节目里，他有几句话让我印象非常深刻：我们就像有个天才研究生，却从不让他去真正实习。我们只是一直在 AI 环境训练里，给他越来越多的课堂案例研究。人类持续学习的重点不在于把所有观察到的东西都挂在嘴边，而更多是把正确的直觉和全局知识凿回到权重里。你每次和 AI 互动，它都会变得更聪明。这不仅是因为它从你之前的绘画中学习了，也因为它从和世界上所有其他用户的所有互动中学习了。
这些思考背后有着非常严密的推演。那我们就一起来听听这期的完整对话。所以，这是所有实验室都在押注的一个重大研究方向。他们认为，如果我们训练AI在成千上万个不同的RL环境中完成数百万个可验证的任务，那我们基本上就造出AGI了。因为这种训练会创造出一种能解决问题的 agent，一种能在错误和模糊性面前连续数周推进开放式任务的东西。
对这个愿景持乐观态度的人会说：“我们谈论的当前训练范式的那些根本性缺陷，比如模型的数据低效性，或者他们缺乏持续学习能力，这些问题，只要我们把训练规模再扩大，就能直接碾过去。”就像当年我们往L M里砸了足够多的算力后，自然语言处理领域里所有基础性的研究难题都迎刃而解一样。我在上一篇文章里提到过，这些模型的样本效率只有人类的百万分之一。
而支持当前训练范式的人会说：“听着，这也许没错，但这只是在训练阶段如此。”训练是一次性成本，会分摊到模型后续经历的数十亿次绘画中。真正重要的是模型在一次绘画中表现出的智能程度、通用性和样本效率。而随着我们做更多的 RL 训练，这一点显然在不断提高。AI agent 能在越来越长的时间跨度里解决越来越宏大的问题。
任何用这些模型写过代码的人都知道这一点。同样的，人们会说，听着，持续学习，也就是我一直唠叨的那个模型，根据部署中学到的东西来更新权重的能力，可能根本就不是必须的。因为如果上下文学习能在越来越长的时间跨度里变得足够好，那你就不需要把模型在工作中学会的所有东西都蒸馏回权重里。人们常说，他们的员工通常要工作六个月甚至更久才能产生净生产力，所以在线学习对于获得能力显然是必要的。
但如果你能把那六个月东西都塞进 context window 里呢？已经出现了大量的架构创新，极大的增加了 transformer 能存储的信息量，或者说上下文的长度。为什么不想想，再经过几年的进步，我们或许就能拥有感觉上无限大的 context window 了呢？在我们进一步讨论这项研究之前，我想先退一步，问一个完全不相干的问题。
我发现这个问题对于理解当前 AI 进步的本质来说，其实非常有趣又令人困惑。为什么计算机使用方面的进展比其他领域慢这么多？计算机使用明明是那么的可验证。你可以问这样的问题：我订的 S C 商品送到了吗？我想组织的活动场地定好了吗？我的报税提交了吗？那么计算机使用的进展比编程、数学和其他这些可验证领域慢这么多，不是很奇怪吗？
我相信原因有很多，其中一个当然是模型在预训练阶段接触到的高质量多模态数据要少得多。但有一个我认为被大家严重低估了的原因，而且我觉得它揭示了AI进步这条河流只能缓慢冲刷的峡谷壁垒，那就是一个领域光有可验证性是不够的。它还必须具备高度的可磨练性，意思是，你必须能针对一个确定性的可重放的模拟器，运行大量并行的 roll out，而且你必须从同一个起点开始运行这些 roll out。
如果你想提高模型的编程能力，你可以定义一个容器，里面有一个缺少某些功能的软件仓库。你给AI的任务就是创建这些功能，然后你让一千个并行的agent去解决这个问题。每个agent都有一个完全相同的容器副本，但这对计算机使用来说行不通，至少没那么简单。你没法让一千个 agent 去尝试亚马逊上同样的结账流程，以此来提高他们使用网站的能力，因为 Andy Jesse 会发现你的机器人，然后把你的号封了。
你可以通过克隆 Slack、 Gmail 以及所有其他常用应用和网站来解决这个问题。但至少在目前，这是一种非常耗费人力且无法规模化扩展的环境构建方式。当然，一旦AI自己的编程能力强大到足以高保真的构建这些克隆体，那我确信计算机使用的进展会比现在快得多。而且这种做法还能一石二鸟，因为让 AI 从零开始重建整个应用本身也是一个绝佳的编程 RL 目标。
所以，虽然计算机使用本身可能很快就会被解决，但它目前的缓慢进展其实在告诉我们：除非你能为一个领域构建出高度可回放的训练目标，否则模型就很难取得大的进展。而之所以会这样，当然是因为模型在训练期间的样本效率极低。这是我在上一期视频文章里就提过的一个点。所以，对于计算机使用，我们或许能通过构建这些可大规模复现的确定性模拟器来弥补样本效率的不足。
但对于我们需要AI掌握的许多其他技能，我们根本做不到这一点。我们怎么训练一个AI，让它擅长从零开始打造一家公司？怎么让它擅长打赢官司，或者在市场上实现盈利的交易？又或者帮助候选人赢得选举？这里的role需要跟真实世界互动。你没法只在一个数据中心里就重现这些，这里的外层验证可能需要几个月甚至几年的真实世界行动才能得到反馈，而且你没法通过在上千个并行
rollout 里微调模型的动作来重新观察并精确分离出模型到底做对了什么。
处理这种无需重置非稳态的环境，本身就是 RL 领域一个已知的开放问题。我并不是在说什么新发现，但我真的想强调一点：正因为世界上大多数领域的数据都具有特异性和稀疏性，你才需要样本效率才能变得精通。如果 AI 要发展出人类拥有的所有技能，甚至是人类没有的技能，那他们就必须能够从非结构化、不可验证、模棱两可的少量真实世界互动中学习，因为在很多领域相关的训练信息根本不会以其他方式存在。
要训练一个像林登·约翰逊那样擅长政治的AI，或者像伊隆·马斯克那样擅长打造航天公司的AI，它的RL环境是什么？最后一个赌注是LOVR会泛化，也就是说，如果你在足够多容器化可复现的环境里训练，你就会得到一个非常通用的agent，它能在单次绘画里制定并执行计划，快速从新信息中学习，甚至掌握新技能。如果你把这个经过无限RVR 训练的AI扔到一九四八年的德州政坛，它能给你比LBJ更好的赢得参议院席位建议。
如果你在二零零二年给他一亿美元，让他放手去干，他能给你造出SpaceX。当然，RVR能否泛化到这种程度是一个实证问题。如果各大实验室把花在 AI 环境上的钱从数十亿美元增加到一万亿美元，你能不能在 context window 里得到一个完全像人类一样的通用智能？Daryl 在我们一起录播课时说过一句很有深意的话，我觉得这暗示了 RLVR 的泛化能力并非无限强。
他当时在解释为什么模型性能在长上下文下往往会下降。他说，这里有两件事，一个是你训练时的上下文长度，另一个是你提供服务时的上下文长度。如果你在较短的上下文长度上训练，然后试图在长上下文上提供服务，可能就会出现这些性能下降。也许我过度解读了，但他似乎在说，短时间尺度的 RL 训练不一定能泛化到长时间尺度的 RL 性能上。
如果连从短时间尺度到长时间尺度都无法泛化，那 agent 又怎么能从一堆白领任务的训练中泛化出来？比如说被扔到真实世界里，像 Sam Altman 那样从零开始打造一家公司呢？而且，即使经过足够多的上下文内经验，AI 能变得像亨利·福特或阿尔伯特·爱因斯坦一样，但如果你不能把这些学到的东西存回模型权重里，那这一切都将是短暂的，会被浪费掉。
一个实验室大约百分之三十到百分之五十的算力都花在了推理上。而这些算力目前对改进模型本身没有任何贡献，这看起来是一种巨大的浪费。而且实际情况比听起来更糟，因为最有价值能让模型从中学习的信息，恰恰只有在部署阶段才会显现。比如，我正被使用的组织里到底在发生什么？他们用我来做什么？以及我在真实世界里容易犯哪些错误？
我们就像有个天才研究生，却从不让他去真正实习。我们只是一直在 R L 环境训练里给他越来越多的课堂案例研究。这太奇怪了！我们的AI已经广泛部署到经济中，参与了这么多不同类型的任务，接触了这么多特定领域和组织的隐性知识，却无法利用它们。但这种持续学习需要回到模型权重里去，A不能随着从越来越多用户那里学习，就只是不断堆积越来越大的KV cache。
这根本不可扩展，而且人类也不是这么做的。我们大脑里并没有在参数和激活之间画出一条清晰的界限，而且你的头骨也不会因为一辈子学的东西越来越多就不断变大。我们学习的时候，明显存在某种压缩，这种压缩帮助我们泛化和真正理解。事实上，确实有一些人拥有那种自闭症天才般的能力，能在多年后回忆起随机的数字表格或无意义的音节，基本上就是模型在上下文里拥有的那种高保真信息。
而这种巨大的信息量，恰恰削弱了这些人理解抽象概念和隐喻的能力。人类的持续学习重点不在于把所有观察到的东西都挂在嘴边，而更多是把正确的直觉和全局知识凿回到权重里。但一旦你进入权重，你就必须放弃上下文学习那种样本效率。因为梯度更新的样本效率极低，所有成功上线的在线学习模型都必须在数百万用户身上学习完全相同的东西。
比如 Cursor 的 Tab 模型，通过每天预测超过四亿次请求中完全相同的目标来进行在线学习。这里的目标就是哪些编辑真正被用户接受了。至少到目前为止，我们还没见过模型能为不同用户在线学习不同的东西。因为虽然单次绘画产生的数据可能足够一个人学习，但还不足以训练出一个能力更强的AI。目前的在线学习只能用于非常有限的场景，但持续学习的核心就在于世界非常复杂。
每份工作、每家公司、每个问题都不一样，你需要你的智能能够学习与特定部署相关的具体信息，而这些信息根本塞不进某种共享的训练过程里。这就是我们谈论在岗学习时所指的所有事情。比如，你组织里的一切是如何运作、如何配合的，如何与所有基础设施和周围的人协作，去推进某个更大的项目？常见的失败模式是什么？以及很多类似的事情。
从这个角度看，样本效率和持续学习其实是深度关联的问题。模型在岗位上能获得的数据相对较少。要从这些数据中学习，就需要样本效率模型可以在上下文里做到这一点，但用的是注意力机制即时构建的快速权重。这虽然带来了样本效率，但在内存方面扩展性极差，所以我们需要架构上的创新来实现某种中间表示。我之前聊过，我们其实已经有了很多不同的可行思路，从稀疏注意力到
KV Cache 压缩，而且每周都有人发新论文提出某种其他的架构优化方案。
在我看来，架构似乎并不是根本性的卡住持续学习的瓶颈，所以瓶颈也许在于损失函数。我们如何根据从某一次特定绘画中学到的信息来更新权重，也就是改进模型本身？即使在这个问题上粗略一看，似乎也有很多应该能行的想法。最近很多人都在讨论一种叫 on-policy 自蒸馏的技术。如果你想了解更多，我几周前和 Sasha Rush 用 iPhone 录了一小段即兴的黑板讲座，链接在描述里。
但简单总结一下，这个想法是我们鼓励基础模型在解决某个真实世界问题时，做出和一个经历了漫长绘画、积累了所有上下文的模型一样的预测。这个过程的全部目的，就是把模型在一次绘画中学到的东西蒸馏回权重本身。这比 RLVR 好有两个原因：第一，OpesD 不需要我们有一个外部循环的可验证奖励，我们只需要一个能在 context window 内学到正确东西的模型。
只要有了这个，我们就可以训练基础模型去匹配我们那位经验丰富的老师模型，后者在绘画中积累了所有这些经验。第二，APESD 提供的监督信号比朴素的 RL 密集得多。你不是把单一奖励投射到整个轨迹上，而是可以在老师和学生之间每个 token 的概率差异上进行训练。对于持续学习，OptiSD 也优于监督微调。
你能想到的用于这个场景的最朴素的 SFT 版本，就是训练基础模型去预测绘画中观察到的所有 token。但仔细一想，这作为学习目标根本说不通。你在工作中变得更优秀的方式，不是靠完美复述每天发生的每一件事儿的逐字稿。而是靠巩固那些真正与你提升工作能力相关的少数洞见和知识片段，而要训练就不会有这种失败模式，而要很擅长把更新集中到那些真正影响结果的地方。
这就是为什么在一次 RL 训练步骤中，其实只有很少的参数会被改动。这个特性对持续学习来说非常重要，因为你在工作中学习时，肯定不希望覆盖和忘掉基础模型已经掌握的其他所有东西。我几个月前写过一篇文章，观点是 RL 每个样本学到的信息比监督学习少得多，但这可能是好事儿而不是坏事儿。你只对模型做最必要的改动来达成结果，绝不多改。
Opssd 保留了监督学习的这个特性，但你不是像监督学习那样猛的冲向一个教师分布，而是只提取那些在实际任务中能让你达到和教师模型同样结果所必须的知识。Opssd 是解决样本效率问题的一种方法。你拿着稀缺的真实世界经验，把其中的所有信号都压缩成一个微小精准的更新。但还有另一个更具猜想性的想法，我们暂且叫它 dreaming。
如果 AI 能构建一个很好的现实模拟器，用它来排练新技能或尝试不同策略，并强化那些真正有效的做法，那么在同样的现实时间里，哎，就能经历数量级更多的模拟样本。我们稍微回顾一下历史，DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个叫 Efficient Zero
的模型。这个模型的全部目的就是要在数据使用上非常高效，所以如果给这个模型和一个人类各两个小时去玩一个他们都没见过的 Atari 游戏模拟器，这个模型实际上很可能会打败新手人类。
这是否意味着模型比人类更具样本效率？这确实是训练的目标，但这取决于你怎么衡量样本效率。因为对于真实游戏中的每一步，Efficient Zero 都在它的脑海里玩了几十局模拟游戏。类似地，未来的 LLM 们可能只需要消耗少得多的真实世界数据，同时在自己构建的环境里进行无尽的练习。当然，最大的区别在于构建一个整个世界的模拟器，要比模拟围棋游戏困难得多。
这就是为什么我说这是个更具猜想性的想法。如果它成功了，它将成为记忆训练 RL 和推理时计算之后的第四个扩展维度。你可以叫它测试时训练，或者 dreaming。模型花费算力来编写 RL 环境，然后针对这些环境进行训练。它排练的是那些将为特定用户在生产中实际使用的所有技能。所以你不是在 Codex
Cursor 或 Claude 里敲斜杠 compact 那个指令，只会消耗一点点算力来写个摘要，给你一种持续学习的假象，而是敲斜杠 dream。
这会消耗海量算力来构建一个模型，在现实世界所见事物的电子游戏版本，并针对它进行训练。那么，到二零二七或二零二八年，持续学习会是什么样子？我们又如何走到那一步？这里有一种可能的情景。所有这些 RLVR 训练正在产出一个这样的 agent，当它被扔到一个不熟悉的问题上时，能迅速找到方向，能尝试不同的策略，能在遇到障碍时进行迭代。
这就是 RLVR 给你的最关键的东西。一个 AI 如果它能从经验中学习，那它至少已经有能力开始获取一些真实世界的经验了。一旦你有了这个，就把它放到真实世界去做实际工作，甚至是那些不在训练分布内的项目。现在假设到这个时候，有效的上下文长度已经扩展了很多，以至于 AI 可以和你一起密集协作整整一周的现实时间。
一周结束时，你给他一个好评或差评，就像做一次工作评估。如果你给了好评，基础模型就会把 AI 在这期间学到的所有东西都蒸馏出来。它可能会用 OPTS D，可能会用 Dreaming，也可能会用一些我们现在还不知道的技术，或者以上所有方法的组合。一旦它这么做了，AI 就会开始在一些领域变得更好。这些领域与它之前通过 RLVR 训练明确学过的东西是相邻的。
在下一轮，它又能在与它之前在线学到的内容相邻的事情上做得更好。通过这种方式，AI 的技能、知识和能力的范围就能远远超出模型在部署前最初训练时所针对的那些可验证领域。就像预训练创造了一个基础智能，这个智能足够聪明，能在上面叠加足够的 RLVR 后成为一个合格的 agent。同样的 RLVR 也创造了一个足够合格的 agent，能够被真正广泛的部署到世界上。
而一旦持续学习的训练方法真正到来，它就能从这种广泛的部署中进行在岗学习。到那个时候，AI 进步的主要方式将不再是他们向公众发布之前所接受的训练，相反，进步将来自他们在被广泛部署到经济活动中，参与如此多种多样的任务时所积累的所有经验。你每次和AI互动，它都会变得更聪明。这不仅是因为它从你之前的绘画中学习了，也因为它从和世界上所有其他用户的所有互动中学习了。
这非常可怕，也非常令人兴奋，和现在 AI 的进步方式完全不同。这是我在自己网站 dwarkesh.com 上发布的一篇博客文章的迭代版本。如果你想看所有的脚注，或者想注册以便在我发布下一篇博客时收到通知，可以去那里看看。不然的话，我们下期节目再见。