当前训练范式的根本局限
当前主流的 AI 训练范式——即在大量预定义的强化学习（RL）环境中进行大规模离线训练——正被各大实验室押注为通向通用人工智能（AGI）的关键路径。支持者认为，只要在成千上万个不同 RL 环境中训练 AI 完成数百万个可验证任务，就能产出一个具备持续解决问题能力的智能体（agent），它能在错误与模糊性面前持续推进开放式任务。他们进一步主张，当前范式的核心缺陷——如数据低效性与缺乏持续学习能力——终将被更大规模的训练所“碾压”，正如当年通过扩大语言模型规模解决了 NLP 领域诸多基础难题一样。
然而，这种乐观预设存在一个关键盲点：样本效率。据估算，当前模型的样本效率仅为人类的百万分之一。尽管训练阶段是一次性成本，可分摊至后续数十亿次推理中，但真正决定模型能力上限的，是其在单次推理中展现的智能程度、通用性与样本效率。更严峻的是，许多现实任务（如创业、政治博弈、商业决策）无法被轻易建模为可复现、可并行的 RL 环境；它们依赖真实世界反馈，而真实世界既不可重置、也难以大规模并行 roll-out。
我们就像有个天才研究生，却从不让他去真正实习。我们只是一直在 AI 环境训练里，给他越来越多的课堂案例研究。
你每次和 AI 互动，它都会变得更聪明。这不仅是因为它从你之前的绘画中学习了，也因为它从和世界上所有其他用户的所有互动中学习了。
持续学习为何不可替代
尽管有人认为，上下文学习（contextual learning）已足够强大，能通过扩展 context window 实现“类持续学习”的效果，从而避免将新知识写回模型权重，但这一观点忽略了两个根本问题：可扩展性与知识压缩。
首先，当前在线学习（online learning）机制——如 Cursor 的 Tab 模型——仅能对所有用户共享的同一目标进行学习（如预测用户接受的代码编辑），无法为不同用户定制化更新权重。这导致模型无法吸收部署中产生的特异性知识（如组织内部流程、隐性协作规则、常见失败模式等）。其次，人类学习的本质并非无限存储细节，而是将关键直觉与全局知识压缩进长期权重中。自闭症学者虽能记住海量原始数据，却往往缺乏抽象推理能力——这恰恰说明：高保真上下文记忆 ≠ 理解。
更关键的是，推理阶段消耗的算力（占实验室总算力的30%–50%）对模型能力提升毫无贡献，是一种巨大浪费。而最有价值的学习信号——如用户真实需求、系统边界条件、错误模式——恰恰只在部署中显现。因此，持续学习（即模型在部署中更新自身权重的能力）不是锦上添花，而是实现真正通用智能的必要条件。
人类持续学习的重点不在于把所有观察到的东西都挂在嘴边，而更多是把正确的直觉和全局知识凿回到权重里。
通往持续学习的可行路径
当前瓶颈并非架构本身——稀疏注意力、KV Cache 压缩等创新正快速推进上下文容量——而在于损失函数设计：如何从单次推理中提取有效知识并高效写回权重？近期兴起的 on-policy 自蒸馏（on-policy self-distillation, OpesD）提供了一种新思路：让基础模型在解决真实问题时，模仿一个“经验丰富的教师模型”（即在当前推理中积累上下文的同一模型）的输出。相比传统 RL，OpesD 的监督信号更密集（可在 token 级别训练），且无需外部奖励信号；相比监督微调（SFT），它避免了“复述所有细节”的失败模式，转而聚焦于对结果真正关键的知识片段。
这一机制天然契合人类学习逻辑：我们不会因每次对话而重写大脑架构，但会通过反复实践，将局部经验提炼为更鲁棒的内部表征。OpesD 的核心优势在于——只做必要改动，保留已有能力，同时精准注入新知识。这为构建真正具备持续学习能力的智能体，提供了可落地的技术方向。
如果连从短时间尺度到长时间尺度都无法泛化，那 agent 又怎么能从一堆白领任务的训练中泛化出来？比如说被扔到真实世界里，像 Sam Altman 那样从零开始打造一家公司呢？
RL训练的精准性与Opssd的核心思想
在强化学习（RL）训练中，真正被更新的参数其实非常有限——这种稀疏更新机制对持续学习至关重要，因为它确保模型在学习新任务时不会覆盖已掌握的广泛知识。作者早前曾撰文指出：RL每个样本所学到的信息远少于监督学习，但这恰恰是优势所在：它只对模型施加最小必要改动以达成目标结果，避免过度拟合或灾难性遗忘。Opssd（On-Policy Supervised Distillation）延续了这一理念，但它不像监督学习那样粗暴地向教师分布“猛冲”，而是仅提取那些在实际任务中使模型达到与教师模型同等性能所必需的知识。因此，Opssd本质上是一种应对样本效率瓶颈的策略：它将稀缺的真实世界经验压缩为一个微小而精准的参数更新。
你只对模型做最必要的改动来达成结果，绝不多改。
Opssd是解决样本效率问题的一种方法。你拿着稀缺的真实世界经验，把其中的所有信号都压缩成一个微小精准的更新。
Dreaming：构建模拟世界以指数级提升学习效率
另一个更具猜想性的方向被作者称为“Dreaming”——即让AI构建一个高度保真的现实模拟器，并在其中反复排练新技能、测试策略组合，从而在相同现实时间内积累数量级更多的训练样本。这一思路在历史上已有雏形：DeepMind发布AlphaZero数年后，研究人员开发出Efficient Zero模型，其设计目标正是极致的数据效率。实验表明，在同等时间内（如两小时），该模型在陌生Atari游戏中甚至可能击败新手人类；但关键在于，它并非仅靠真实游戏步数学习，而是在内部模拟了数十倍于真实步数的对局。未来大语言模型（LLM）也可能走向类似路径：大幅减少对真实世界数据的依赖，转而在自建环境中进行无限练习。当然，构建“整个世界”的模拟器远比模拟围棋复杂得多，因此Dreaming目前仍属推测性设想。若成功实现，它将成为继记忆训练RL与推理时计算之后的第四大扩展维度——作者称之为“测试时训练”或“Dreaming”：模型先消耗算力构建一个现实世界的电子游戏版本，再针对该环境进行密集训练，所学技能直接服务于特定用户在真实场景中的使用需求。
如果AI能构建一个很好的现实模拟器，用它来排练新技能或尝试不同策略，并强化那些真正有效的做法，那么在同样的现实时间里，哎，就能经历数量级更多的模拟样本。
持续学习的演进路径：从RLVR到部署后进化
展望2027–2028年，持续学习的落地路径或将呈现如下图景：当前的RLVR（Reinforcement Learning + Vision + Reasoning）训练正催生一类新型智能体——当面对陌生问题时，它能快速定位方向、尝试多种策略，并在受阻时迭代优化。这正是RLVR赋予AI的核心能力：从经验中持续学习。一旦具备此能力，AI即可被投入真实世界执行任务，包括其原始训练分布之外的项目。随着有效上下文长度的显著扩展，AI可与人类用户进行长达一周的密集协作；周期结束时，用户给予的反馈（好评/差评）将触发一次“学习蒸馏”：基础模型整合该期间所有学到的内容，可能结合Opssd、Dreaming或未知技术，形成更精炼的版本。此后，AI将在与前期RLVR技能相邻的新领域持续进化，技能边界不断向外拓展——其能力范围将远超原始预训练所覆盖的可验证领域。最终，AI的进步将不再主要依赖于发布前的静态训练，而是源于广泛部署后在真实经济活动中的持续积累：你每一次与AI互动，它都在从你及全球所有用户的交互经验中学习。这标志着AI演进范式的根本性转变，既令人敬畏，也充满希望。
你每次和AI互动，它都会变得更聪明。这不仅是因为它从你之前的绘画中学习了，也因为它从和世界上所有其他用户的所有互动中学习了。