云端只读镜像 本机离线时仍可阅读
D

Dwarkesh

Star on GitHub

AI技术思想家，主张从静态预训练转向部署中持续学习（Continual Learning）的范式转移

归纳 [1] [2]
更新 2026-09-10 审阅 待审 本地待审

核心思想与方法

  • 当前基于离线强化学习（RL）的训练范式存在样本效率低下的根本局限，无法通过单纯扩大规模解决；AI必须从预训练转向部署中的持续学习（Continual Learning），将真实世界交互经验回写至模型权重，而非仅依赖上下文窗口。 归纳 [2] [3]
  • 提出On-Policy Self-Distillation (OPSD/OpesD) 作为持续学习的技术路径，通过模仿‘资深教师模型’（同一会话中积累上下文的自身）的输出，将关键洞察压缩为精准参数更新，避免灾难性遗忘。 归纳 [2] [3]
  • 预测‘Dreaming’（构建高保真模拟环境进行内部排练）将成为继预训练、RL和推理时计算后的第四大扩展轴，大幅减少对真实世界数据的依赖。 归纳 [2] [3]
  • 持续学习将导致AI商业模式的根本变化：模型随交互积累特异性知识，产生极高的用户切换成本（锁定效应），并加剧大型组织在推理批处理效率上的结构性优势。 归纳 [1]

最近公开表达

  • 在YouTube视频《8 Predictions for the Era of Continual Learning》中预测：持续学习将颠覆基于静态评估的AI监管框架，要求从一次性合规转向动态风险检查；同时指出部署即训练将加速竞争并导致供应商锁定。 事实 [1]
  • 在YouTube视频《探讨强化学习训练范式...》中分析：计算机操作领域进展缓慢是因为缺乏可重放的确定性模拟器；指出RLVR在短视界训练难以泛化到长视界复杂场景（如商业构建）。 事实 [3]
  • 在小宇宙播客《AI 训练的下一个范式》中阐述：当前模型样本效率仅为人类的百万分之一；批评仅靠扩展上下文窗口无法替代权重更新，因为人类学习本质是压缩直觉而非存储细节。 事实 [2]

重要来源

  1. 8 Predictions for the Era of Continual Learning
  2. #605.Dwarkesh：AI 训练的下一个范式，为什么你的模型永远毕不了业
  3. 探讨强化学习训练范式能否通过扩展上下文窗口解决样本效率问题，并分析计算机操作领域进展缓慢的根本原因
YouTube
探讨西班牙征服者如何凭借外交策略、技术优势及原住民盟友，以数百人颠覆拥有数百万人口的阿兹特克与印加帝国
2026-10-01 · 21818 字
YouTube
8 Predictions for the Era of Continual Learning
探讨持续学习时代对AI监管、对齐、多样性及商业模式的五大预测与影响
2026-08-07 · 3024 字
小宇宙
#605.Dwarkesh：AI 训练的下一个范式，为什么你的模型永远毕不了业
AI模型需从预训练发布转向部署中持续学习，以突破样本效率与泛化瓶颈
2026-06-29 · 3421 字
YouTube
探讨强化学习训练范式能否通过扩展上下文窗口解决样本效率问题，并分析计算机操作领域进展缓慢的根本原因
发布日期待补 · 5625 字
Prism is open source · ⭐ Star on GitHub · about