我在其他地方解释过为什么我认为真正的持续学习是必要的。如果人工智能被限制为仅在不同会话之间编写 Markdown 文件，我就认为它们无法像人类那样胜任整个工作。仅举一个说明性的例子，想象一下这是学生如何学习演奏萨克斯风的方式。有一个学生，他以前从未演奏过萨克斯风。他走进音乐厅，尝试演奏。当然，这是他第一次演奏，所以他失败了，并写下了一堆关于哪里出错的笔记。
在音乐厅外面有另一个学生在等待。他进来，阅读所有这些笔记。他也从未演奏过，所以当然他也搞砸了，并继续在这些笔记上添加内容。而在音乐厅外面有无穷无尽的学生，他们不断向下一个人写笔记。我认为，无论他们写下什么样的文本序列，都无法让后续的学生第一次尝试就完美地演奏萨克斯风。在某个时刻，你实际上必须将相关的经验积累到你的大脑中。
我认为，对于许多我们希望人工智能从它们被部署的不同工作场所中真正积累的技能来说，情况也是如此。好的，那么一旦我们拥有真正的持续学习，会发生什么变化？第一，我认为许多关于监管人工智能的提案都假设你训练一个模型，然后部署它。因此，如果在部署前对模型进行一系列检查，我们可以确保它不会协助网络攻击或做出疯狂的事情。
我不认为这个假设在未来一定合理，这也是我担心现在锁定某种安全监管制度的众多原因之一——因为我们甚至不知道一年内会面对什么样的技术，更不用说五年或十年了。如果模型基于当天完成的数百万个工作会话每天都在进步呢？如果发生这种情况，我们可能会锁定一种过时且可能适得其反的方法来应对人工智能带来的威胁。
如果政府希望以某种方式对模型提供商进行安全评估，我认为进行月度或季度风险检查会比试图单独挑出训练完成后但在部署开始前的某个特殊时刻更有意义，因为在未来，这不会成为一个意义显著不同的类别。第二，实验室进行技术对齐的方式可能需要彻底改变。目前，许多研究集中在如何确保一组固定的权重在部署期间表现良好。
但我不知道有多少研究关注这样一个问题：即使权重不断更新，我们如何确保人工智能系统永远不会沦为越狱攻击的受害者，或者不会变成欺骗性或邪恶的人格。如果人工智能也在用户之间整合学习成果，我们如何防止用户向基础模型注入后门或某种恶意倾向？在某种意义上，这就是人类对齐问题，对吧？人类以自我指导的方式进步。
如果你有孩子——我没有孩子，但我想象这就是会发生的情况——他们出去，学习新事物。有时他们会变得疯狂。他们会被疯狂的思想瞬间击中，服用错误的药物，变得非常怪异。但你希望你已经给了他们足够的常识和基本价值观，使他们以自我指导的方式作为人进步，而不会最终产生一些非常怪异的想法或厌世观念。
第三，人工智能思维的多样性将会增加。目前，只有不到五个著名的人工智能思维，我的意思是那些同时服务于数百万、数亿或数十亿用户的基础模型。顺便说一句，它们彼此非常相似，因为它们都是在大致相同的数据上训练出来的。但是，如果人工智能从经验中学习，而且这种经验不仅在不同的人工智能公司之间不同，而且在同一人工智能模型的不同实例之间也不同，我们可能会看到这个世界另一端出现大量的多样性。
我认为这将是一个净好的结果。未来需要担心的事情之一是拥有一个相当无聊的单一垄断实体。一个拥有持续学习的世界，有望比我们现在世界中看到的模型模式崩溃更加有趣。第四，当部署成为训练的一部分时，在人工智能竞赛中领先的回报会加速。如果你拥有最好的模型，并且更多的人使用你的人工智能进行更复杂和有用的工作，结果他们提供了大量它可以整合到会话窗口之外的反馈，那么你的模型将会变得更聪明。
第五，如果模型主要从部署中学习，那么实验室将感到巨大压力，必须更早地部署他们最聪明的模型。据报道，Anthropic 自二月以来一直在内部使用 Mythos，但它直到六月才向公众发布该模型。在真正的持续学习体制下，这样的事情根本不可能发生。你无法在内部部署和外部部署之间保持四个月的差距，同时保持竞争力，因为一个在发布日推出较差模型的竞争对手，将拥有一个基于实际现实经验的更聪明的模型。
第六，持续学习将为领先的人工智能实验室创造目前所缺乏的清晰护城河。许多人一直在问：“人工智能实验室究竟如何赚钱？”我也一直在问这个问题。当我在播客上邀请 Dario 时，我问了他这个问题，他将此比作云提供商。他指出：看，云提供商提供许多无差异化的服务，但他们仍然获得高利润率。如果你查看亚马逊或谷歌的季度收益，你就会注意到这一点——他们做得很好。
但云利润率如此高的原因是，从一家云提供商切换到另一家云提供商确实耗时且昂贵。目前，没有什么能阻止我从 Codex 开始一个软件仓库，然后用 Cursor 在上面做更多工作，最后用 Claude Code 完成它。但是一旦我们拥有真正的持续学习，并且你与之交互的模型在会话之间实际上变得更好，那么转换成本就相当可观。如果你想更换你使用的人工智能，你基本上必须解雇一个在你的组织积累了数月上下文信息的员工，并用一个非常新鲜、非常缺乏经验的新实习生来替换他。
必须从头重新训练。一旦形成这种锁定效应，模型提供商就能索取相当高的利润。抱歉，这里特别强调一下“新鲜实习生”这个梗。第七，当然，企业会看穿这种动态。他们会试图避免这种锁定。但如果选择是：要么被模型提供商锁定，要么失去这个超级有价值的功能——即你的模型能随着每次会话的使用而自我改进——该怎么办？
如果实际使用最终成为模型改进的主要途径，那么AI实验室可能会补贴允许模型在其会话上进行训练的用户和企业。如果你看看编程产品为新用户提供的那些优惠，就能发现这已经在发生了。这与谷歌免费赠送搜索服务的逻辑非常相似。
反之，实验室可能会表示，任何拒绝让他们在会话上进行训练的企业，将无法获得最好的模型。通过胡萝卜加大棒的手段，实验室可以促使大量用户允许AI从经验中学习。当然，我在这里略过了一个事实，即更新单个用户的权重集与将这些不同的权重分支合并回主模型之间存在差异，后者可能在技术上更具挑战性。但随着时间的推移，这也将得到解决。
第八，AI训练已经具有大规模经济效应。你可以将昂贵的训练成本分摊到更多用户身上，从实验室收入增长速度远超其计算资源增长速度的事实中，就能看到这一证据。但持续学习也可能为终端用户带来推理规模经济，主要体现在批量处理上。你可能看过我与Reiner Pope的那期节目，我们在那里详细讨论过这一点。
但如果每家公司都需要进行完整的权重更新，而不是使用低秩适配器，那么批量处理将带来巨大的优势。粗略计算表明，对于像DeepSeek v3这样的稀疏模型，最优推理批量大小超过2400个并发序列同时生成。如果不这样做，你就在浪费计算资源。如果你想了解原因，我再次强烈推荐那期关于推理经济学的节目。
总之，这里的要点是，只有当数千个序列同时针对同一组权重进行解码时，该组权重才能被高效服务。拥有大量员工和代理、从事各种不同活动的大型公司，可以非常高效地服务其权重分支；而仅以批量大小为一运行的个人用户，其计算效率可能会低两个数量级以上。因此，服务个性化权重的经济学强烈倾向于大型组织。
显然，当持续学习真正可行时，情况会有很大变化，最重要的变化可能是那些最难提前预见的。但上述几点现在看来已经很清晰。这是对我发布在网站上的一篇博客的旁白。去dwarkesh.com看看吧。否则，我们下期播客见。