持续学习的必要性:从“笔记传递”到“经验积累”的范式转变

真正的持续学习(Continual Learning)是AI具备人类级工作能力的基石。如果AI仅能在会话间通过Markdown文件传递状态,它将无法胜任复杂任务。作者通过一个萨克斯风学习的类比阐明了这一观点:想象一名从未演奏过的学生进入音乐厅尝试演奏,失败后写下错误笔记;下一名学生读取笔记后再次尝试并继续补充。这种无限传递文本笔记的方式,无法让后续学生首次尝试就完美演奏。因为某些技能必须将相关经验积累到大脑中,而非仅靠外部文本传递。同理,AI需要在不同工作场所部署中,从实际交互中积累真实经验,而非仅仅依赖静态的会话记录。

监管与安全挑战:静态评估失效与动态风险管控

持续学习将彻底颠覆现有的AI监管框架。当前许多监管提案基于“训练后部署前”的静态假设,即通过部署前的检查确保模型不会用于网络攻击或产生危害。然而,如果模型每天基于数百万次工作会话进行自我改进,这种静态安全评估将变得过时甚至适得其反。作者警告,现在锁定某种安全监管制度可能是锁定一种过时且可能适得其反的方法。政府若需对模型提供商进行安全评估,更合理的做法是进行月度或季度的风险检查,而非试图在训练结束与部署开始之间划定一个在未来已无意义的界限。这种动态演进的特性使得一次性合规检查无法应对持续变化的威胁。

技术对齐与多样性:防止“变坏”与打破同质化

在持续学习模式下,实验室的技术对齐(Technical Alignment)方法必须发生根本性变化。目前研究多关注如何让冻结权重的模型在部署期间表现良好,但缺乏关于如何在权重持续更新的情况下防止AI遭受越狱攻击或转变为欺骗性人格的研究。此外,还需防止用户通过注入后门或恶意倾向来污染基础模型。这类似于人类对齐问题:人类在自我导向的学习中可能受到极端意识形态或药物的影响而变得“怪异”,但希望其能基于常识和基本价值观保持正向成长。同时,持续学习将增加AI思维的多样性。当前仅有不到五个主流AI基础模型,且因训练数据相似而高度同质化。若AI从不同公司、不同实例的差异化经验中学习,将打破当前的模式崩溃(Mode Collapse),带来更丰富、更有趣的AI生态,而非单一的垄断实体。

商业竞争与护城河:部署即训练与切换成本

当部署成为训练的一部分时,AI竞赛的回报加速。拥有最佳模型且用户更多,意味着模型能整合更多反馈从而变得更聪明。这给实验室带来巨大压力,必须更早部署最智能的模型。例如,Anthropic虽早在二月内部使用Mythos,但直到六月才公开,而在持续学习时代,四个月的内外部部署差距将导致竞争力丧失,因为竞争对手即使首发模型稍弱,也能通过真实世界经验迅速超越。此外,持续学习将为领先实验室建立清晰的商业护城河。目前用户可自由切换Codex、Cursor和Claude Code,因为模型间无累积差异。但在持续学习模式下,模型会随交互变得更好,导致极高的切换成本——更换AI相当于解雇一名积累了数月组织上下文的员工,换上一名毫无经验的实习生。这种锁定效应将显著提升现有用户的留存率和实验室的盈利能力。

模型锁定与企业应对策略

在持续学习(Continual Learning)的架构下,模型往往需要从头开始重新训练,这种技术路径导致了严重的供应商锁定(Lock-in)风险。一旦用户或企业被锁定在特定的模型提供商生态中,提供商便有能力索取高昂的利润率。面对这种动态,明智的企业会试图避免被单一供应商绑定,但现实往往充满两难:如果不接受锁定,企业可能会失去一个极具价值的功能——即模型能够根据会话(Session)之间的交互自动改进自身。如果实际使用数据成为模型提升的主要来源,那么AI实验室可能会采取补贴策略,允许模型在用户或企业的会话中进行训练,这类似于Google免费提供的搜索服务背后的逻辑。

"If real usage ends up being the main way the models improve, then the AI labs may subsidize users and enterprises which allow the model to train on their sessions."

这种策略已经体现在编程产品对新用户提供的优惠协议中。反之,AI实验室也可能采取强硬手段,规定任何拒绝允许其利用会话数据进行训练的企业将无法访问最顶级的模型。通过这种“胡萝卜加大棒”的组合策略,实验室能够极大地促使用户允许AI从经验中学习。尽管文中承认,更新单个用户的权重与将所有不同的权重分支(weight forks)回聚到主模型之间存在技术差异,且后者更具挑战性,但作者认为这些问题终将得到解决。

训练规模经济与推理效率的鸿沟

AI训练领域已经存在显著的规模经济效应,高昂的训练成本可以通过增加用户基数来分摊,这一点从实验室收入增长速度远超计算资源(Compute)投入速度的现象中可见一斑。然而,持续学习不仅影响训练,还可能为终端用户带来推理阶段的规模经济,主要体现为批处理(Batching)的优势。如果每家公司的个性化信息需要全量权重更新(full weight updates)而非仅使用低秩适配器(low-rank adapters),那么批处理将带来巨大的效率优势。

根据粗略估算,对于像DeepSeek v3这样的稀疏模型,最优的推理批处理大小超过2400个并发序列同时生成。若不进行如此大规模的批处理,计算资源将被严重浪费。只有当数千个序列同时针对同一组权重进行解码时,该组权重才能被高效服务。这意味着,拥有大量员工和智能体(Agents)的大型企业可以非常高效地服务其权重分支,而仅以批处理大小为1运行的个人用户,其计算效率可能低两个数量级以上。因此,从经济学角度看,提供个性化权重的服务强烈倾向于大型组织。

持续学习的未来展望

尽管持续学习技术完全成熟之前市场格局可能发生巨大变化,且许多最重要的变革可能难以提前预见,但上述关于锁定风险、数据博弈及推理效率差异的趋势在当前已清晰可见。这些预测基于对现有AI实验室行为模式、计算经济学原理以及模型架构特性的深入分析。作者指出,这不仅是技术演进的问题,更是商业策略与基础设施效率之间的复杂互动。随着技术的成熟,如何平衡个性化需求与规模化效率,将成为企业和AI实验室共同面临的核心议题。

"The economics of serving personalized weights strongly favor big organizations."

这一结论强调了在持续学习时代,大型组织在利用AI个性化服务方面的结构性优势。个人用户若无法融入大规模批处理的生态,将在计算成本上处于极度劣势。这种经济驱动力将加速AI服务向大型企业集中,除非出现新的技术突破来降低小批量推理的成本或改变权重更新的机制。