核心突破:靠“做梦”实现递归自我改进
谷歌DeepMind联合马里兰大学和弗吉尼亚大学,在arXiv上发表了名为Dream-RSI的论文。其核心思路颠覆传统,提出智能体通过记录每一步行动形成一棵“发现树”,并在树上进行模拟推演(即做梦),从而练出更优的探索策略。这种机制下,底层模型权重一字未改,仅通过优化外围的探索逻辑来提升性能。在算法优化任务中,主流进化搜索系统需要跑51200代才能达到的水平,Dream-RSI仅调用317次即达成同等效果;在GPU内核优化中,生成次数暴降了2.43倍。这一成果让网友马克·克雷奇曼惊呼谷歌可能破解了递归自我改进(RSI)。
“要实现递归自我改进,智能体必须学会做梦。而历史,就是它们做梦的世界。”
论文一作郑童(马里兰大学博士生)指出,过去AI在代码和算法设计上进步迅速,如AlphaEvolve系统能发现人类未找到的算法。但这些系统的探索策略全靠人手写死,包括分支算力分配、剪枝时机和并行开启等。当搜索空间变大时,模型即使聪明,若策略差也会浪费算力在死胡同里且不记仇。让策略自己进化理论上可行,但评估成本极高:评估一套策略需重跑几百上千轮发现过程才能打分,耗时数天无人能耗。
架构设计:双层分离与发现树模拟器
Dream-RSI的解法巧妙地将“执行”与“决策”拆分为两层。底层是发现智能体,由Gemini 3.1 Pro或3.7 Flash驱动,负责读取上下文、生成候选代码并交由评估器打分。顶层是轻量编排层,包含一段Python代码作为探索策略,决定从哪个节点继续、开多少并行及何时止损。关键在于,每次真实探索的结果都存入一棵发现树。根节点为初始工作区,子节点记录完整现场(文件系统快照、产物、诊断和得分)。
这棵树构成了模拟器。策略迭代时,无需在真实环境重跑代码,只需在长好的树上“回放”历史。若想测试新策略(如先试A再进C放弃B),只要这些节点在历史中出现过,系统即可直接读取记录进行推演。整个评估过程不调用模型、不跑代码,仅靠读历史完成。论文将这种机制称为“做梦”,类比走迷宫:第一次尝试形成地图,后续在脑中推演路线无需重走。这种设计使得策略改进可以在零真实算力消耗下快速完成。
运行闭环:三阶段循环与策略进化逻辑
Dream-RSI的运行分为三个紧密耦合的阶段,形成闭环。第一阶段是真实探索:用当前最新策略引导智能体在真实环境运行,调用模型、编译执行代码,并将所有路径和反馈追加到历史数据库形成新的探索树。第二阶段是构建模拟器:将更新后的历史转化为可重用的重放模拟器池,供后续评估使用。第三阶段是基于做梦的策略改进:专门的策略开发智能体在模拟器中疯狂“做梦”,修改并重写探索代码,产生上千个候选策略。
在模拟器中打分依据三项指标:本轮找到的最优分数、扣除尝试次数的成本以及并行奖励。得分高的策略意味着“多快好省”。负责修改策略的智能体会盯着当前轨迹、分数及整棵树,直接改写代码并生成多个版本回炉打分。新策略的下限是原地踏步(因为当前策略仍在候选池中),上限则是无限进化。只有当新策略在模拟器上的综合得分高于当前策略时,才会被部署到真实世界。数学上保证了新策略表现绝不会弱于上一代。随着新策略带回更深更广的探索树,模拟器随之进化,梦境更准。
实证数据:算法、数学与GPU内核的显著优势
论文在三个领域实测了Dream-RSI的效果,数据表现惊人。算法工程方面:任务是Lasso正则化路径求解器。使用Gemini 3.1 Pro,Dream-RSI仅调用317次就将平均运行时间从3587毫秒降至2931毫秒。相比之下,固定策略需调用550次才达此水平;基线SimpleTES为获类似结果需生成51200次。换用更便宜的Gemini 3.7 Flash后,消耗1879次调用将时间降至2350.6毫秒。Dream-RSI找出的方案不同于基线的二选一,而是将自适应做进活跃集优化内部:先用强规则筛特征,再用柯西-施瓦茨不等式做KKT剪枝,仅在必要时计算精确梯度。
数学优化方面:在和差问题、圆装填和自相关不等式等离散/几何优化中,Dream-RSI在一千代以内达到或超越极强基线。与需51200代的SimpleTES相比,节省超过50倍计算预算。在圆装填问题上,甚至追平了谷歌自家AlphaEvolve V2的最强纪录。GPU内核工程方面:测试四种内核。在VGG16和LayerNorm的省资源对比中,Dream-RSI达到同等性能所需的生成次数仅为固定探索的2.43分之一和1.79分之一。在ConvDiv和ConvMax的性能对比中,给定相同预算,Dream-RSI优化出的内核性能分别是固定探索的2.09倍和1.44倍。这些结果证明,进化发生在探索层而非模型大小上,小模型同样受益。
反直觉发现:人类引导为何反而更差?
论文中最具争议且反直觉的实验涉及“方向性提示”。研究团队将历史轨迹提炼成高层指导意见,手把手教智能体往哪走。结果在同等预算下,加了人类引导的始终比不加的更差。研究人员还尝试让大模型总结历史经验作为高层指导,结果智能体表现不仅未提升,反而显著差于没有任何指导的原始基线。这一发现挑战了传统AI开发中“注入专家知识”的范式。
背后的原因是:任何总结都是一种压缩。当人类将“路线失败”抽象为简单一句话时,丢失了大量关键信息:如具体失败条件、程度、旁边分支情况及未尝试的可能性。一旦经验被生硬抽象为高层原则,便转化为AI的认知偏见。这导致搜索空间过度约束,扼杀了探索多样性,使AI困在局部最优解中。Dream-RSI的做梦机制不提供空洞真理,而是保存完整过程。过去的失败不再是终点,而是一个可重新进入的空间。AI可以站在历史节点上问:“如果当时换选择会怎样?”这种微观层面的代码级优化,保持了探索空间的开放和多样性。
深层启示:行动轨迹作为AI的核心资产
这一发现引出了关于“AI如何拥有经验”的深层问题。当前多数系统谈记忆本质是记笔记:任务结束后提炼规则,下次检索放入上下文。但Dream-RSI表明,未来高级智能体最重要的资产不仅是训练数据或知识库,还包括大量曾经真实运行过的行动轨迹。过去的工作不再只是消耗的算力,而是成为下一轮研究的基础设施。在日常工作中,总结经验被视为好习惯,但在AI探索场景中,人类总结的高层原则反而成了枷锁。从具体到抽象的过程中,不可避免地丢失了让创新发生的细节和随机性。
“过去做过的工作不再只是消耗掉的算力,而可能继续成为下一轮研究的基础设施。”
这篇论文之所以引起关注,是因为有人相信通往超级智能的通道已被打通。谷歌产品负责人Logan Kilpatrick透露谷歌已看到RSI早期迹象,并以Gemini每三至四周更新为例证。他强调要将算力投向写代码和研究,因为这能加速下一轮训练。但Dream-RSI展示了另一种RSI路径:模型权重不必先变,可通过自我重写外围探索框架来增强能力。这好比研究员智商未变,但经验增加后知道哪些方向值得追、何时换路线。变化的不是脑子本身,而是方法。
结论
Dream-RSI证明了递归自我改进不必依赖模型权重的重新训练。通过构建基于历史探索树的模拟器,AI可以在“做梦”中优化其外围的搜索策略代码。这种机制在算法、数学和GPU内核任务上均展现出远超传统进化搜索的效率,且底层模型保持不变。然而,该系统仍有局限:它无法凭空预测未探索区域的结果,必须定期回到真实环境扩展“梦境”边界。此外,实验表明人类的高层经验总结可能因信息压缩导致认知偏见,反而阻碍探索。未来更强的AI或许不在于更聪明的模型,而在于更擅长记住历史并从中学习如何少走弯路的能力。随着此类技术在Gemini等模型中的应用,AI的自我进化范式正从“训练权重”转向“优化策略”。