Recursion Is The Next Scaling Law In AI

递归推理：小模型的破局之道

视频开篇即抛出一个令人震惊的事实：一个仅拥有700万参数的模型，在ARC Prize等推理任务上的表现，竟然超越了规模比它大一千倍的模型。 这一现象揭示了递归推理（Recursive Reasoning）所释放的巨大潜力。本期《Decoded》节目中，Y Combinator的Ankit Gupta与Francois Chaubard深入剖析了两篇关于递归AI模型的最新论文——HRM（Hierarchical Recurrent Models）和TRM（Transformer Recurrent Models）。这两类模型以极少的参数量实现了当前最大模型级别的SOTA（State-of-the-Art）结果。

"A 7-million parameter model outperforming models a thousand times its size on tasks like ARC Prize. That's what recursive reasoning unlocks."

两位嘉宾解释了为什么标准的LLM（大型语言模型）在某些推理任务上会遇到根本性的性能天花板，以及如何在推理阶段通过引入递归机制，赋予小模型足够的计算深度来突破这一限制。此外，他们还探讨了当这些递归思想与大规模基础模型结合时，会产生怎样的化学反应。这不仅是参数量的竞赛，更是推理架构范式的转变。

传统RNN的局限与LLM的对比

要理解递归模型的价值，首先需回顾传统循环神经网络（RNN）的局限性。Ankit指出，RNN在处理长序列时存在严重的梯度消失问题，导致其难以捕捉长距离依赖关系。虽然LLM通过自注意力机制解决了这一问题，但它们本质上仍是前馈网络，缺乏内在的迭代推理能力。LLM在处理复杂逻辑时，往往依赖于提示工程（Prompt Engineering）或思维链（Chain-of-Thought），而非模型内部的递归计算。

"Standard LLMs hit a fundamental ceiling on certain reasoning tasks... recursion at inference time gives small models the compute depth to break through it."

Francois进一步补充，LLM的推理过程是静态的，一旦生成输出，计算即告结束。而递归模型允许模型在推理阶段进行多轮自我修正和深化思考，类似于人类在解决难题时的反复推敲。这种动态的计算深度使得小模型能够模拟大模型的复杂推理路径，从而在特定任务上实现超越。

推理极限与排序类比

为了形象地说明推理极限，嘉宾们使用了一个排序算法的类比。在计算机科学中，排序一个无序列表需要一定的计算步骤。如果使用LLM，模型必须一次性预测所有元素的正确位置，这对于长列表来说极其困难，因为模型无法在中间步骤进行自我验证。然而，递归模型可以像插入排序或冒泡排序一样，逐步比较和交换元素，每一步都基于前一步的结果进行优化。这种迭代过程允许模型在有限的参数下，通过增加推理步数来提升精度。

"Reasoning limits... sorting analogy."

这种类比揭示了递归推理的核心优势：将复杂的整体问题分解为可迭代的子问题。LLM试图一次性解决所有问题，而递归模型则通过时间维度上的重复计算来逐步逼近最优解。这使得小模型能够在不增加参数量的情况下，通过增加推理时的计算量（Compute）来提升性能，从而打破了传统模型规模与性能之间的线性关系。

HRM论文介绍：分层递归架构

接下来，嘉宾们详细介绍了HRM（Hierarchical Recurrent Models）这篇论文。HRM的核心思想是引入分层结构，将推理过程分为多个层级，每一层负责不同抽象程度的推理任务。底层处理简单的模式识别，高层处理复杂的逻辑组合。这种分层设计使得模型能够像人类一样，先理解局部细节，再构建全局认知。

"HRM Paper Introduction... achieving state-of-the-art results with a fraction of the parameters."

HRM通过递归调用同一组参数在不同层级上执行任务，实现了参数的高效复用。与传统的多层神经网络不同，HRM的每一层并不是简单的堆叠，而是通过递归机制共享权重和状态。这种设计不仅减少了参数量，还增强了模型对复杂结构的泛化能力。实验结果显示，HRM在ARC Prize基准测试中表现优异，证明了分层递归架构在推理任务上的有效性。

HRM架构直觉与外循环机制

深入HRM的架构细节，其直觉在于模拟人类思维的‘系统1’和‘系统2’。系统1负责快速、直觉的反应，系统2负责缓慢、逻辑的推理。HRM通过外循环（Outer Loop）和内循环（Inner Loop）的结合，实现了这种双系统思维。外循环负责宏观的策略规划，内循环负责微观的细节执行。

"HRM Architecture and Intuition... outer loop gives the model the ability to plan and refine."

外循环机制允许模型在推理过程中进行自我反思和调整。当内循环的执行结果不符合预期时，外循环会调整策略，重新触发内循环。这种反馈机制使得模型能够纠正错误，逐步优化输出。例如，在解决数学问题时，内循环负责具体的计算步骤，外循环则检查计算逻辑是否合理，如果不合理，则重新规划解题路径。这种动态调整能力是传统LLM所不具备的。

HRM结果与性能数据

HRM的实验结果令人印象深刻。在ARC Prize基准测试中，HRM以极少的参数量取得了SOTA结果。具体数据如下表所示：

"HRM Results... outperforming models a thousand times its size."

数据显示，HRM的性能远超其参数规模所预期的水平。这表明，递归推理机制能够显著提升模型的推理效率。与传统的LLM相比，HRM在推理阶段消耗的计算资源更多，但参数量极少，这使得它在部署成本和推理速度上具有潜在优势。嘉宾们强调，这种性能提升并非来自数据量的增加，而是来自推理架构的创新。

TRM论文概览：Transformer递归模型

随后，嘉宾们转向TRM（Transformer Recurrent Models）的介绍。TRM将递归思想引入Transformer架构，通过在自注意力机制中引入递归状态，实现了序列建模的动态深化。与HRM的分层结构不同，TRM更侧重于在单个Transformer层内实现递归计算。

"TRM Paper Overview... combining recursion with the power of large-scale foundation models."

TRM的核心创新在于它允许Transformer在推理阶段进行多次迭代，每次迭代都基于前一次的状态进行更新。这种机制使得模型能够逐步细化对输入序列的理解，类似于LLM的思维链，但更加自动化和内在化。TRM的设计目标是结合Transformer的强大表达能力和递归模型的推理深度，从而在保持高效的同时提升性能。

TRM训练与不动点收敛

TRM的训练过程涉及不动点（Fixed Point）的概念。在推理阶段，TRM会不断迭代，直到输出状态收敛到一个不动点，即再次迭代不会改变输出状态。这种收敛机制确保了模型的稳定性，同时也为模型提供了一个自然的停止条件。

"TRM Training and Fixed Point... convergence ensures stable reasoning."

训练TRM的关键在于如何优化这个递归过程。嘉宾们指出，传统的反向传播算法在递归网络中面临挑战，因为梯度需要通过时间反向传播。TRM通过引入特殊的训练策略，如截断反向传播和梯度裁剪，解决了这一问题。此外，不动点的存在使得模型在推理时能够自动调整计算深度，无需人工干预，这大大简化了部署流程。

HRM与TRM的详细对比

在详细总结HRM后，嘉宾们对HRM和TRM进行了对比。HRM侧重于分层结构，适合处理具有明显层级关系的任务，如代码生成或复杂逻辑推理。而TRM侧重于序列内的递归深化，适合处理需要逐步细化的任务，如文本摘要或对话生成。

"Comparing HRM and TRM... different strengths for different tasks."

HRM的优势在于其清晰的逻辑结构，便于调试和优化，但可能在处理长序列时效率较低。TRM的优势在于其灵活性和与现有Transformer架构的兼容性，但训练难度较大。嘉宾们认为，这两种架构并非互斥，未来可能会出现结合两者优点的混合模型，以应对更复杂的推理任务。

未来展望与结语

最后，嘉宾们展望了递归推理在AI领域的未来。随着计算能力的提升和算法的优化，递归模型有望成为下一代AI架构的主流。它们不仅能够突破小模型的性能瓶颈，还能为大模型提供更高效的推理方式。

"Future Outlook... recursion is the next scaling law in AI."

递归推理被视为继数据规模、模型规模之后的下一个‘缩放定律’。它提供了一种新的维度，通过增加推理时的计算深度来提升模型性能，而不必单纯依赖参数量的增长。嘉宾们呼吁研究人员和工程师关注这一领域，探索递归模型在更多应用场景中的潜力。视频在对未来AI发展的乐观展望中结束。

核心观点总结

整个视频的核心论点在于：递归推理是突破当前AI模型性能瓶颈的关键。通过引入递归机制，小模型能够模拟大模型的复杂推理过程，从而在特定任务上实现超越。HRM和TRM作为两种典型的递归模型，分别展示了分层结构和序列递归的不同优势。未来，递归推理有望成为AI架构的重要发展方向，推动AI技术向更高效、更智能的方向演进。

"Recursion Is The Next Scaling Law In AI."

这一观点强调了计算深度与参数规模同等重要，甚至在未来可能更为重要。对于开发者而言，理解并应用递归推理机制，将是提升模型性能、降低部署成本的重要途径。