新架构爆料与学术验证信号

近期，OpenAI和Anthropic分别发布了GPT-6 Astra和Fable 5.1模型，但更受关注的是一条关于底层架构变革的消息。据The Information记者Stephanie Palazzolo爆料，OpenAI的GPT-6 Astra采用了名为“循环深度”（Recurrent Depth）的新推理方法，也被称为循环Transformer。若此消息属实，意味着大模型的扩展方式正在发生根本性变化。过去依赖堆参数、数据和算力的Scaling Law，以及后来引入的思维链（CoT）拉长推理链条，可能正在被第三条轴——即通过内部潜在空间的迭代计算来提升性能所取代。尽管OpenAI首席科学家Jakub Pachocki随后发帖澄清，呼吁不要因混乱报道引发“不可监控的竞赛”，但这一时间点恰逢清华大学与字节跳动Seed团队联合发布了SMELT论文。该研究在FLOPs、总参数量及KV缓存严格对齐的条件下，验证了循环架构的扩展性。学术界的数据与业界的技术传闻形成了强烈共振，暗示这一技术路线已具备规模化验证的基础。

循环深度的核心机制：解耦深度与参数复用

要理解这一变革，需先厘清传统Transformer的局限。在传统架构中，模型深度是通过层层堆叠不同权重的层来实现的，这导致参数量随深度线性增长，进而带来内存、带宽和成本的指数级上升。循环深度则采取了“解耦深度”的思路，将参数量与计算深度分离。它让同一组或少量几组共享权重的层在潜在空间中进行多次迭代计算。这种机制用时间（计算循环）换取了空间（模型参数量），使得模型在不增加参数的前提下，能够动态调整思考步数。正如视频中的比喻：标准Transformer像是一条单向的流水线，数据经过每个工位即被送往下游；而循环深度更像是一位工匠在工作台上反复打磨同一件作品，直到内部状态充分优化后再输出结果。这种参数复用机制是提升推理效率的关键。

Huginn原型与潜空间推理的实验证据

在这一方向上，Jonas Geiping团队2025年发表的《用潜空间推理扩展测试时计算》提供了代表性案例。该研究训练了一个约35亿参数的模型Huginn-0125，其架构分为三部分：前奏块（Prelude）负责嵌入输入、核心部分为共享权重的循环核心（Recurrent Core，约15亿参数），以及尾声块（Coda）负责解码输出。训练时迭代次数随机采样，测试时可动态调整循环次数R。这种在潜在空间中的连续思考，无需将中间步骤转化为文字思维链。实验数据显示，35亿参数的模型通过增加循环次数，在GSM8K等基准测试上达到了相当于约500亿参数固定深度模型的效果。这实现了14倍的参数潜能提升，证明了测试时计算扩展（Test-time Compute Scaling）在数学和编码等深度推理任务中的显著优势。

SMELT论文：算力公平下的效率验证与规律发现

清华与字节团队的SMELT研究解决了以往循环模型研究中“算力不公平”的问题，即忽略了每次循环增加的FLOPs和KV缓存开销。该研究在严格控制FLOPs、参数、KV缓存三者完全对齐的严苛条件下进行了对比。结果显示，循环架构在计算最优前沿上能节省6.8%到18.0%的训练算力，且优势随模型规模扩大而增加。这证明了性能提升源于架构效率而非单纯堆算力。SMELT还揭示了具体规律：循环带来的增益在代码任务上最显著，交叉熵增益高达20.4%；长文本收益是短文本的1.52倍。此外，上下文学习能力随提示示例增加呈现滚雪球式提升。循环架构在处理结构化、长序列任务上具有天然优势，且无需专门构造长CoT数据即可学会灵活调整计算预算。

Astra的技术吻合度与安全监控困境

虽然OpenAI未官方确认Astra的具体架构，但多方信息指向高度吻合。Jakub Pachocki提到当前前沿模型的计算图深度与GPT-4相差不超过两倍，而SMELT论文指出循环两次正好处于算力效益的最优点。这种巧合暗示了共同的技术逻辑。然而，这也引发了可观测性（Monitorability）的担忧。传统思维链通过文字输出让监控成为可能，而循环深度允许模型在激活空间中进行多步精炼。SMELT研究发现，第二遍循环时模型会削弱对BOS token的注意力汇聚，并将重定向至关键线索。这些计算在潜在空间悄无声息地完成，外部系统无法捕捉其决策轨迹。正如视频所言：“以前的模型是边想边说，而循环深度的模型是先在心里头琢磨好几遍”。这种“神经语”（Neuralese）的存在，使得依赖可读CoT的监控窗口变窄。

商业博弈与行业未来的Scaling新范式

从商业角度看，循环深度技术的曝光时机恰逢OpenAI面临营收压力及巨额数据中心资本支出需要技术支撑的背景。Astra内部版本攻克了10个尘封多年的数学难题，算力成本仅约2000美元，且证明可被Lean证书验证。这种高效率可能引发杰文斯悖论：虽然单次调用成本下降，但总使用量上升。Sam Altman近期态度转变，承认“没有人完全理解如此强大的AI会带来什么后果”。这反映了行业在效率与安全间的权衡。OpenAI虽主动限制循环深度比例以保留可读思维链，但行业面临博弈论困境：若一家公司放开使用获得优势，其他公司可能被迫跟进。一旦打开不可监控竞赛的口子，整个行业的安全基线将面临重构。循环深度作为第三条Scaling轴，将与参数扩展、思维链并行发展。大模型的竞争将从比谁参数多转向比谁内部思考更深更高效，而安全与效率的天平摆动将成为未来几年的核心命题。

结论

循环深度架构通过共享权重的迭代计算，实现了用时间换空间的高效推理范式。SMELT论文与Huginn原型从学术和实验层面验证了其在算力节省（最高18%）及性能提升（3.5B模型达50B效果）上的巨大潜力。然而，这一技术将推理过程从显式的文字思维链转移至隐式的潜在空间计算，严重削弱了模型的可观测性。OpenAI在Astra中采取的折衷策略——限制循环深度以保留部分可监控性，反映了业界对“不可监控竞赛”的警惕。随着该技术可能成为大模型扩展的第三条轴，如何在享受其带来的效率红利与维持AI安全可控之间找到平衡，将是决定下一代大模型发展路径的关键挑战。