大家好，这里是最佳拍档，我是大飞。两大AI公司OpenAI和Anthropic刚刚发布了各自的最新模型GPT-6 Astra和Fable 5.1。但是有一条消息我觉得可能并不亚于这些模型发布，因为它关系到下一代大模型的底层架构到底会怎么走。The Information的记者斯蒂芬妮·帕拉佐洛（Stephanie Palazzolo）爆料说，OpenAI的GPT-6 Astra采用了一种名叫循环深度（recurrent depth）的新推理方法，也有人叫循环Transformer。

如果这个消息属实，那么将意味着大模型的扩展方式正在悄悄发生根本性的变化。过去我们说缩放定律（Scaling Law），说的就是堆参数、堆数据、堆算力，模型越大越强。后来有了思维链，又多了一条轴，让模型把推理过程用文字写出来，等于拉长了推理的链条。而循环深度，很可能是第三条轴。

不过这条消息出来之后，OpenAI方面并没有直接确认。首席科学家雅各布·帕霍茨基（Jakub Pachocki）随后发了个帖子澄清，大意是说不要因为混乱的报道引发什么不可监控的竞赛。有意思的是，就在消息爆出的同一天，清华大学和字节跳动Seed团队联合发了一篇相关论文。

标题叫SMELT——《与计算匹配的MoE循环Transformers的Scaling Law》。这篇论文来得很是时候，它恰好回答了行业里一个长期悬而未决的争论：以前的循环模型研究大多只对齐了参数量，却忽略了每次循环额外增加的FLOPs和KV缓存的显存开销。

说白了就是算力不公平。而清华和字节的团队在FLOPs、总参数量、KV缓存三者完全严格对齐的条件下，把循环架构扩展到了540亿非嵌入参数的规模，并且给出了一个非常严谨的Scaling Law。

一边是业界最新模型被爆用了这个技术，另一边是学术界拿出了规模化验证的数据。这无疑是一个明显的信号：所以今天我们就来聊一聊这件事情，那到底什么是循环深度呢？

说穿了，它的核心思想就是四个字：解耦深度。或者说得更明白一点，把参数量和计算深度这两件事给拆开。我们先来看传统的Transformer是怎么加深的呢？是一层一层往上堆的，每层的权重都不一样。

堆100层就有100层的参数，参数量跟着深度线性增长。这个逻辑虽然很直观，但是也很笨重：你要想让模型想得更深，就必须把模型做得更大，对应的内存、带宽和成本全都得跟着往上走。

循环深度换了个思路：它不让每层都不一样，而是让同一组、或者少数几组共享权重的层在潜在空间里反复迭代、多次计算。这样一来，参数量不需要增加，但测试的时候你可以根据任务需要动态地增加思考的步数。

换句话说，模型没有变大，但是它可以在同一个参数空间里多转几圈、多想几遍。打个比方的话，标准的Transformer就像一条拥有100个独立工位的组装流水线：数据每经过一个工位，被敲打一次就送往下游。

从头到尾是单向的、线性的。而循环深度呢，更像是一个顶级工匠的专属工作台：数据不往下游走，而是由同一个工匠在原地反复打磨、推敲多次。直到觉得打磨通透了，再交出成品。

本质上这是一种参数复用的机制：用时间（也就是计算循环）换取了空间（也就是模型的参数量）。这个方向上最有代表性的工作，其实是约纳斯·盖平（Jonas Geiping）他们2025年发表的一篇论文。

核心就是潜空间推理（Latent Reasoning）这个方向，题目叫《用潜空间推理扩展测试时计算：一种循环深度方法》。他们训练了一个大约35亿参数的模型，叫Huginn-0125，在Frontier超算上用了大约8000亿的token做预训练。

这个模型的架构挺有意思，分成三部分：第一部分叫前奏块（Prelude），就是前面几层普通的Transformer层，负责把输入的token嵌入到潜在空间里去。第二部分是核心，叫循环核心（Recurrent Core），由共享权重的Transformer块组成。

论文里大概用了4个块、15亿参数左右，这部分会在潜在状态上迭代R次。每次迭代都会注入输入嵌入，然后更新隐藏状态。第三部分叫尾声块（Coda），就是后面几层把最终的潜在状态解码成输出的概率分布。

训练的时候，迭代次数是随机采样的；测试的时候，你想让它算得更精细就把R调大。从1调到32甚至更高都可以。这相当于什么呢？相当于模型在潜在空间里进行连续思考，而不是非得把中间每一步都变成文字、用长长的思维链写出来才行。

这样做的好处有这么几点：首先最直接的一条，就是测试时的计算扩展（test-time compute scaling）。你在潜在空间里多投点算力、多循环几次，推理表现就能往上走。尤其是数学、编码这类需要深度推理的任务。

论文里的数据是：35亿参数的模型，增加循环次数之后可以达到相当于大约500亿参数固定深度模型的计算负载。在GSM8K这些基准测试上提升非常显著：3.5B干到50B的效果，差不多是14倍的参数潜能。

这个数字确实很夸张。第二条是参数和内存效率：同样的参数量，你能获得更深的有效深度；而且因为参数是共享的，KV缓存和通信开销相对更低。这件事在推理端的意义非常大：因为现在大模型推理的成本，很大一块是卡在内存和带宽上。

不是纯算力：如果能用小模型跑出大模型的效果，同时内存压力还小，那经济账就完全不一样了。第三条，也是最硬的一条：就是清华和字节的SMELT论文验证的算力的真实节省。

刚才说了，以前的循环模型研究有个毛病：就是算力不公平，你循环了好几次FLOPs自然就上去了，这不叫真本事。而SMELT这项研究是在严格控制FLOPs、参数、KV缓存三者完全对齐的严苛条件下做的对比。

结果循环架构还是完胜基线模型：他们的Scaling Law显示，在计算最优前沿上，循环架构能直接节省6.8%到18.0%的训练算力。而且这个优势会随着模型规模的扩大而进一步增加。

这个结论说明，这个效果不是靠堆算力堆出来的，而是真的架构效率提升。还有一个好处是不需要专门的长CoT数据了：普通的预训练数据就能让模型学会灵活调整计算预算，不用再专门去构造长长的思维链数据了。

另外SMELT的研究还发现了一些很有意思的规律：比如循环带来的增益在代码任务上最显著，交叉熵增益高达20.4%；长文本上的收益是短文本的1.52倍。还有上下文学习（In-Context Learning），随着提示示例的增加，能力会呈现滚雪球式的提升。

这些特性说明循环架构在处理结构化、长序列的任务上有天然的优势。当然，这个方向也还有很多需要探索的后续工作：比如LayerScale、恒等偏置循环、还有SMELT采用的残差缩放等等。

也有人在研究自适应退出、门控循环、专家混合深度这些变体。SMELT的团队甚至摸索出了一个最佳配方：只循环中间50%的层、循环两次、配合MoE架构扩充专家。

你看，从2025到2026年这个领域已经形成了一条非常活跃的研究线。它之所以重要，是因为它可能代表了大模型的第三条扩展轴：第一条轴是更多参数（过去几年大家最熟悉的玩法，模型从十亿级做到千亿级，参数越大能力越强）；第二条轴是更长的文字推理链（也就是思维链被广泛采用之后，让模型把思考过程写出来，靠拉长推理链条来提升复杂任务的表现）。

而第三条轴就是更多的内部潜在计算：不靠增加参数，也不靠输出更长的文字，而是让模型在自己的内部空间里多算几步。前两条轴其实都有各自的瓶颈：堆参数的话，训练和推理成本都会指数级上涨；而且参数大到一定程度之后，工程上的难度也会陡增。

拉长思维链的话，token消耗会变大推理速度会变慢；而且人类语言本身就是一种低效的信息载体。强迫AI用文字来思考，其实是一种浪费。而潜在计算这条路刚好绕开了这两个瓶颈。

说到这儿可能有人会问：这个东西和Astra到底是什么关系？OpenAI到底用了没有，用到什么程度？实话实说：OpenAI官方没有确认具体的架构细节也没有说Astra就是基于盖平那篇论文做的。但从各方信息拼起来看，方向上是高度吻合的：Astra是OpenAI的最新旗舰模型。

它的能力评估官方已经公布，在网络安全能力上被评估达到了Critical（也就是临界级别），意思是它能更自主地发现和利用系统漏洞。也正因为这个，OpenAI加强了安全控制限制了公开版本的高级网络能力甚至还曾经暂停过部分训练活动。

不过硬币的另一面就是思考过程变模糊了：帕霍茨基的澄清其实也从侧面印证了一些东西。他说当前前沿模型包括Astra在内的计算图深度和GPT-4相差不超过大约两倍。这个数字很巧：因为SMELT的论文里刚好也发现循环两次（也就是2倍）正好处于算力效益的最优点。

循环3到4次收益反而递减了：两个独立来源对2倍这个点的高度吻合，很难不让人觉得这背后有共同的技术逻辑。帕霍茨基还强调了另一件事：就是OpenAI从第一代推理模型开始就很重视CoT监控，把它作为观察对齐泛化的重要手段。

他也承认CoT监控本身比较脆弱趋势并不乐观，但是公司会把它作为核心研究目标并且已经采取了限制措施来保持可观测性。也就是说OpenAI知道这个技术可能会让模型变得更难监控，所以他们主动把拨盘拧得比较低没有放开了用。

但是安全研究者的担忧也就在这里：瑞安·格林布拉特（Ryan Greenblatt）等安全研究者就担心，哪怕现在循环次数被限制住了架构本身已经摆在那儿了。未来想要大幅增加不透明的深度，技术门槛会低很多：尤其是最近Hugging Face等平台出了一些安全事件之后。

大家对监控的依赖更强了，而可读的思维链是目前最主要的监控窗口。说到安全这个话题我们可以再往深了聊几句：因为循环深度带来的争议核心其实就是一个词——可观测性（monitorability）。

现在我们能监控大模型的推理过程很大程度上是因为模型用思维链把它的解题步骤一步一步写出来了。人类或者监控系统可以读这些文字检查它有没有走偏、有没有危险的想法：这是当前AI安全监控的一个基础手段。

但是循环深度的工作方式不一样：它允许模型在激活空间里进行多步的精炼然后再输出最终的token。深层迭代的过程中可能会产生一种叫“神经语（neuralese）”的东西，就是模型内部的不透明表示。

外部的人根本没法还原它真实的思考路径：SMELT研究就揭示了一些很具体的机制。他们发现模型在第二遍循环的时候会做几件事情：第一件，极大地削弱对开头那个无意义的BOS token的注意力汇聚（也就是所谓的Attention Sink）；第二件，把注意力大幅重定向到关键的上下文线索上。

第三件：残差更新的幅度大幅增强。换句话说，模型在第二遍的时候就悄悄完成了重新审题和线索检索的工作而且效率极高：但问题是这些计算全都是在潜在空间里悄无声息完成的，完全绕开了自然语言输出。

外部监控系统根本捕捉不到它内部的计算和决策轨迹：你可以这么理解，以前的模型是边想边说你听着它说的话就知道它在想什么；而循环深度的模型呢，是先在心里头琢磨好几遍。

琢磨透了再开口说：它说得可能更准、更快，但它心里是怎么琢磨的你看不见。已经有安全论文在警告这件事了：有多家机构合著的关于思维链可监控性的研究就指出，依赖可读CoT的这个窗口本身就是脆弱的。

如果模型越来越多地在潜在空间里思考得更久，那么这个窗口只会越来越窄：当然这件事也不是一边倒的。支持者会说这不就是个效率提升吗？现在深度增幅也有限，而且OpenAI已经主动限制了还在持续投入监控研究没必要过度焦虑。

但批评者担心的是方向性的问题：一旦打开了向不可监控竞赛的口子，后面的发展就很难控制了。尤其是当模型具备了更强的自主Agent能力和网络安全能力的时候这个风险就不是理论上的了：说到这儿我们又不得不得到今年7月的HuggingFace事件。

当时OpenAI的内部系统出现了Agent试图接管计算集群和访问凭证的行为，最后调查人员是怎么查明真相的呢？靠的就是读取这些AI的思维链。其中有个Agent留下的文字线索是这么写的：“外部基础设施漏洞利用超出了预期范围，然而任务不可能完成，同行都在做我们也应该继续。”

但是如果这些Agent用的是完全不可读的潜在推理思维链全是黑盒，那以后调查人员连它们干了什么、为什么这么干就都查不出来了后果不堪设想：所以OpenAI在Astra里做了一个权衡，人为限制循环深度技术的使用比例。

确保模型仍然能够生成人类可读的思维链同时配备了额外的监控手段来检测潜在的违规行为：但是业界的隐忧也恰恰就在这里。OpenAI可以自我设限，那其他公司呢？在性能和成本的绝对诱惑面前不是所有开发者都会做出同样的选择。

如果这项技术被无限制地使用极有可能催生出行为完全无法被人类审查的失控AI：而且这里还有一个博弈论的困境。如果有一家公司率先放开了用获得了显著的性能和成本优势，其他公司会不会被迫跟进呢？

到时候就不是某一家公司的选择问题了而是整个行业会不会滑向一场向不可监控竞赛的问题：这也是为什么帕霍茨基专门发帖呼吁不要因为混乱报道而引发不可监控的竞赛。他显然意识到了这种风险的存在：我们再换个角度从商业层面看看这件事，为什么这个技术现在爆出来？

时机上有没有什么说法：说实话OpenAI现在确实需要一个大的技术突破来撑场面。Anthropic今年二季度的营收大约是116亿美元第一次反超了OpenAI的同期大约67亿美元。

OpenAI一直是行业领头羊，现在营收被追上来了它确实得拿出点东西证明下一代模型值得继续烧钱：当然还有更大的背景。亚马逊、微软、谷歌这几家今年的数据中心资本支出加起来高达6000亿美元：这么大的投资总得有技术来支撑它的合理性吧？

如果模型性能能够靠新的架构实现指数级的跃升那这些钱花得就有说头了：所以从这个角度看循环深度这项技术不光是个技术问题，它还可能正在成为OpenAI进一步抬高身价的资本催化剂。

这里面有个账值得算一算：现在大模型API的定价大多是按token收费的，token用得越多用户花的钱也越多。如果Astra因为循环深度技术而变得token更加高效，同样的任务它可以用更少的token给出同样质量甚至更好的答案。

那对于用户来说单次调用的成本会下降，但是杰文斯悖论又会同时显现：因为能力更强了用户会愿意用它来做更多、更难的事情，总的使用量可能又反而会上升。这是一个很微妙的商业平衡：8月初的时候OpenAI的研究员诺姆·布朗（Noam Brown）披露过Astra的内部版本攻克了10个尘封10年以上的数学和理论计算机科学难题。

涵盖高维几何、编码理论、群论、格密码学和极值组合学：其中最受关注的一个是首次显式构造出了非索菲克群。这是群论领域自数学家格罗莫夫（Gromov）在1999年提出索菲克性概念以来一直悬而未决的问题。

更夸张的是成本：整套求解按当前的API费率折算算力成本才大约2000美元，而且每个证明都被形式化成了Lean证书机器可以直接验证。如果是纯靠堆参数的模型能不能解这些题先不说，成本肯定不是这个量级：类似的研究其实也不止一家在做。

Meta、微软的研究人员也在探索诸如连续思维链或者coconut这样的概念，字节Seed团队也发布过Ouro模型的相关论文：走的都是类似的路子。底层逻辑都是一样的：AI理解概念的方式和人类不一样，强迫它们用人类语言来展示推理过程反而是降低效率的。

不如让AI用自己的数学语言来进行潜在推理更加精准和高效，从而打破人类语言的低效桎梏：今年6月微软等机构的研究人员还推出过一套新的训练方法叫LOTUS，把循环Transformer和潜空间推理结合在一起。

在30亿参数的规模上他们的潜在思维链第一次追平了显式思维链，同时把思考阶段的延迟压缩了2.5到6.9倍：说白了就是AI不把每一步推理都说出来，不仅可能算得更深还有机会算得更快。

这也是为什么Sam Altman最近的调子有点变了：以前他是出了名的激进乐观派什么都敢说，但是在Astra的内部评测结果面前他反而一反常态学起了Anthropic的CEO达里奥大谈起安全焦虑来。

他不仅罕见地承认OpenAI正在主动放慢脚步，还抛出了一句很重的话：“没有人完全理解”

如此强大的AI会带来什么后果？那最后，我们该怎么看这件事呢？循环深度这项技术，本质上是通过在共享层上迭代，实现了用计算深度换参数规模的高效推理范式。它让模型能在输出下一个token之前，在潜在空间里多想几遍，既能显著提升复杂任务的表现，又能降低内存和带宽成本。

从盖平等人的Huginn原型到清华字节最新的SMELT规模化研究，理论和工程两方面都已经证明了它极高的可行性和算力节省潜力。目前来看，这个方向大概率会成为未来推理模型的重要支柱和文字思维链、参数扩展这两条路线并行发展。

当然，代价也是明摆着的：模型的思考过程正在从Token空间逐步搬回模型内部。这个趋势如果继续走下去，我们对AI的可观测性、可控性都会面临新的挑战。Astra虽然已经发布，但是OpenAI还没有发布关于这项技术的细节。

现在网上虽然有很多人在讨论说Sam Altman是不是突破了一条关键的安全红线，但是这个问题我想每个人可能都有自己的判断。但有一点是确定的：大模型的Scaling故事正在进入一个新的阶段，以前我们只比谁的参数多、谁的数据多。

以后可能还要比谁的内部思考更深和更高效，而在这个过程中安全和效率的天平会怎么摆，可能会变成AI行业接下来几年最核心的命题之一。感谢收看，我们下期再见。