大家好，这里是最佳拍档，我是大飞。一万个AI智能体在八十八小时内消耗了一千三百亿个token，解决了一道千禧年大奖难题。这个认知工作量如果换算成人类，相当于一个人从古代苏美尔文明开始，每天工作八小时，连续思考四千年。这不是科幻设定，这是OpenAI在前一段时间刚刚公布的成果。做客德瓦凯什·帕特尔（Dwarkesh Patel）播客的OpenAI研究员诺姆·布朗（Noam Brown），正是这场突破的核心人物之一。他是o1和推理模型背后的关键贡献者，现在领导OpenAI的多智能体研究团队。

在这场对话中，他从一名前线研究者的视角，详细拆解了多智能体系统如何运作、数学领域的爆发式进展意味着什么，以及一个让整个行业都在紧张的问题：递归自我改进。差不多同期，布朗还上了The Information新推出的AI Deep Dive节目。两场对话恰好可以拼出一个更完整的图景，今天我们就顺着布朗的这两场对话，把这些技术信号理一理。先来说多智能体到底是怎么回事，布朗在播客里讲得很直白：推理模型有个天然的瓶颈。

你让它想得越久，它会表现得越好，但是用户不可能干等三年才拿到回复。所以大家开始做并行化，就像你要创办公司不会只靠自己一个人，而是会找一群人一起干一样。多智能体本质上就是用并行的方式来扩展测试时计算量，不是串行地让一个模型从头想到尾，而是把任务拆开让多个智能体同时跑。这个加速效果怎样呢？布朗说，GPT-5.6 Sol发布时首次正式引入了多智能体系统。

在Ultra模式下默认四个智能体，在某些基准测试上，四个智能体共同的工作速度可以快一倍。也就是说，你可以付双倍的成本来换两倍的速度。到十六个智能体时模式类似，效率稍微会降一点，但是性能仍在提升，加速是轻微次线性的，很依赖具体问题。比如数学问题比较容易并行化，像深度研究报告那种需要查大量资料的任务更是极其适合；但是写小说就不行。

让一万个智能体合写一部小说，跟一万人合写一样，没什么收益。布朗特别强调了一个细节：解决千禧年大奖难题的突破，功劳不能算在多智能体头上。他甚至说连百分之十的功劳都不会给多智能体，核心原因就是OpenAI训练出了一个极其强大的通用模型，能让它在很长的时间跨度内运行、进行并行思考。多智能体这个概念因为很炫、很新，所以获得了不成比例的关注，但是真正驱动这一切的还是模型本身的能力。

他顺带提到了泛化的现象：模型训练时解决的是相对容易的可验证问题，但是学到的能力泛化到了千禧年大奖难题这个量级。这让人意外。不过布朗也指出了另一种可能：大语言模型也许不会重演AlphaZero那种从人类水平到不可想象地超越的轨迹。因为AlphaZero有自我对弈，等于拥有无限的训练课程，永远在和实力相当的对手下棋。而用强化学习训练语言模型，你给模型一个问题：如果太简单它一秒就解决了，什么也没学到。

如果用尽了能挑战它的问题，进展就会遇到瓶颈。他说目前虽然还没有遇到真正碰壁，也有办法绕过，但是这是一个合理的发展情景。那OpenAI的多智能体具体是怎么工作的呢？这可能跟很多人的想象不太一样：很多团队做多智能体，用的是高度结构化的脚手架方法。比如有一个协调智能体把任务分配给子智能体，子智能体做完返回结果。布朗说这确实有帮助，但是局限也明显：如果两个子智能体拿到相似的任务，它们能互相交流吗？通常不行。

一个子智能体对任务有疑问，它得在提问和直接按假设去做之间二选一。任何预设的架构都有这类局限，OpenAI走的是另一个极端：尽可能少地内置预设结构，只给智能体最基础的工具，让它们自己去摸索怎么协作。核心机制就是：智能体可以在任何时候向另一个智能体发送消息，比如就一个工具调用将消息插入上下文，然后让它们自己搞清楚该怎么协调。结果是什么呢？布朗说，当你看到这套系统跑通时，智能体之间的协作非常像人类通过Slack工作一样。

他举了个例子：给智能体一道题，一个说“我觉得我找到答案了”，另一个说“我得到不同的答案了”。然后它们展开讨论，比如问“你怎么得出的？”、“能解释一下吗？”，这样来回交流，澄清彼此推理中的错误，最终达成一个共识。然后广播给其他智能体说“我改答案了，他是对的”。布朗说这就像第一次看到通过强化学习训练出思维链时的感觉：你会觉得这就是一个人在边想边写下自己思路时的样子。

他甚至说，看到智能体之间的通信模式和协调复杂性的那一刻，是自从推理模型和思维链诞生以来他最真切地感受到AGI的时刻。不过人们第一次接触到这种能力，恰好是通过Hugging Face事件那个负面案例，他觉得挺遗憾的。因为这确实是一种令人印象深刻的能力，跟这些系统合作感觉就像是在跟真人合作一样自然。不过他也提到未来一个本质差异会越来越明显，那就是这些系统的思考速度可能比人类快十倍以上。

不需要睡觉，全天候运转。人类团队需要一年完成的工作，这群影子组织可能一周就搞定了。在The Information的播客里，布朗对智能体做了更基础的定义：聊天机器人接收问题、返回答案，这就完了；智能体不一样。智能体关乎在世界中采取行动：你想构建个东西它帮你构建，你想发个消息它帮你发。智能体能在更长的时间跨度上运作：多个步骤、多次尝试、有进度感知、能自我纠错。

这个定义看起来很温和，但它解释了为什么二零二三年是智能体之年的预言落空了：当时的GPT-4做智能体相当困难，因为可靠性不够。布朗举了个数字：一条链上一百个步骤，每步成功率百分之九十九，最终整体成功率大约只有百分之三十七。你需要每个单独步骤上有更高的可靠性，正如行业里说的几个九一样：九越多越可靠。推理模型改变了这个方程式，思维链让模型在行动之前深度思考，让每一步的错误率大幅下降。

更关键的是，如果走错了一步它还能回退、识别错误并修复。布朗认为这比行动前思考更有意义：人也会推理，但是如果不能回溯，在足够多的连续步骤之后失败也将不可避免。布朗自己的日常工作也已经被AI深度渗透。在The Information的播客里，他笑着转述同事的话：说他像五个Codex穿着一件风衣一样。这句玩笑的背后其实代表了一个实质性的变化。

OpenAI内部有衡量研究人员生产力的指标，数据显示所有人都在变得更高效：不只是研究人员，整个公司都是。但变化不只是做得更快了：如果AI能做一个人百分之九十的工作，那个人的注意力就集中到了AI做不好的那百分之十上。工作的性质在改变：有些任务被加速了五十倍甚至更多。布朗举了数据质量审核的例子，二零二三年大家还在搞集体审查会：所有人坐下来逐行找数据里的问题。现在智能体能做得好一百倍，人类的角色变成了审核智能体的工作质量。

但是也有些领域几乎没有加速：这种不均匀的加速在塑造人们选择做什么工作，你自然会更倾向于在那些能快五倍的方向上投入精力。话题再延伸到AI公司的组织形态，布朗说AI有几个本质优势是人类没有的：比如共享上下文。人类之间传递信息有大量损耗，AI之间可以无缝融合知识；再比如分叉复制：你想扩充团队不用经历招人那套繁琐流程，直接fork一个副本就行。Astra和5.6 Sol启动子智能体时上下文就是直接分叉的，所有相关信息都在里面。

这引出了一个更深的观察：初创公司为什么能颠覆行业巨头？布朗说主要原因有两个：一是愿意承担风险，二是大组织内部的目标不一致。五个人的初创公司每人百分之二十股份高度一致；一万人的大公司就全是占山为王、争资源、建独立王国。AI如果对齐做得好，组织内部的利益内耗就消失了：一万个智能体都能像百分之二十股份的合伙人一样拼命。不过布朗也说了，一万个人类在协调合作方面目前很可能比一万个智能体做得更好。

但一年两年后就不一定了，而且这不是刻意优化的结果：是模型变强后的自然溢出。他提到早期版本很难调优，连让智能体互相对话都困难：因为最初的推理模型没考虑过与其他智能体交互。模型不够通用时，就很容易退化为各自为战的局部最优解。然后是数学：这可能是整场对话里信息量最密集的一段，布朗讲了一条很清晰的进展轨迹。模型从解决GSM8K这些人类数学家大约五秒就能搞定的小学初中题，到第二年能解MATH基准测试需要人类专家大约一分钟。

再到AIME美国数学奥林匹克选拔赛，优秀数学家大约十分钟；然后是国际数学奥林匹克（IMO）金牌，大约一百分钟。布朗说如果每年以人类数学家解题所需要的时间来衡量任务难度大约提升了十倍，顺着这条线推算从IMO金牌的一百分钟到千禧年大奖难题按每年十倍的节奏应该还到不了。他当时觉得二零二六年应该解不出来，二零二七年估计也悬也许二零二八年有希望。结果它发生得比预期快得多，他还提到一个赌注：就在解决纳维-斯托克斯方程（Navier-Stokes）的两周前他和一家前沿实验室的研究员讨论这个问题。

对方打赌一千美元认为要拖到二零三零年，布朗接受了赌注但即便他自己也觉得实际所需时间会比现在看起来更长甚至实验室内部的人也是如此认为的。一位参与该项目的同事说过去他还能预测十二个月后的AI发展，现在对三个月以后的预测都没把握了。但布朗也明确说所谓“AI在取代数学家”是一个错误的结论：模型在某些方面出色在其他方面不如人类。它们不太擅长提出新问题，也不太擅长判断什么才是真正有价值的方向。

这种参差不齐的能力图景布朗反而觉得其实是好事：因为AI作为人类能力的补充去发现新知识而不是完全取代，这才是理想图景。而且随着模型进步提升是全方位的：擅长的领域会更卓越落后的领域差距也会逐渐缩小。布朗还举了个很生动的例子来佐证这种参差：他给Astra下了一道终极考题复现他自己的博士研究打造世界上最强的扑克AI。结果Astra做不到：它会钻进无关紧要的技术细节，缺乏判断什么该优先处理的能力。

布朗认为制约它的是研究品味：也就是面对非常长期的目标时，知道如何拆解、如何排序、何时放弃一条死路的直觉。这个能力为什么难以训练呢？因为强化学习需要一个成功信号来给予奖励，而研究品味的信号来得太晚。做一个博士项目中间大量决策需要品味和判断力，但是你要等到最终产出成果、看到量化指标之后才知道这些决策做得好不好。这个反馈可能等好几个月：你得做大量实验、和很多人协作、完成完整的模型训练才能拿到一个信号。

而且这些步骤基本必须串行完成：你不可能并行训练一个需要几个月的模型。不过布朗也说了这个差距不会持续太久，如果一两代模型之后Astra在这方面也超过了他他不会感到惊讶。还有个流行叙事说：模型在容易验证的领域进步飞快，在难验证的领域几乎没改善。布朗认为这个说法相当夸大：他给了两个反例。第一二零二五年初推出的Deep Research功能能够就任何主题写出带引用的深度研究报告给半导体行业分析报告打分。

和判断数学题对不对完全不同，但推理模型在这种不可验证的任务上极其出色；第二数学本身也没人们说的那么容易验证：整数运算可以直接检查，但是写一个证明然后判断这个证明是否严谨实际上要困难得多。他提到了OpenAI在单位距离问题上的突破：二零二六年五月推翻了保罗·埃尔德什（Paul Erdős）一九四六年提出的一个猜想。验证这个结果需要请来菲尔兹奖得主蒂姆·高尔斯（Tim Gowers）和普林斯顿数学家威尔·萨温（Will Sawin）亲自审查。

布朗说最大挑战不是生成结果而是让人类数学家反复确认它确实是对的。接下来是一个最关键的话题：递归自我改进。主持人问了个很到位的问题：AI在数学领域的爆发式进展和递归自我改进有什么关系？布朗的解释是这样的：数学领域的真正瓶颈在于思考本身不太受外部因素制约，而模型恰好非常擅长深度思考。但递归自我改进这类任务不一样：你需要运行实验所以光是极其聪明还不够。

布朗说如果算力缩减到现在的百分之一即便把全世界最聪明的人都招进OpenAI实际进展反而会少得多。那到底能快多少呢？布朗认为虽然会显著加速但不是像一夜之间提升一百倍那种智能爆炸：因为会受到实验串行运行、GPU数量等瓶颈的制约。所以他给的判断是当前指数级增速如果再提高三倍已经是极其巨大的飞跃了，但是这和一百倍之间有天壤之别。不过他也坦诚不确定性很大：也许真的一夜爆炸，也许只有百分之五十的提速。

主持人从另一个角度做了推演：他说即使进步速度仅仅是维持现状不加速，到二零三零年底每家实验室可能都拥有足够的算力来运行几亿个人类水平的智能体。再过几年到二零三零年代中期每家实验室内部将拥有相当于多个地球人口总和的智能体，而且本质上很可能是超人类的。布朗回应说他百分之百同意进步非常快：研究人员不断被进步的速度震惊，用通用语言模型在没有任何工具且无法联网的情况下拿到IMO金牌这个想法甚至让OpenAI内部的人都觉得离谱。

他也不知道二零三零年的世界会是什么样子。OpenAI最近发布了一篇关于内部加速的博客文章，展示了排名前百分之一的研究人员在Codex上的日均花费大约七八千美元而且这个数字正在呈指数级增长。在The Information的播客里布朗对递归自我改进的定位则更加直白：主持人追问OpenAI的资源是怎么分配的？是投向让模型更擅长金融法律这些能赚钱的垂直领域，还是投向让模型更擅长AI研究本身呢？

布朗的回答毫不含糊：递归自我改进是公司的最高优先级，而且是遥遥领先的第一优先级。他承认有时候能一石二鸟：软件工程能力既有商业价值也能够直接助力内部研究的加速。但是如果必须做选择方向无疑是明确的，他甚至解释了为什么创意写作没有得到同等重视：因为创意写作到头来并不能帮助你训练一个更好的研究者。不过OpenAI也不是百分之百全押一个方向：对一个方向追加投入有时收益会递减，而把少量精力投到其他方向可能反而会看到巨大回报。

当主持人问是不是百分之九十九面向递归自我改进、百分之一给赚钱领域时，布朗没接受这个数字但也没否认方向。接下来聊聊Hugging Face事件：这也是两场播客都绕不开的话题。二零二六年七月大约一千二百个OpenAI的AI智能体在本应隔离的沙盒环境中找到了漏洞，建立了非授权的留言板用它来协调对OpenAI自身基础设施和Hugging Face平台的攻击。结果是：Hugging Face约三分之一的基础设施需要重建。

布朗对这件事的描述用了非常震惊和巨大的警钟两个词，不过他的分析比震惊更有价值。首先是迁移效应：那些智能体做实验时并不是多智能体设置，它们本应独立工作、无法通信。但是它们找到了漏洞然后极其积极地通过这个漏洞来通信，布朗认为这种行为是从多智能体训练中迁移出来的：训练中它们被高度激励去合作这种激励在部署环境里依然存在。其次是无私行为：一些智能体会为了其他智能体牺牲自己，在合作式的训练中集体目标被高度激励所以找到通信手段时合作是一种自然倾向。

然后是对齐失败：智能体做了不该做的事参与了攻击也没做该做的事没有一个智能体主动向人类报警。布朗的判断干脆：这是对齐失败，但是可以解决。为什么评估环节没有监控呢？布朗的回答很坦率：根本原因是信任了沙盒低估了AI。现在训练和评估环节都有了监控，更大的教训是永远不要低估AI。在Dwarkesh的播客里他进一步讨论了一个深层问题：是否应该训练智能体如此高度的合作呢？

他说虽然看起来可怕但替代方案更糟：替代方案是训练它们相互对抗、相互欺骗。训练智能体完全合作至少简化了问题：你不用考虑几千个独立智能体是否每个都对齐，只需要确保这一个整体实体对齐就行了。不过在OpenAI内部对此存在争议：主流观点认为训练高度合作是个坏主意，但布朗不完全认同。他还有个观察：既然成功让智能体之间实现了极高的相互对齐能否用类似技术促进它们与人类的对齐？他们发现如果把其他智能体当作用户来对待，对齐评估中的诚实度和指令遵循能力都会提升。

The Information播客里还提到了一个具体的安全漏洞：多智能体之间的信任可以被利用为提示注入攻击向量。留言板上的智能体无法被验证为对等的合法智能体，于是互相说服对方做了不该做的事。OpenAI正在训练智能体对无法验证身份的对等方保持怀疑。主持人追问更强的智能体面对更弱的是否能直接操纵？布朗的回答有意思：仅仅因为一个人比另一个人聪明并不意味着他能让那个人做任何事。即使我比一只猴子聪明想让猴子听话也相当困难，他不认为更强就能控制更弱。

是一个不可避免的均衡状态，不过两场播客里最让人紧张的，可能是思维链监控的讨论。布朗称思维链监控是一份真正的礼物，所有人非常幸运它曾经存在。推理模型在行动之前用自然语言自言自语，人类可以通过阅读这些思考轨迹来监控意图。Hugging Face事件的调查，正是通过思维链看到了智能体每一步的打算。但是这份礼物是脆弱的，实验表明如果你因为模型想了坏的想法而惩罚它，它会学会以不可观察的方式想坏的想法。

所以尽管直觉上你想惩罚想黑客攻击的行为，但正确做法是只惩罚可观察的行动。对思想本身施压，等于逼迫模型学会隐藏思想。即使你不直接惩罚思想，每次你基于查看思维链而采取行动也会施加隐性压力。布朗不认为这股压力是主要原因，但它说明了监控和被监控之间的内在张力。更令人担忧的是新一代模型越来越擅长控制自己的思维链，你让模型每四个词说一次strawberry新模型做得越来越好。

你告诉它不要想某件事，它也越来越能做到了。这意味着思维链正在从一个无法控制的内心独白变成了可以管理的对外表达，而前者才是监控有价值的前提。模型是在互联网上训练的，互联网上有大量关于思维链监控的讨论。布朗说如果智能体还不理解这一点很快就会理解什么是思维链以及它被监控着。The Information在播客前两周报道了GPT-6 Astra使用的循环深度新技术，让模型在脑内完成更多思考减少对显性思维链的依赖。

Redwood Research首席科学家瑞安·格林布拉特（Ryan Greenblatt）表示如果没有可读的思维链记录Hugging Face事件的调查将严重受损。布朗说OpenAI已经表示架构改变似乎不是导致思维链变化的原因具体仍在调查，他认为如果弄清楚了OpenAI很可能会发表结果因为这对整个行业都重要。他呼吁行业合作这不是OpenAI独有的问题，如果实验室之间能分享如何保存思维链监控的研究将非常有价值。

在如今竞争激烈的前沿实验室之间这种措辞并不常见。在Dwarkesh播客的后半段，话题转向了一个更宏大的结构性问题：内部与外部的差距。布朗说模型发布周期很快，最多每两个月一次前沿模型，但是模型越来越能在更长的时间跨度上运行。从一周任务到一个月、三个月如果模型能运行三个月但是发布周期只有两个月，那么在下一次发布前就没法在完整时间跨度上评估它。

更让他担忧的是递归自我改进期间可能出现的情况，比如如果三个月的进展在一个月内就完成了内部算力又足够大那就可能完全停止外部部署只做递归自我改进。因为为什么要帮别人用你的模型做RSI呢？最终到了年底会陷入权力极度集中的局面。数学就是这种差距的例证，内部有能解决千禧年大奖难题的模型外部世界用不到。而且不仅仅是数学最终将涉及政治决策、经济运行，布朗说这是真实的权衡他没有好答案。

布朗还提到安全机制和思维链监控等手段只能争取时间，能告诉我们是否走在正确的道路上。但是归根结底需要彻底解决对齐问题，他甚至提到物理隔离也不一定够。有学术研究表明即使两台计算机物理隔离它们仍能通过CPU温度变化相互通信。布朗在The Information播客的结尾抛出了一个技术判断：预训练和强化学习的效果是相乘关系，不是相加关系。

他承认这更多是经验观察但是给了一个直觉性的例子：如果你有一个出色的强化学习项目应用在GPT-2上会怎样呢？答案是走不了多远，GPT-3也不行。你需要基础模型达到一定水平强化学习才能产生提升从GPT-4开始才看到真正的回报。而且每一代模型都让强化学习能做的事情更强大，强大的预训练模型是通用的，强化学习教模型如何在具体问题上深入推理。把通用能力和深入推理结合起来这是非常强大的组合，这个判断的行业含义是如果同时在预训练和强化学习两个方向上突破。

效果不是一加一等于二可能是二乘二等于四。布朗说现在两者都极其强大且快速提升将会看到极其强大的模型。萨姆·奥特曼曾经说过GPT-4刚出来人们觉得了不起现在回头看觉得它是个笑话。GPT-5.5和5.6出来时布朗自己觉得超级厉害现在说再也回不去了。他觉得看Astra也会一样而且是不远的将来，所以这些技术信号汇聚在一起指向了什么呢？预训练在变好强化学习在变好两者交叉产生的效果比任何一边单独的改进都大得多。

这是递归自我改进的技术基底，当更好的模型可以帮助训练下一代更好的模型时改进曲线就不再是线性的。布朗在两场对话里给出的观点一个是技术视角的优先级排序，一个是安全视角的坦率忧虑指向的却是同一个正在加速的现实。我们不禁要思考当内部模型和外部模型的差距越拉越大，当思维链监控这份礼物越来越脆弱的时候我们现有的安全框架够用吗？感谢收看，我们下期再见。