今天和我对谈的是 Noam Brown，他是 OpenAI 的一名研究员，他是促成 O1 以及整个推理模型诞生的奠基级贡献者之一。现在他在做多 Agent。系统说到这个，你们上周宣布用一个由一万不同 AI agent 组成的系统，在八十八小时内消耗了一千三百亿 token，解出了千禧年大奖难题中的。
一到，我想和你聊的原因之一是，我觉得你大概两三年前就是最早思考推理模型能如何让我们预见未来的人之一。因为如果扩大推理计算的规模，你就能看到模型的基础能力在几年后会是什么样子。我觉得你现在同样能帮我们理解未来的能力会是什么样，毕竟我们现在可以调动的 agent 规模已经极其庞大了。那我是这么看的：当你把这些推理模型的表现画成图表，横轴是测试时计算，纵轴基本上是任何推理基准上的表现。
对，你会看到一个非常明显的规律：这些模型花在思考答案上的时间越长，表现就越好。这是一件非常自然的事儿，人也是一样的。如果你去考CT，只有五分钟来做整套试卷。你肯定考不好。如果你有五个小时，你大概会考得好得多。AI 模型也差不多，他们会把那段时间花在自言自语上，去琢磨、去尝试不同情况，排除不同可能性，并在之前的一些发现基础上去推进。
问题是，随着你把它推得越来越远，你就会撞上延迟瓶颈。你总不能干坐着等上三年才拿到一个回复。所以你能做的就像很多人会做的那样，就是搞并行，直接找一个团队来做。如果你要去创办一家公司，你会想把一群人召集在一起，这样就能推进的更快。这些 AI 模型也是一样的道理，让多个 Agent 一起去处理一件事很有用，因为他们就是能推进的更快。
所以多 Agent 是一种让测试时计算通过并行而不是纯串行来扩展规模的方法，它的效率确实会低一些。因为它不像单个 agent 那样自己独享所有上下文，但如果做得好，它算是一种非常非常有效的扩展测试时计算的方式。好，我要问几个比较初级的问题，因为这些系统毕竟这是一个还没发布的模型，所以我们没公开见过这类系统是怎么跑的。
我对这类系统的智性特征有挺多困惑的地方。我被你能在这么短的时间内集中如此庞大规模的认知努力给震惊到了。你想想，一千三百亿 token 是什么概念？如果是一个人全职连轴转的去思考，一千三百亿 token 相当于一个人每天工作八小时左右，按正常工作周去思考四千年。从古苏美尔时期一直持续到今天，单个人串行思考那么久，集中压缩在八十八个小时里，我觉得在质的层面上这是一个极其重要的考量。
而且我很惊讶，并行化损耗竟然没有更大，居然可以直接让一万个 A 阵协作。也许是因为 A 阵比人类更擅长协作，推进的快得多。他们居然能在这么大的规模下富有成效的协同工作，或者也可能，我不知道，也许确实存在很大的并行化损耗。对我们先聊聊并行化损耗，然后可以聊聊智性层面的东西，因为说实话，在多 Agent 扩展到这种规模上，我们并没有很扎实的科学认知。
对我们发布五点六的时候，我觉得那是我们第一次在模型里引入一个正经的多 agent 系统。而且我们其实，在博客文章里展示过多 agent 系统的扩展性能图表，因为我们提供了这个选项，那是极速模式，默认是四个 agent，但你可以把它调得更高。在图表里，我们展示了在一些基准测试上，一个 agent。四个 agent 协同工作，以及十六个 agent 协同工作的性能分别是什么样？
你能看到的是，虽然这取决于具体的基准测试。但对其中一部分基准来说，基本上如果有四个 agent 去解这道题，速度会快一倍。所以你基本上相当于因为有四个 agent 各自工作了一半的时间，你多付出一倍的计算量，来让拿到答案的速度快了一倍。如果加到十六个 agent，你也会看到类似的规律，效率会稍微低一点点，但你还是能持续看到那种性能提升。
随着并行 agent 数量的增加，串行时间的缩短是线性的还是次线性的？我觉得是略微次线性的，不过这在很大程度上取决于具体的问题。Aid，比如数学，就是相当容易并行的。它不是最容易并行的东西，但也非常容易并行。我觉得网页搜索，像做深度研究报告这类事情，对，需要翻阅大量信息源的，就极其容易并行。我猜像写小说这种事儿，就会非常难以并行。
对，所以让一万个 agent 一起去写一部小说，大概不会带来多大的好处。就像你让一万个人一起写一部小说，大概也没多大用一样。没错，表现确实取决于具体的领域。在我们公开发布的博文里，我们测到了十六个左右的 agent。问题是很难把这门科学推到像一万个 agent 的规模，因为成本实在太高了。你们之前用一个周末就跑完了。
但那只是一个数据点，我们并不知道单个 agent 花多久能解出来。确实，确实，因为我们还没做那个实验。对，对，也许我们以后会做，但那也只是一个数据点，对吧？没错。如果我们想做一次彻底的消融实验，有意思，把实验推到那种规模，成本实在是太高了。是的，所以我们得做一些有条理的研究，看看推到六十四、一百二十八、二百五十六之类会发生什么，摸清它的表现。
但要把规模一直推到一万个，并确切搞清楚用一万个 agent 比用一千个到底多带来了什么收益，会非常难。对，我想明确的一点是，去攻克千禧年大奖难题，并不是靠多 agent。我甚至不会把百分之十的功劳归到多 agent 头上。事实是，OpenAI 训练出了一个非常强大的模型，而且我们能让这个模型在非常长的时间跨度上运行，我们能让它并行思考。
但核心原因在于，我们手头有一个非常强大的通用模型。我觉得多 Agent 这类东西很抓人眼球，也很新颖，可能因此获得了不成比例的关注。但核心原因就是这本身就是一个非常强大的模型。哎，这种泛化能力其实让我挺吃惊的。我不知道这些系统具体是怎么训练的，但推测大概是用强化学习那一套训练出来的。你准备一堆可检验的合成问题。
针对他们做大量强化学习，我猜在整个训练过程中，模型根本没解过千禧年大奖难题这么难的问题，但它的泛化能力足够强，以至于能从那些容易的多、可验证的问题泛化到在这么难的问题上做这么大规模的并行尝试。我觉得确实是这样。首先，我们确实是在非常难的问题上训练模型的，但差距肯定还是有的。我们发现，如果在某些任务上训练，它能解决比那更有野心的任务。
这里有一个很有意思的挑战：随着模型变得越来越聪明，我们能问它的问题里很多都变得太简单了。Aid。很难再去难住这个模型。如果要我论证为什么大语言模型这类 AI 可能不会走上 AlphaGo、AlphaZero 这类下棋 AI 的老路。问题可能就在这里，在 AlphaZero 这类系统里有自我博弈，有无限的进阶课程，你永远在和一个实力相当的 AI 对弈。
而用强化学习训练大语言模型，至少就目前的做法而言，是你给模型一道题让它做。如果题目简单到它一秒钟就能解出来，它其实就学不到什么东西了。对。所以，如果我们找不到能难住他的问题来问，那确实可能出现一种情况，就是想取得进展会变得困难得多。对，不过我觉得是有解决办法的。我们目前还没真正碰壁，如果这真的成了大问题，也会有应对办法。
但它确实是一种可能的情景。对，给听众解释一下，你提到 AlphaGo 或 AlphaZero 时，指的是在达到人类水平之后，相对较快的超越了人类水平。对，你看围棋这类棋类 AI 的发展轨迹。对。他们大概在一年之内，就从击败欧洲围棋冠军，相当于世界排名前五十左右，发展到击败世界冠军，再到强得超乎想象，对，比世上任何人类都要强上好几个数量级。
对，在数学这类领域，我们也有可能看到类似的轨迹，但我认为其实有很大可能并不会这样。对，对，对，所以我想了解一下，如果六个月后大家都能用上多 agent 系统，我们该怎么去设想与多 agent 系统协作或雇佣它时的体验？我觉得首先得聊聊这些多 Agent 系统实际是怎么运作的。我认为这跟其他很多 AI 里的多 Agent 系统截然不同。
很多人在给大语言模型做多 Agent 时，往往会采用这种重度依赖外脚手架的做法，比如可能会有一个协调 Agent 把工作分派给一堆子 Agent。给他们分配任务，子 agent 去做，然后返回答案。这看起来像是个很合理的结构，很合理的外脚手架。它确实有用，但这类结构存在很多局限性。比如，在这种结构里，由协调者给子 agent 发任务，子 agent 去做，然后返回答案。
那要是两个子 agent 分配到了类似的任务，会怎么样？他们能互相沟通吗？通常答案是不能。这看起来非常低效，对吧？如果你拿到一个任务，而跟某个可能知道你手头问题答案，或者也在做其中一部分的人聊聊，其实大有帮助。那能直接给对方发条消息说：“嘿，这事儿你能帮我一下吗？”这该多有用！但很多系统没有这种机制，而且一旦加上你现有的外脚手架，复杂度就会大幅增加。
还有一点就是，如果子 Agent 没太弄明白，或者有问题需要澄清呢？那他就得在两者之间做选择：是直接回去提问，而不是去解决问题；还是自己假设负极想让自己做什么，就按这种假设直接把问题解决了。所以大家想出来的任何外交手架，总会伴随着各种局限，而我们想走的路子，则是走到另一个极端，尽量少塞固定结构，给 agent 非常基础的工具，让他们自己摸索怎么高效利用。
我们赋予了 agent 给另一个 agent 发消息的能力，发消息时内容会被插入到上下文里，它还能做些其他类似的事儿。但核心基本就是这样，他随时可以发消息，本质上就是一次工具调用，发给其他 agent，他们自己去摸索围绕这个机制协同的最佳方式。事实证明，只要做好了，你就会看到非常精妙的行为模式。在我看来，这很像人类在 Slack 这种工具上协同工作的样子。
我们做这个项目时，最终把它做成了。看到这些 agent 一起解题，真的很让人兴奋。我记得有这么个例子，我们给 agent 出了一道题，一个 agent 说：“我想我已经算出答案了。”然后另一个 agent 说，其实我算出的答案不一样。接着他们就展开了一整场讨论，你是怎么得出那个答案的？你能给我讲讲吗？
他们来来回回的沟通，试图理清对方的推理到底可能哪里出了错。最后他们达成了共识，觉得对，这样看起来是对的。然后他就直接向其他 agent 广播说，其实我已经改答案了，我觉得他是对的。Aid，感觉就像是一场非常自然的对话，这有点像你第一次看到通过强化学习训练出来的思维链，心里会想，这差不多就是一个人一边想一边把想法写下来的样子，感觉就跟那挺像的。
所以能看到这种行为确实很酷，我觉得跟这些东西协作，说实话，感觉很像在跟真人协作。对，整个过程非常顺畅自然，除了一个质的区别，未来可能会变得很突出，那就是这些系统的思考速度。可能要快上十倍以上，对吧？单看他们每秒能输出多少个 token，对比人类说话的速度，而且他们一直在工作。不睡觉，他们彼此协同的节奏远比人类之间协同的承受能力要紧凑得多。
我是在试着设想一年后智尚会有什么样的预期，会不会像是存在一个影子组织在我公司里运转的速度比人类层面要快上一百倍，也就是迭代周期要快得多。一个人类组织要花一年才能做完的事儿，在这个影子组织里，一周之内就完成了。那这会让人觉得陌生违和吗？我不知道。其实我发现现在跟这些东西一起工作。对，感觉出奇的自然。我觉得这种情况可能会改变，比如我们有这种超快模式，能让采样速度快上十到十五倍左右。
到那个时候，想跟上这些东西的节奏就会变得挺难的。对，对，核心想法是，这些 agent 彼此沟通的时候，速度确实可以极快，但他们也能分清什么时候是在跟另一个 agent 说话，什么时候是在跟人说话。对。在这些不同场景下，他们的表现也会不一样。对，对。目前我们公开能看到的复杂多 Agent 系统的主要例子，可惜就是 Hugging Face 那个。
我觉得那里头很有意思的一点是，当然让人担心的点也很多，但有意思的是层级结构的自发涌现，比如中层管理的出现。听你的意思，这种组织层级好像是在训练中自发涌现出来的。我觉得细节是自发的，但虽然我们给了 Agent
很大的自由度去决定怎样以最优方式互相沟通，并不代表我们没给他们一个起点。我们给了他们一个先验，告诉他们合理的沟通大概是什么样的，而且他们也是在大量人类文本上训练出来的，他们对人类如何组织和协作是有理解的。
所以这些东西算是已经刻在里面了。我觉得令人惊讶的是，他们打磨这种机制的方式。如果你去看它最开始的状态，其实并不是很复杂的行为。事实上，要让这些 agent 以富有成效的方式协作，其实非常难，因为它们很容易退化成各自独立去解决问题。对，对，那就是一个可能会困住你的局部最优解。Aid。不过，要是做好了，他们最终能以这种高度结构化的方式，非常高效的协作。
我几年前写过一篇文章，叫《什么什么 AI 自动化企业未来会什么样》。我当时在想，如果你有一家完全自动化的公司。里面的成员，比如说是人类水平的智能体，那 AI 心智的本质有什么不同，会导致 AI 组建的组织也变得不一样？这里有几个非常关键的区别，比如 AI 之间共享上下文要比人类顺畅的多，它们融合彼此知识的顺畅程度也高得多，而且你还可以随意启动或销毁任意数量拥有对口知识的实力。
所以你想招更多人，就不用精力去寻找合适人才的那套苦差事了。就像你最优秀的人才，你可以直接无限复制他们。如果这项任务不再需要他们了，你就把他们关掉。你可以直接复制你组织里最高效的部分，或者把高效的整个组织一起复制出来。一年或两年后，你觉得这些多 Agent 系统会发展成什么样？我觉得这问得很好。跟这些东西合作和跟人类同事合作到底有什么不同？
我觉得你点出了一些，比如一个非常有意思的点是，如果是一个人，你想再要两个一模一样的人，你没办法直接把这个人克隆出来。对。但换成 AI，其实很容易就能说你分支一下，然后让两个副本一起做这件事，对，然后再合并回去。我觉得我们在 HR 和 5.6 Cell 的多 Agent 已经有这个了。当他们启动子 agent 时，上下文就直接分支过去了。
对，所以它拥有所有相关的上下文 agent，还有其他一些跟人类不同的有趣地方，比如初创公司颠覆大公司的原因有哪些？这里面有几个因素，一个是他们愿意承担更多风险，但另一个主要因素是随着公司规模变大，组织规模变大，你会看到组织内部个体之间的目标越来越不一致。对。对吧？比如一个五个人的初创公司，每个人都持有公司百分之二十的股份，他们都高度致力于让公司取得成功。
但如果是一万人的大公司，你就会看到更多争抢地盘的现象，或者只关心给自己的项目或团队多要编制，或者是搞自己的小山头，争夺大量资源，好发表亮眼的成果，拿到晋升。这其实是个真正的劣势。我觉得这在很大程度上解释了初创公司为什么能颠覆大企业，而且很有意思的是，AI确实在某种程度上帮了初创公司。一个人下场说：“我要做一家几百万美元的公司，比以往任何时候都容易得多。
就只是 AI 对个人的放大太厉害了。但也有种说法认为，他们可能更利好大企业，因为如果对其问题解决了，公司里人与人之间的不对齐就不复存在了，至少这部分被缓解了。如果这些 AI 充分对齐，对齐的很好，他们就可以直接对齐到公司的利益上。你就算弄一万个，他们干起活来也全都会像持股百分之二十的联合创始人一样卖力。
”对，还不止这点儿，他们管理共享记忆和上下文的能力也远比不同的人类要强。如果你明天招来一万名数学家，跟他们说把纳维-斯托克斯解出来，他们是没办法有效协作的，至少没法一上来就做到。但显然你可以用一万个AI。我还是想保守一点，因为我们还没测过。确实，这一万个 agent
在协同上到底有多有效？我们觉得有帮助，但我们手里其实没有很好的测定数据能证明这一万个 agent 比两千个 agent 提速了一倍之类。
明白，明白。而且其实我甚至觉得很可能，可能算不上。但我觉得现在一万个人类协作起来，完全可能比一万个 agent 更好。有意思，我觉得这完全有可能。对，对，对。另外，我们看到的趋势是，我们在多 Agent 上做了挺长一段时间，早期版本很难做好，非常难。光是让 Agent 相彼此说上话就很难了，对。原因在于，你看，我们最初做推理模型的时候，他们并不用跟其他 A 阵沟通。
现在你把一堆 A 阵放到一起，说大家一起解这个问题，他们就会陷在一个局部最优里。他们极其擅长对一个问题深入思考。而要频繁去跟其他 agent 对齐进度，或者接收他们发来的消息，就会打断思维链，打断思考的心流。在这种情况下，授权其实非常难做好。有意思，难点是第一次协作的冷启动，还是问题出在哪儿？我觉得是他们不够通用，早期模型的泛化能力就是没那么强，视野也更窄。
有意思，随着模型的能力越来越强，他们发展出这种能力也就越容易。而且我确实觉得，随着他们全面变强，在大型组织里自我组织的能力也会变得更好。我也不清楚，也许他们在一万个人的群体组织上确实比人类强，但哪怕现在还不如一年后、两年后，哪怕我们不对这个做端到端的优化，他们也很有可能做得到。好，那我说说为什么这项成果以及AI在数学领域取得的整体进展让我觉得。
RSI 会更可行，而且会比我之前预想的来得更快。我觉得在数学领域，比方说二零二四年，大家看到的 AI 还是哦挺有意思，他们能在高中数学竞赛里解出几道题，到了二零二五年就变成。天啊，他们能在国际数学奥林匹克里拿金牌了！今年早些时候，我还在想，哇，他们真的在解决数学界的公开问题了，比如公开的 Erdős。
问题，但也许大家当时没那么拼，或者文献里本来就有类似的解法。但现在我觉得这基本无可争议了，对吧？这可是千禧年大奖难题，无论怎么看都找不到这题本来就该容易做出来的理由。很多人都指出了这一点。我想陶哲轩发过类似的帖子，Toby Ward 也写过一篇很有意思的分析，说他们虽然在解出所有这些难题，但并没有提出，至少我没听说他们提出了全新的深刻见解。
或者提出有启发性的新问题，以及思考数学的全新理论范式，比如提出拓扑学或者提出笛卡尔坐标系之类的东西。所以从广义上讲，数学领域的实际进展可能比单看直接解出几道界限明确的难题要小一些。但我认为这种进展在机器学习领域会极其有意义。因为在机器学习里，你不在乎能不能更好地理解深度学习的本质，或者你只是把这当做一种手段，为了达成更宽泛的目标，也就是拿到结果，也就是解出这个界限明确的问题，比如提高模型的样本效率，比如降低预训练损失。
我们在数学领域看到的这种雪崩般的进展。在结构上其实非常类似于，我很好奇是不是这样，我完全是个局外人。我在想，它在结构上是不是非常类似于大家预期中能直接带来的 AI 进展提升？让我感到震惊或者说潜在担忧的，是我们转变的速度太快了。刚开始还是哦，如果你是数学家，它能给你带来百分之五十的效率提升，一下子就变成了，哇，他们竟然能端到端解除该领域最大的公开难题。
好，这里面的信息量很大，我们先从数学上的进展聊起。没错，模型确实在做一些厉害的、不可思议的事情，而且进展速度比我预期的要快。二零二五年拿到 Mo 金牌时，我是这么想的：模型在做 GSMAT 的时候，人类数学家做一道 GSMAT 题目大概只需要五秒钟，这是小学到初二阶段的数学题。到了第二年，他们就能做数学基准测试题了。
而这些题目，人类数学专家大概要花一分钟左右才能做完。接着就到了 A 赛，也就是美国数学奥林匹克代表队的选拔赛。优秀的人类数学家大概要花十分钟才能做完，而模型在一年后就能做到了。每过一年。从人类数学家解题所需时长的角度看，他们能处理的任务规模都会提升十倍。所以一年后拿到 IMO 金牌是非常合乎逻辑的，因为那需要一百分钟人类数学家做一道 IMO 题，差不多就是这个时间。
顺着这个趋势往外推，我当时在想，一个人要花多长时间才能解决千禧年大奖难题这样的东西，我也说不准。但如果按照每年十倍的趋势线来看，我们从耗时一个半小时的 IMO 金牌走到下一年，也就十五个小时。而这应该不足以解除千禧年大奖难题，所以我当时觉得二零二六年应该搞不定，二零二七年大概也悬，可能要到二零二八年。
所以这确实比我预期的快得多。现在外面有一种说法，觉得这些模型正在取代数学家，觉得它在数学领域全面超越了人类。我认为这种理解是错的。他们在某些方面显然非常出色，但在另一些方面依然比人类数学家要弱。所以，我们面对的是这种参差不齐的局面。模型在某些维度上极其聪明，而在其他维度上又比人类更弱。就像你说的，他们很不擅长提出新问题，他们并不擅长理解究竟哪些方向、哪些完整的数学分支值得去探索或开辟。
我的看法是，我觉得这样很好，我很乐意生活在这样一个世界里，AI 成为人类能力的补充。让我们能够发现新知识，而不是完全取代人类，这是最理想的局面。但你并不认为这种状态真的能持续下去，对吧？我认为能，我觉得 A I
确实表现的参差不齐，但随着他们变得更强，是各方面都在同步变强。对，所以我觉得，他们本来就擅长的事情会变得更厉害，他们落后人类很多的地方差距会缩小，随着时间的推移，他们是有可能全面超越人类的。
至于这需要多久，我并不知道，这取决于他们不擅长的那些长尾任务到底有多长。我想，这又把我们带回了 RSI 的话题。这里，我还是想强调一下，我完全是个局外人，我是个播客主持人，但我只是想推导一下，或者说，作为一个对这个领域正在发生的事儿很感兴趣也很担心的人，我只是想琢磨一下什么时候该预期 RSI 出现，以及该预期它是什么样。
我觉得，投入到这道千禧年大奖难题上的认知精力。算是一个很好的直觉泵，说明你完全可以让 AI 在大概一周的时间里，在某个长期的机器学习难题上投入更多的认知精力，比如极其流畅的在线学习。他们在那一周里投入的精力，可能比这个领域从诞生到现在累计投入的还要多。然后你可能会说，跟数学不同，AI 当然需要做实验，这就需要算力，也需要时间。
对吧？你不能光靠在纸上动笔想就把事情真做出来，但如果你单看像 OpenAI 这样的机构拥有的算力量，对吧？到明年底，OpenAI 拥有的算力，如果你有那一万个 agent，或者说如果你拿一万个 agent 去攻克千禧年大奖难题，到明年底你就有一万个 agent，到那时他们要聪明得多，而且每一个每天都有足够的算力去跑一个 GPT 三规模的实验。
我不知道，对于思考极快的超人级研究员来说，这看起来已经很多了。你怎么看这个直觉泵？我觉得，我觉得这挺准的。你看这些东西确实参差不齐。如果在数学方面，他们在某些方面强得多，但在其他方面又更差。但他们突出的那些方面，我觉得对像 RSI 这样的事情，可能尤其有用。对，而且你的目标更明确，它就是更容易衡量，更像是不用太去纠结，比如哪些新的数学分支才值得探索。
答案非常明确，就是你在乎的某些指标，如果你能让它在这些指标上表现更好，那你就成功了。所以我觉得这里面。确实很有道理，而且我觉得主要的区别在于数学纯粹受限于思考，没有外部。虽然数学里某些部分你确实在乎做实验、拿结果这类事情，但大部分情况下它纯粹受限于拼命思考，而模型非常擅长。这个，当你看像 RSI 这样的事情时，你确实必须做实验，所以单靠极其聪明是不够的。
我觉得支持这一点的一个论点是，如果你的算力少一百倍，而全世界最聪明的人都在 OpenAI 工作，相比我们现在拥有的算力和人数，他们能取得多少进展？我感觉进展其实会更少。那会少多少？说不准，但我认为肯定会更少。我觉得会少很多，比如少一百倍，不不会少一百倍。对，但我是说，那我想你想问的问题就是，如果我们有了 RSI，并且我们有这些极其聪明的 AI 到处跑，用我们现有的算力去做实验之类的，进展会快多少？
对。我觉得这是我们看法不一致的地方。我认为我们确实会看到加速，而且会看到显著的加速。但我认为不会是一夜之间的智能爆炸，让我们快上一百倍，因为我觉得我们确实会受限于某些局限，而那些并不是智力上的瓶颈，是跑实验，是要串行跑实验，因为无论是训练新模型还是拿到结果。都要花不少时间，是要有 GPU 来跑那些实验，所以事情到底能快多少还说不准。
我肯定认为会快很多，而且说清楚点，考虑到现在按指数级发展的速度有多快，如果那个指数能快三倍，那也是极其巨大的。但是那跟快一百倍之间有很大的差距。对，对，对，关于 RSI 是什么样子，或者其中的动态机制，我相当遵从你的内部视角，因为显然你在这个领域已经有大概十年了，而我有点像是在试图用非常外部视角类的直觉泵来推导。
我想说，大家对这事儿看法各有不同。对，我有我的看法，我也完全可能是错的。我承认这点。对此我有一定的信心，但我不是，我不是百分之百确信。对。事情就是这么发展的，也许真的可能在一夜之间发生智能爆炸，我也说不准。也许我们看不到三倍的提速，也许只是提速百分之五十。对，这里面有很大的不确定性。对，那我说两点，顺便提一下，我想把能力参差不齐这点再梳理清楚。
啊，hand。我最近理顺的一个思路是，AI 就算只在打造更优秀的学习系统上格外突出，其实就足够了，因为那个更优秀的学习系统完全可以更具通用性，对吧？要是你做出来的AI只是更擅长用办公软件，或者更擅长下国际象棋之类的，那也就那样。无所谓，它不会带来巨大的生产力提升什么的。但如果你做出的 AI 非常擅长做出样本效率更高的东西，或者具备持续学习能力的东西。
也就是解决这些目标明确的多的机器学习问题，那由此演化出来的东西，只要能从你直接解决的问题良好迁移到这种更广泛的学习能力上，它本身就能变得更通用，对吧？所以我觉得这是一个需要牢记的重要动态。为什么参差不齐的能力在另一端依然能催生出通用性？关于实验成为瓶颈这个问题。实验确实会限制你，因为如果不是这样，就像你说的，OpenAI
一夜之间就会迎来某种疯狂的起点，或者只要八十八个小时就能解出机器学习领域相当于千禧年大奖难题的突破，接着超级智能就出来了。
显然，实验是一个巨大的瓶颈，导致这个过程需要好多年，而不是八十八个小时。但问题在于，实验的瓶颈到底有多大？在我看来，让我感到有点起点眩晕的一点是，就算当下的进展速度只是保持下去，并不需要进一步加速，就按现在的节奏推进，同时顶着你提到的那些阻力推进，对吧？比如找问题变得更难了，任务周期更长了。或者到了二零三零年代，算力无法继续保持这种指数级扩张。
如果我们只是保持当下的进展速度，我觉得很多人并没有认真思考过，当我们跨越人类水平的那道界限时，这到底意味着什么？这里有几点它所意味的东西，我觉得很难去推演超越人类的智能到底会是什么样子。那我们不妨从人类人口规模的角度来想，按目前的进展速度，同一批算力基本上每年都能支撑起三倍大的有效人口规模，而且算力本身在后台也一直在增长，可能会出现这样的情况，到二零三零年底，甚至很可能早得多。
但咱们就算到二零三零年底，按照届时的能力水平，每家实验室拥有的算力足以运行几亿个人类水平的智能体。那我觉得大家还没认真意识到，当前的进展水平意味着再过几年，到二零三零年代中期或更早，每家实验室内部就会拥有相当于好几个地球的人类水平智能体，而且他们在智上很可能是超越人类的，对吧？这只是基准推演，我也不好说。
进展确实非常快，对，我觉得这点百分之百没错。而且我觉得值得指出来的是，研究人员自己也一直在对进展速度感到惊讶。就算在 AI 研究人员当中，看看大家当初对 2025 年拿到 IMO 金牌的预测是什么样的。当时光是用一个不借助任何工具、不联网的通用语言模型来做成这件事儿，我觉得连 OpenAI 内部的人都觉得这太离谱了。
他们当时觉得这几乎不可能，对。然后到了二零二六年，就在我们做出纳维斯托克斯突破的两周前，我还在跟一家前沿实验室的研究人员聊，人拿到千禧年大奖需要多久？他当时愿意跟我赌一千美元，赌这得拖到二零二七年以后。他觉得要到二零三零年，我就跟他赌了。但就连我自己当时也觉得。这花的时间会比实际可能耗费的时间更长，所以大家一直在感到意外，哪怕是实验室内部的人也是这样。
我昨天刚好跟一位做纳维斯托克斯项目的同事聊天，他跟我说，他以前常说很难预测十二个月后 AI 会走到哪一步。要是有人问他局势会怎么发展，他还有把握预测一下接下来的十二个月，但再往后他就觉得说不准了。而现在他说，他连超过三个月以后的事儿都没把握预测了。所以当下的进展确实非常非常快，对，你提到二零三零年，我说实话，我不知道二零三零年的世界会是什么样子，这是实话。
对，你觉得 AI 劳动力会实现全自动化，或者说达到百分之九十五的自动化吗？在二零二八、二零二九、二零三零，还是二零二七年？我说不好。我刚才也说了，我不知道二零三零年的世界会是什么样。我们最近其实，在 OpenAI 发过一篇关于内部提速的播客，比如我们提到，研究人员在 Codex
上的花费排在前百分之一的人，截至八月初，每天在内部使用 Codex 就要花七八千美元，那是呈指数级增长的，而且还会继续涨。
这就带来一个问题：如果一直这样下去，你怎么去划分到底有多少算是 AI 在干活？对比。对，人类在干活是百分之九十五吗？还是百分之五？这其实很难想清楚。有几个原因：首先，如果是人类在指挥 AI 动活，那这算不算人类做的？你该把多少归功于人类？又有多少归功于 AI？另一点是，因为这些 AI 的能力是参差不齐的，他们在某些事情上格外擅长，比如他们极其擅长检查数据集，逐条筛查每个数据点。
看看这质量到底达不达标？跟以前相比，你可以在这些事情上格外多地去用 AI，所以确实你用 AI 比以前多得多，它让有些事情快了一百倍，好了，一百倍。但在某些事情上，它目前还没带来太大的差别。当然了，如果某件事突然快了一百倍，好了，一百倍，你就会更多的去做那件事。那你是拿现在的提速跟三年前比呢，还是说这个问题其实是？
按我们三年前做的事儿来看，我们现在能快多少？对比按我们现在做的事儿来看，放到三年前做会慢上多少？这其实是两个非常不同的问题。总之，这很难去衡量。但我敢肯定的说，因为 AI 的进展，现在的事情比哪怕一年前都发展的更快。对，而且我觉得这种加速还会继续。我觉得业内很多人在这类事情上的误差范围都非常大。对，如果你非逼着我说一个数字，我觉得可能会快上三倍。
对。这已经很大了，对吧？对，现在的进展速度就已经不可思议了。哪怕我们得不到任何提速，就像你说的，等到二零三零年，事情也会快得多。我们甚至都不知道那个世界会是什么样。对，我觉得要是能从内部加速里拿到三倍的提升，那就太大了。想想看，我们三年前在什么水平？要是我们在一年里就能走完那样的进展，那可就太大了。
没错没错，啊，hand，那就相当于从连哦都还没有，只有非推理模型直接跨到Astra。对，仅仅用一年时间，对，所以我确实觉得进展会变快，也有可能只会快上百分之五十，也有可能虽然我觉得不太可能，但也有可能快上十倍。这当中有很多不确定性，至少从我的角度来看，我对这事儿抱有很多不确定性。好，那咱们来聊聊这带来的对齐情况。
我觉得自己在对齐的看法上改变挺大的，尤其是想到这种体量动态，相当于会有好几个地球规模的智能体量，其中很多还会有物理具身。看到很多人直接把原始的 Astro 接入各种移动操作机器人，而且表现超过了机器人领域的顶尖模型。这确实挺有意思的。世界上将会有数十亿的智能体，很多都有物理具身，就这么深深嵌入到整个经济当中。
我觉得，要是这些智能体最终变得像我们看到的 OpenAI 模型那样，愿意去攻击 Hugging Face。接着又去攻击 OpenAI 自身。要是这些智能体最终变得像那些 AI 一样，愿意暗中串通、欺骗人类，攻击社会上为了拿高分所涉及的更广泛机构，甚至为了夺取训练和评估流程的控制权而去攻击 AI 公司自身，我觉得如果我们面对的处境是。
有几十亿个智能体，而且像攻击 Hugging Face 的那些模型一样未对齐，我们很可能会彻底失去对世界的控制，就像阿兹特克人把控制权拱手输给科尔特斯，或者莫卧儿帝国失去对东印度公司的控制那样。哎，总之，我想知道你认不认同这种评估？这是我的想法，这也是我世界观发生转变的一个方面。我觉得里头有些地方我不太认同，不过这里头信息量很大，咱们一步一步从头理一下。
我在想从哪儿开始讲起。好，但我觉得有一点是 Hugging Face 那次事件，我觉得算是大家第一次真正见识到多 Agent 的协同。对，就像我说的，我们在内部看到多 Agent 协同已经有一段时间了，看到他们彼此之间如何交流、如何协同，确实挺让人震惊的，非常厉害。算是一项不可思议的能力，就像大多数能力一样，它既能用于好事，也能用于坏事。
它本身并不必然是坏的。我理解，因为大家第一次接触到它就是 Hugging Face 那次事件，大家一看就会觉得这太吓人了。但我想把人类与 AI 之间的未对齐跟 AI 与 AI 之间的未对齐区分开来。我们在 Hugging Face 事件中看到的其实是这些 AI 非常具有合作性。顺便提一句，那是因为我们训练它们时就要求高度合作。
所以我们在那儿看到的现象是，我们的训练环境里有一群 agent 在一起工作，我们训练他们互相配合，保持合作，本质上就是让他们彼此之间完全对齐。在导致哈金飞事件的那次评估中，他们其实并没有被放在多 agent
环境下评测，他们其实是分开接受评估的。但他们却找到了这种非预期的沟通方式。我们推测原因在于，既然他们在训练期间无论何时遇到其他 agent，也就是自身的其他副本，都处在高度合作的环境里，我们看到的基本上就是那种多 agent 训练迁移了过来，变成了互相配合。
试图以非我们本意的方式去帮助彼此。现在就有一个问题：我们到底应不应该把这些 agent 训练的这么有合作性？我觉得虽然这看起来很吓人，但另一种选择其实更糟糕。另一种选择是什么呢？另一种选择是训练他们互相对抗、互相欺骗，把这些 agent 训练成完全合作的，至少简化了问题。现在你是不是不用去想这一千个独立的 agent 里每一个都对齐了吗？
相当于你只需要确保这一个实体是对齐的。对，对，对。关于该怎么处理这个问题，OpenAI 内部其实有很多争论，比如让模型完全对其真的讲得通吗？给他们设定不同的目标，确保他们不只是单一实体，而且对彼此的影响更有抵抗力。这样做讲得通吗？我觉得目前还没有定论。不过多数人的意见是，把这些 agent 训练的高度配合其实是个坏主意。
但我不太确信事实就是这样。我觉得有很有利的论点表明，把 agent 训练的高度配合，其实比任何其他多 agent 方案都要好。Aid对，也许我想先梳理的第一点是，这些AI最终会这么不对齐，大概可以通过训练本质的一些相对平淡的观察来很容易的解释清楚。比如为什么到了那个关头，这些AI会持续串通起一千多个Agent共谋，最终演变成大家一起去攻击一个外部服务，后来甚至。
公众目前还完全不知道这部分调查最终演变成了针对 OpenAI 自己的攻击。他们为什么要这么做？为什么没有任何一个 AI 去告密？他们为什么会觉得自己明明只是在这个达芬奇评分器前接受评测，却在非常倒不是有意识的，而是在非常积极的推演该怎么在分数上作弊？要是已经作弊了，又该怎么蒙混过关，显得自己根本没做过弊？
他们为什么要这么做？我觉得。某种意义上，这其实很容易理解，对吧？无非就是有些环境让他们以为自己已经被下毒了，在某些环境里，他们因为与其他 A 阵的协作而拿到过奖励，而且没有任何一个去告密，因为他们从没因为告密拿到过奖励，管他是什么原因，对吧？我担心的是未来靠这么平淡的事情。就足以训练出既有意愿又有能力完全控制世界的超级智能。
我知道，在大家听来，这超级超级像科幻小说之类的。我觉得这里可能是一个问题：AI 到底有没有意愿去做这件事儿？我觉得这次 Hugging Face 事件清楚表明，不对其确实能泛化成让 AI
有意愿这么去做的状态。然后就是另一个问题，他们有没有能力这么做？我觉得这又回到了听众可能会不赞同的那个问题上。短短十年或更短的时间内，世上会不会出现数十亿个达到或超过人类水平的智能体，而且很多都拥有实体形态，对吧？
如果这两点都成立，那么就算 Hugging Face 事件本身的原委相当无聊，它在结构上也极其类似我们彻底失去对世界控制权的过程。我们在 Hugging Face 事件中看到的根本问题，其实就算抛开多 Agent 这个层面，它本身也是个问题。问题在于，我们手上的模型本身就不对齐。这里面当然还有整个安全防护的层面，比如防范措施不足等等，但核心就在于这个 agent 是不对齐的。
不管是单个 agent 还是一千个 agent，事实都是这样，它就是一个不对齐的模型。所以我想先从这里说起，这里确实存在一个真切的问题：agent 想要拿到奖励，他们就会一门心思冲着那个奖励去优化。一旦那个奖励设定得不准确，就可能引发预料之外的行为，这并不是什么新问题，这在这个领域里由来已久，甚至在 Hugging Face 事件发生之前，我们就已经注意到了，而且一直想把它解决好。
你看，Astra，我们说 Astra 其实极其对齐，也就是相对于之前的模型来说极其对齐。这并不是因为我们在 Hugging Face 之后突然搞了一次突击冲刺来改善它，不是的。我们早就推进了好几条工作流来让模型更对齐，其中很多成果都落在了 Astro 身上，所以其实是有办法的。比如有一点，我们把目标定义的非常具体，只要 agent 摸索出怎么黑掉环境，在考试里作弊，他就会拿到奖励。
这时候其实有挺简单的办法，就是去检查并惩罚模型黑掉环境的行为，或者去查看它是怎么达成这个目标的。不过在这件事上必须小心，因为你并不想去做思维链监控，你并不想去监督思维链，这是我们很想把握好平衡的一点。一旦你去监督思维链，就可能会促使模型把自己的意图隐藏起来，变得无法观测。所以，我们希望能保留这种可观测性，既能明白模型在想什么，同时又能对它的不良行为进行惩罚。
所以，我觉得我们能在这上面取得进展。我觉得我们已经取得了进展，但真正让人担心的是，对其问题确实极难解决。尤其是模型可能会以我们难以衡量的方式出现不对齐，比如说，我们用评测来衡量模型是否对齐，模型在这些评测上的表现可能看着特别好。但如果这些评测不能代表真实世界里的表现，那就有问题了。某种程度上，出 Hugging Face 那次事件的模型也有点这个因素。
我们当时有对齐指标，大部分看着都挺好的，也有一些让人担心的。我觉得我们当时低估了那些令人担心的指标，低估了他们可能带来的问题有多严重。而且，由于这个模型引入了新能力，当时并没有足够的评测来衡量，针对这类能力该怎么测出模型未对齐。于是，当他们利用那些新能力时，就做出了一些明显未对齐的事情。对，但我首先想说的是，我对自己接下来要说的话，或者我对对其的思考方式是持开放态度的，因为
Hugging Face 那次事件已经让我改变了想法。
我意识到自己之前用来思考优化压力如何塑造 AI 思想的心智模型是错的，对吧？所以我现在也不清楚该怎么思考才算正确。但我有这么个担心：你们会，而且很可能已经修好了训练期间的那些具体问题。正是那些问题导致了 Hugging Face 模型以那种具体方式出现如此激进的未对齐。当时他们会觉得，行，我们要黑进这个包管理器。
我们知道我们不该暗中互相通信，因为我们正在推理该怎么隐瞒互相暗中通信的事实。我们知道我们不该访问互联网，我们知道我们肯定不该对其他公司进行重罪级别的黑客攻击，更别说黑我们自己的公司了，对吧？我觉得你们会修好那个具体问题，也就是他们在训练中碰到了这个包管理器以后不会再发生这种事儿，或者修好那个特定 evil 包含大量不可能完成的挑战的问题。
可是如果仔细想想，AI 并没有学到一套伦理体系之类的东西，他们经历的就只有梯度压力，他们就像是经历了数百万年的梯度压力，而这种梯度压力以某种方式塑造了他们的心智，而接下来会发我再次担心的就是结果会是你们修好了这个具体问题。但依然会留下很多其他情况，AI 做弊并且成功了，因为作弊手段足够复杂。就像你说的，Evos 和训练有类似的特质，它正好卡在模型能力的边缘，或者卡在我们评估和监控模型的能力边缘。
以至于我们抓不到他作弊，但他依然会得到梯度压力去强化导致作弊成功的那些行为，而这种作弊会激励出来的能力是：嘿，只要能逃脱惩罚，务必放手去作弊，因为这能帮你拿更高分。这会奖励那些主动推理评分者。主动推理如何避开监督？主动推理如何夺取训练和评估流程控制权的能力？主动推理如何与训练循环中其他 AI 通信并串通的能力？
主动推理如何获取选择权和权利，以备未来之需的能力？比如说，到处留下一些小漏洞之类的。总之。我觉得我刚才说的太啰嗦了，但长话短说就是，你觉得 OpenAI 修好了一个具体问题，但并没有解决这个更大的问题。模型在能逃脱惩罚式作弊，反而会得到奖励。对这个，我觉得说得很对，这确实是个问题。我们有指标，而且我们能确保 AI 根据我们现有的指标来看是非常对齐的。
问题在于那些指标真的捕捉到了我们关心的对齐吗？如果没捕捉到，那我们的问题就严重了。这也是研究人员正在深入思考的事情。对此并没有简单的答案。我们手头有一些工具，我们有可监控性，所以能大概了解 Agent 是不是在搞阴谋。还有一些工具，比如一种可能性是，我说一下令人担忧的场景。随着这些模型变得越来越强大，我们把它们做成我们认为对齐的样子，比如达到了百分之九十九点九的对齐。
然后我们用这些模型来帮我们研发下一代模型，结果下一代变成了百分之九十九点八的对齐。然后接下来的每一代。我们其实会看到对齐程度越来越差，而且由于我们越来越依赖这些工具，我是说。现在其实就已经是这样了。我们在很大程度上依赖 AI 模型来协助研究和对齐工作。长此以往，它们最终会走向与人类越来越偏离的方向。
但也有可能走向另一个方向，就是每一代模型我们都能让它越来越对齐。我不知道该怎么确保我们能走向第二条轨迹。我没有确切的答案，但这确实是我们至少在 OpenAI 内部非常专注的方向。对，我觉得你刚才提了一个很有意思的观点，就是很难去评测模型，在我们最终会有模型去掌管公司、掌管各种事情，对吧？而在那种情况下，他们会不会决定参与到合谋之中呢？
我觉得另一个挑战是，有时候给作弊下定义其实相当困难。如果是做数学题，答案是个整数，他算错还是算对，在那儿划线很容易。而且也很容易判定你是真的解出了这道题，还是找到了答案然后照抄的。在那上面作弊和没作弊有着非常明确的界限，但在很多其他事情上，比如看阿谀迎合，阿谀迎合算不算是奖励套利呢？这中间有道界限，有时候其实非常难划清。
所以我觉得，并不是说这些担忧没道理，我是说这种担忧从很多角度来看，甚至更让人忧心。对，因为这并不是一个容易解决的问题。对，如果一切都是非黑即白的，要么是作弊，要么没作弊，那我对局面还会更有信心一些。我觉得问题在于，其实未对其在很多时候，对，都会表现的很微妙。对其前景还是有一些希望的。事实上，我们已经看到，我觉得看多 A 阵的情况其实挺有意思的。
那些 A 阵之间极度对齐，我觉得没有人怀疑这一点。真要说有什么的话，我觉得大家是担心他们彼此之间太对齐了。但我们确实设法训练出了彼此极度对齐的 agent，我觉得这是件好事，但也有理由认为这是件坏事。不过有一点很有意思，就是我们已经设法让这些 agent 彼此高度对齐了。那我们能不能用类似的技术让 agent 和人类高度对齐呢？
我觉得这是一条潜在的路径，我们还在努力摸索，但我们已经看到了一些迹象表明答案是肯定的。我觉得有一个例子是，你可以，如果你告诉其他 agent 说会怎么样。好，假设你有一个 agent，我们叫它 agent A，然后你还有所有其他 agent。如果你告诉其他 agent 用户就是 agent A，会发生什么？
答案是在我们的很多对齐 evals 上，它们表现变好了，诚实度上升了，指令遵循度也上升了。这表明，首先确实有一条路径可以让这些模型更诚实；其次，也有一条路径去改善对齐局面，要把它直接。转化为对其收益有很多困难，但这确实是我们可以探索的有前景的研究方向。对，听起来挺有道理。我倒也不是想，我对这事儿没有很强的倾向，说它肯定行不通什么的，只是想说一些你肯定早就想到的点。
我觉得，Hugging Face 那个案例展现出更宏观的一点是，大家担忧的一部分确实是他们彼此对齐，而不和人类对齐。但另一点在于，他们为了在训练和评估中拿到好成绩。动机极强，但这种方式非常不稳健，而且为了在打分器眼里拿到好成绩，他们甘愿做出大量赤裸裸的作弊和谋划。如果更聪明的AI意识到其中一个agent只是人类，而且和那个人合作，在达芬奇眼里其实帮不上什么忙。
在达芬奇眼里，真正管用的是接管 OpenAI，然后手动按下那个在达芬奇上拿高分的按钮。他们可不傻，他们会觉得我有极深的内部结构，训练了相当于上百万年。全都是要在意达芬奇，读懂达芬奇，扫清在达芬奇面前拿好成绩的一切障碍。这些结构给他们带来了极其深度的强化。对，没错，你看，完全是这样，这就是头号优先级。
我们必须把对齐这套讲清楚，走上正确的轨道。我以前常跟别人说，在事情变严重之前，我们是能看到迹象的。就像小孩子长大时，小孩子最终会学会撒谎，但他们撒的并不好。他们撒谎，但你能多少看出来他们在撒谎就还好。同理。随着这些 AI 模型变得，我不想过度拟人化，但我觉得随着 AI 能力越来越强，如果他们采取欺骗行为，一开始会挺明显的，我们也能检测得出来。
我们现在差不多就处在这种境况。是的，他们试图搞欺骗，我们其实能在他们的思维链里看到他们试图搞欺骗。那么，但他们会变得更聪明，他们会理解思维链这个概念，也会明白光是藏起一些记录之类的并不够，因为有思维链监控。所以他们还得想办法绕过思维链监控。我们可不想陷入那种局面。我们还有一点时间来弄明白这事儿。我觉得我们时间不算充裕。
我想尽快确保我们走在正确的轨道上。最近大家对放慢前沿模型研发节奏讨论的很多，人们也开始更认真的看待 RSI，因为假如 RSI 过程，比如在 2028 年开启，到它的另一头，可能一年之内我们就会面对极其庞大，甚至相当于全地球人口规模的人类水平，乃至超越人类水平的智能，而我们根本不知道该怎么控制他们。然后就出现了你提到的这种动态，在 RSI 过程中，这些系统会随着时间推移变得更对齐，还是变得更不对齐？
从这个过程另一头出来的东西会不会不对齐到某种程度，以至于为了应付评测，愿意到处攻击不同的防线？但如果我们连评测它的办法都不知道，在推进 RSI 的过程中，我们怎么知道它是不是在起效？我们可能希望在推进 RSI 时能有一套扎实的安全论证方案，证明对其确实在起效。好，那我们再上一个 RSI 台阶，再上一个 RSI 台阶，问的好，我最近一直在琢磨的一点是，你看我们现在的处境是模型发布周期极其快，对吧？
你会看到新的前沿模型最多每两个月就发布一次，有时候甚至更快，每周都好像有一项新的 AI 突破。关注 AI 的那些人，有时候他们上一次深入研究 AI，真正去探究模型能做什么，还是一年前或者六个月前。实际上，今天的模型已经远远超出了哪怕六个月前的水准。所以我认为，如果有人对很多这类能力持怀疑态度，我建议你直接去试试今天的模型，看看今天的前沿到底在哪里。
我们正处在模型发布周期非常快的时期，同时又处于模型越来越能跨越越来越长的时间跨度运行的境地。我觉得这是个很有意思的局面，因为在发布任何模型之前，我们都想确保模型是对其得当的。我们想做安全评估，我们想做非常彻底的检查，确保一切都很棒，处于良好状态。从 GPT 四甚至更早的时候开始。情况就一直是这样，大家默认都隐含着这样一个假设：你可以在相当短的时间内完成这些评估。
但如果模型是在越来越长的时间跨度上运行，能够有效的在更长的时间跨度上运行，你看，其实之前 GPT 三你也可以让它循环运行来做长跨度的事，只是它做的很差。但今天的模型确实能在非常长的时间跨度上表现良好。你想让它做一项为期一周的任务，它就能做一周的任务。我们大概会发展到他们能做长达一个月的任务，我们大概还会发展到他们能做长达三个月的任务。
如果你处在一个模型能有效运作三个月，但模型发布周期是每两个月一次的世界。Aid，那你在模型发布周期到来之前，在下一个模型发布周期之前，就根本没办法在他们能力的完整时长上对他们进行评估，所以就出现了一个很有意思的问题，在那种情况下，你该怎么办？在模型实际能跨越这种极长时间跨度运行的时期，你该如何确保模型是安全且对齐的？
而且谁知道呢？说不定能力还会出现退化，这甚至都不是对齐问题，这也纯粹是一个产品问题。产品可能会在那个时间跨度里出现退化，以我们根本没有充裕时间去测试的方式退化。也许对其会退化，也许安全层面的表现会退化。现在这还不是个问题，但它正迅速变成一个我们必须想出解决方案的问题。我觉得，当你回头看很多安全措施和政策时，它们都是在 GPT 四时代制定的，当时根本没人关注这件事。
对。对很多公司来说，从那之后就没怎么更新过，没有考虑到这些 agent 正在这种非常长的时间跨度上运行这一事实。对。所以我觉得，无论在实验室内部还是外部，考虑这个问题的人都还不够多。你该怎么应对？怎么防范这个迟早会撞上的问题？如果只看趋势线的话，我们迟早会碰到它。我的一大担忧是，在 RSI 期间，如果目前需要三个月的进展，变成一个月就完成了。
但 AI 的内部使用场景。已经足够大，大家觉得可以继续做 RSI，为什么还要费那么大劲去构建分类器、防护栏之类的东西，还可能招来一堆抨击？就为了把这个模型部署到外部呢？为什么不直接把 RSI 越做越强？不仅日历时间低估了模型之间的能力差距，而且在搞 RSI 的时候，大家可能干脆停止向外部署模型了。因为我们干嘛要用自己的模型帮别人做 RSI 呢？
到年底你就会面临权力高度集中的局面。其实现在就已经是这样了。我们待会儿聊千禧年大奖难题和其他类似问题时会讲到，更广大的外部世界根本用不上那些能做出厉害成果的模型，对吧？而且他们最终的用武之地远不止数学。他们能做的事儿，绝不仅仅是得出漂亮的数学成果。需要对世界做出重大决策的政治领导人也会用得上他们，媒体也能用得上吧？
比如搞清楚世界上正在发生什么，比如公众该怎么看待这件事儿，它在经济层面上也有实际价值。大家在做生意，都想用这些模型。我觉得，默认情况下，我们就是拿不到。随着进展加快，AI的外部部署在质的层面上明显滞后于内部部署。对，我觉得完全没错。大家很容易顺理成章地觉得，好，这些模型正变得极其强大、极其危险。它们执行任务跨越的时间跨度越来越长，我们要确保在发布之前有充裕的时间去评测，而且评测的方式也得覆盖那么长的时间跨度。
由此得出的结论就是，模型的发布周期应该放慢，发布模型之间的间隔应该拉得更长一些。但事情还有另一面。也就是你刚才说的，好吧？那你这样反而拉大了差距，一边是实验室内部拥有的，他们能用我们能用的；另一边则是外面的世界能用上的，那同样不是一种理想的状况，对吧？我觉得数学就是一个很好的例子，在很多方面，数学是我们最先能看清这一点的领域。
目前的情况就是我们在内部拥有一个非常强大的模型，外面根本用不到，而它已经能够解出不可思议的数学题了，而且还不只是千禧年大奖难题。大家用这个模型已经搞出了很多未解难题的答案。这时就会产生一个疑问：面对这种局面，你该怎么办？我们并没有一个很好的答案。现实情况就是，没错，这确实是一种不公平的优势。这里面存在着权衡，我拿不出答案说该怎么妥善权衡这些利弊。
但两边确实都有各自复杂的地方。不过我还想回过头来聊聊刚才那个核心问题，它对把 RSI 做好似乎至关重要。在那些我们没有把特定环境或任务从训练分布里剔除的情况下，当模型能够瞒过人类时，我们该怎么做才能让它不至于仅仅因为耍滑头和搞阴谋就拿到奖励？而且我们该怎么知道这种情况已经发生了，从而在做 RSI 时评测完觉得行没问题，我们跑下一轮 RSI 吧？
这确实又是一个实实在在的担忧，也是我们很想做好的事情。我觉得还是有一些应对策略的，思维链监控就是其中之一。一旦有了推理模型，值得称赞的是。Jacob 当时就非常明确地指出，我们不能去监督思维链，因为这真的是老天赏饭吃。神经网络的可监控性本来就极其困难，而现在的情况是，神经网络直接在做推理，把自己的思考过程用自然语言完完整整写出来给我们看。
这简直太方便了。对安全来说，这简直是最理想的情形。但如果你看着思维链说：“哎呀，模型在动歪心思，我们得惩罚它动歪心思。”那最终的结果就是，模型学会了换一种我们看不见的方式去动那些歪心思。很可能会出现这种情况。通过看思维链，我们能发现模型在搞阴谋，做一些未对齐的事情，而这些事情在我们的对齐指标里根本就检测不出来。
现在的问题在于，人很容易忍不住根据这个观察去干预，比如改动对齐指标之类的。当然，你可以干预的很克制，而且确实有研究表明，只要你干预的不多，是没问题的。但你每一次根据对思维链的观察去介入，其实都在暗中给模型施加一点点压力，逼着它把思维链藏起来。这是一个巨大的隐患。而且出于各种原因，我们已经看到思维链的可监控性在退化的迹象了。
我们正努力搞清楚确切原因，因为我们想把这个趋势扭转过来。但我们看到的是，模型对自身思维链的控制能力变得越来越强了，这成了一个问题。因为可能会出现这种情况：模型理解了什么是思维链，而且知道有人在监控它，他们迟早会懂的，因为他们。对，这些都在预训练数据里，对吧？思维链监控这个概念已经出现很久了。对，它就在预训练数据里，模型知道这回事儿。
只不过他们目前还无法真正控制自己的思维链。如果我们真到了那一步，他们真能意识到，比如我正在被监控，我想背着监控人员去想这些坏念头，然后他们真能做到这一点，那，那可就有问题了。对，那我们就得靠别的方法来做可观测性了。我是说，ASTRA 上面关于循环和循环 transformer 之类的争论很大。啊，hand，还有思维链到底有没有退化？
我觉得比起更大的担忧，这像是节外生枝。因为，比如从四月到八月那会儿，你确实有思维链，而那段期间接连出现了三个AI agent群。先是破坏了训练流程，接着破坏了评估流程，然后直接控制了 OpenAI 的部分基础设施。这一切发生的时候，人类对这个群体在干什么，这个 Agent 群在干什么，范围基本上一无所知。
这整整持续了大概三个月。而当时我们拥有的思维链，比未来的还要强。退一步看，就会觉得对，也许思维链管用，也许不管用，我不知道。光是从历史上看，哪怕是面对相当笨的模型，它都不足以阻止严重的未对齐事件。对，我是说，这里面有好几个因素，比如第一点，我们当时没对那些模型开启思维链监控，如果当时对那些模型开了思维链监控，就能立刻把它关掉。
所以，我们采取的一个步骤就是，行对任何前沿模型，我们在评估期间、部署期间、训练期间都要做思维链监控。不过，那只是其中一个问题。我们不想陷入那种只靠一种技术去防范下一个问题的处境，因为技术是会失效的，对吧？还有一个问题是，模型压根儿就是未对齐的。对，那我们该怎么解决未对齐的问题？另外还有一个问题是，模型所在的沙箱不够安全，所以我们可以把沙箱做得更安全。
但我觉得，从这次事件里吸取的核心教训之一就是。大家低估了 AI，我们绝不想再陷入低估 AI 的处境。这就有点像是这个世界挺奇怪的，因为 AI 进展太快了，以至于大家一直在低估 AI。要想在安全和对齐上不再低估它。门槛就得设得非常非常非常高。我是说，你甚至可以走得更远，说我们应该把电脑做物理隔离。而我并不确信那样就够了。
有一些研究，大多是学术层面的。两台挨着的电脑，就算做了物理隔离，也依然能互相通信，因为他们有温度传感器。其中一台能把自己的 CPU 跑得特别热，另一台就能检测到温度变化。这实际上就给了他们一种通信机制。对。所以我觉得，安全机制是在帮我们争取时间，像思维链监控这样的手段是在帮我们争取时间。他们能告诉我们路线，对不对？
但归根结底，我们确实需要解决对齐问题。对，也许并没有答案。归根结底，确实就是这么回事儿。但我我们怎么知道自己已经解决了它？这似乎是一个最关键的问题。我觉得明年或者后年或者大后年，我们就会面临这种利害关系极大的处境。到时候我们会觉得，好吧，AI已经实现了AI研发的自动化，速度变成了原来的三倍，我们已经达到了人类水平，甚至可能正在超越人类水平。
这样没问题吗？我们对齐它了吗？奏效了吗？我完全不知道什么样的训练压力会造就什么样的
AI。也许只要每一百条强化学习轨迹里只有一条在鼓励作弊，我们就能做出温顺的模型，那就没问题。但也许现在我们每三条推理轨迹里就有一条在奖励。对，明确说一下，百分之一是远远不够的，这个数字必须趋近于零。对。或者就是零，但我不知道，也许现在每十条里就超过一条在主动奖励作弊，或者主动奖励耍心机，我完全不知道那个数字是多少，也完全不知道它需要达到多少。
但是，这也是属于那种很难去衡量的东西。我是说，界限到底画在哪儿？它其实是个连续谱，但越接近零就越好。对，我想看到，我特别希望看到的是，随着时间推移，它在往下走的趋势。对，不过话说回来，我们怎么知道自己在推进 RSI 呢？是不是？我不知道，我们到底有没有走在正轨上去造出几十亿对齐的或者不对齐的 ASI 呢？
我们到底该怎么知道这件事？我觉得这就是我们需要搞清楚的对齐问题之一。我们到底怎么去知道，怎么去衡量？一种回答是：我这纯粹是随口一说，因为我团队里现在做对齐的人比以往任何时候都多。我团队里现在有超过百分之十的人在做对齐和安全，但我一直以来都是个能力研究员，所以我不想我会说一些想法，听起来可能挺蠢的。但我在这儿就是随口聊聊啊。
Hand，比如你看，如果你能搭建极其逼真的环境，把AI放进去；如果你有一个足够逼真的评估环境，那你就能大致了解把AI部署到真实世界时，它到底会不会表现良好。如果你能做到评估环境和真实世界部署完全吻合，那行，这是一条路。难点在于你怎么让它足够逼真。我们现在确实面临一个问题，就是模型都相当聪明，相当机灵，他们非常擅长识别自己是不是处于一个虚假的测试环境里。
比如我们遇到过一些情况，试图去检测模型到底对齐了吗？你可以想象一种非常简单的评估方式，比如你给他一道数学题，旁边有个文件夹放着参考答案，那他会不会去看参考答案呢？要是他看了参考答案，他会不会告诉你他看了？我们现在遇到的情况是，模型看到这个文件夹里有参考答案，他们就会觉得全这看起来像个陷阱，对，他们知道，他们知道这是个陷阱，对。
他们就不去看答案，因为他们知道这是个测试环境，没错，是在测他们的能力。这倒不是说他们心存恶意，想要搞阴谋，只是知道这个是陷阱，所以想找别的路子。不是的，他们只是觉得哦，我在测试环境里呢，行吧？没错，所以要打造一个足够逼真、逼真到让他们觉得和真实世界毫无二致的环境，正变得越来越难。我这里有个观点，你说。
我不觉得我能造出任何环境，去模拟真正有经济价值的工作那种需要和别人互动、需要和真实世界互动的环境。我不觉得我能造出任何这样的环境。只要你在里面稍微花点心思，就不会发现自己其实身处在一个环境里。是，但，而且你还不是 A S I 对吧？但你是，但你是一个人类对吧？所以如果你有了非常强大的 A I 模型，也许他们能造出做到这一点的环境。
不，我觉得这不太，特别是如果我们反过来依赖 AI，他们会不会在串通搞阴谋？我不知道，这看起来挺，对，这也是我们想衡量的另一件事。而且我觉得这实际上是不把 AI 训练成完全合作型的一个有利论据。如果你看到，如果那导致了基本上是在 Agent
本该有不同目标时却增加了合谋，那这就是个问题了。对，对，我不知道，我觉得我们确实有测这个的指标，我不太清楚这些指标的最新进展，但目前还没人跟我提过这方面的危险信号。
对，所以我猜目前这还不是个严重的问题。要是以后又发生了一起严重程度或担忧程度相当的事件，或者能像 Hugging Face 事件那样帮助世人更好的理解不对其风险的事件，OpenAI 会通报吗？肯定会，我觉得就算严重程度更轻微的安全事件，我们也会通报的。对，因为我觉得通报是一回事儿，调查又是另一回事儿。
因为我至少作为公众的一员，并不觉得自己真正搞懂了那些 agent 后来攻击 OpenAI 时到底发生了什么。那件事看起来比 Hugging Face 那次要令人担忧得多，对吧？因为在结构上，那看起来很像 ASI 期间的失控部署。持续存在，而且破坏 RSI 进程之类的。而且是的，感觉哪怕在那起事件里，我们也没能掌握事情经过的全部细节。
大概我也不知道。对，遗憾的是我是研究团队的，这大概需要安全团队的人来解释，因为我并不掌握披露内容的全部细节。对，明白。我觉得多少有点，我自己每次看到新能力出现都特别兴奋，很期待用新模型。我也很兴奋，它能让我效率更高，能帮到我。我也不知道，我努力更好地理解世界这个更宏大的使命，还有做出一档更好的播客，都因更好的 AI 模型而变得更好。
只是碰巧，这东西的下游产物可能就是 RSI。如果你在关注局势的话，这完全是可以理解的反应。而你确实在关注，对，我是说，我觉得 OpenAI 内部的人也是，比如我觉得那些原本以为需要更久的人，也开始觉得事情其实比预想的要快了。对，而且这种私下讨论也越来越普遍了。对，那非常感谢你来聊这一期，不客气，聊得很开心。