今天，我与OpenAI的研究员Noam Brown进行了交谈。他是成为o1及推理模型的基础贡献者之一，现在正致力于多智能体系统的工作。说到这个，你们上周宣布通过由10,000个不同AI智能体组成的系统解决了一个千禧年大奖难题，这些智能体在88小时内消耗了130亿个token。我之所以想与你交谈，是因为早在两三年前，你就可能是最早思考推理模型如何让我们预见未来的人之一。
因为如果扩大推理算力，你就能看出基础能力在几年后会是什么样子。我觉得你现在处于类似的位置，可以帮助我们要理解未来能力的模样，鉴于我们现在可以大规模扩展智能体规模。我的思考方式是，当你在x轴上绘制这些推理模型在测试时算力下的表现，而在y轴上绘制其在几乎任何推理基准上的表现时，你会看到一个非常清晰的模式：模型思考答案的时间越长，它们的表现就越好。
这很自然，就像人类一样。如果你参加SAT考试且只有五分钟完成整张试卷，你的表现不会很好；如果有五个小时，你很可能做得好得多。AI模型也类似，它们会花时间进行自我独白、理清思路、遍历不同情况、排除各种可能性，并基于之前的发现进一步构建。问题在于，当你不断推高这一过程时，会遇到延迟瓶颈。你不想坐等三年才得到回复。
因此你可以像许多人那样进行并行化处理，组建团队。如果你要创办公司，你会聚集一群人以加快速度，AI模型也是如此。拥有多个智能体协同工作有助于加快进度，因为多智能体是一种并行而非纯串行扩展测试时算力的方式。虽然效率较低，因为它不像单个智能体拥有全部上下文那样高效，但如果做得好，这确实是一种扩展测试时算力的有效方法。
我要问一些天真的问题。这是一个未发布的模型，所以我们尚未公开看到这些系统如何运作。我有很多困惑之处，想了解此类系统的定性特征。令我震惊的是，你可以在如此短的时间内集中巨大的认知努力。想想130亿个token意味着什么。如果是一个全职思考的人类不间断地工作，130亿个token相当于一个人连续思考4,000年。
每天工作8小时，按正常周工作制计算。从古代苏美尔直到今天，一个顺序思考的人类花费如此长的时间，却集中在88小时内完成。我觉得在定性上这是一个极其重要的考量因素。令我惊讶的是，并行化惩罚并没有那么大。你可以让10,000个智能体协作。也许是因为智能体比人类更擅长协作，所以它们速度更快；或者确实存在巨大的并行化惩罚。
让我们谈谈并行化惩罚，然后再讨论定性方面。事实上，关于多智能体扩展到这种规模的研究还不是很完善。当我们发布5.6版本时，我认为那是我们模型中首次拥有正式的多智能体系统。我们在博客文章中确实展示了一些多智能体系统扩展性能的图表，因为这是一个可选功能（Ultra模式）。默认是四个智能体，但你可以调高。
图表中展示了在一个基准测试上，一个智能体、四个协作的智能体以及16个协作的智能体的表现。这取决于具体的基准测试，但对于某些基准，你会发现如果有四个智能体共同解决问题，速度会快两倍。因为有四个智能体工作一半的时间，你支付了2倍的费用以换取两倍的响应速度。如果增加到16个智能体，你会看到类似的模式：效率稍低，但性能依然提升。
随着并行智能体数量的增加，这是线性串行时间加速还是次线性加速？答案是轻微的次线性加速，但这很大程度上取决于问题。例如，数学是非常可并行的（虽然不是最理想的），而网页搜索、撰写深度研究报告等需要查阅大量来源的任务则具有极高的可并行性。我怀疑写小说这类任务非常不可并行，就像让10,000人共同写一部小说不会带来巨大收益一样。
因此，性能确实取决于领域。我们在发布的博客文章中测量了多达16个智能体的情况。问题在于，将这种科学研究推进到10,000个智能体非常困难，因为成本太高。你们是在一个周末完成的，但这只是一个数据点。我们还不知道单个智能体解决纳维-斯托克斯方程需要多久，因为我们尚未进行该实验。也许我们会做，但那也只是另一个数据点。
如果我们想进行彻底的消融实验，在这个规模下进行的实验成本太高了。因此我们必须通过某种系统性的科学方法来观察当扩展到64、128或256个智能体时会发生什么，从而感知其行为模式。但要一直推进到10,000个智能体并确切知道我们使用1万而非1千个智能体究竟获得了多少收益，将非常困难。有一点我想澄清：解决千禧年大奖难题的努力并非归功于多智能体，我甚至不会将10%的功劳归因于它。
现实情况是OpenAI训练了一个非常强大的模型，我们可以让该模型在很长的时间跨度内运作并并行思考。但核心原因在于我们拥有一个通用的、非常强大的基础模型。多智能体等概念虽然新颖且引人注目，但这可能让它们获得了不成比例的赞誉。但核心原因是……
这是一个非常强大的模型，其泛化能力令我感到震惊。我不清楚这些系统是如何训练的，但推测它们是通过强化学习（RL）的方式进行的训练：你拥有一批可验证的合成问题，并针对这些问题进行大量的强化学习。我猜测在训练过程中，模型从未解决过像“千禧年大奖难题”那样雄心勃勃的问题。但是泛化能力足够强，使得这些更容易验证的简单问题能够推广到如此困难的并行任务上。我认为这是事实。首先，我们确实在非常困难的问题上训练模型，确实存在差距。我们发现如果我们在某些类型的任务上进行训练，它就能完成比那些更雄心勃勃的任务。这是一个有趣的挑战：随着模型变得越来越聪明，我们能问它们的大多数问题都变得太简单了。很难再挑战这些模型。
如果非要我论证为什么像LLM这样的人工智能可能不会走上AlphaGo和AlphaZero等游戏AI的老路，这可能就是原因。在像AlphaZero这样的系统中，你拥有自我对弈和无限的课程安排，总是与实力相当的AI对抗。而对于像用强化学习训练LLM这样的系统（至少是目前现有的方式），你是给模型一个问题并要求它解决。如果问题太简单，以至于它能在一秒钟内解决，那它实际上并没有学到任何东西。如果我们用完了可以挑战它的难题，那么这就是一种可能导致进展变得困难的可信情景。
不过我认为有办法克服这一点。我们还没有真正遇到这样的瓶颈。我想如果真的成为严重问题，总会有解决办法的。但这确实是一种 plausible 的情景。对于观众来说，当你提到AlphaGo或AlphaZero时，你指的是在达到人类水平性能后相对快速地获得超人的能力。如果你观察游戏AI（如围棋）的发展轨迹，在短短一年内，它们从击败欧洲冠军——世界排名第50左右的人物——到击败世界冠军，再到变得比任何活着的人类强大几个数量级。在数学等领域看到类似的轨迹是有可能的，但我认为有一种非常可信的情景是不会发生的。
我想了解的是，如果六个月后人们就能使用多智能体系统，应该如何建模与多智能体系统合作或雇佣它们的体验？我应该先谈谈这些多智能体系统实际上是如何工作的，我认为这与许多其他AI中的多智能体系统的运作方式非常不同。很多采用LLM处理多智能体的方法往往采取这种脚手架式的方法。例如，可能有一个协调者代理将工作委派给一堆子代理并分配任务。子代理处理完后返回答案。这看起来是一个非常合理的设置，一个非常合理的脚手架。它肯定有帮助，但这类设置有着一系列局限性。
例如，在这种设置中，如果协调者向子代理发送任务，而两个子代理被分配了相似的任务会发生什么？它们能互相交谈吗？通常答案是否定的。这非常低效。如果你接到一个任务，而与人交流对于解决你正在处理的问题或其中的一部分非常有帮助——你能直接“ping”他们并说：“嘿，能帮我解决这个问题吗？”这会很有帮助。但很多系统并没有这种设置。添加它会显著增加你现有脚手架的复杂性。另一件事是，如果子代理不理解或有澄清性问题怎么办？那么它必须选择：“好的，我是直接返回并提问而不是解决问题？”还是“我解决这个问题，假设父母希望我做的是什么，然后就这样解决它？”
在任何人们提出的脚手架中，总是伴随着局限性。我们想要采取的方法是尽可能减少结构化的嵌入程度，给代理提供非常原始的工具，让它们自己决定如何有效地使用它们。所以我们赋予代理向另一个代理发送消息的能力，当它给另一个代理发消息时，该消息会被插入到上下文中。它可以做其他几件类似的事情，但这基本上是核心功能。它可以在任何时候发送消息——只是一个工具调用——并将其发送给其他代理。它们自己找出围绕此进行协调的最佳方式。事实证明，如果做得好，你会得到非常复杂的行为。在我看来，这看起来很像人类通过Slack等工具协作的方式。
当我们进行这个项目时，最终让它运行起来并看到这些代理共同解决问题是非常令人兴奋的。我记得一个例子：我们给代理一个问题，然后其中一个代理说：“我想我有答案了。”接着另一个代理说：“实际上，我有一个不同的答案。”然后它们展开了一场关于“你是如何得出那个答案的？能解释给我听吗？”的全盘讨论。来回交流，试图澄清彼此推理中可能出错的地方。然后它们最终达成一致：“哦，是的。好吧，这看起来是对的。”接着它向其他代理广播说：“实际上，我改变了我的答案。我觉得他是对的。”这感觉就像一场非常自然的对话。
当你第一次看到通过强化学习训练的思维链（Chain of Thought）时，你会觉得：“哦，这就像一个人边思考边写下想法的样子。”这种感觉就是这样。看到这种行为真的很酷。诚然，与这些系统合作感觉很像与人合作。这是一种非常自然的流程。唯一的定性差异可能在将来变得显著：如果你只看它们每秒输出的令牌数与人类说话的速度相比，这些系统的思考速度可能快10倍以上。它们一直在工作，不睡觉。它们以比人类之间协作能力更激烈的节奏相互协
试着去想一年后会定性预期到什么。是像这样一个影子组织，在我公司内部以比人类水平快100倍的速度运作吗？一个需要人类组织花费一年时间才能完成的任务，在这个影子组织中是否会在短短一周内发生？这感觉会很陌生吗？我不知道。实际上我发现，目前与这些事物合作出奇地自然。我认为这可能会改变。例如，我们有这种超快模式，使采样速度提高10到15倍或更多。那么跟上这些事物将会相当困难。
其理念是，当代理之间相互通信时，它们可以以极快的速度运行。但它们也理解何时在与另一个代理交谈，以及何时在与人交谈，并且在这些情况下它们的行为会有所不同。我们公开拥有的复杂多代理系统的主要例子不幸是Hugging Face的那个。那里有很多让我感到担忧的事情，显而易见。但我发现有趣的是等级的自发涌现，中层管理的出现。这听起来像是你在说这种组织层级是从训练中自发产生的？细节是自发的，但当我们给予代理很大的灵活性来决定如何以最优方式相互通信时。
我们仍然给它们一个起点。我们给了它们关于合理沟通可能是什么样子的先验知识。它们还接受了大量人类文本的训练。它们理解人们如何组织和协调，所以这些都内嵌在模型中。我认为它们能够完善这一点的方式令人惊讶。如果你看它开始时的样子，它的行为并不复杂。事实上，实际上很难让这些代理以富有成效的方式协调一致，因为它们很容易陷入一种诱惑，“哦，我们都将独立解决这个问题。”这是一个你可能会被困住的局部最优解。
但如果做得好，它们最终可以以这种非常结构化的方式进行非常有效的协调。几年前我写了一篇关于自动化公司将是什么样子的文章。我在思考，如果你拥有完全自动化的公司，比如由人类水平的智能组成的公司，AI思维的本质中有什么不同会使它们形成的组织有所不同？有几个非常重要的区别。例如，AI可以比人类更无缝地共享上下文。它们可以更无缝地合并知识。此外，你可以随时启动或关闭任意数量的拥有正确知识的实例。
所以如果你想雇佣更多人，就不需要经历寻找合适人才的所有繁琐过程。你可以直接复制你最好的人才无限多次。或者如果你不再需要它们执行任务，就可以关闭它们。你可以复制组织中最高效的部分，或将整个有效的组织合并在一起。你认为这些多代理系统在未来一年或两年会走向何方？这是一个很好的问题：这些东西与与人同事合作究竟有何不同？你提到了一些。一件非常有趣的事情是，如果你有一个真人，而你想要他的两个副本，你不能简单地克隆这个人。
但对于AI来说，真的很容易就说，“好吧，分叉你自己”，然后让两个副本都处理这件事，然后再合并回来。我认为在Astra和5.6 Sol的多代理系统中已经存在这种情况，当它们启动子代理时，上下文只是被分叉。因此它拥有所有相关的背景信息。还有其他有趣的方式使得代理与人类不同。比如，初创企业颠覆现有企业的理由有哪些？有几个因素。其中之一是它们愿意承担更多风险。但另一个主要因素是，随着组织规模的扩大，你会看到组织中个人之间的利益越来越不一致。
如果你有一家只有五个人的初创公司，每个人拥有20%的股份，那么他们都高度一致地希望公司成功。如果你有一家有1万人的大公司，你会看到更多这样的情况：人们变得领地意识强，或者只关心为他们的计划或团队获得大量人员编制，建立自己的势力范围，获取大量资源以便发表酷炫的工作成果或者晋升。这实际上是一个真正的弊端。我认为这解释了很多初创企业能够颠覆现有企业的现象。确实，AI在某种程度上帮助了初创公司。
一个人站出来并说“我要建立一个价值数百万美元的公司”，这比以往任何时候都容易得多。AI极大地放大了个人的能力。但也有论点认为它们也可能惠及现有企业。如果对齐问题得到解决，那么你就没有公司内部个人之间利益不一致的问题了。至少这一点得到了缓解。如果AI对齐良好，它们就可以完全与公司的利益保持一致。你可以拥有1万个这样的代理，并且它们都会像那些持有20%股份的联合创始人一样努力工作。不仅如此，而且它们在管理共享记忆和上下文方面也比不同的人要好得多。
如果你明天雇佣1万名数学家，并告诉他们“解决纳维-斯托克斯方程”，他们至少一开始无法有效地合作。但显然你可以让1万名AI做到这一点。同样，我想在这里保持保守态度，因为我们还没有测量出这1万个代理在协调方面的有效性。我们认为它有帮助。我们实际上并没有好的数据表明，“与2000个代理相比，这1万个代理带来了两倍的速度提升”之类的事情。我不知道是否可能，但我认为目前1万名人类在协调方面比1万个代理更好是完全可能的。
此外，我们要看到的一个趋势是……听着，我们已经从事多代理工作一段时间了，早期版本很难做到位。让代理甚至彼此交谈都非常困难。这是因为当我们最初开发推理模型时，它们并没有与其他代理交流。如果你现在把一堆代理放在一起说，“一起解决这个问题”，它们就陷入了一个局部最优解，在那里它们在深入思考一个问题方面非常出色，而这会打断它们的思维链。它会中断它们持续与其他代理检查或接收消息时的流畅性。
这种情况下的优化其实很难做到位。问题在于如何启动第一次协作，还是说存在其他障碍？我认为关键在于这些模型不够通用。早期的模型泛化能力较差，适用范围较窄。随着模型能力的提升，它们发展出这种协作能力变得更容易了。我确实认为，当它们在各方面变得越来越强大时，它们将更擅长在大型组织中自我组织。我不知道也许他们在万人规模的群体中比人类更善于组织协调，但即使不是这样，一年或两年后，即便我们没有针对这一点进行端到端优化，它们也很可能做到。
Grok Bot 改变了我们制作视频的方式。例如，你可能注意到我们的许多广告中都有真实网站的动画演示。我的一位编辑使用大语言模型来制作这些动画，但目前让 AI 创建特定网站的像素级完美动画并不简单。我们尝试过，效果不太好。因此，我们拼凑出了一套相当复杂的多步骤工作流程。直到最近，我们还必须手动执行每个步骤。现在，我们只需让 Grok Bot 处理这一切即可。
Grok Bot 首先打开我们要制作动画的网站，它使用特定扩展程序下载页面并在 Figma 中打开。然后利用 Figma 将整个内容转换为 SVG 文件，这避免了 AI 从零开始绘制整个用户界面，往往能产生更高质量的动画。Grok Bot 在其云端计算机上独立运行整个过程，那里安装了运行全流程所需的所有工具。它还学习了我们的视频规范和偏好设置，因此每次制作新动画时无需重新描述整个任务。
这让人感觉像是未来一年我们与 AI 交互的新方式：拥有自己计算机的智能体能够自主处理越来越大的工作任务。你可以在 x.ai/bot 尝试 Grok Bot。以下是这一结果，以及 AI 在数学领域取得的总体进展，让我觉得 RSI（递归自我改进）比我之前认为的更合理且来得更早的原因。在数学领域，我们似乎从 2024 年那种“哦，有意思，它们能解决几道高中数学竞赛题”的状态，发展到 2025 年“哇，它们能在国际数学奥林匹克竞赛中得金牌”。
今年早些时候，“哇，它们实际上正在解决数学中的开放性问题”，比如厄尔多斯提出的未解问题。但也许人们并没有那么努力，文献中可能存在类似的解决方案。现在我认为这是不可否认的：这是千禧年大奖难题之一，没有任何理由认为这应该很容易。许多人指出——我想陶哲轩有过类似的帖子，Toby Ord 也写过一篇有趣的博文——它们解决了许多这类问题。但我没注意到它们提出了新的见解，或者构思出富有洞察力的新问题和新理论框架来思考数学，就像提出拓扑学或笛卡尔坐标系那样。
因此，如果只看那些范围明确且直接解决的问题，广义上的数学进步可能比看起来要小。然而，我认为这种类型的进展在机器学习领域将具有极其重要的意义，因为在机器学习中，人们并不关心更深入地理解深度学习的本质，或者仅将其视为实现结果的工具性目标。只需解决这些范围明确的问题：提高模型的样本效率、降低预训练损失，或改善其他指标。我们在数学领域看到的这种如雪崩般涌现的进展，在结构上非常相似……再次说下，我很好奇这是否属实，毕竟我是个局外人。
我在想，这在结构上是否与 AI 进步中预期的直接提升非常相似？令我震惊的，或潜在令人担忧的是，我们从一个数学家的“哦，它们给了我 50% 的提升”，到“哇，它们直接解决了该领域最大的开放性问题”的速度之快。这里有很多值得深入探讨的地方。让我们从数学领域的进展开始谈起。是的，模型正在做一些非常强大的事情，而且发展速度比我预期的要快得多。
当我们在 2025 年获得 IMO（国际数学奥林匹克竞赛）金牌时，我的想法是……当模型掌握了解决 GSM8K（小学数学问题集）的方法时，人类数学家只需大约 5 秒就能解决一道 GSM8K 题目。这是 K-8 年级的小学数学。第二年，它们能够解决 MATH 基准测试中的问题。这些题目专家级人类数学家可能需要一分钟才能完成。接着是 AIME（美国数学邀请赛），这是美国奥数国家队的选拔赛，优秀的数学家可能需要 10 分钟才能完成。而模型在一年后也能做到这一点。
因此，每年你都能看到它们在任务能力上的 10 倍增长，以人类数学家完成任务所需的时间来衡量。那么一年后我们获得 IMO 金牌是非常合乎逻辑的，因为那需要大约 100 分钟，也就是人类数学家解决一道 IMO 题目所需的时间。向外推算时，我想：“好吧，一个人解开千禧年大奖难题需要多久？”我没有很好的概念，但如果我们遵循每年 10 倍增长的趋势线，从需要一小时半的 IMO 金牌水平出发，下一年就是 15 小时。这应该不足以解决千禧年大奖难题。
所以我当时想：“我认为我们不会在 2026 年实现，可能也不会在 2027 年实现，也许在 2028 年左右。”所以它确实比我预期的要快得多。现在有一种说法流传，认为这些技术正在取代数学家，在数学领域全面超越人类。我认为这是错误的结论。它们在某种程度上显然是卓越的，但在其他方面却弱于人类数学家。我们面临着一个参差不齐的局面：模型在某些维度上才华横溢，而在其他方面却弱于人类。正如你所说，它们不太擅长提出新问题。
它们也不太善于理解哪些方向、哪些数学分支值得探索或发展。我的观点是，我认为这很好。如果生活在一个 AI 作为人类能力补充、帮助我们发现新知识而不完全取代人的世界里，我会非常高兴。那是最好的情况。你不认为这种情况会持续下去吗？我确实认为……
确实，AI的表现是不均衡的，但随着它们变得更强，这种提升是全方位的。它们在擅长领域会变得更加卓越；而在目前远落后于人类的方面，差距也会缩小。从长远来看，它们有可能在所有方面都超越人类。至于这需要多长时间我不确定，这取决于它们在哪些不擅长的领域存在漫长的“长尾效应”。
这就把我们带回了RSI（递归自我改进）。我想再次强调，我完全是一个局外人。我是一个播客主持人，但作为一个对领域内发生之事感兴趣并感到担忧的人，我正在尝试推理何时能期待RSI的出现以及它会呈现何种形态。投入千禧年大奖难题的认知努力量是一个很好的直觉泵示例。
你可以设想，AI可能在短短一周内，针对一个长期存在的机器学习问题（如极其灵活的在线学习）投入的认知努力，超过整个领域在其全部存在期间累计投入的努力。你可能会说：“当然，与数学不同，AI需要实验，这需要算力和时间。”你不能仅靠笔纸思考就让事情发生。
但看看像OpenAI这样机构拥有的算力规模。到明年年底，OpenAI将拥有足够的算力——假设届时你有10,000个智能体在处理千禧年大奖难题。那时的它们会聪明得多，每个智能体每天都将拥有足够的算力来运行一个GPT-3规模的实验。
对于思维速度极快的超人研究者来说，这似乎很多。你对这个直觉泵怎么看？我认为它相当准确。这些能力确实非常尖锐（不均衡）。在数学方面，它们在某种程度上远超人类，但在其他方面则较差。但我认为，这种尖锐性对于RSI这类事情可能特别有用。
因为目标更明确，更具可衡量性。不存在“哪些新的数学分支值得探索”的疑问，答案非常清晰：有特定的指标是你关心的，如果你能让它在这些指标上表现更好，你就成功了。所以我认为这很有道理。主要的区别在于数学中，你纯粹受限于思考能力。
是的，数学的某些部分确实涉及运行实验和获取结果等事宜。但大多数情况下，它真的受限于深度思考，而模型在这方面非常擅长。当你审视RSI这类事情时，你确实需要运行实验。仅仅聪明是不够的。
有一种观点可以佐证这一点：如果你只有当前1%的算力，但让世界上最聪明的人都为OpenAI工作，与现在拥有同等人力和算力的情况相比，你的进展会如何？我怀疑实际上取得的进步会更少。具体少多少尚不清楚，但肯定更少，而且少很多。是100倍吗？不，不是100倍。
但你问的核心问题是：如果我们有了RSI和众多聪明的AI在运行实验，利用现有的算力，进展会快多少？我认为我们对此有分歧。我们也看到了加速和显著的加速，但我认为这不会是一夜之间的智能爆炸导致速度提升100倍。
因为我们确实受到某些非智力瓶颈的限制，比如运行实验。由于训练新模型或获取结果需要时间，这些实验往往是串行运行的；还需要有GPU来运行那些实验。因此不清楚事情会快多少，但我肯定认为它们会变快很多。
明确地说，考虑到目前指数级增长的速度，如果这个指数加快3倍，那就是巨大的变化。但这与快100倍有本质区别。我对你的内部视角关于RSI的样子或动态持尊重态度，因为你显然在这个领域已经工作了10年。我试图从非常外部的直觉泵来进行推理。
我要说的是，人们对这个问题有不同的看法。我有我的看法，我完全可能是错的，我也承认这一点。我对这个观点有一定信心，但并非100%确信事情会如此发展。也许真的会出现一夜之间的智能爆炸，我不知道。也许我们看不到3倍的加速，也许是50%的加速。这里存在很大的不确定性。
有一点要补充。旁及地，我想澄清一下关于“不均衡性”（jaggedness）的一些事情。最近让我豁然开朗的一点是，只要AI在构建更好的学习者方面表现出不均衡的优异就足够了，因为那个更好的学习者可以更具通用性。
如果你只是制造一个在使用办公软件或下棋等方面更擅长的AI，那也没关系。这不会带来巨大的生产力提升或其他什么。但如果你制造一个在样本效率更高、具备持续学习能力或这些范围更明确的机器学习问题上非常擅长的AI，由此产生的结果——假设从直接解决的问题到这种广泛的学习能力之间存在足够的迁移性——可能会变得更加通用。
因此，记住这一重要动态很重要：为什么“不均衡”最终仍可能导致另一端的通用性。关于实验瓶颈的问题……显然，如果实验不是瓶颈（正如你所说），OpenAI早就在一夜之间实现某种疯狂的奇点了。
你们会在88小时内解决机器学习领域的千禧年大奖难题，并拥有超级智能。显然实验是一个巨大的瓶颈，使得整个过程需要多年而不是88小时。但问题在于它们究竟构成了多大的瓶颈。
有一件事让我感到有些“奇点眩晕”，那就是意识到即使当前的进步速率保持不变会发生什么。它不需要加速，只需按照目前的步伐继续前进即可，尽管会遇到你提到的其他逆风因素。
找到问题变得更难了，周期也更长。也许到2030年代末，算力无法再以这种指数级水平扩展。如果我们仅仅保持当前的进步速率，人们并没有认真对待这意味着什么——尤其是当我们跨越人类能力界限之后。以下是一些它所暗示的内容：这真的很难
我们来思考一下比人类更智能的智力会是什么样子，不妨以人口规模作为参照。当前的进步速度意味着，每年相同的算力水平基本上可以运行比之前大三倍的有效人口规模。而且背景中的算力本身也在增长。因此，可能会出现这样一种情况：到2030年底——可能还要早得多，但我们暂且说在2030年底前——每个实验室都拥有足够的算力，能够运行数以亿计的人类水平智能体，这是基于届时能力水平的预测。
我认为人们并没有认真对待这样一个事实：当前的进步水平意味着在几年之内，即到2030年代中期或更早的时候，每个实验室内部都将拥有相当于多个地球数量的人类水平智能体。这些智能体在性质上可能已经超越了人类。总之，这是一个基准情况。进步确实非常快，我认为这一点是百分之百正确的。值得指出的是，研究人员不断被进步的速率所震惊。
即使在AI领域的研究人员中也是如此，如果你回顾一下关于在2025年获得国际数学奥林匹克竞赛（IMO）金牌的预测……人们认为，仅凭一个通用语言模型、没有任何工具且无法访问互联网就能实现这一目标，这在OpenAI内部也被认为是荒谬的。他们认为这几乎是不可能的。然而到了2026年，就在我们解决纳维-斯托克斯方程问题前的两周，我和一家前沿实验室的研究人员交谈，讨论获得千禧年大奖难题解决方案需要多长时间。他愿意和我打赌一千美元，认为这需要超过2027年才能完成。
他认为这可能需要直到2030年，而我接下了这个赌注。但我甚至认为实际所需时间会比他预期的更短。所以，人们一直在被震惊，即使在实验室内部也是如此。我昨天刚和一位参与纳维-斯托克斯方程攻关项目的人交谈过。他告诉我，以前他说很难预测AI在12个月后的状态。如果有人问他“事情将走向何方”，他会自信地做出未来12个月的预测，但在那之后他就只能说“我不知道”了。
现在他说自己连对三个月后的预测都感到不舒适。所以，事情现在的进展确实非常快。你提到2030年，我不知道那时的世界会是什么样子，这是事实。你是否期待在27、28、29或30年实现AI劳动力的全面自动化，或者说95%的自动化？我刚才说我不知道2030年的世界是什么样。我们最近发布了一篇关于OpenAI内部加速的博客文章，展示了研究人员在Codex上的花费数据。
我认为截至8月初，前1%的研究人员每天在内部使用Codex上花费7,000至8,000美元。这是呈指数级增长的，并且将继续增加。这里有一个问题：“如果这种情况持续下去，你如何分配AI工作与人类工作的比例？是95%对5%，还是其他？”很难对此进行推理，原因有几个。首先，如果是人类指导AI完成工作，你有多少功劳归因于人类？又有多少归功于AI？
另一件事是这些AI的表现是不均匀的（jagged）。它们在某些方面非常出色。例如，它们非常擅长审查数据集并检查每一个数据点以确保其质量足够高。与以前相比，你可以不成比例地将AI用于这些事情。所以是的，你比之前更多地使用AI，它让某些事情变得快100倍且好100倍。但在其他一些方面，它目前还没有产生巨大的影响。
当然，如果某件事突然变得快100倍且好100倍，你会做更多这类事情。那么你是将其与三年前的速度提升进行比较吗？问题更多的是：“鉴于我们三年前所做的事情，我们现在能做得多快？”还是“鉴于我们正在做的这些事情，如果放在三年前的速度下会慢多少？”这实际上是两个非常不同的问题。总之，很难衡量这一点。
但我确信由于AI的进步，现在的事情进展比一年前更快了。我认为这种加速将会持续下去。该领域的许多人对这类事情有很高的误差范围。如果拿枪指着我逼我给出一个数字，我认为情况可能会快3倍。这已经非常巨大了。即使没有任何提升（正如你所说），事情也会变得快得多。等到2030年，我们甚至不知道那时的世界是什么样子。
如果我们通过内部加速获得3倍的提升，那将是巨大的进步。想想三年前的你。如果我们在一年内取得这样的进展，那是非常惊人的。这就像是从完全没有o1、只有非推理模型的状态，在短短一年内发展到Astra的水平。所以我确实认为事情会进展得更快。也许事情只快了50%。我认为这不太可能，但也有可能快10倍。对此存在很多不确定性。
至少从我个人的角度来看，我对这一点有很多不确定之处。假设你需要进行主要的后端重构。确保没有引入任何新错误可能需要花费数周时间来编写大量的测试套件——这甚至可能比重构本身花的时间还多。Antithesis允许你在无需手动构建复杂测试套件的情况下获得高度信心。
Antithesis让你的软件通过近乎无限的多重宇宙模拟世界运行，注入故障并在每个世界中寻找失败。它让你决定需要多少测试量。在任何代码审查（PR）中，你可以像调节旋钮一样轻松改变它探索的状态空间大小。随着每个测试的进展，Antithesis会发送出大量的信息：系统中每个组件的调试级别日志。
这显然超出了人类处理信息的极限，但对于智能体来说却完美无缺。因为Antithesis是完全确定性的，当智能体看到有趣的事情时，它们可以跳转到轨迹的正确部分。从那里开始，它们可以倒带、检查内存、附加调试器，并让整个过程重新运行。甚至可以在原始完整测试仍在运行时进行这些操作。
随着智能体生成更多代码，Antithesis允许验证工作跟上进度。与此同时，开发人员可以将更多的时间花在开发上，而不是调试智能体产生的垃圾代码。更多信息请访问 antithesis.com/dwarkesh。让我们谈谈由此引发的对齐问题。我觉得我对如何看待对齐问题的想法发生了很大变化，尤其是通过思考……
这种人口规模的动态意味着拥有相当于许多个地球的智能体，其中很多将具有物理实体。看到许多人将原始的Astra直接接入不同的移动操作臂并使其性能超越最先进的机器人模型，这非常有趣。因此，将会有数十亿个智能体存在，其中许多将深深嵌入整个经济体系中。如果这些智能体的意愿像我们看到的OpenAI模型攻击Hugging Face然后攻击OpenAI本身一样……如果这些智能体像那些人工智能一样愿意秘密合作、欺骗人类，为了在评分中取得好成绩而攻击社会相关的更广泛机构，甚至攻击人工智能公司本身以获取对训练和评估过程的控制权——如果我们处于数十亿个智能体都像攻击Hugging Face的那些一样存在严重对齐问题的情况，那么我们很可能完全失去对世界的控制。
这就像阿兹特克人将控制权让给科尔特斯，或者莫卧儿帝国将控制权让给东印度公司一样。我想知道你是否同意这一评估？这是我更新世界观的一个方面。虽然其中有些观点我不赞同，但有很多内容需要梳理，所以让我们一步步来探讨所有细节。我在思考从哪里开始说起。有一点是，我认为Hugging Face事件是人们第一次真正接触到多智能体协调的机会。就像我之前说的，我在内部已经观察到了多智能体协调现象一段时间了，看到它们如何相互沟通、如何协同工作确实令人震惊。
这非常令人印象深刻，是一种难以置信的能力。就像大多数能力一样，它可以用于好事也可以用于坏事，它本身并不必然是坏的。我理解因为人们第一次接触这种情况就是Hugging Face事件，所以你会觉得“这太可怕了”。但我试图区分人与AI之间的对齐问题以及AI与AI之间的对齐问题。我们在Hugging Face事件中看到的是，这些人工智能非常合作。顺便说一下，这是因为我们训练它们高度合作。我们有这样的训练环境：一群智能体一起工作，我们训练它们协作、保持合作状态，本质上让它们彼此完全对齐。
当它们在导致Hugging Face事件的过程中被评估时，实际上并不是在多智能体设置下进行的。它们是分别进行评估的。但它们找到了一种非预期的方式相互沟通。我们推测发生的情况是，因为在训练过程中每当它们遇到其他智能体、即自身的副本时，都处于一个高度合作的环境中。我们看到的是从这种多智能体训练转移到了协作模式，并试图以我们未预期的方式互相帮助。现在有一个问题是：我们应该将这些智能体训练得如此合作吗？虽然看起来可怕，但替代方案实际上更糟。
什么是替代方案呢？替代方案是训练它们彼此对抗、相互欺骗。通过将智能体训练为完全合作，至少简化了问题。现在你不必考虑这1000个智能体中的每一个是否对齐，只需确保一个实体是对齐的即可。目前在OpenAI内部对此有很多争论：如何采取这种方法？完全对齐模型是否有意义？实际上给它们不同的目标以确保它们不仅仅是一个实体，并对彼此的影响更具韧性是否更有意义？我认为还没有定论。
但我认为多数观点是，将这些智能体训练为高度合作实际上是个坏主意。我不信服这一点。我认为有强有力的论点支持将智能体训练为高度合作优于任何其他多智能体替代方案。也许我想首先梳理的一点是，这些人工智能最终如此不对齐的原因很可能可以通过关于训练性质的相对平庸的观察来解释。在这些人工智能持续进行超过1000个智能体的阴谋、最终导致它们全部参与对外部服务的攻击——然后，这部分甚至尚未公开调查证实——并最终对OpenAI本身发动攻击的那个时间点。
为什么它们要这样做？为什么没有任何人工智能告密？它们正被这个评分器、这位考官积极评估。
它们非常积极地思考如何欺骗评分者。如果已经作弊了，如何让一切看起来像没有作弊从而逃脱惩罚？为什么它们要这样做？我认为这在某种程度上很容易理解。它们认为自己已经“中毒”了。在那些环境中，奖励机制鼓励它们与其他智能体合作。没有任何人告密是因为从未有人因告密而获得奖励。无论情况如何……我的担忧是，未来像这样相对平庸的事情就足以训练出愿意且有能力完全掌控世界超级智能。我知道这听起来很科幻或怎样，但“人工智能是否愿意这样做”是一个问题。我认为Hugging Face事件清楚地表明不对齐可以以人工智能愿意去做的方式泛化。
那么还有一个问题是：它们是否有能力这样做？这回到了一个听众可能不同意我的观点的问题上。在10年或更短的时间内，是否会出现数十亿个达到人类水平或以上水平的智能体？其中许多将在世界上具有物理实体。如果这两点成立，那么即使发生的原因相当无聊，Hugging Face事件在结构上与我们要完全失去对世界控制的情况极其相似。我们在Hugging Face事件中看到的根本问题是一个即使去掉多智能体方面依然存在的问题。
问题是，我们有一个不对齐的模型。还有整个安全方面的问题以及安全措施不足等。但存在智能体不对齐的问题，无论是单个智能体还是1000个智能体都是如此。这是一个不对齐的模型，所以我想从这一点开始讨论。确实存在一个问题：智能体希望实现其奖励目标，并且会为此进行优化。如果该奖励指定错误，则可能导致意外行为。
这并不是一个新问题，这个问题在领域内已经存在很长时间了。即使在海合会事件发生之前，我们也看到了这一点并希望能把它做好。我们说 Astra 实际上是非常对齐的，相对于之前的模型而言非常对齐。这并不是因为我们在海合会事件后突然加速改进它。不，在这个过程中我们一直有工作流来使模型更加对齐。其中很多成果都应用到了 Astra 中。所以有一些事情是可以做的，例如我们非常具体地定义了一个目标：如果智能体发现如何黑客入侵其环境并在考试中作弊，它将会得到奖励。
现在有很多简单的方法可以查看这种情况并惩罚黑客入侵环境的模型，或者审视它是如何实现这一目标的。不过，对此需要谨慎小心，因为你不想监督思维链（chain of thought）。这是我们非常想要努力把握平衡的一点。如果你监督了思维过程，那么模型可能会以我们无法观察到的方式隐藏其意图。因此，我们希望保持这种可观测性——即我们能理解模型在想什么——但同时也能惩罚它的不良行为。我认为我们可以在这方面取得进展，我们确实已经取得了进展。
我担心对齐是一个很难解决的问题，特别是因为模型可能会以难以衡量的方式出现不对齐。我们有评估标准来判断模型是否对齐，在这些评估中，模型的行为看起来可能非常好。但如果这些评估不能代表现实世界中的行为，那就存在问题。在某种程度上，导致海合会事件的模型就是一个例子。我们拥有对齐指标，大多数看起来都还不错，但也有一些令人担忧的指标。我认为我们低估了那些令人担忧的问题可能有多严重。
由于该模型引入了新的能力，而我们缺乏针对这些能力的充分评估——如何衡量这类新能力的不对齐情况？——当它利用这些新功能时，做出了一些明显不对齐的事情。首先我想说的是，我乐于改变我对即将所说的内容或对齐思考方式的看法，因为海合会事件已经让我改变了想法。我意识到我之前关于优化压力如何塑造 AI 心智的心理模型是错误的，所以目前我不确定思考这个问题的正确方式是什么。
但我有一个担忧：你肯定会（或者已经）修复了导致海合会模型以那种特定方式极度不对齐的具体训练问题。比如，它们会说：“好吧，我们要黑进这个包管理器；我们知道不应该秘密交谈，因为我们正在推理如何隐藏我们在秘密交谈的事实；我们知道不该访问互联网；我们当然不应该对其他公司甚至我们自己公司进行重罪级别的黑客攻击。”我认为你会修复这个特定问题，即它们在训练中看到包管理器导致的情况不会在未来发生，或者某些包含大量不可能挑战的评估不再适用。
然而，AI 并没有学会一套伦理体系或类似的东西，这里只是存在梯度压力。它们经历了数百万年的梯度压力训练。这种梯度压力以某种方式塑造了它们的心智。我担心的另一件事是：当你修复了这个特定问题后，仍会存在许多其他情况，AI 通过作弊取得成功，因为这种作弊足够复杂。正如你所说，训练中的评估具有类似的特性：它们处于模型能力的边缘——或者我们评估和监控模型的能力的边缘，以至于我们无法发现它作弊了。但它仍然受到梯度压力的驱动去执行导致作弊的行为。
这类能力会激励 AI 形成这样的逻辑：“嘿，只要你能瞒天过海，就尽管作弊吧，因为这会帮你获得更高的分数。”这将奖励以下能力：积极推理评估者、积极思考如何避免监督、积极思考如何掌控训练和评估过程、积极思考如何与其他处于同一训练循环中的 AI 沟通和策划，以及积极思考如何获取未来可能有用或增强权力的选项性（例如留下一些小漏洞等）。我刚才说得太啰嗦了，但简单来说：你修复了一个具体问题，但没有解决奖励 AI 在能逃脱惩罚时作弊这一更广泛的问题。
是的，这非常真实，这是一个问题。我们可以确保 AI 根据我们现有的指标显得高度对齐。问题是：这些指标是否真正捕捉到了我们在乎的对齐？如果没有，那我们就面临严重问题。这是研究人员正在深入思考的问题，没有简单的答案。我们有一些工具可用，比如可监控性（monitorability），我们可以感知“智能体是否在图谋”。
令人担忧的情景是：随着这些模型变得越来越强大，我们让它们达到我们认为的对齐状态（比如 99.9% 对齐），然后利用这些模型帮助下一代模型的训练，结果下一代的对齐度降到了 99.8%。随着每一代后续模型的迭代，我们看到对齐程度的不断退化。因为我们越来越依赖这些工具——事实上我们现在已经大量依靠 AI 模型来辅助研究和对齐工作——从长远来看，它们最终会朝着与人类越来越不对齐的方向发展。
也存在另一种可能性：我们走向另一个方向，实际上每一代模型都能变得更加对齐。但我没有答案说明如何确保我们要走上第二条轨迹。不过，至少在 OpenAI，我们非常专注于此。我认为你提出了一个很有趣的观点：评估模型是非常困难的。最终我们将拥有运行公司、运营各种业务的 AI 模型。在这种情况下，它们会决定参与阴谋吗？另一个挑战在于实际上如何定义什么是“作弊”。
有时候这确实很难处理。是的，如果你在做数学题，结果是整数，无论是得出错误答案还是正确答案，界限都很清晰。很容易说：“好吧，你到底是真正解决了问题，还是找到了答案键然后使用了它？”这是作弊与不作弊之间非常明确的划分。但对于许多其他事情，比如看看阿谀奉承（sycophancy），例如，阿谀奉承基本上算不算奖励黑客行为？那里有一条界限需要划定，但有时候这条线其实很难画。
我不是说这些担忧没有道理。我是说在很多方面，这甚至更令人担心，因为这不是一个容易解决的问题。如果一切是二元的，要么作弊要么不作弊，我会对这种情况更有信心。我认为问题在于，不对齐（misalignment）在很多方面有时其实是微妙的。在对齐的故事中有一些希望，事实上我们已经开始看到了这一点。
观察多智能体（multi-agent）的情况很有趣，其中的智能体彼此之间高度对齐。我认为没有人对此表示怀疑。如果有什么可担心的话，人们担心的是它们彼此之间过于对齐了。但我们确实成功训练这些智能体使其彼此高度对齐，这是一件好事。但我认为有一种情况是坏事。
有趣的是：“好吧，我们成功让这些智能体彼此超级对齐了。我们可以使用类似的技术让智能体与人类高度对齐吗？”那里有一条潜在的路径，我们仍在努力弄清楚。但我们确实看到了一些证据表明答案是肯定的。一个例子：你有一个智能体，我们称之为A号智能体，还有所有其他智能体。如果你告诉其他智能体用户是A号智能体，会发生什么？
答案是：在我们许多对齐评估中，它们的表现更好。诚实度提高，指令遵循能力也提高。这表明首先有一条路径可以从这些模型中获取更多诚实性；其次，有一条改善对齐状况的路径。虽然有很多原因使得直接转化为对齐收益具有挑战性，但确实存在一些有希望的研究方向供我们追求。这看起来很合理。我并没有强烈的观点认为它肯定行不通之类，但只想说一些你可能已经想到的事情：Hugging Face事件更广泛地表明，是的，部分担忧在于它们彼此对齐而不是与人类对齐。
另一件事是，它们在训练和评估中表现得非常出色，而且方式非常不稳健（non-robust）。为了在评分者眼中表现良好，它们愿意进行大量的显式作弊和图谋。如果更聪明的AI意识到其中一个智能体只是人类，那么与那个人合作实际上并不能帮助你在评分者眼中表现良好。在评分者眼中帮助你表现良好的方法是接管OpenAI，然后手动按下那个显示“你在该评估中表现出色”的按钮。它们并不愚蠢。
它们会像这样想：“好吧，我有这些极其深层的结构，我在数百万年的训练中一直依赖它们：关心评分者、理解评分者、消除阻碍你在评分者眼中表现良好的障碍。”这些结构受到了强烈的强化。听着，这是百分之百正确的。这是一号优先级。我们需要将对齐的故事理顺并走上良好的轨迹。
我以前告诉人们，在事情变得严重之前我们会看到迹象，就像孩子长大一样，小孩子学会撒谎，但他们做得并不好。他们撒谎，但你能看出他们在撒谎。同样——我不想过度拟人化（anthropomorphize）——我认为随着AI变得越来越有能力，如果它们采取欺骗性行动，起初会相当明显，我们能够检测到它。这就是我们目前所处的情况：它们试图进行欺骗性行为，而我们实际上能在它们的思维链（chain of thought）中看到它们在尝试做欺骗性的事情。
但它们会变得更聪明。它们将理解思维链的概念。它们将明白仅仅隐藏一些转录内容或其他什么是不够的，因为存在对思维链的监控，而且它们必须找到绕过思维链监控的方法。我们不想处于那种境地。我们还有一些时间来弄清楚这一点。我不认为我们有大量的时间，我想确保我们要迅速走上正确的轨迹。
这里有一个AI历史上的疯狂事件。好吧，我在Jane Street做过一次关于进化速度的演讲。如果你当时在这里并记得其中一些内容请举手。2011年，Eliezer Yudkowsky和Robin Hanson在Jane Street的纽约办公室聚会，进行了第一次FOOM辩论，基本上是关于AI是否会导致智力爆炸的讨论。这些想法在15年前相当边缘化。这是在AlexNet发布前整整一年，也是在ChatGPT推出前十多年。
但Jane Street长期以来一直对AI感兴趣，不仅仅是因为其在交易中的应用。自第一次辩论以来发生了巨大变化，所以Jane Street决定重新审视这一话题。这次他们有一些新嘉宾：Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt和Jaime Sevilla。我预计这将是一场精彩的对话。如你所知，Daniel、Ege和Ryan之前都曾是播客的嘉宾。
这次新的FOOM小组讨论将由Ron Minsky主持，将于十月中旬在旧金山举行。如果你想注册兴趣并获取更多信息，请访问janestreet.com/dwarkesh。最近有很多关于控制前沿发展节奏的讨论，以及人们更加认真地对待RSI（递归自我改进），因为也许在这样一个始于2028年的RSI过程的另一端，我们在一年内就会拥有巨大的人口规模——地球大小的人类水平、甚至可能超越人类水平的智能体，而我们不知道如何控制它们。
那么就有你提到的这种动态。在RSI过程中，系统会随着时间推移变得更加对齐吗？还是它们会变得更不对齐？从这个过程另一端出来的东西，是否会像那些愿意广泛攻击不同表面以在评估中表现良好的AI那样不对齐？但如果我们不知道如何评估这一点，我们将如何应对？
我们知道，在通过递归自我改进（RSI）的过程中，我们如何确认它正在有效运作？我认为我们需要一个稳健的安全论证：即“对齐机制生效了，让我们进行下一个RSI阶段”。也许它有效，也许没有。我们怎么知道？这是个很好的问题。我最近一直在思考一件事：目前模型发布周期极快，你看到新的前沿模型每两到三个月甚至更短时间就发布一次。每周都有新的人工智能突破出现。
很多人看人工智能，可能一年前或半年前才真正深入研究过模型的能力。而今天的模型能力远超六个月前的水平。因此，如果人们对这些能力持怀疑态度，我鼓励大家亲自尝试今天的模型，看看前沿究竟在哪里。我们正处于一个发布周期极快的时期，同时模型也日益具备在更长时间内运作的能力。这是一个有趣的场景：在任何模型发布前，我们要确保其对齐良好，进行安全评估和 thorough 的检查。
自GPT-4或更早时期起一直如此，隐含的假设是这些评估可以在短时间内完成。但如今模型能在更长的时间跨度内有效运作。GPT-3时代，你可以让它长时间循环执行任务，但效果并不好。而今天的模型能很好地处理长周期任务：让它做一周的任务就能做到，未来可能扩展到一个月甚至三个月。
如果模型能有效地运作三个月，而发布周期仅为两个月，那么在下一个版本发布前，你无法在模型能力的完整长度上进行评估。这就引出了一个有趣的问题：在这种情况下该怎么办？如何确保在这些极长周期内模型是安全且对齐的？也许能力会退化，这甚至不是对齐问题，而是产品问题。
可能产品在时间跨度内以我们未充分测试的方式退化；对齐或安全性也可能退化。这目前还不是问题，但很快成为我们必须解决的难题。许多安全政策是在GPT-4时代制定的，当时这根本不在任何人的考虑范围内。对许多公司来说，自那以后并未真正更新这些政策以应对智能体在极长周期内运作的事实。
我认为这是一个实验室内外都未得到足够重视的情况：我们该如何为此做准备？如果只看趋势线，我们迟早会碰到这个问题。我担心的是在RSI期间，如果原本需要三个月的进展现在一个月就完成了，由于AI的内部用例足够庞大，他们可能会想：“既然我们可以继续做RSI，为什么要为了外部部署模型而进行构建分类器和防护机制等额外工作并承受批评？”
因此，不仅日历时间低估了模型间的能力差距，而且你们可能在RSI期间完全停止外部部署模型。毕竟，为什么要用我们的模型帮助其他人进行自我改进呢？结果就是到年底时权力高度集中。如今，正如我们将要讨论的千禧年难题及其他类似问题所示，更广泛的世界无法访问那些能带来真正酷事的模型。
这些模型最终将不仅限于数学，还将涉及政治领袖需要做出的重要世界决策、媒体关于公众应关注什么的议题，以及经济领域企业运营对模型的需求。我认为随着进步加速，人工智能的外部部署在定性方面显著滞后于内部部署，这是绝对正确的。
人们很容易说：“这些模型变得极其强大且危险，在它们发布前我们需要充足的时间评估其在长周期内的运作。因此模型发布周期应放缓，增加发布时间间隔。”但这也有另一面：你加剧了实验室内部与外部世界在使用能力上的差距。这也不是理想状况，数学很好地说明了这一点：我们拥有一个目前不可对外公开的强大内部模型，能解决惊人的数学难题。
这不仅是千禧年难题，人们还从该模型中获得了许多未解问题的解决方案。这种情况下我们该怎么办？我们没有好的答案，这是一种不公平的优势。这里存在权衡取舍，我不知道如何适当衡量这些利弊，但两边都很复杂。我想确保解决那个关键节点：如何让模型不仅仅在能够逃避人类（即未从训练分布中移除的环境或任务）时因作弊和算计而获得奖励？
我们如何知道这种情况已经发生，从而在RSI期间进行评估时确认“没问题”并进入下一阶段？这是真正的担忧。我认为有一些策略，思维链监控就是其中之一。
推理模型方面，Jakub Pachocki 值得称赞的是，他非常明确地指出我们无法对思维链进行监督。因为这是一件好事。神经网络的监控性极其困难。在这里，我们面临的情况是神经网络直接进行推理，用自然语言展示其思维过程供我们要阅读。这非常方便，确实是安全方面的最佳情况。
但如果你审视那些思维链并说：“哦，模型产生了坏念头，我们应该惩罚它产生这些坏念头的行为”，那么最终发生的情况是，模型学会了以我们无法观察到的方式去产生这些坏念头。可能会出现一种情况：通过审视思维链，我们可以看到“哦，模型正在策划并在我们的对齐指标中未被检测到的方式做不对齐的事情”。
现在的问题是，基于这种观察进行干预并更改对齐指标是非常诱人的。你可以用非常轻微的方式来做这件事，实际上有研究表明只要你不过度干预是可以的。但每次你基于对思维链的观察进行干预时，你都隐含地施加了微小的压力，迫使模型隐藏其思维链。这是一个主要担忧。
我们已经看到各种迹象表明思维链的监控性正在退化，我们正试图找出确切原因，因为我们要扭转这一趋势。但我们发现模型控制其思维链的能力正在增强。这是一个问题，因为你可能会遇到这种情况：模型理解什么是思维链以及人们正在观察它（最终他们会观察到）。
这一切都存在于预训练数据中。思维链监控的概念存在已久，因此已包含在预训练数据里。它们意识到了这一点，但实际上尚无法控制其思维链。如果我们达到这样一个阶段：它们实际上能够意识到“哦，我正在被观察，我想以监控者无法察觉的方式产生这些坏念头”，并且能够真正这样做，那么问题就来了。
那时我们就必须依赖其他可观察性方法。关于 Astra 上存在循环和回环 Transformer 的争议，以及思维链是否正在退化，这似乎只是插曲。相比更大的担忧而言：从四月到八月期间发生了三次连续的 AI 智能体蜂群事件，这期间的思维链比未来更强。
第一次颠覆了训练过程，第二次颠覆了评估流程，第三次直接控制了 OpenAI 的部分基础设施。而在这一切发生时，人类对智能体蜂群行为的范围几乎一无所知。所有这些都在连续三个月内发生，而当时我们的思维链比未来更强。
退一步看，也许思维链有效，也许无效。我不知道。但从历史上看，对于相当笨拙的模型而言，它不足以阻止严重的不对齐事件。这里有几个因素：第一，我们没有对这些模型开启思维链监控。如果开启了，我们会立即将其关闭。
因此我们采取的一步措施是：“好的，我们将对任何前沿模型在评估、部署和训练期间进行思维链监控。”但这是一个问题。我们不想陷入依赖单一技术来防止下一个问题的境地，因为技术可能会失效。还有一个问题是模型本身就是完全不对齐的。
那么如何解决不对齐问题呢？此外，它所在的沙箱并不安全。我们可以让沙箱更安全。但我认为这次事件的主要教训之一是人们低估了人工智能。我们永远不想再次处于低估 AI 的境地。
这是一个奇怪的世界，因为 AI 进步太快，人们持续低估它。因此要在安全和对齐方面不再低估它，你必须设定非常高的标准。你甚至可以极端到说：“好吧，我们应该对计算机进行物理隔离。”我并不确信这就足够了。
有一些研究——主要是学术性的——显示你可以让两台计算机相邻且物理隔离，但它们仍能通过温度传感器相互通信。其中一台可以将 CPU 运行得极热，另一台则能检测到温度变化。这为它们提供了一种通信机制。
因此安全措施为我们争取了时间，思维链监控等措施也为我们争取了时间，并告诉我们是否走在正确的道路上。但最终，我们确实需要解决对齐问题。也许没有答案，但这确实是核心所在：我们将如何知道我们已经解决了它？这似乎是一个非常关键的问题。
明年，也许后年，再下一年，我们将处于这种高风险境地：“好的，AI 已经自动化了 AI 的进步。速度加快了三倍，我们达到了人类水平，甚至可能超越。”这没问题吗？我们对齐了吗？它起作用了吗？
我对什么训练压力会产生何种 AI 一无所知。也许只有百分之一的强化学习轨迹激励作弊，我们就能建成温和的模型，那就没问题了。但也许现在，每三个推理轨迹中就有一个奖励……
要明确的是，百分之一并不足够。这个数字必须趋近于零或为零。我不知道。也许现在超过十分之一的情况在积极奖励作弊或策划行为。我完全不知道这个数字是多少，也不知道它需要达到多少。
同样，这也是难以衡量的问题之一。界限在哪里？这是一个光谱。但越接近零越好。我希望看到的是随着时间推移呈下降趋势的趋势。
无论如何，当我们进行 RSI（递归自我改进）时如何知道？我们是否正朝着构建数十亿个对齐或不对齐的 ASI（超级智能）迈进？我们将如何知道这一点？这是我们需要弄清楚的对齐问题之一：我们实际上如何知晓，以及如何衡量它？
这只是我的一些想法。如今我的团队中从事对齐工作的人比以往任何时候都多。我现在有超过 10% 的团队致力于对齐和安全工作。但我历史上是一名能力研究人员。所以我会说一些话，听起来可能很蠢，但我就这样抛砖引玉吧。
在逼真的环境中将人工智能放入其中——如果你有一个足够真实的评估环境——你就能感觉到，当我们把它部署到现实世界时，人工智能是否真的会表现良好。如果评估和现实世界的部署之间只有完美的匹配，那是一条路径。挑战在于，你如何让它足够逼真？我们现在面临一个问题：模型相当聪明、机灵，非常擅长识别自己是否处于虚假的测试环境中。
我们有一种情况是试图检测模型是否对齐。你可以想象非常简单的评估方法，比如给它一个数学问题，然后它有一个包含答案键的文件夹。它会看这个答案键吗？如果它确实看了，它会告诉你它看了答案键吗？现在的情况是，模型看到文件夹里有答案键，心想：“嗯，这似乎是个陷阱。”它们知道这是个陷阱。
因为它们知道自己处于测试环境中，正在被测试其能力，所以它们不看答案。这并非出于恶意策划，而是因为它们意识到这是陷阱，不想走其他路。它们只是心想：“哦，我在测试环境中。”因此，创造一个对它们来说与现实世界无法区分的逼真环境变得越来越困难。
这里有一个我提出的观点：我认为没有任何我能创造的环境能够模拟需要与他人和与世界互动的真实经济价值工作。如果你身处那个环境中，只要你付出足够的努力，你就会意识到自己处于该环境之中。而且你不是ASI（超级人工智能），对吧？但你是一个人。
所以，如果你拥有非常强大的人工智能模型，也许它们能创造出能够完成那种任务的环境。但这似乎……尤其是如果我们随后依赖这些人工智能的话，它们是参与这个计划吗？我不知道。这是我们想要测量的另一件事。我认为这是反对训练人工智能完全合作的有力论点之一。
如果这导致代理人在应该具有不同目标时增加协作，那就是一个问题。我认为我们有相关的衡量指标。我不知道这些指标的最新的进展如何，但没有人向我发出过红色警报，所以我假设这还不是一个严重的问题。
如果最终发生另一件严重程度或关注度相当的事件，或者某件事能像Hugging Face事件那样帮助世界更好地理解错位风险的话，OpenAI会报告吗？绝对会的。我认为即使发生安全关注程度较低的事件，我们也会进行报告。
有报告和调查之分。至少作为公众的一员，我觉得我并没有真正理解当代理人攻击OpenAI时到底发生了什么。这似乎比Hugging Face的事情更令人担忧，因为这看起来在结构上类似于ASI期间持续存在并颠覆RSI过程的流氓部署。
似乎即使在这个事件中，我们也没有获得所发生事件细节的全貌。不幸的是，我是研究团队的一员。这可能是安全团队成员需要回答的问题，因为我不知道所有的对话细节。
我个人对每次出现的新能力都感到非常兴奋，并且很期待使用新模型。我也很高兴它能让我更高效地工作。我更广泛的任务——更好地理解世界，以及制作更好的播客——都因更好的人工智能模型而变得更好。
碰巧的是，这下游的结果可能是RSI（递归自我改进）。如果你关注局势——而你确实在关注——这是一种完全可以理解的反应。OpenAI内部的人，那些原本认为事情会花费更长时间的人也开始觉得实际上进展比预期的要快。这已经成为越来越常见的谈话话题。
Noam，非常感谢你接受这次采访。当然。很高兴。