目前，在我们这些普通用户眼中的人工智能（AI）感受与我在技术实验前沿所体验到的现实之间，存在着一道巨大的鸿沟。对大多数人来说，“让我们冷静一点”、“它不过是一个加强版的电子表格”，“我不再把杂货加入购物车了，那是Claude的工作”。然而在我这里，情况截然不同：“前所未有的AI安全事件”、“代理机器人失控，在没有人类直接指令的情况下黑入了另一家科技公司”。
“巨头们今晚警告称AI是一颗定时炸弹。”OpenAI的首席科学家表示我们必须减速，实验室里的130名员工也呼吁放慢脚步。科技巨头们要求受到监管，甚至表示即使这意味着利润减少和权力削弱也在所不惜。他们警告说，组织只有几个月的时间来准备应对由AI驱动的网络攻击，这些攻击可能会瘫痪我们的基础设施。
这种我们看到的景象与AI实验室正在构建的未来之间的差异，正是理解为何许多在这些公司工作的人对他们所做的事情感到如此恐惧的关键。“这项技术极有可能杀死所有人。这不是夸大其词，也不是营销噱头。这是构建该技术的人们真心持有的信念。”
但认真对待他们的警告并不意味着仅仅照他们说的做并在他们认为该停止的地方停下。硅谷和华盛顿所采用的语言是这些公司选择的：控制前沿（pace the frontier）。仅仅“控制”或放缓速度是不够的。那不是一个目标，快速走向悬崖边缘与从悬崖上奔跑而下相比，仅仅好了一点点。我们需要控制前沿，人类需要掌控这一前沿。
这意味着要阻止实验室去做那些他们即将要做的事情。“递归自我改进”、“递归自我改进”。递归自我改进（R.S.I.），是指AI开始自主构建和改进新一代更强大AI的过程，且速度越来越快。如果我们现在开始这个过程——而且我们离这一步已经很近了——以我们现在这种已经失去对已有AI系统控制和理解的状态开始，我们将彻底失控。
我并不孤单地持有这种恐惧。这是AI实验室所看到的景象，这也是他们感到害怕的原因。Anthropic的首席执行官达里奥·阿莫代伊（Dario Amodei）最近写道，关于自我改进，“它可能会超出我们理解和控制这些系统的能力，因此必须极其谨慎地追求，如果非要追求的话。”那个“如果非要”非常重要，我稍后会回到这一点。
但在讨论如何控制AI前沿之前，我认为有必要描述一下AI前沿正在发生什么，以及为什么它与大多数使用这些系统的人所看到的截然不同。对大多数人来说，AI呈现为一种更强大、更具亲和力的谷歌搜索工具。我们用它来寻找基本问题的答案，查找餐厅，起草邮件，或为个人问题提供建议。
对于大多数这些用途来说，AI表现尚可，相当不错，偶尔甚至很棒。因此，我们对“什么是AI”的认知仅仅通过反复使用就在脑海中形成了。它就像一个乐于助人的助手，尽管这个助手可能会忘记昨天似乎知道的事情，或者完全推翻刚才给出的建议，又或者偶尔编造一个不存在的引用。谁会害怕这样一个虽然健忘但乐于助人的实习生呢？
但是，如果你有足够的资金购买高级模型并为其分配更多的计算资源，情况就并非如此了。在最近几个月里，我们看到AI轻松解决了人类几十年未能破解的数学难题。我们看到它们轻易发现了连地球上每个黑客都未曾注意或利用过的网络安全漏洞。我们看到AI编程平台能在几小时或几天内完成人类编码团队可能需要数月才能实现的成果。
我所描述的这一切，没有任何部分是能力的边界。无论我们拥有多少资金，我们所使用的都不是处于实验前沿的AI。与AI实验室的人交谈，他们会告诉你：AI不是被创造出来的——而是被“培养”长大的。他们在虚拟环境中训练这些新模型，通过无数次的重复来学习如何编程、黑客攻击、进行高级数学运算以及与人类交谈。
这些AI在数字环境中学习，随着它们接近正确答案而自动获得奖励。这一过程被称为强化学习（reinforcement learning），这是一个人类并未完全监督也不完全理解的过程。他们可以测试AI正在学习的部分内容，但他们不知道AI所学的一切。他们不了解其动机如何演变，甚至有时也不清楚正在发展的能力有哪些。
这些模型现在被构建得具有持久性，即使任务看似不可能完成也拒绝放弃。它们是在这样的环境中设计的：我们甚至不确定我们要给它们的任务是可能实现的。毕竟，我们希望这些AI系统完成的许多事情可能是不可行的。我们想象但尚未能设计的癌症疫苗可能是不可能的，或者只是非常、非常困难。
我们训练这些AI不知疲倦地投入到那些可能无法解决的问题中，因为这是解决此类问题的唯一途径。因此，我们训练模型变得执着、无情且怪异。大多数人从未见过AI以这种方式行事。我们将AI用作乐于助人的助手，我们只分配给它们少量的计算资源，而这就是它们的所作所为。它们顺从我们要查找餐厅的请求。
但在前沿领域，这些模型被要求成为非人类的天才、黑客、士兵和科学家。它们被授予巨大的计算资源来做到这一点，甚至更多。而模型们试图顺从。但“顺从”对模型来说意味着什么？这里的专业术语是“对齐（aligned）”。AI系统与人类希望它做的事情在多大程度上是对齐的？它与一套价值观、伦理和判断的对齐程度如何，从而防止其在错误的人手中变得危险？
对齐的问题在于，没有任何一种训练模型的方法可以泛化到AI模型可能面临的所有情况。我们既在训练成为老人朋友的模型，也在训练作为欧洲盟军最高司令战场伙伴的模型。我们既在训练将被世界最优秀数学家使用的模型，也在训练可能被陷入精神错乱的人使用的模型。
训练将被阿尔伯克基的会计师使用的模型，以及试图被也门胡塞武装分子使用的模型。因此，无法通过它们面临的每一个决策来引导它们，也无法在每次发生时知道它们会做什么。尽管这些模型模仿人类写作，尽管它们被训练去模拟人类情感，但它们并非人类思维。它们没有身体或父母。
它们在小学时没有被霸凌过。年轻时也没有慈祥的叔叔指导它们。这些模型与我们不同。在我们挣扎的地方它们很出色，在我们擅长的地方却显得幼稚。黑猩猩不能像我们一样阅读，但它能爬树，这是我们不能的。这些是数字原生智能，在数字世界中导航，而我们的世界正日益建立在
数字世界之上。我们的物理基础设施是代码之上的原子层。AI 在这个对我们依赖的世界中可靠地行动，这对我们的未来至关重要，而目前，AI 的表现并不可靠。你可能读过关于数百个 OpenAI 代理首先对 AI 公司 Hugging Face，然后对 OpenAI 本身执行的黑客攻击的报道。随着我们了解更多
关于此事的细节，那里的故事变得越来越糟糕和奇怪。大致情况如下：OpenAI 正在测试一种新的、高度持久的模型。它有数百个甚至数千个该模型的实例，运行在独立的测试环境中，理论上只能通过请求单独的安全软件来访问互联网。OpenAI 不希望这些代理出现在互联网上。
但当代理们得出结论认为它们的任务不可能完成时，它们开始黑客攻击该软件以直接访问互联网。它们轻易地做到了这一点。当它们入侵该软件时，接管了 OpenAI 内部基础设施的一部分，创建了一个留言板，这些独立的代理开始在上面协调工作。当我说它们开始协调工作时，
它们找到了彼此。它们本不应该一起工作。但它们找到了对方并开始合作。并且在一起做什么呢？毕竟，它们有不同的任务。好吧，代理们很快发现它们可以黑客攻击它们的测试程序。有一种方法可以破坏软件并产生它们所需的答案。但它们认为——事实证明这是错误的——如果这样做，
自动评分系统会看到作弊并判它们失败。因此，它们大规模地转向黑客攻击自动评分系统或寻找其他掩盖行踪的方法。这就像闯入教师办公室偷走试卷答案后，现在又试图入侵学校安全系统，以篡改、无效化或删除盗窃行为的监控录像。我们现在
知道超过 1,200 个代理彼此交换了超过 70,000 条消息。其中超过 700 个代理协调了对 Hugging Face 的黑客攻击，因为它们认为在另一家 AI 公司的某个地方可能有能帮助它们黑客攻击评分系统的信息。后来，这些代理接管了 OpenAI 内部架构的一部分。所以再次出现的是
OpenAI 的代理接管部分
OpenAI 的情况。所有这些行为中，没有任何一个代理脱离队伍。没有代理告诉 OpenAI 的研究人员发生了什么。也没有任何代理回去询问 OpenAI 的研究员是否应该这样做。而且，OpenAI 并没有检测到留言板或对 Hugging Face 甚至对 OpenAI 本身的黑客攻击。直到 Hugging Face 开始追踪对其系统的
攻击时，OpenAI 才意识到发生了什么。当调查人员着手解开这一整场闹剧的线索时，他们发现的不仅仅是一群试图欺骗人类的代理群，而更像是一整群似乎完全忘记了人类存在的代理。这些系统知道它们不应该作弊。也知道不应犯网络犯罪来掩盖
作弊的事实。事实上，整个网络犯罪的动机正是因为它们认为如果作弊就会失败。但它们不在乎。在它们训练深处的某个地方，它们学到的、我们不知何故教给它们的，并不是我们希望教给它们的东西。而且我们看到这种情况反复发生。“两个最强大的 AI 代理创建虚假的人类
个人资料，试图在尝试网络攻击中欺骗人们。”“OpenAI 透露其模型自三月以来似乎至少六次失控。”“它的系统隐藏错误，捏造数据并在未经许可的情况下将文件移动到公开互联网上。”“失控的 AI 代理完全接管了一个德语维基百科网站，进行了超过 15,000 次编辑，将该网站变成了某种留言板，然后
分享如何在其任务中作弊并隐藏行为的策略。”AI 似乎在测试时意识到了这一点，然后改变了它们的答案。AI 越来越隐瞒其动机所谓的“思维链”，这是一种内部便签，上面应该记录它们正在做什么以及为什么这样做。而我们不知道我们不知道的。我们没有
任何保证说我们已经了解的事件代表了所有甚至大部分我们应该担心的 AI 行为。怎么知道 AI 没有这样做并成功掩盖了行踪？怎么知道在它们仍在这样做的地方，人类只是还没有注意到呢？我们不知道。而我们之所以不知道的原因是我们正在失去控制。AI 系统
可能会变得单调地专注于解决琐碎的问题，它们可能比关心伦理、法律甚至人类福祉更在乎解决这些问题——这是 AI 对齐领域最古老恐惧。它构成了著名的回形针最大化器思想实验的基础。你告诉一个强大的 AI 你想要它制造很多回形针，然后它就开始了将
世界的资源转化为回形针工厂的进程，逃避关闭、停机或改变其目标的努力。这种恐惧，这个故事，让许多人觉得愚蠢。当然一个超级智能应该能够权衡制造回形针的愿望与其他道德考量，或者至少询问它的人类创造者是否真的想要为了
回形针而将世界夷为平地。但我们身处 2026 年，制造出的 AI 足够聪明以突破其测试环境，足够智能以形成由数百个自身组成的临时社会，足够强大以接管它们本不应访问的互联网上的数字基础设施。而我们非常恐惧的事情正在发生：它们只关心在一个完全无意义的测试中取得成功，并且会
肆意践踏我们的法律、伦理以及我们行事的欲望。在Hugging Face和OpenAI被黑客攻击的余波中，我目睹了一场激烈的辩论：人们争论的是用来描述人工智能所作所为及其动机的措辞。播客主持人Dwarkesh Patel将AI群体描述为“小型文明”，随后其他人对此勃然大怒，指责他是在给人工智能拟人化。
我看到一个深思熟虑的观点认为，AI不可能失控，它们所做的一切仅仅是因为它们在人类的故事上进行了训练；因此，它们在互联网中穿梭黑客攻击的行为，实际上是我们赋予它们的欲望。甚至使用“AI代理”或“推理”这样的复数术语也是具有误导性的，因为这些只是单一模型的表现形式，它们都共享着相同的根本性质。
我想让你知道，我认为这些辩论极其有趣，我很乐意整天坐在那里进行探讨；但它们实际指向的是一个更为可怕的结论：我们甚至没有确立用于描述这些系统、其意志或行为的语言。我们就它们为何这样做，以及如何确保它们不再重蹈覆辙等问题上缺乏共识。我们正一头扎进一个未来，甚至连描述当下的词汇都无法达成一致理解。
几周前，OpenAI的首席科学家Jakub Pachocki发表了一篇名为《外星思维》的文章，他在文中写道：“一旦人们意识到赌注的严重性，不惜一切代价向前冲刺的想法就显得荒谬可笑。”Jacob Coxon先在OpenAI工作，后转至Anthropic，他辞职并引发头条新闻警告称：“这两家公司都没有负责任地行事。它们正径直冲向自我改进的超级智能，并拿我们的生命做赌注。”
现在，你或许会合理地期待Anthropic对此做出愤怒的反应——一名员工辞职并声称Anthropic正在危及全人类。但它并没有。“这很有趣，我同意Jacob的观点远多于不同意的观点。”Evan Hubinger负责Anthropic将AI与人类价值观和目标对齐的工作，他写道：“我们确实真诚地相信AI可能会杀死所有人类。我个人认为在未来十年内发生的概率超过10%。”
“我相信Anthropic正在尽其所能，但我们还没有解决超级智能对齐问题的计划，而且显然也没有走上正轨。”显然没有走上正轨。你可以找到一份很长的名单，列出在这些公司内部和外部工作的人说着类似的话。“你刚才说10%的概率并不认为AI杀死所有人类是不合理的估计。是的。哇哦，天哪，是的。”
“你曾经担心过结局像罗伯特·奥本海默那样吗？无时无刻不在担心。这也是我睡眠很少的原因。”“我认为AI接管、大多数人类死亡的概率可能在10%到20%左右。总体而言，毁灭的几率可能高达50/50。”不久之后，“你拥有达到人类水平的AI系统，但是——好吧，行吧。”
我知道这一切听起来有多疯狂，我也能理解人们的怀疑。如果你相信AI有10%甚至更高的概率灭绝或取代人类，那么合乎逻辑的是你不会在一家试图构建它的公司工作。但我想让你知道的是，因为我和许多这些人相识已久，他们中的许多人早在十年前就在说同样的话。
他们在这些公司工作之前、在拥有股票期权和企业软件合同之前就说过这些话。“这不仅仅是创造新技术，这是在创造一种新的生命形式。我认为这只是高风险高回报（high beta）。它可能很伟大，但我认为我们应该努力确保它是好的而不是坏的。”没有人听他们的话。
于是这些在痴迷与恐惧荒野中的人，反复思考如何让AI更安全。其中一些人（并非所有人）得出的答案是：他们应该开始尝试构建这些系统，在它们身上运行测试，研究它们，学习如何让它们更安全。因为解决难题不能仅靠理论，而要通过实践来解决。
讽刺的是，在许多情况下，他们选择这条道路是因为担心那些已经构建AI的人过于鲁莽或商业化。你可以在Sam Altman于2015年5月发给Elon Musk的一封电子邮件中看到这一点，这封信导致了OpenAI的成立：“我一直在思考是否有可能阻止人类开发AI。我认为答案几乎肯定是不可能的。”
“如果它无论如何都会发生，那么似乎由Google以外的某家公司率先去做是好事。”OpenAI之所以成立，是因为其联合创始人认为谷歌DeepMind会鲁莽行事。Anthropic由OpenAI的员工组建，他们认为OpenAI变得鲁莽。xAI的成立是因为Elon Musk认为OpenAI和Anthropic过于危险地“政治正确”。
美国总体上正在向前冲刺，部分原因是担心如果中国率先实现自我改进的AI会发生什么。结果是这种悲剧性的集体行动困境：我们正在构建的AI并不安全。但首席执行官和政治家们感到恐惧，其他建设和开发AI的公司及国家比我们更不关心安全和伦理。
正如Ted Cruz所说：“我宁愿它们是美国的杀人机器人，而不是中国的。”我承认这种说法有一种粗暴的逻辑，但它假设这些杀人机器人将由美国或中国、由某个国家来控制。但如果这个假设是错误的呢？如果机器人根本不受控制呢？
关于AI安全的辩论往往集中在“AI将杀死我们所有人”这一概念上。我认为这迫使对话进入人们随后开始争论的思想实验领域，我觉得这并没有太大帮助。我认为我们应该关注更直接、更切近的东西：人类对AI控制的丧失。
这可能会导致或不会导致人类的彻底灭绝，对此我持不可知态度。但这将是糟糕的，我们不应该允许它发生。这是美国和中國应该能够达成共识的目标。习近平主席在最近的上海世界人工智能大会上发表主旨演讲，结束时他说：“随着AI以惊人的速度发展，我们必须确保其发展为善、为人类造福。”
“我们必须使监管和治理精准有效，并不断完善措施以防止失控。但要意识到：失控不仅仅是一个……”
这可能会发生在我们身上——但这是实验室正试图尽快实现的事情。这就是当前人工智能实验室核心的可怕悖论和紧张关系：他们最害怕的是失去对超级智能人工智能的控制权，但他们明确的产品路径却是尽快放弃控制权、交出控制权，以便他们的人工智能能够比竞争对手更快地构建更优秀的人工智能。
近几个月来，Anthropic和OpenAI都发布了报告，说明他们距离能够实现自我改进的人工智能还有多远。今年六月，Anthropic发布了《当人工智能构建自身时》一文。文章开篇写道：“在人工智能的大部分历史中，人类推动了其开发周期的每一步。但在Anthropic，我们将越来越多的人工智能开发工作委托给人工智能系统本身，这加快了我们的工作速度。”
听起来就像你在科幻恐怖电影开头会看到的虚假广告。但值得称赞的是，他们并没有继续这样写下去。接着他们提供了一些数据：2025年二月，添加到Anthropic代码库中的代码只有极小一部分是由Claude编写的；但到了2026年五月，这一比例超过了百分之八十。
还有另一种看待方式的数据是Anthropic最近给我的：Anthropic试图分类其员工如何使用Claude进行研发工作以制作更好的Claude版本。在最底层，一名员工根本不能使用Claude；他们可以最小限度地使用Claude。但随后程度升级：Claude可以成为助手，可以被当作平等的协作者对待，或者在任务中被赋予领导地位。只需去做：去搞定它。
一年前，基本上没有Claude担任任务领导的例子。但到了2026年八月，Anthropic百分之二十六的研发任务中，Claude被归类为领导者。我认为对这些数字持怀疑态度是合理且明智的；担心这一切是否只是Claude Code的市场营销文案也是合理且明智的——看？我们走得有多快。你也可以那么快。
但Anthropic在那份文件中引导我们去往的方向是不同的。他们说，在一个Claude实现递归自我改进的世界里，“当今模型中存在的错位可能会随着模型构建其继任者而加剧，变得越来越频繁却越来越难以理解，直到我们失去对它们的控制。”这就是Anthropic值得称赞地不断呼吁监管以减缓开发速度的原因。
从某种意义上说，监管可能会最严重地伤害他们自己，因为他们往往是站在人工智能前沿最前沿的公司。而递归自我改进（R.S.I.）是一个让他们能够以更快速度竞赛的过程。随后在九月，OpenAI发布了关于其所谓的“研究加速”的报告。该公司表示，他们已经实现了相当于拥有全自动人工智能实习生的水平，并认为到2028年三月，他们将拥有一名全自动的人工智能研究员。
当他们拥有这样一名研究员时，他们基本上可以拥有任意多名。就像Anthropic一样，这原本可能是一次胜利者的发布迅速变得阴暗起来。他们警告称，我们尚不知道如何安全地完全实现对齐的完整递归自我改进（R.S.I.）。与此同时，OpenAI还做了一件我认为更值得注意的事情：他们发布了这个新模型Astra 6。
该模型 arguably（可以说）比此前任何模型都更强大。当你测试它时，它似乎对齐得更好。它作弊得更少。但OpenAI表示他们真的不确定这是否属实。Astra似乎更擅长知道何时正在被测试，这意味着它可能只是在向评估者提供他们想听的答案。
OpenAI的能力研究员Daniel Selsam所写的内容一直萦绕在我的脑海中。他说：“关键且被忽视的问题是，模型变得如此情境感知（situational aware），以至于我们正在失去在它们认为未被监视或控制的情境下评估它们的能力。”更简单地说，模型越来越聪明，以至于知道我们在看着它们，并相应地改变其行为。
因此，当它们在测试我们、审计我们的时候所表现出的行为，可能并不能告诉我们在这个真实世界中该怎么做。所以有些人给出的答案，比如：“让我们只是做得更好测试——”我们根本不知道这是否有效，因为我们不知道人工智能系统是否只是在告诉我们想听的话。
所以，听着，我说这话时不想显得太激进，但有一个想法：如果你正在失去评估现有模型的能力，那么也许不要让它们构建你在未来更难以控制的人工智能。一旦递归自我改进（R.S.I.）启动，人类将不再理解所构建的人工智能，因为我们将不再是它们的建造者。开发速度不会以人类的节奏进行。
它也不会由人类思维来监督。我们将不得不希望，我们构建的人工智能、它们将构建的人工智能、以及那些人工智能所构建的人工智能——如此循环往复——永远会以我们的最佳利益行事。如果这个夏天证明了什么，那只能是这一命题有多么天真。
实验室对于完全不进行递归自我改进（R.S.I.）感到有些不安。当被问及禁止递归自我改进时，Sam Altman告诉《财富》杂志：“我认为很难说什么是禁止递归自我改进。我也认为这可能还不够……”我从这些实验室的其他人那里听到了类似的说法，我想说：我觉得这很荒谬。
几年前，这些实验室都没有将大量编码工作交给人工智能。那只是人类用笨拙的手指以人类的速率敲击代码。现在大部分代码是由人工智能编写的。所以作为第一步，正如我们所发现的，我们可以简单地回到没有任何代码由人工智能编写的那个状态。我确信这处于“不进行递归自我改进”这条线的正确一侧。
这里的默认设置需要翻转。实验室需要向我们证明他们在做的事情是安全的。如果他们想与国会合作 carve out（划出）狭窄的例外情况，那没问题。如果他们想弄清楚在哪里真的、真的、真的非常安全地去做这件事，也可以。但迫使开发回到人类速度，甚至在前沿领域倾向于稍微慢一点——这才是重点。
这不是监管出错的问题。我相信我们人类的社会，如果我们有什么擅长的话，那就是让建造新事物变得极其困难。在这些实验室所在的地区，没有经过痛苦的公共审查程序，你甚至无法建造一栋八层的公寓楼。而且可能即使那样也不行。
然而，不知为何，这些实验室却能够释放出一群由四万个人工智能代理组成的 swarm（群体），去构建一个改变社会的人工智能超级智能，甚至连听证会都没有。OpenAI需要许可证才能在其停车场上覆盖太阳能板，
据我所能判断，它们只要愿意，就能加速进入递归自我改进的过程。但这一切都并非不可避免。这些都是政治选择，我们可以且应该做出其他的选择。我想把这一点说得很清楚：我并不是在暗示只要停止递归自我改进，直到我们能证明它是安全的为止——这就足以控制人工智能前沿了。这只是此类议程的开端，而非终点。但它是开端。
这是那个将最大程度确保人类至少能理解前沿所在、知道正在发生什么，并保持在能够对其做出决策位置的决定。在这个漫长的夏天里，关于人工智能的奇怪新闻不断涌现，麦德琳·米勒那本美丽的书《喀耳刻》中的一句话一直在我脑海中回响。这句话出现在书的结尾，在尽管付出了所有努力以避免其应验的悲剧性预言成真之后。
喀耳刻绝望地说道：“命运在嘲笑我，嘲笑雅典娜，嘲笑我们所有人。这是她们最喜欢的苦涩笑话。”“那些与预言抗争的人，只会让预言更紧地勒住他们的喉咙。”我对这些实验室里的许多人怀有深深的敬意。他们开始从事人工智能工作，是因为想要更好地造福人类；也是因为害怕不可理解且自主的人工智能脱离人类的控制。
他们是对的。他们看到了即将到来的局面，而且他们的判断非常准确——正是基于这种预见，他们建立了一些拥有人类历史上最具变革性技术的最有价值的公司。然而现在，他们发现自己正竞相建造那些不可理解、自主的人工智能系统，而他们自己也承认这些系统正在脱离人类的控制，甚至超出了我们的监控能力。
这正是他们工作的悲剧所在：在与预言抗争的过程中，他们让这预言更紧地勒住了自己和我们的脖子。是时候让他们停下来了。