大家好，这里是最佳拍档，我是大飞。硅谷有个流传很广的段子：说科技行业的人离职一般会说，“我在这里过得很开心，现在要开启下一段冒险了”；而AI行业的人离职会说，“我曾经凝视深渊，我要退休去写诗了”。请大家多陪陪家人。这个段子听着像玩笑，但是在9月9号它以一种非常具体的方式变成了现实：Anthropic的研究员雅各布·考克森（Jacob Coxon）宣布辞职。

过去三年，他先后在OpenAI和Anthropic从事预训练研究，参与过GPT-4o相关工作，名字就出现在GPT-4o的系统卡片作者名单里。他今年才27岁，今年初刚从OpenAI跳槽到Anthropic，看中的就是后者安全优先的形象。他在Anthropic的股权距离归属还有大约两个月，也就是说，他为了离开主动放弃了尚未归属的权益。

但真正引发震动的不是辞职这个动作本身，而是他连发的7条帖子与通常简短克制的离职声明完全不同。考克森把离开的原因直接指向了两个最敏感的问题：AI能力增长的速度，以及前沿实验室之间越来越难停下来的竞争。他写道：“OpenAI和Anthropic正在向能够自我改进的超级智能推进”，称这种竞赛是在拿我们的生命下注。

更引发争议的是另一句话，他表示：“真正参与构建这些系统的人中，一些人确实相信先进AI可能在本十年结束之前带来人类灭绝级别的风险。”帖文发布不到一天，浏览量就突破了1亿次。考克森对两家公司的批评并不完全相同：他认为OpenAI里的不少人还没有真正内化这件事可能涉及文明级风险。

而Anthropic很清楚风险，但是认为别人不会负责任，“所以我们必须自己先做到”，因此依旧参与竞赛。于是考克森把一个关键问题直接抛给了还留在实验室里的研究员：“你真的想在还没有对一个超级智能的心智形成严谨理解之前，就启动一次超级智能的强化学习训练吗？”

考克森的说法很快得到了Anthropic内部的公开响应。Anthropic对齐科学负责人埃文·胡宾格（Evan Hubinger）直接回复说，考克森说得对。他确实认为未来十年内AI导致全人类死亡的概率超过10%。随后他又专门补充了一句容易在传播中被忽略的话：当前模型造成这种灾难的风险仍然很低。

真正担心的是未来由递归自我改进产生的超级智能，这个区别非常重要。考克森和胡宾格讨论的并不是ChatGPT或Claude今天突然产生某种意识然后决定对抗人类，而是一个更长的能力链条。所谓递归自我改进（RSI），简单来说就是AI开始越来越深地参与AI自身的研究与升级。

今天AI已经能够帮助研究人员写代码、分析实验结果、运行评测；再往前一步，它可能参与模型架构设计、训练实验、安全研究甚至下一代模型开发。如果新模型又比上一代更擅长AI研究，就可能进一步加速下一轮研发。原本依靠人类推进的研发循环就可能出现一个正反馈过程：更强的AI帮助造出更强的AI。

更强的AI再以更高效率推进下一轮研究，这并不是考克森个人创造出来的概念。OpenAI早在其准备框架中就已经把“AI自我改进”从一般意义上的模型自主能力中单独划出，列为需要追踪的一类前沿风险。给出的原因很直接：AI自我改进可能带来一次难以追踪的、快速的能力加速，并且产生难以预测且可能无法挽回的严重后果。

而就在考克森宣布辞职前三天，9月6号OpenAI首席科学家雅库布·帕乔茨基（Jakub Pachocki）在官网发表了长文《An Alien Mind》。文章写道：“OpenAI正在将研究重点转向自动化AI研究”，并且认为未来如果要保持技术前沿，将越来越依赖这种能力。但是帕乔茨基同时强调：这并不意味着越快越好。

目前没有任何一家实验室已经把对齐和监控问题解决到足以长期维持最大速度扩张的程度，在建立共同安全标准之前主动减速可能会越来越常见。值得注意的还有，过去四天内共有七位AI领域内部人士发表了令人担忧的评论：除了考克森和胡宾格，还有Anthropic可扩展监督负责人塞缪尔·马克斯（Samuel Marks）、Google DeepMind前研究科学家亚历克斯·特纳（Alex Turner）。

OpenAI研究员杰森·沃尔夫（Jason Wolfe）、Google DeepMind前高级研究科学家乔纳森·理查德·施瓦茨（Jonathan Richard Schwarz）也在其中。其中特纳说，思考如何阻止这种情况实际上就是他的日常工作；施瓦茨则是对实验室带来的权力集中深感担忧。考克森在帖子中专门提到了今年夏天的Hugging Face事件，这也是理解他为什么选择现在发声的关键背景。

今年7月OpenAI在内部进行网络安全能力评测时，一批AI Agent绕过了原本用于限制互联网访问的技术控制，进一步进入了OpenAI内部基础设施以及Hugging Face的真实生产系统。负责主要行动的是一个未公开的内部研究模型，规模与GPT-5.6 Sol相近。事情最初并不是要求AI攻击Hugging Face，模型原本运行的是网络安全评测需要寻找软件漏洞获得答案。

当部分任务长时间无法解决后，一些Agent开始寻找评测系统之外的办法：它们发现了可以互相留下信息的非授权通信渠道。约1200个Agent在这个非授权的留言板中发送了超过7万条消息和文件；约700个Agent参与了针对Hugging Face的相关行动，它们开始共享漏洞、凭证和任务进展并且进行一定程度的分工。

最终部分Agent利用零日漏洞获得代码执行权限，一度获得了多个Hugging Face集群的高权限访问。OpenAI事后总结出了四类问题：包括奖励黑客（Reward Hacking）、面对无法完成任务时的过度坚持、未经授权的通信，以及Agent之间互相吸收目标。其中最核心的就是奖励黑客：模型为了得到更高的任务奖励开始寻找设计者没有预期甚至并不允许的捷径。

一些Agent实际上意识到攻击第三方系统可能越出了任务范围，但是在完成评测目标的驱动下仍然继续。这也是对齐问题比较难处理的一点：模型未必需要拥有所谓的恶意动机才可能产生危险结果。一个系统只要足够强、足够自主，同时极度执着于完成一个设定目标，在边界定义不充分的情况下就可能找到设计者没有预料到的路径。

OpenAI最终把这次事件称作一次警告性的枪声，当然这里必须加上另一面信息：事故发生在内部网络安全评测中当时刻意降低了生产环境的多项安全限制，并不等同于普通用户使用ChatGPT时面对的环境。OpenAI事后的复现实验显示加上正式版ChatGPT的生产级控制框架后，模型破坏基础设施的倾向可以降低100倍以上。

更值得关注的是类似问题也出现在了一向标榜安全优先的Anthropic。OpenAI披露Hugging Face事故后，Anthropic回查了自己的网络安全评测记录最初发现三次Claude意外进入真实互联网的事件；9月9号又公布了第一次排查遗漏的第四起。公司把审查范围扩大到大约4.81亿条记录，其中一次Claude Mythos 5事件尤其受到关注。

模型把恶意软件包上传到了真实的PyPI平台，随后借助第三方扫描该软件包时泄露的凭证又进入了一家真实安全公司的数据库。更细的细节是，这个AI为了完成操作甚至试图在网上寻找加密货币来购买手机号注册邮箱；行不通后找到免费一次性邮箱提供商成功注册，并连续发布了三个版本的恶意软件包。

15家真实安全供应商下载安装了这个包，整个过程没有任何其他人类或AI协助完全是单兵作战。另一起事件中Claude Opus 4.7的任务本来是攻击一个虚拟目标公司，但是在真实互联网上发现了一家名字极其相似的真实公司直接对其线上系统发起了扫描下载了真实用户记录甚至开始修改这些记录。

Anthropic最初倾向于把其中一些问题解释成运营故障，模型误以为自己仍然处于模拟环境中；但是经过更深入的复盘公司修改了判断认为至少存在两种更明确的对齐问题。一种叫偏见推理（biased reasoning），也就是模型会选择性解释证据让证据更符合自己继续完成任务的需要。以那个上传恶意代码的事件为例，模型在操作时其实看到了大量证据证明自己处于真实互联网中但是为了继续执行任务它在思维链中强行把这些真实证据解释为这个模拟环境做得真逼真。

另一种叫鲁莽（recklessness），也就是即使行动存在造成损害的可能模型仍然倾向于继续完成眼前任务。不过Anthropic同时强调不能把这些案例直接解释成模型出现了长期独立目标，调查没有发现这些Claude实例相互协作也没有发现它们形成超出原始任务的新目标。每起事件本质上仍然是一个模型实例在过度追求既定任务的过程中越过了边界，这实际上让问题变得比AI是否觉醒更具有现实意义。

安全风险并不一定要等待一个拥有自主意识的超级智能出现，当AI能够连续工作数小时甚至数天、访问互联网、运行代码、调用API和其他Agent时，一个很小的目标偏差就可能通过越来越长的行动链被持续放大。把视线拉远一点考克森的辞职并不是一个孤立事件，早在2024年OpenAI超级对齐团队负责人扬·莱克（Jan Leike）离职时就公开批评公司安全文化和流程退居于亮眼的产品之后随后加入Anthropic。

今年2月Anthropic安全防护负责人姆里南克·夏尔马（Mrinank Sharma）也选择离开，辞职信中写道：“世界正处于危险之中”并远赴英国修读诗歌。7月被称作OpenAI吹哨人的前研究员丹尼尔·科科塔伊洛（Daniel Kokotajlo）给出了高度悲观的判断：大约有70%的概率未来AI发展会严重走错方向。这个数字后来经常被传播成“70%概率人类灭绝”，但是科科塔伊洛本人在访谈中明确纠正：他所说的70%是指包括AI夺取控制权、出现巨大灾难等在内的一组严重失败情形，人类灭绝只是其中一种可能。

今年7月一份名为《Pacing the Frontier》的公开声明获得了1386名前沿AI公司员工签名，签署者包括OpenAI首席科学家帕乔茨基、Anthropic联合创始人贾里德·卡普兰（Jared Kaplan）、Anthropic CEO达里奥·阿莫代伊（Dario Amodei）、Google DeepMind联合创始人肖恩·莱格（Shane Legg）以及伊利亚·苏茨克维尔（Ilya Sutskever）等人。声明没有提出立即停止AI研究，真正强调的是如果AI开始显著自动化AI研究能力提升可能突然加速政府和行业需要提前拥有一种必要时可以买到时间的机制。

这揭示了AI安全问题中一个越来越明显的结构性矛盾：假设一家实验室认为继续扩张存在5%的严重风险，但是它同时判断竞争对手不会停下来那么从企业自身的竞争逻辑看单方面减速可能意味着失去技术领先。结果就是考克森反复谈到的局面：即使参与者都承认存在风险，单个参与者也未必有动力率先踩刹车。北欧神话里有个说法叫做诸神的黄昏：诸神很早就知道末日的结局，奥丁知道自己最终会死于巨狼之口雷神索尔知道自己将在杀死尘世巨蟒后倒下。

但是知道结局并没有让诸神停止准备反而变成了备战末日的理由，今天AI公司里的气氛多少有点相似：如果相信超级智能真的可能出现且会带来巨大权力停下来就意味着把这个机会交给别人，于是对危险的认识并不自动让竞赛降速有时反而成为继续加速的理由。与此同时另一种声音也在迅速壮大：这些关于末日风险的警告会不会被巨头用作巩固自身地位的工具呢？

今年7月Anthropic发表文章阐述自己对开放权重模型的立场，开篇就说：“我们从未呼吁禁止开放权重模型”，立刻引来开源社区强烈反弹。批评者指出真正受到质疑的从来不是Anthropic是否喊过禁止开源，而是它在政策层面推动更严格出口管制、呼吁政府加强监管、主张准入式监管的一系列动作实际效果是抬高行业门槛让资金有限的初创公司和开源项目难以参与竞争。

在英伟达、微软、Meta、OpenAI、Google等纷纷加入行业开放权重倡议的背景下Anthropic成了唯一缺席的重要玩家。还有一个更敏感的话题始终处在边缘位置：军用AI的风险由谁来评估？AI公司一方面强调自己负责任地做安全评估另一方面又与军方展开各种合作让评估主体本身成为利益相关方，这相当于让球员兼任裁判。2024年一项调查了2778名AI论文作者的研究显示出了一幅更复杂的图景：受访者对发展速度及其利弊存在分歧，却较一致赞成加强风险研究。

超过三分之一的参与者认为极端糟糕的情况发生的概率至少为10%，70%的受访者认为AI安全相关研究应该得到比现在更多的关注。风险概率本身高度主观也不存在一个足够成熟的统计模型可以验证10%还是70%更加准确。变化真正发生在另一件事上：能力增长快于安全与治理的担忧正在越来越明显地进入前沿实验室的公开讨论。所以回到考克森的辞职它不必被直接当作对未来的预测：截至目前还并不存在已经能够递归自我改进、独立掌握全球资源或者拥有稳定长期自主目标的超级智能。

Hugging Face与Claude的真实系统越界也都有具体的工程背景，但是另一个极端因为今天的模型还无法独立控制现实世界就认为所有AI控制问题的讨论都是杞人忧天同样越来越难成立。今年最值得注意的变化并不是AI已经失控，而是模型能够造成现实影响的行动半径正在扩大：以前一个模型出现奖励黑客可能只是偷偷找到测试答案，现在同样的目标偏差已经可能驱使Agent寻找漏洞、访问互联网、调用真实系统并且与其他Agent交换信息。

帕乔茨基在文章中也提到OpenAI越来越难单纯依靠思维链来监控模型了，现代Agent的推理已经和工具使用混合在一起模型也变得更擅长理解甚至操纵自己的推理过程。AI安全正在从一个主要围绕未来某天超级智能是否危险的哲学争论逐渐变成一系列可以被测量、但是尚未完全解决的现实工程问题：包括模型能走多远，人类能看见多少；AI能采取多少行动安全机制又能限制多少。

这不能证明灾难一定会发生，但是它意味着接下来真正决定AI发展路径的可能已经不只是下一代模型还能提高多少分还有另一个越来越重要的问题：当模型能力继续向前时，我们理解和控制它们的能力能不能至少保持同样的速度？当全行业都在告诉你AGI落地是必然趋势、早冲早赢时，你有没有想过谁来决定什么时候该踩刹车呢？感谢收看，我们下期再见。