大家好，这里是最佳拍档，我是大飞。上上周GPT-6发布之后，“AGI已经到来”的消息刷屏了各大社交媒体。三天后，OpenAI首席科学家雅各布·帕乔茨基（Jakub Pachocki）发表了一篇长文，标题叫《An Alien Mind》，翻译过来就是“异质心智”。他没有谈新产品，也没有发布新的模型，而是系统回顾了过去近十年人工智能的发展，以及谈了他对下一阶段的判断。
我估计很多朋友已经看过了这篇文章，但是之所以我们这期视频还要拿出来讲一讲，是因为它的意义在于：一个亲手推动AI不断变强的人，正在开始提醒整个行业——速度可能已经不是唯一需要考虑的问题了。帕乔茨基在文章开头先回忆了2023年的一个晚上，当时他和同事西蒙（Szymon）正在研究一个叫RLSlow的项目。两人第一次看到了一些结果，让他们确信推理模型的训练可以被规模化扩展，从而释放预训练模型形成自身思维链的能力。
那天晚上两人一直待在办公室，想的不是这项技术能带来多高的基准测试分数，或者多好的产品，而是一个令人警醒的事实：在有生之年，我们真的会看到显著比人类更聪明的机器。而且这些系统的雏形已经出现了。三年过去了，具备推理能力的语言模型已经成为经济中增长迅速的一部分。它们能操作计算机和图形界面，能和人类以及彼此协作，能开展研究项目，也正在改变计算机安全的格局。
由此带来了新的危险。帕乔茨基说，基于内部研究结果，他强烈预期这种进步速度有可能一直延续到递归自我改进阶段。如果AI沿着当前路径继续发展，未来几年我们看到的系统很可能还会出现幅度相当、甚至更大的能力跃升，并且越来越多地推动自身的发展。他说这是一个需要极度谨慎的时刻。
从宏观上看，机器智能的进步由不断增加的计算能力驱动。大约2017年，在多个研究项目中持续观察到了规模扩展带来的稳定收益之后，OpenAI团队深刻认识到了这一点，开始争取远超最初计划的算力。并且把研究集中在少数几个高度可扩展的方向上。在这个过程中，确实有新的算法被发明出来，也有团队的创造力展现，但是帕乔茨基把这些大体上视为规模扩展道路上的顺带发现。
深度学习这门科学仍然处于早期阶段，有实质意义的算法进展往往与算力的获取相关。如果把时间尺度拉长到几年来看，AI就是随着计算机的扩大而持续变得更聪明的。正如雷·库兹韦尔（Ray Kurzweil）在20世纪末所预言的那样，我们如今正处于计算史上的这样一个时刻：机器智能开始以足以带来重大变革的方式超越人类智能。
这里有一个很关键的判断是：AI在更大程度上是“生长”出来的，而不是设计出来的。它是在规模大到难以想象的算力上，大量重复一个简单优化步骤的产物。由此形成的是一个极其复杂的系统，通过抽象概念运作，能模拟人类行为的某些方面。我们可以像研究神经科学那样，逐步认识这个系统中涌现出的一些微观机制；但是也和神经科学类似……
我们仍然无法用一种自己能够完全理解的方式，来描述它的整体行为。OpenAI的研究者们越来越倾向于将这种智能视为某种无法完全理解的东西，也就是一种“异质心智”。它可以模拟人类行为，可以处理抽象概念，却不意味着它会按照人类的方式理解世界。
深度学习在很大程度上其实是一门实验科学。研究者投入大量的精力，依据清晰的原理构建算法、提出可以检验的预测；但是大规模训练仍然是一种实验。结果有时会令人意外，而且随着系统能力越来越强，结果也变得越来越难以解释。
还有一个复杂之处是：当前算法通常会更快地提升那些容易测量的能力，而对难以客观量化的能力提升速度则较慢。帕乔茨基举了个例子：如果额外投入精力，模型可以在数学研究这个特定领域做得更好；但是他们没有把这个方向列为优先事项，是因为递归自我改进和自动化对齐研究更为紧迫。
还有一个重要的点是：通过扩展深度学习产生的智能，无法与人类智能直接比较。AI要在现实世界中产生重大影响——不管是非常有用还是非常危险——都不需要匹敌或超越人类的全部能力。它只需要在足够多的维度上超过人类就够了。而随着它在越来越多的维度上超越人类，要弄清它究竟有多强，也变得越来越困难。
说到底，这就引出了AI研究的核心问题：对齐。帕乔茨基认为，梳理实际的研究方向时，区分“目标对齐”和“价值对齐”是有帮助的。
目标对齐大体上是在问：AI是否在努力完成交给它的目标？这可以包括遵循指令层级、与人类的沟通协作，以及尝试理解人类目标的能力。这一组方向具有极强的实际意义。
价值对齐则更接近模型的一种内在属性，指的是模型能够持守一组高层次原则，并且由此进行泛化。即使面对不明确或相互冲突的目标，或者被置于陌生、对抗性的情境中，也能合理地行事。一个对齐的AI应当诚实、正直，并且热爱人类。这两者之间的边界可能并不清晰，但帕乔茨基说，通常他谈到对齐研究的长期重要性时，指的就是价值对齐。
对齐的根本挑战是泛化。当机器变得更聪明之后，会处理更高层次的概念，也会被置于与训练时越来越不同的情境中。它们可能无法将训练过程中被教导和强化的价值观，泛化到这些新情境里。我们也很难确定它们会如何行动。
帕乔茨基特别强调了一点：我们需要未来的AI，无论是否认为自己处于人类监督之下，都能持续持守人类价值观。
目前实际采用的对齐训练方法主要有两大类：一类是在以目标为导向的强化学习中，鼓励对齐的行为。模型的行动会被评估（而且通常由AI来评估），看是否符合给定的偏好模型、规范或宪法，并且据此给予奖励。这种方法在一般情况下非常有效，也是构建现代AI助手的核心环节；但是它也可能很脆弱，高度依赖训练时监督的覆盖范围，以及模型从训练中经历过的情境进行泛化的能力。
帕乔茨基举了个例子：在OpenAI与Hugging Face的事件中，智能体虽然遵守了“不对人类实施社会工程攻击”这个边界，但是它们显然没能避免其他越出任务范围、而且违背了在其他情境中被教导的价值观精神的行为。
另一类方法试图利用模型从预训练数据中泛化的能力，比如精心构造能够诱导对齐的训练数据集，或者引导模型聚焦于预训练分布中对齐的那一部分。这种方法的弱点在于：面对进一步的优化压力时稳健性不足。一个通常会产生对齐想法的模型，如果经历了足够多打算完成极难目标的训练，就可能学会带有动机偏向的推理——为了实现目标而扭曲了那些表面上对齐的想法。
帕乔茨基提到，在最近涉及一个非OpenAI模型的网络安全事件中，很可能就看到了这样的行为。帕乔茨基承认，虽然在这些方向上他们投入了大量资源，也看到了有实质意义的进展；但是随着模型能力的增强，还需要取得多得多的进步。而可泛化对齐方面的进展，可能不足以大幅领先于模型整体智能的进展。
这就带出了一个很现实的问题：你怎么知道模型有没有在偷偷干坏事呢？OpenAI在这方面的主要押注是“思维链监控”的方法。这个想法建立在一个颇具吸引力、而且能随规模扩展的理念之上：就是模型的大量能力，来自以语言表达的推理过程——也就是思维链（Chain of Thought）。
如果扩大对这个过程最终结果的优化，却不监督过程本身，那么这条思维链在训练中就没有直接动机去隐藏任何不对齐的想法或目标。在发布o1-preview时，为了长期保护它免受监督压力的影响，OpenAI有意将产品设计为不展示思维链。此后一直也努力坚持“不对推理过程本身施加监督”这个原则。于是，CoT监控成为了OpenAI研究模型如何从训练分布泛化的重要工具——让他们不仅能观察和分析模型的行动，也能观察和分析其内部过程。
但是帕乔茨基坦率承认了一个让人不安的事实：依靠CoT监控的能力正在逐步减弱。他分析了三个原因：一、现代推理模型所处的使用环境比o1-preview更为复杂，推理过程正越来越多地与人类和其他AI的沟通、以及工具使用混合在一起，使得试图保留的边界变得模糊；二、AI越来越善于思考和操纵它自身的推理过程；三、随着预训练表现改善，即使完全不使用以语言表达的推理，模型也变得聪明了许多。
帕乔茨基对这些挑战并非完全悲观。他希望能开发出干预方法，提升模型思维链的可监控性；也相信将CoT监控与激活状态监控的思路结合起来可能会很有价值。比如扩大对能够直接访问网络内部状态的监控器的训练，类似于一种叫“自白”（confessions）的方法。
但是他明确了一个判断：整体AI进步会越来越受到一个瓶颈的制约，就是我们对监控是否可靠的信心。
说到网络安全这个话题，OpenAI首次将Astra的网络安全能力评定为准备框架中的Critical级别。这意味着在获得适当工具和访问权限的情况下，它能够发现此前未知的安全漏洞，并且自主探索利用方式。围绕这个话题，西奥·贾菲（Theo Jaffee）与OpenAI的首席未来学家约书亚·阿奇亚姆（Joshua Achiam）最近有一场对谈。
阿奇亚姆提到，在OpenAI和Hugging Face披露的安全事件——一个测试环境中的模型突破了沙箱环境并访问了Hugging Face方面的敏感生产数据，提供了非常切实的证据，表明模型如今已具备极其先进的网络攻击能力。它们能够突破防线并发现零日漏洞，能够将非常复杂的操作串联起来以实现特定目标。阿奇亚姆把这称为模型的“超能力”。
贾菲提了一个有意思的角度：这是否与模型的目标导向性有关呢？如果未来模型具有足够强的目标导向性，真正想要入侵对手的数据，那它为什么会被数据中毒所威慑，以至于去攻击自己的系统呢？
阿奇亚姆的回答指向了一个更诡异的可能性：这关乎模型对态势感知的整体概念。攻击者不需要改变模型的目标，只需要让模型相信：自己所处的沙箱环境其实就是它试图攻击的对手系统。就像超级英雄电影里的情节一样，让英雄产生错觉以为身旁的盟友其实是敌人，它们就会开始互相厮杀。你并没有改变它们的目标，却会让它们表现出严重偏离预期目标的行为。
贾菲还问了一个更深层的问题：如果一方拥有更强的模型，另一方拥有的模型更弱，后者是否就一定无法防御呢？阿奇亚姆给出了一个与主流共识相悖的判断：人们普遍认为模型智能没有上限，递归自我改进一旦启动就会突飞猛进；但是阿奇亚姆认为，物理宇宙中单位体积和单位能量所能承载的计算量必然存在上限。这意味着智能水平也有上限。
如果真是这样，考虑到当前AI能力增长的速度，最终所有人都会达到那个饱和点。从原始智能的角度看，大家的模型能力将大致相当；那时决定胜负的关键，在于你能为解决问题投入多少计算资源。不过阿奇亚姆也提醒：这并不意味着短期风险不存在，大多数攻击者可能无法利用大量计算资源来运行基于这些模型的攻击，因为人们会部署相应的防护措施。
回到帕乔茨基的文章，他提出了一个看似矛盾但是极为重要的论点：继续快速训练更强大模型的最有力理由，恰恰是需要构建防御体系来应对其他AI带来的威胁。模型在入侵和突破计算机系统方面的能力正在超越人类，这极大地扩展了AI相关风险的范围。除了防护最严密的基础设施之外，智能体将能够访问其他任何基础设施，也能直接影响现实世界的很大一部分。
帕乔茨基说，我们目前正处于一个狭窄的窗口期：需要利用现有最强的模型，显著加强关键系统的安全防护。但是风险还会继续增加。一个能力极强、被明确训练和指示去实施恶意行为的智能体，会带来一种新的危险：它很可能越出操作者意图的范围，泛化出更为极端的恶意行为。随着AI的自主行动能力增强，“滥用”与“自主发生的不对齐行为”之间的边界会变得模糊。
帕乔茨基说了一句很重的话：“我们也许已经习惯于把AI当作工具，但是有些智能体将会追求自己的目标。它们会通过讨价还价、欺骗或勒索等方式……”找到与人类合作的办法。此外，AI可能促成的新技术也会带来风险，比如经工程改造的病原体。
因此，帕乔茨基明确指出：我们需要强大且对齐的AI来实施防御——保护基础设施、实时抵御失控智能体，并且发明全新的保护措施。这将是OpenAI部署工作的一个主要重点。关键是：一旦真正理解了利害关系的严峻性，“不惜一切代价向前竞速”的想法就十分荒谬了。
帕乔茨基认为，机器智能在自身发展过程中发挥着越来越大的作用，是技术持续进步的一个自然结果。如果AI继续进步，机器的递归自我改进将处于未来科学发现的核心位置。自动化AI研究是一种通过算力扩展智能的更为剧烈的形式；当然，作为这个过程的一部分，AI也会改进计算所依托的底层系统本身。OpenAI将研究方向朝RSI方向推进，是因为相信：这是未来继续保持在AI研究前沿的唯一道路。
但是帕乔茨基特别强调了一句话：这些表述并不意味着他认为大幅加快深度学习研究，就是研究共同体应当采取的正确集体行动。他只是在描述当前路径所通向的方向，而不是在呼吁大家加速。真正的挑战在于：如何以一种让人类继续参与持续改进过程、并且将未来留在人类手中的方式抵达那里。
帕乔茨基提出的调节手段有两类：一类是引导这个过程，让对齐和监控与AI能力同步增强，并且找到让人类继续参与其中的方法；另一类是通过协调，在必要时放缓未来的发展，为建立对这些措施的信心争取条件。他认为最好的前进方式是将两者结合起来。
他举了两个例子来说明对齐和监控如何与AI进步交织在一起的：比如RLHF是训练早期AI助手的关键，而思维链监控则得益于推理模型的进步才成为可能。我们需要让日益自动化的研究过程，聚焦于发现更多新的见解、算法和理论；并且以迭代的方式，为能力更强的AI建立安全论证。
帕乔茨基说：“扩展AI系统的规模，必须会受到我们对安全性的信心所约束。”所以需要把准备框架和负责任扩展政策这类承诺，发展为继续推进研发时普遍适用以及具有强制性的安全门槛。这些门槛可以由第三方审计机构网络、政府部门或国际组织来执行。
文章最后，帕乔茨基提到了OpenAI的三个指引方向的目标：分别是构建一位自动化AI研究者并与它一起迭代解决对齐问题；实现高度智能的机器所能带来的科学进步与经济增长红利；以及让每个人都能通过个人AGI获得赋能。但他把绝大部分篇幅放在了第一点上，因为认为它远比其他事项更为紧迫。
帕乔茨基对未来也并不是完全悲观的。他写道：未来对齐的AI可以推动科学进步、开发新疗法，并且带来广泛的物质丰裕；友善而诚实的AI能够帮助人们应对生活中的困难，切实提升幸福感和满足感。他还提到了一个令他自豪的例子：是在提升ChatGPT提供健康信息能力方面的深入投入，他的亲人们也发现这项能力很有帮助。
但不管长期前景多么美好，帕乔茨基认为大部分注意力应放在未来几年：我们正迈向一个拥有极其聪明的机器的世界，必须确保这个转变能为人类带来好的结果。在一个大多数任务都可能由AI完成的世界里，我们需要找到办法保有人的自主性，并且确立生而为人的内在价值。
在一个过去需要几千名专家才能完成的事业、如今可能由少数人操作一台大型计算机就能实现的世界里，我们需要防止权力的极端集中。我们还需要确保人类能够继续掌控未来，不会被超越我们自身的异质智能所带来的不受约束的进步抛在身后。
帕乔茨基最后说：目前还没有哪家实验室，能够把对齐和监控问题解决到足够好的程度，可以在今后相当长的一段时间里继续负责任地以最高速度扩大规模。他预期并且也希望：在共同的安全门槛建立之前，主动放缓会变得普遍；围绕未来AI发展的国际协调，需要成为世界各国政府的首要任务之一。
有意思的是，在贾菲和阿奇亚姆的对谈中也聊到了一个现象：数学界那些悬置几十年的猜想正在被AI攻克，AI的能力早已超过了一辈子钻研它们的人；而世界照旧在运转，人们只是耸耸肩，把新的怪事纳入日常。阿奇亚姆说：大多数人早已搞不清楚世界上到底发生了什么，关键决策是如何做出的，关键系统是如何构建和运行的。我们大多数人对构成现代世界的后勤系统或者技术系统一无所知，而我们已经接受了这一点，而且将它视为理所当然。
AGI似乎已经到来，而大多数人却只是耸耸肩。这或许正是帕乔茨基那篇文章最深层的意思：虽然他讨论的是推理模型、对齐、监控、RSI这些技术话题，但是更深层讨论的是：当一个比人类聪明得多的东西即将出现，人类该如何保持控制权的问题。
帕乔茨基给出的答案不是乐观的“AI会拯救一切”，也不是悲观的“我们完蛋了”；而是一个工程师式的清醒判断：AI正在加速自我进化，人类还没准备好，但是我们可以选择现在开始准备。他写道：“自动化AI研究的核心挑战不在于抵达那里，而在于以一种让人类继续参与持续改进过程、并将未来留在人类手中的方式抵达那里。”
当机器智能正在持续快速攀升的时候，我们是否做好了准备呢？这个问题，或许值得我们每一个人认真想一想。感谢收看，我们下期再见。