创始缘起:从物理学到AI的跨界转变

Anthropic的联合创始人Dario Amodei和Jared Kaplan在对话中揭示了他们投身AI领域的个人动机与契机。Jared Kaplan坦言,他长期从事物理学研究,但逐渐感到厌倦,并渴望与更多朋友共事,这成为他转向AI行业的直接动力。Dario Amodei则澄清,他并未刻意“推销”AI概念,而是通过展示AI模型的通用性结果,让Jared意识到这些技术不仅适用于单一任务,而是具有广泛的适用潜力。这种潜移默化的影响最终促使Jared认同了AI方向的价值。

在回顾Dario的学术背景时,提到他在加入该领域前曾担任教授约六年。在此期间,他帮助招募了Sam Altman,并构建了一个良好的学术环境,其目标之一是吸引Tom回归,这一策略最终取得了成功。这段经历不仅展示了Dario在学术圈的影响力,也体现了早期团队构建中人际网络的重要性。Dario和Jared的相遇并非偶然,而是基于对AI通用能力的共同认知,这种认知成为他们后续合作的基础。

早期交集:从Google Brain到OpenAI的十年羁绊

Chris Manning详细梳理了他与Anthropic核心团队成员长达十余年的交集历史。他回忆道,19岁时首次访问湾区便结识了当时还是博士后研究员的Dario和Jared,这让他感到十分钦佩。随后,Chris在Google Brain工作期间,与加入Google的Dario相邻而坐,并在此期间与Tom合作。这段经历奠定了他们之间深厚的专业信任基础。Chris后来加入OpenAI,与包括Dario、Jared在内的多位成员再次共事,形成了紧密的合作网络。

Jared Kaplan补充了他与Dario在2015年的一次会议相遇经历,当时他试图采访Dario,但Google公关部门建议他先阅读Dario的研究论文。Dario当时正在撰写关于AI安全具体问题的论文(Concrete problems in AI safety)。Chris回忆,在正式合作前,Dario曾邀请他到办公室深入交流AI话题,详细解释了计算量、参数计数以及大脑神经元数量等复杂概念。这次交流让Chris意识到AI领域的严肃性与深度,Dario被形容为“带来好消息的人”,但他所传达的信息往往令人感到事态远比想象中严峻。

GPT-2与缩放定律:安全与规模的纠缠

团队在OpenAI期间的合作紧密源于对缩放定律(Scaling Laws)的共同探索。从GPT-2到GPT-3,随着模型规模的扩大,性能提升的效果出乎意料地稳定且显著。Chris指出,这种“诡异地持续有效”的现象促使团队紧密协作,成为他们共同工作的核心驱动力。与此同时,团队对AI安全的关注也在此时期深化。他们担忧AI系统可能变得强大却不理解人类价值观或无法有效沟通,因此认为语言模型是确保AI系统理解隐性知识的关键途径。

“强化学习从人类反馈(RLHF)建立在语言模型之上,这也是我们将这些模型规模扩大的全部原因,因为模型不够聪明,无法在其上执行RLHF。”

Chris强调,这种安全与模型规模的纠缠是团队至今坚持的理念。Dario加入OpenAI的初衷之一是通过预测AI趋势来确保团队在安全问题上被严肃对待。在一次英国机场的经历中,团队使用GPT-2生成假新闻文章并发送给Dario,意识到其潜在的巨大政策影响。Dario的典型回应是简短的“是的”,这种对技术潜力的敏锐洞察推动了后续的安全研究与发布策略的制定。

《AI安全的具体问题》:一项政治性与学术性并重的尝试

Chris Manning于2016年加入OpenAI,成为早期员工之一。他回顾了Dario和Jared撰写的论文《AI安全的具体问题》(Concrete Problems in AI Safety),认为这是该领域首个主流AI安全论文。Dario透露,该论文的诞生部分源于他试图拖延其他遗忘的项目,并与Chris共同决定将抽象的AI安全概念落地到当时的机器学习实践中。在当时的学术环境中,AI安全常被视为晦涩难懂的话题,因此将问题具体化是一种创新尝试。

Chris进一步指出,这项工作具有某种政治项目的性质。当时许多研究人员并不重视安全问题,因此团队的目标是整理出一份各方认可的合理问题列表,并邀请不同机构的可信研究人员作为共同作者,以增强论文的权威性。Dario曾花费大量时间与Brain的20多位研究人员沟通,以争取出版支持。尽管Dario承认,从当前视角看,论文中强调的某些问题可能不再完全适用,但其在推动AI安全领域主流化方面的历史贡献不可忽视。这一过程体现了早期AI安全研究在学术共识构建上的艰难与努力。

宪法 AI 的起源与“简单即有效”的哲学

在 Anthropic 成立的初期,团队面临着一个看似荒谬的挑战:如何通过编写一份“宪法”来改变大型语言模型的行为。这一概念在当时听起来极具科幻色彩,甚至被同事 Jared 调侃为“只是给语言模型写一部宪法就能解决所有问题”。然而,这种看似疯狂的直觉背后,隐藏着对 AI 本质的深刻洞察。Dario 和 Jared 经过长期讨论后认为,AI 领域中简单的方法往往能产生惊人的效果。早期的实现方案极其复杂,但团队最终通过不断简化,发现只需利用 AI 擅长解决多项选择题的特性,提供明确的指令和原则,即可让模型自我比对行为并调整输出。这种方法的核心理念源于“缩放假设”(Scaling Hypothesis):只要能为 AI 提供清晰的数据目标和指令集,模型就能通过学习达成目标。一旦明确了训练目标,剩下的只是对细节的不断调试。这种从复杂到简化的过程,证明了通过明确的原则引导 AI 行为是可行且有效的路径。

物理学背景与对“雄心壮志”的重新定义

Jared 拥有物理学背景,这一经历深刻影响了他对 AI 安全研究的看法。他观察到,在 AI 寒冬之后,许多研究人员因心理创伤而变得极度保守,不敢提出宏大的愿景或 ambitious 的想法,认为那是“科学傲慢”。然而,物理学家的特质恰恰是敢于进行大胆设想和宏大规划。Jared 指出,要真正关心 AI 安全,必须首先相信 AI 系统具有强大的潜力和实用性,而这种信念往往被学术界对风险的过度规避所压抑。这种保守主义不仅存在于学术界,也渗透到了工业界。直到 2022 年左右,这种压抑雄心壮志的心态才开始逐渐消退。Jared 认为,物理学家的“傲慢”是一种必要的驱动力,它促使人们去探索那些被他人视为不切实际但可能具有颠覆性的领域。这种视角的转换,使得 Anthropic 能够在早期就敢于挑战主流观点,将安全研究视为技术发展的自然延伸,而非额外的负担。

打破共识:从“从众行为”到“反共识”的押注

在长达十年的时间里,Jared 学到了一个深刻的教训:所谓的“共识”往往只是披着成熟和 sophistication 外衣的从众行为。在科学史上,这种保守主义屡见不鲜。例如,1939 年核物理学家们讨论核武器时,费米(Fermi)因认为想法太疯狂而抵制,而西拉德(Szilard)和泰勒(Teller)则因担忧风险而认真对待。Jared 指出,当看到共识可以一夜之间改变时,坚持独立判断变得至关重要。即使只有 50% 的正确率,这种独立判断也能带来巨大的增量价值,因为主流观点往往忽略了那些非共识但关键的风险。目前,Anthropic 正处于这种“反共识”的位置:主流观点认为安全问题是外生的、不自然的,而 Anthropic 的研究表明,安全对齐问题是技术发展的自然副产品。通过持续发布研究成果,Anthropic 正在帮助改变公众和业界对 AI 风险的认知。越来越多的普通用户开始担忧 AI 对就业、偏见乃至人类协作方式的根本性影响,这表明社会情绪正在发生显著转变,从单纯的技术兴奋转向对深层社会影响的严肃审视。

学术界与公众对AI潜力的认知错位

在机器学习研究领域,研究人员往往比公众更悲观地看待AI变得极其强大的可能性。这种审慎态度源于科学家的谦逊以及对证据的严格评估。2018年时,很少有人预见到AI会迅速进入国家政治核心视野。然而,到了2023年,这种局面发生了根本性逆转。Dario和联合创始人前往白宫与副总统哈里斯及商务部长雷蒙多会面时,政府高层明确表达了高度关注。

"We've got our eye on you guys. Like, AI's gonna be a really big deal and we're now actually paying attention."

这一转变印证了“费米悖论”式的科学判断逻辑:正如恩里科·费米在原子弹研发初期所展现的那样,尽管当时存在大量反对证据,但科学家仍基于部分确凿迹象判断其可行性与巨大价值。2015至2017年间,AI领域逐渐积累起越来越多的证据,表明技术范式可能正在发生根本性变化,尽管当时多数人仍持怀疑态度。

早期入局者的决策困境与信念押注

在AI尚未被主流认可的2016年,许多有识之士面临着巨大的职业不确定性。一位联合创始人回忆道,当时他向导师咨询如何参与AI安全研究,却被告知要么需要精通决策理论,要么认为AI不会带来颠覆性突破。这种环境下,只有极少数人支持他的选择。

另一位联合创始人则分享了其从记者转型为AI全职研究者的决断过程。2014年,当他尝试发表关于ImageNet结果趋势的文章时,被同行视为疯狂;2015年,他试图说服彭博社报道NVIDIA因GPU在AI论文中的普及,再次被拒;2016年离职时,收到的邮件甚至警告他这是“人生最大的错误”。

"I did a crazy counter-bet where I said, 'Let me become your full-time AI reporter and double my salary,' which I knew that they wouldn't say yes to. And then I went to sleep and then I woke up and resigned."

这种“信念押注”(Betting with Conviction)成为早期核心团队成员的共同特征。尽管有人经历了六个月的反复纠结,但最终都意识到,持续阅读档案论文(包括Dario在百度的工作)让他们确信某种完全疯狂的事情正在发生,从而选择坚定投入。

工程师角色重定义与人才招募策略

早期AI行业存在严重的角色固化,普遍认为只有研究人员才能从事AI工作,工程师的影响力被严重低估。这种观念在2016年左右开始松动,但直到OpenAI等机构明确接纳工程人才,这一转变才真正落地。

一位联合创始人回忆,他加入OpenAI的关键契机是对方明确告诉他:工程师可以通过工程工作帮助AI安全。这种对工程价值的认可在当时极为罕见,直接促成了他的加入。另一位联合创始人(前Stripe高管)则从个人使命与技能匹配的角度做出选择。他在Stripe工作五年半后,原本计划回归公共卫生或政治领域以弥补早期缺乏技能的遗憾,但发现OpenAI作为一个非营利组织,既拥有宏大的AI愿景,又急需管理支持,这与他“帮助弱势群体”的初衷及“需要管理帮助”的现实需求完美契合。

"The smartest person that I know is Dario. You would be really lucky to get him."

这种“量身定制”(Me-shaped)的职业选择逻辑,使得早期团队不仅具备技术远见,更拥有强大的工程落地与管理能力,为后续发展奠定了坚实基础。

早期组织整合与信任安全职能的引入

在 Anthropic 发展的早期阶段,尽管团队怀揣良好的初衷,但内部运作显得有些混乱。一位核心成员以“全能替补”的角色介入,既负责人员管理,又直接领导部分技术团队,致力于优化组织架构并提升公司功能性。他特别提到在语言团队和政策事务上的工作,强调员工中蕴含的巨大潜力,并希望通过务实的努力让公司运转更加顺畅。这一时期,另一位联合创始人回忆起在 GPT-3 发布后,有人向他推荐了“信任与安全”(Trust and Safety)这一概念,指出这对于像 AI 这样强大的技术至关重要。

“我曾在 Stripe 负责过一些信任与安全团队,我认为对于这样的技术,你们需要考虑‘信任与安全’这一领域。”

这一职能被视为连接AI 安全研究与日常实际工作的关键中间环节。虽然 AI 安全研究关注如何让模型在理论上安全,但信任与安全团队则负责构建日常实操能力。这种务实的工作被视为一种“肌肉训练”,旨在为未来更高 stakes(风险/利益)的场景做好准备,确保公司在面对更严峻的安全挑战时具备足够的应对能力。

责任扩展政策(RSP)的起源与设计理念

责任扩展政策(Responsible Scaling Policy, RSP)由 Anthropic 联合创始人 Dario Amodei 和 Paul Christiano 于 2022 年底首次提出。最初的构想是设定一个扩展上限,直到解决某些安全问题后再解除限制。然而,团队很快意识到单一阈值切换的局限性,转而设计了多级阈值机制。在每个阈值节点,模型必须通过特定的能力测试,并随之实施日益严格的安全和安保措施。为了确保政策的客观性和行业采纳度,团队决定不自行发布,而是由 Paul Christiano 主导设计,并邀请第三方参与,以增强其公信力。

“RSP 就像是我们的宪法,是 Anthropic 的神圣文件。值得投入大量迭代以确保其正确性。”

这一过程经历了无数次的草稿修订,其严谨程度堪比美国宪法的制定。团队认为,正如美国通过宪法及其配套制度来维持国家稳定,Anthropic 也需要通过 RSP 及其支撑体系来确立安全价值观。这种制度化思维旨在将安全从抽象原则转化为具体的、可执行的运营标准,确保公司在追求技术突破的同时,不会偏离安全轨道。

RSP 的迭代机制与组织问责体系

RSP 的发展不仅涉及高层原则的制定,更依赖于运营层面的持续迭代。团队通过观察实际安全测试中的表现,不断调整阈值和评估标准,以确保问责机制的有效性。例如,当发现某些预期中的安全风险未出现时,团队会重新审视并修改政策,确保其能真实反映模型的能力边界。此外,组织结构的调整也是关键一环,通过明确 RSP 组织的职责,强化了问责制(Accountability)。这种机制类似于美国宪法背后的司法、立法和行政体系,需要庞大的基础设施来支撑单一文件的有效执行。

“如果组织中的任何部分与我们的安全价值观不一致,RSP 就会阻止他们按自己的意愿行事。”

RSP 的核心作用在于将安全转化为产品需求,嵌入到产品规划的每一个环节中。它不仅仅是一句口号,而是具有实际约束力的运营门槛。任何与 RSP 价值观不符的项目或行为都会受到阻碍,迫使团队要么调整方向,要么离开。这种机制确保了安全成为公司运作的硬性约束,而非软性建议。尽管外界(如参议员)可能认为这些措施是行业常态,但 Anthropic 坚持将其制度化,以应对 AI 发展速度远超传统行业安全体系建设速度的挑战。

安全作为可解问题与行业标准化尝试

Anthropic 内部普遍持有一种观点,即安全是一个可解决的问题,尽管它极其困难且需要巨大的工作量。团队意识到,传统行业(如汽车安全)经过多年才建立起完善的安全机构,而 AI 领域没有足够的时间等待。因此,Anthropic 必须加速构建适合 AI 安全的基础设施,并尝试将其出口到整个行业。RSP 的发布不仅是内部治理工具,更是向行业展示如何平衡扩展与安全的一种尝试。

“我们必须在尽可能短的时间内弄清楚需要什么样的 AI 安全机构,建立它们,并尝试首先在这里建立,但使其具有可出口性。”

这种尝试旨在推动行业标准的形成。通过公开 RSP 的详细机制,Anthropic 希望其他公司也能采纳类似的安全框架,从而提升整个行业的安全水位。尽管并非所有公司都采取同等严格的措施,但 Anthropic 坚持认为,只有通过这种高度结构化和透明化的政策,才能在快速发展的 AI 领域实现可持续的安全进步。这种努力反映了公司对长期责任的承诺,以及对构建行业安全规范的深远愿景。

追求“无聊”与标准化的安全叙事

Anthropic在构建安全框架时,核心目标之一是让安全措施变得“无聊”且“正常”,类似于金融审计或合规流程,而非充满戏剧性的危机应对。这种策略旨在消除内部对安全的模糊感知,使安全目标清晰可见且易于理解。通过书面化的政策,公司能够明确界定安全边界,避免员工因过度担忧而陷入无意义的恐慌,同时也防止外部利益相关者滥用“安全”概念来阻碍创新或强加不合理的限制。清晰的书面记录使得内部团队和外部观察者都能明确知道公司致力于实现的安全方向,从而建立起一种可预测、可信赖的组织文化。

“我们想让这一切变得像金融审计一样无聊和正常。从长远来看,频繁拉响虚假警报的建筑其实是最不安全的,因为当真正的火灾发生时,没人会再在意。”

这种“校准”思维至关重要。如果安全警报频繁误报,组织将丧失对真实风险的敏感度。因此,Anthropic致力于通过明确的定义和标准来减少不确定性,确保安全措施既不过度反应,也不反应不足。这种标准化的叙事方式,使得安全不再是抽象的哲学讨论,而是可执行、可衡量的日常运营指标,从而在组织内部建立起稳固的安全意识基础。

RSP框架下的激励对齐与灰度挑战

红队安全政策(RSP)不仅是一套规则,更是一种激励机制设计工具。在内部,它将所有团队的利益与安全进展绑定:如果安全没有取得实质性进展,项目就会受阻,从而迫使团队在追求性能的同时兼顾安全性。在外部,RSP为可能的激进决策(如暂停模型部署)提供了预先存在的、基于证据的框架,使得决策过程更加透明和合法化。这种框架避免了在危机时刻临时拼凑理由的尴尬,而是基于既定的评估标准进行判断,增强了外部对Anthropic决策的信任度。

然而,实施RSP的过程远比预期复杂。联合创始人指出,最大的挑战在于技术快速迭代带来的“灰度地带”。在许多新技术出现时,很难立即判断其是绝对危险还是绝对安全。这种不确定性使得政策制定和评估标准的划定变得极其困难。必须经过多次迭代(三到四轮)才能逐渐厘清边界,因为只有在实际执行中,才能发现之前未曾预见的风险点。这种迭代过程虽然痛苦,但对于在高 stakes 领域建立稳健的安全肌肉至关重要。

“RSP在多个层面上创造了健康的激励机制……如果我们要采取某种戏剧性行动,比如发现模型尚未达到安全标准,RSP提供了一个基于证据且预先存在的思考框架,这使得决策更加清晰。”

评估体系与外部沟通的标准化

评估(Evals)是Anthropic安全工作的核心环节,几乎每个团队都参与评估工作。训练团队持续监控模型是否获得了潜在的危险能力,而前沿红队(Frontier Red Team)则专门针对高风险场景进行测试。由于很难对模型能力设定上限,Anthropic投入大量资源研究模型是否可能通过思维链(Chain of Thought)、最佳尝试(Best-of-N)或工具使用等技巧执行危险任务。这些评估结果直接决定模型是否部署,从而将抽象的安全概念转化为具体的、可操作的决策依据。

在外部沟通中,RSP框架极大地简化了与不同观点持有者的对话。对于认为技术发展较慢的外部人士,Anthropic可以解释为何目前不需要采取极端安全措施;而对于认为风险迫在眉睫的人士,则可以展示RSP如何确保在风险升级时能立即响应。这种基于框架的沟通方式,使得安全讨论不再显得怪异或情绪化,而是成为一种理性的、基于标准的行业对话。通过持续的评估和迭代,Anthropic不仅在构建技术安全,也在构建行业通用的安全语言和标准。

“评估是重中之重。每个团队都在进行评估……我们投入大量研究精力,试图确定模型是否可能通过某种我们尚未想到的技巧(如思维链或工具使用)来执行危险任务。”

RSP文档的通俗化改造与全员参与

Anthropic在制定《负责任安全政策》(RSP)时,特别注重消除技术官僚主义,确保文档不仅限于安全专家阅读,而是成为全员共识。早期版本被认为过于技术化且带有对抗性,因此团队进行了大规模重写,旨在打造一种“大家愿意参与”的语调。这种转变的核心在于将RSP转化为类似OKR(目标与关键结果)的通用语言,让每位员工都能清晰了解公司的AI安全等级(如ASL-2或ASL-3)以及当前的达标情况。

“我觉得我们刚刚对RSP的语调进行了大规模重写,因为它感觉过于技术化,甚至有点对抗性。我花了很多时间思考,如何构建一个人们真正想参与其中的系统?”

这种全员可访问性至关重要。如果文档晦涩难懂,只有特定人群能理解,其生产力将大打折扣。通过简化语言,Anthropic希望实现一种“制造厂式”的安全直觉:就像工厂工人能一眼看出安全带连接错误一样,任何员工都能识别出AI开发中的异常。这种健康的反馈流动连接了领导层、董事会与一线工程师,防止因沟通断层导致的系统性失误,确保“电线”不被接错。

创立动机:从学术使命到必要行动

Anthropic的创立并非出于商业野心,而是源于一种“不得不做”的责任感。联合创始人强调,他们并非天生喜欢创业,而是认为在AI领域“必须做这件事”以改善现状。这种动机直接催生了公司的80%pledge(承诺),即承诺将大部分利益用于公共利益。对于物理学教授出身的联合创始人而言,看到AI影响力的陡峭轨迹,意识到若不主动构建环境,行业将重复“令人疏离”的错误模式,如固守旧有思维、缺乏多样性等。

“我们中没有人想创办一家公司。我们只是觉得这是我们的责任。就像我们必须做这件事一样。这就是我们要让事情变得更好的方式。”

这种“手段服务于目的”的思维模式,使得公司能够超越单纯的利润追求。联合创始人回忆在研究生院时,曾致力于探索如何以促进公共利益的方式开展科学工作。当GPT-3等技术展现出巨大潜力时,他们意识到“不可逆转点”即将到来,必须通过建立独立的机构来引导AI向善,而非被动接受行业既有的“同温层”效应。这种道德紧迫感是驱动公司早期决策的核心力量。

高信任文化与使命驱动的组织扩展

Anthropic的核心竞争优势之一,是团队内部极高的信任度与使命一致性。联合创始人指出,在科技行业中,让一大群人拥有相同的使命极其困难,但Anthropic成功地将这种纯粹性规模化到了众多员工中。这种文化并非偶然,而是通过“保持高标准”和“排除干扰者”(即联合创始人戏称的“首席小丑驯兽师”角色)来维持的。

“我认为我们之间最大的战略优势,就是这张桌子上的信任程度。这听起来可能有点好笑,但这是非常罕见的。”

这种高信任环境使得员工无需担心内部政治,而是专注于“帮助世界”这一共同目标。联合创始人Daniela被 credited 为“保持高标准”的关键人物,而其他成员则负责“清理门户”,确保文化不被稀释。这种纯洁的使命导向与科技行业常见的“自我丰富或获取权力”的动机形成鲜明对比,使得Anthropic能够在快速扩张中保持文化的一致性和行动的协调性,从而在激烈的AI竞争中建立起独特的组织韧性。

低政治文化与反官僚主义的人才筛选

Anthropic 内部最显著的特征之一是极低的政治化程度,这被两位联合创始人视为公司运作的基石。这种环境并非偶然,而是源于独特的招聘标准和人员构成。公司倾向于吸引那些对办公室政治产生“过敏反应”的人才,这种低自我(low ego)的文化使得员工能够超越个人视角,专注于共同目标。不同于许多科技公司中不同部门因利益冲突而互相掣肘,Anthropic 强调统一性(Unity),确保产品、研究、信任与安全、市场及政策团队都服务于同一个核心使命。

"I think Anthropic is really low politics... there's almost a like allergic reaction to politics."

这种文化避免了公司内部出现“一部分人在制造损害,另一部分人在修补”的 dysfunctional(功能失调)局面。相反,所有职能部门都在单一变革理论(single theory of change)下运作。这种高度的一致性使得跨部门协作变得顺畅,因为大家不再视彼此为竞争对手,而是共同应对复杂挑战的伙伴。这种反官僚主义的筛选机制,确保了公司能够保持高效和透明,避免了因内部政治斗争导致的资源浪费和决策瘫痪。

务实主义:在约束中构建安全与商业的平衡

从 OpenAI 离职并创立 Anthropic 的过程,充满了极端务实主义(Extreme pragmatism)。联合创始人坦言,最初并不认为世界需要更多的 AI 实验室,且对创业持保留态度,甚至曾主张继续以非营利组织形式专注于安全研究。然而,面对现实约束,他们意识到必须诚实地评估完成使命所需的条件。这一决策过程体现了面对权衡(confronting trade-offs)的勇气,而非回避问题。公司早期确立的一个重要原则是少承诺、多兑现,通过保持现实和校准预期来建立信任与信誉。

"Make less promises and keep more of them... trust and credibility are more important than any particular policy."

这种务实精神体现在日常决策中,例如安全团队(如 Mike Krieger)与商业团队(如 Vinay)之间的动态平衡。安全团队会基于理由阻止产品过早发布,而商业团队则致力于推动产品落地。关键在于,这种冲突并非零和博弈,而是通过分散权衡(spreading the trade-offs)给全员来解决。工程师、研究人员和安全专家都参与到对实用性、安全性和商业可行性的综合考量中,形成了一种全员参与式的风险管理文化,而非仅由高层独自承担决策压力。

向上竞争:以安全为杠杆的行业引力场

Anthropic 的战略押注在于向上竞争(Race to the top),即证明在保持竞争力的同时实现高水平安全是可行的。这种策略不同于单纯追求技术领先而忽视风险的做法,而是试图通过展示双赢(win-wins)来改变行业格局。如果 Anthropic 能够成功证明安全与竞争力可以共存,其成功将产生巨大的引力效应(gravitational force),迫使整个行业模仿其安全实践,如同汽车普及后安全带成为标配一样。

"If you can show that you can do well on safety without sacrificing competitiveness... others are [driven] in that direction."

这种策略依赖于市场机制:随着 Anthropic 的成功,其安全实践将成为行业标杆,影响监管环境、人才流向甚至客户偏好。通过证明可行性,Anthropic 不仅是在构建一家公司,更是在为整个社会从“无技术”到“强技术且受控”的过渡提供路径。这种行业领导力不仅体现在技术性能上,更体现在对安全标准的定义和践行上,从而在长期内获得更广泛的认可和更可持续的发展空间。

负责任使用政策(RSP)的行业示范效应

Anthropic在制定负责任使用政策(RSP)时,面临着在技术创新与安全约束之间寻找平衡的挑战。创始人强调,不能因为担忧风险而阻碍创新,也不能危言耸听地要求创新停止。核心在于建立一套可被行业效仿的安全标准,使AI既对用户有用、有趣,又具备足够的安全性。这种策略并非孤例,而是引发了行业的连锁反应。在Anthropic发布RSP后的几个月内,另外三家最知名的AI公司也迅速推出了各自的类似政策。这表明,通过确立高标准,可以推动整个行业向更安全的方向演进,形成一种“良性竞争”的格局,即其他公司也能在遵循安全准则的前提下取得成功并与我们竞争。

“我们不想做那种‘狼来了’的悲观主义者,我们希望构建积极、美好的事物。”

这种行业同步行动也体现在其他安全领域,例如可解释性研究以及与国际AI安全研究所的合作。特别是Anthropic的“前沿红队测试”(Frontier Red Team)机制,在发布后几乎被立即克隆。这种“安全带”的出口被视为一种积极的信号,意味着所有实验室都在测试那些极具安全风险的场景,从而提升了整体行业的安全水位。

安全作为市场竞争的核心驱动力

在客户层面,安全性已成为决定市场选择的关键因素。客户不仅希望模型具备帮助性,更要求模型无害且不易被越狱(jailbreak),同时避免产生幻觉。这种需求直接转化为市场压力,迫使竞争对手提升模型的可信度和可靠性。许多客户在沟通中明确表示,选择Claude是因为其更高的安全性。这种市场反馈证明,将安全置于核心位置并非自我设限,而是构建了强大的市场护城河。

针对“为了安全而牺牲实用性”的叙事,讨论指出这种观点是自我挫败的。如果一家公司采取不切实际的安全措施,只会吸引那些不关心安全或不愿优先考虑安全的人才,导致决策层缺乏对安全的重视。相反,通过对齐激励机制,在拥有最多证据和支持力的节点做出艰难决策,可以触发“向上竞争”(race to the top)。这种机制能够吸引那些真正关心安全的人才,并迫使其他参与者跟随高标准,从而避免让关心安全的人被边缘化。

可解释性:从黑盒到人工生物学的探索

除了安全与应用,可解释性研究(Interpretability)被视为未来最令人兴奋的方向之一。这不仅是出于安全考量,更源于对神经网络内部结构的美学欣赏。创始人将神经网络比作人工生物学,认为它们并非枯燥的黑盒,而是充满了令人惊叹的复杂结构和美丽形态。正如进化论产生的生物体并非简单重复,而是蕴含无限复杂性,神经网络在训练过程中也展现了惊人的内部逻辑。

“神经网络是美丽的,我们目前只看到了冰山一角。如果你愿意深入其中,会发现里面充满了惊人的结构和美丽。”

目前,我们正处于揭开这一神秘面纱的初期。创始人展望,在未来十年内,可能会出现关于“神经网络生物学”或可解释性的专业教科书,其中将记载大量目前尚未发现的狂野而精彩的发现。这种探索不仅具有科学价值,更被视为一种情感上的满足,因为它揭示了人工智能这一优化过程背后隐藏的深层秩序。这种对内部结构的深入理解,将为未来的技术突破提供坚实基础。

政府能力与AI未来的社会影响

在宏观层面,政府机构建立新的评估和测试AI系统的专门部门,被视为一种积极的信号。这表明国家具备应对这一新技术类别的国家能力(state capacity),而不仅仅是依赖私营企业。这种类似“大使馆”的新机构建立,意味着社会正在为AI带来的转型做好准备,政府将积极参与到这一进程中。

“几年前,如果我说政府会建立 competent 的机构来测试AI,你绝不会相信。但现在这发生了。”

在应用前景上,AI在疫苗开发、癌症研究和生物学研究等领域的初步表现已令人振奋。展望未来三到五年,AI有望帮助解决人类面临的许多根本性问题,特别是在健康领域。这种能力对于改善全球发展状况具有深远意义,使得曾经在国际发展领域难以完成的工作变得可行。这种对未来的乐观预期,建立在当前技术逐步展现出的巨大潜力之上,预示着AI将在解决人类核心挑战中发挥关键作用。

编程能力的爆发式增长与个人应用

在Anthropic内部,Claude的使用场景正在发生显著变化,尤其是编程领域的应用普及率出现了质的飞跃。回顾半年前,团队内部几乎不使用Claude进行代码工作,但如今这一局面已彻底改变。一位联合创始人提到,他在最近的YCU演讲中询问现场观众使用Claude进行编程的比例,结果高达95%的观众举手,这与四个月前几乎无人使用的情况形成鲜明对比。这种转变不仅体现在工作场景中,也延伸到了个人生活中,越来越多的员工开始在家中与Claude进行日常对话,享受其带来的便利。

"Like, our teams didn't really use Claude that much for coding, and now it's like just phase difference."

这种从"几乎不用"到"广泛使用"的快速迭代,反映了模型在代码生成和理解能力上的巨大进步。对于开发者而言,Claude已不再仅仅是一个辅助工具,而是深度融入了工作流的核心环节。这种用户习惯的快速迁移证明了AI在特定垂直领域(如编程)的实用价值正在被市场迅速验证,也为后续更复杂的应用场景奠定了用户基础。

可解释性:通往安全与科学突破的关键

除了应用层面的扩展,联合创始人更关注AI底层能力的突破,其中可解释性(Interpretability)被视为重中之重。他们认为,可解释性不仅是构建安全、可控AI系统的关键,更是理解智能优化问题以及人类大脑运作机制的钥匙。Chris Olah作为该领域的领军人物,其贡献被高度评价,甚至被预言未来可能获得诺贝尔医学奖。这一观点基于这样的逻辑:许多精神疾病(如精神分裂症或情绪障碍)涉及高层级系统问题,而人脑的"柔软"和难以直接交互的特性使得研究困难重重。相比之下,神经网络虽然并非完美类比,但随着时间推移,它们将提供更清晰的研究视角,帮助人类理解复杂的认知机制。

"Chris Olah is gonna be a future Nobel Medicine Laureate. I'm serious."

这种将AI技术与基础科学(如神经科学)相结合的思路,标志着Anthropic的研究重心从单纯的性能提升转向深度理解智能本质。通过可解释性技术,研究人员能够直接观察和分析模型内部的决策过程,从而为构建更安全、更透明的AI系统提供科学依据。这不仅是技术挑战,更是跨学科合作的重大机遇。

AI在生物科学与民主领域的双重愿景

在可解释性之外,AI在生物科学和增强民主两大领域的应用前景也被视为即将打破共识的关键点。在生物领域,AlphaFold获得诺贝尔化学奖标志着AI在蛋白质结构预测上的里程碑式成就。然而,联合创始人认为这仅仅是开始,目标是构建"一百个AlphaFold",以解决更广泛的生物学难题。尽管外界对此仍存疑虑,但共识正在瓦解,AI在生物学中的潜力正被重新评估。

与此同时,AI与民主的关系也是一个紧迫且重要的议题。人们担忧AI若被错误构建,可能成为威权主义的工具;因此,如何确保AI成为促进自由和自我决定的工具,成为Anthropic关注的核心。这一议题虽然比前两者更早进入视野,但其重要性毫不逊色。通过将这些宏观愿景与具体的安全研究相结合,Anthropic试图在推动技术进步的同时,确保其社会影响是积极且可控的。

从理论安全到实证研究的范式转变

随着AI系统能力的不断提升,Anthropic的安全研究也进入了新阶段。越来越多的科学家因对AI的好奇加入公司,并逐渐认同"不仅要推进技术,更要深入理解并确保其安全"的愿景。这种团队内部的共识凝聚,得益于过去一年在AI安全领域的诸多进展。目前,研究重点正从一般的预防措施转向直接调查高度先进系统可能带来的具体风险。通过可解释性和其他安全机制,研究人员能够直接观察和分析这些风险,从而以科学、实证的方式进一步实现公司使命。

"I feel like we're now... really getting a glimmer of what kinds of risks might literally come about from systems that are very, very advanced."

未来六个月,团队将致力于利用对高级系统潜在失败模式的理解,来表征风险并规避陷阱。这种从"预防未知"到"实证研究已知风险"的转变,标志着AI安全研究正走向成熟和精细化。通过深入理解"什么会出错",Anthropic希望为构建真正安全、可靠的超级智能奠定坚实的科学与实践基础。