为什么我们要从事人工智能研究？我先随便点名，Jared，你为什么要做AI？我意思是，我研究物理很长时间了，觉得无聊，想多和朋友聚聚，所以就这样。对，我以为Dario向你推销过这个想法。我不觉得我 explicitly 向你推销过。我只是像展示了一些AI模型的结果，然后试图说明它们非常通用，不仅仅适用于某一件特定的事情。后来，在我向你展示了足够多的案例后，你就说：“哦，对，这看起来是对的。”
你当教授多久了？刚开始的时候？我想大概六年左右。我想我帮忙招募了Sam。我和你聊过，你说：“我觉得我在这里建立了一个很好的圈子……”对。“我的目标是让Tom回来。”这确实奏效了。Chris，当你做可解释性研究时，你是在Google认识大家的吗？不。我想我其实19岁时就见过你们很多人，当时我去……哦，是吗？第一次去湾区。我想那时我认识了Dario和Jared，他们当时是博士后，我觉得那很酷。
后来我在Google Brain工作，Dario加入后，我们坐得很近，实际上有一段时间我们桌子挨着桌子，我也在那里和Tom一起工作。当然，当我去OpenAI时，我和你们所有人一起工作过。对。所以我想我和你们很多人认识已经超过十年了，这有点不可思议。如果我没记错的话，2015年我去参加一个你也在的会议时认识了Dario，我试着采访你，Google的公关说我会读完你需要的所有研究论文……嗯，对，我想我在Google时正在写《AI安全的具体问题》。
我想你写过一篇关于那篇论文的故事。我写过。我记得在我开始和你一起工作之前，你邀请我去办公室，让我聊天，告诉我关于AI的一切。我记得事后我想：“哦，原来这些东西比我意识到的要严肃得多。”你当时可能在解释庞大的计算量、参数计数以及大脑中有多少神经元等等。我觉得Dario经常给人这种效果：“这比我意识到的要严肃得多。”对，我是带来好消息的人。
但记得我们在OpenAI时，关于缩放定律的东西，只是把东西做得更大，开始感觉起作用了，然后它在许多不同的项目中诡异般地继续起作用，我想这就是我们开始紧密合作的原因，因为先是GPT-2，然后是缩放定律，接着是GPT-3，我们最终……对，我们是那群让事情起作用的人。对。没错。我想我们也对安全感到兴奋，因为在那个时期，有一种观点认为AI会变得非常强大，但可能不理解人类价值观，甚至无法与我们沟通。
所以我想我们对语言模型都很兴奋，认为这是一种确保AI系统必须理解某种隐含知识的方式……以及在语言模型之上的人类反馈强化学习（RLHF），这些模型之所以要扩大规模，是因为模型还不够聪明，无法在顶部进行RLHF，这就是我们至今仍相信的安全与模型扩展之间的交织关系。对，我想还有一个因素是，扩展工作是作为安全团队的一部分完成的……嗯哼。Dario在OpenAI开始工作，因为我们认为预测AI趋势对于让我们被认真对待以及认真对待安全问题很重要。正确。
对，我记得在英格兰的一个机场，我从GPT-2采样，用它撰写假新闻文章，然后在Slack上给Dario发消息说：“哦，这些东西真的起作用了。它可能会有巨大的政策影响。”我想Dario说了一些类似“是的”的话。这是他典型的方式。但后来我们也在这方面做了很多工作，包括发布事宜，这有点疯狂。对，我记得发布事宜。我想那是我们开始一起工作的时候。对。那是段快乐的时光。是的。GPT-2的发布。对。但我想这对我们来说是好事，因为我们做了一件有点奇怪、以安全为导向的事情，然后我们最终成立了Anthropic，这是一件更大、有点奇怪、以安全为导向的事情……没错。一起。
所以我想回到《具体问题》这篇论文，因为记得，我大约在2016年加入OpenAI，和你，Dario，一起成为前20名员工之一，我记得当时，《AI安全的具体问题》看起来像是第一个主流AI安全……对。论文，我想？我真的不知道我是否问过你是怎么促成这篇论文的。Chris知道这个故事，因为他参与了其中。我想，当时我们都在Google。我不记得我当时还在做其他什么项目，但就像很多事情一样，这是我试图从当时正在做的某个其他项目中拖延出来的，我现在完全忘记了那是什么。
但我想是Chris和我决定写下在AI安全方面有哪些开放性问题，以及通常人们以一种晦涩、抽象的方式谈论AI安全。我们能否将其扎根于当时正在进行的机器学习？我的意思是，现在已经有六七年在这方面的工作了，但在当时这几乎是一个奇怪的想法。对，我想这在某种程度上几乎是一个政治项目，因为当时很多人并不认真对待安全。所以我想有一个目标，就是整理一份人们认为合理的问题清单，这些问题通常已经存在于文献中，然后找一群来自不同机构、有资格作为作者的知名人士。
我记得我有过很长的一段时间，只是和Brain的20位不同研究人员交谈，以建立发表这篇论文的支持。从某种程度上说，如果你从问题和强调的重点来看，我认为它在很多方面并没有经受住时间的考验，因为它所强调的很多问题，我认为并不是真正正确的问题，但如果你大致看看它……
相反，将其视为一种建立共识的练习，认为这里确实有真实且值得认真对待的东西，那这就是一个非常重要的时刻。我的意思是，你最终会陷入一个非常奇怪的科幻世界。我记得在 Anthropic 成立之初，我们讨论过宪法 AI（Constitutional AI）。我记得 Jared 说：“我们只是给语言模型写一部宪法，这就会改变它的所有行为。”我记得当时这听起来非常疯狂，但你们为什么认为这会奏效？因为我记得这是我们在公司早期提出的几个主要研究想法之一。
是的，我认为 Dario 和我已经讨论过这个问题很长一段时间了。我想简单的事情在人工智能中真的非常有效。所以，最初的版本相当复杂，但后来我们逐渐简化，利用人工智能系统在解决多项选择题方面很擅长这一事实，并给出一个提示，告诉它们正在寻找什么，这基本上就是我们所需要的。然后我们只需写下这些原则。
这又回到了那个巨大的计算量、苦涩教训或扩展假设的问题。如果你能识别出一些可以给 AI 数据的东西，并且这是一个清晰的目标，你就能让它做到。所以，这里有一组指令，这里有一组原则。AI 语言模型可以阅读这组原则，并将它们与自己正在从事的行为进行比较。因此，你有了训练目标，一旦知道了这一点，我认为我和 Jared 的看法是，有一种方法可以让它起作用；你只需要调整足够多的细节。
是的。对我来说，尤其是在早期阶段，这总是很奇怪，因为我来自物理学背景。我想现在我们忘记了这一点，因为大家都对 AI 感到兴奋，但我记得我和 Dario 讨论过具体的问题和其他事情，我只是感觉到 AI 研究人员在心理上受到了“AI 冬天”的严重创伤，他们觉得拥有雄心勃勃的想法或愿景是被严格禁止的。我想在谈论安全性时也是这种情况。要关心安全性，你必须相信 AI 系统实际上可以非常强大和有用，而我认为当时存在一种对雄心的禁止。
我认为好处之一是物理学家非常傲慢，所以他们不断做着非常雄心勃勃的事情，并用宏大的计划来谈论事物。是的。我的意思是，我认为这绝对是真的。我记得在 2014 年，有些事情是不能说的，对吧？但我认为这实际上是学术界普遍存在的问题的延伸，除了理论物理学外，由于各种原因，它们已经演变成非常规避风险的组织。甚至 AI 的工业部分也移植或叉取了这种心态。这花了很多时间，我认为直到 2022 年才摆脱这种心态。
关于什么是保守和尊重，有一种奇怪的现象。你可能会认为，保守意味着认真对待你所做的事情的风险或潜在危害，并为此担忧。但另一种保守则是认为：“啊，把一个想法太当回事，并相信它可能会成功，这在某种程度上是科学的傲慢。”所以我认为有两种不同类型的保守或谨慎，而我们似乎处于受其中一种控制的体制中。从历史上看，你可以看到这一点。例如，看看 1939 年早期参与核物理的人们关于核武器的讨论，这是一种严重的担忧。费米抵制这些想法，因为这看起来太疯狂了；而像西拉德或泰勒这样的人则认真对待这些想法，因为他们担心风险。
是的。也许我在过去十年中学到的最深刻的教训，可能你们也都学到了一些形式，就是可能存在这种看似共识的东西，大家都知道的、看起来很有智慧或常识的东西，但实际上，它们只是伪装成成熟和老练的从众行为。嗯哼。当你看到共识可以一夜之间改变，并且你多次看到这种情况发生时，你会怀疑，但不会真的去赌，你会想：“哦，天哪，我有点这么想，但我懂什么呢？我怎么可能是对的，而所有人都是错的呢？”当你看到几次这种情况，你就会开始说：“不，这就是我们要赌的。我不确定我们是否是对的，但就像，忽略所有这些其他的东西，看着它发生，即使你只有 50% 的时间是对的，这 50% 的正确性贡献也非常大，对吧？你增加了其他人没有增加的东西。”
是的。我觉得这就是我们今天在安全性方面所处的位置，有一种共识认为，很多安全性问题是不寻常的，或者不会自然地从技术中产生。而在 Anthropic，我们进行所有这些研究，奇怪的安全对齐问题作为我们构建的技术的自然红利而出现，所以感觉我们现在处于反共识的观点中。但我觉得这在过去，甚至只是过去 18 个月里一直在转变。我们一直在帮助转变。我们绝对在帮助。不，我的意思是……是的。通过发布和进行研究。持续发布。这种持续的力量。是的。
但我也认为，世界对 AI 的情绪已经发生了巨大的转变。在我们进行的用户研究中，听到客户、普通人说“我非常担心 AI 对世界更广泛的影响”变得更加常见。有时这意味着工作、偏见或毒性，但有时也意味着这是否会搞砸世界，这将如何从根本上改变人类共同工作、运作的方式。说实话，这是我以前没有预测到的。哦，是的。但无论如何，似乎人们……
在机器学习研究领域，人们往往比公众更对人工智能变得极其强大持悲观态度。是的。也许这是一种……公众只是……谦逊之类的，没错。2023年，达里奥和我去白宫时，在那次会议上，哈里斯和雷蒙多等人基本上是说，我 paraphrase 一下，他们基本上说：“我们正盯着你们。人工智能将是一件大事，我们现在确实在关注。”这……他们是对的。他们是对的。他们绝对正确。完全正确。
但我想在2018年，你大概不会想到“总统会召你到白宫，告诉你他们正密切关注语言模型的发展”。是的。这简直是一个疯狂的地方……那不在计划之中。那是2018年的事。还有一件我觉得有趣的事，我想我们都差不多是在看起来没有什么……嗯哼。我们觉得这可能会发生，但就像费米对原子弹持怀疑态度一样。他只是一个优秀的科学家，有一些证据表明这可能会发生，但也有大量证据表明这不会发生。
嗯哼。我想他决定这样做是值得的，因为如果这是真的，那将是一件大事。我想对我们所有人来说，2015、2016、2017年，有一些证据，且证据日益增多，表明这可能是一件大事。但我记得在2016年，我和所有的顾问交谈……是的，是的。我说：“我做过创业的事。我想在AI安全方面提供帮助，但我不擅长数学。我不太确定我能怎么做。”
当时人们要么说：“嗯，你需要在决策理论方面非常优秀才能提供帮助。”我说：“嗯，那可能行不通。”要么他们说：“看起来我们不会得到什么疯狂的人工智能。”所以基本上只有少数几个人说：“是的，好吧，这似乎是一件好事。”我记得2014年我当记者时，绘制了ImageNet结果随时间变化的图表，试图发表关于这些的故事，人们认为我完全疯了。
然后我记得在2015年，我试图说服彭博社让我写一篇关于英伟达的故事，因为每篇AI研究论文都开始提到使用GPU，他们说这完全疯了。然后在2016年，当我离开新闻界投身AI时，我收到这些电子邮件说：“你正在犯人生中最严重的错误。”我现在偶尔会回头看，但当时从许多角度来看，去认真对待这一切似乎都很疯狂，扩展规模将会奏效，技术的范式可能有所不同。
你就像迈克尔·乔丹和高中时不相信他那位教练一样。不过，你当时到底是怎么做决定的？你是感到纠结还是觉得显而易见？我做了一个疯狂的反向赌注，我说：“让我成为你的全职AI记者，薪水翻倍。”我知道他们不会同意。然后我去睡觉，醒来后辞职了。整个过程相当轻松。你真是个果断的人。在那件事上，我是。
我想是因为我去上班，阅读档案论文，然后打印档案论文，回家继续阅读档案论文，包括达里奥在百度的论文，心想：“这里正在发生一些完全疯狂的事情。”在某个时刻，我认为你应该坚定地下注。我想这里的每个人在职业生涯中都这样做过，就是坚定地相信这会奏效。是的。我绝对没有你那么果断。我花了大约六个月时间反复犹豫，“好吧，我真的应该吗？我应该做吗？我应该尝试创业吗？我应该尝试做这件事吗？”
但我也觉得那时候，关于工程师以及工程师能对AI产生多大影响的讨论并不多，对吧？是的，是的，不可能。这现在对我们来说很自然。我们处于类似的人才提升阶段，各种类型的工程师都受到重视，但当时，你是研究人员，只有研究人员才能从事AI工作。是的。所以我认为你花时间思考这件事并不疯狂。
是的，是的，我想基本上就是那件事让我加入了OpenAI。我给他们发了消息，他们说：“是的，我们实际上认为你可以通过……”是的。“做工程工作来提供帮助。”是的。“并且你可以以这种方式在AI安全方面提供帮助。”嗯哼。我想当时并没有这样的机会，所以这就是……没错。把我带到那里的原因。你在OpenAI是我的经理。是的，没错。我想我加入时你已经在那里待了一段时间了。有一段时间。因为我在Brain待过一段时间。是的。我不知道我是否问过你是什么让你加入的？
是的，我在Stripe工作了大约五年半，我认识格雷格；他曾经是我的老板。他在Stripe当过我很长一段时间的老板，实际上我介绍了他和达里奥，因为当达里奥开始创立OpenAI时，我说：“我认识的最聪明的人是达里奥。你能得到他真的很幸运。”所以达里奥在OpenAI，我有一些来自Stripe的朋友也去了那里。我想和你一样，我一直在思考离开Stripe后想做什么。我去那里只是为了在从事非营利组织和国际发展工作后获得更多技能，我实际上以为我会回去做那些事。基本上，我一直都在工作。我说：“我真的想帮助那些……你知道，比我处境差的人。”
是的。但在去Stripe之前做那些事时，我没有那样的技能。所以我看了一下回到公共卫生领域。我短暂地想过回到政界，但我也在观察其他科技公司和其他产生影响力的方式，而OpenAI在当时感觉是一个很好的交汇点。它是一个非营利组织，致力于一个非常宏大、崇高的使命。我真的相信AI的潜力，因为，我是说，我认识达里奥一点，所以他……他们需要管理方面的帮助。他们确实需要帮助。这是事实。所以我觉得这非常符合我的特质。我说：“哦，有一个非营利组织，有很多非常棒的人。”
带着这些良好的初衷，但看起来他们有点乱。“——是的。这对我来说真的很令人兴奋，能够加入进来，而且你知道，我就像一个全能选手，对吧？我负责管理团队，但也负责一些技术团队——扩展组织，没错。——是的，扩展组织，我参与了语言团队的工作，我接手了——你参与了政策工作——
我参与了一些政策方面的工作，我和克里斯一起工作，我觉得那里的员工有很多优点，我非常渴望加入并尝试让公司运作得更顺畅一些。——我记得在最后阶段，在我们完成 GPT-3 之后，你说：‘你们听说过‘信任与安全’这回事吗？’——是的，我记得！
那确实发生了。——是的。——是的。——我说，你知道，‘我以前在 Stripe 负责过一些信任与安全团队。有一件事叫‘信任与安全’，你们可能要考虑一下，对于这样的技术而言。’有趣的是，这似乎是介于 AI 安全研究（即如何让模型真正安全）和更实际事物之间的中间步骤。
我认为说‘这将是一件大事；我们也必须每天做这种实际工作，以建立肌肉记忆，以便在事情变得风险更高时应对’是有价值的。——这可能是谈论负责任扩展政策（RSP）及其由来、原因和当前使用情况的一个很好的过渡点，
特别是考虑到我们在当今模型上所做的信任与安全工作。那么 RSP 是谁的想法？是你和保罗吗？——是的，我和保罗在 2022 年底首次讨论了它，保罗·克里斯蒂安诺。——嗯哼。——起初的想法是，哦，我们是否应该在发现如何解决某些安全问题之前，将扩展限制在某个特定水平？然后想法变成了，嗯，
在某个地方限制它然后再放开似乎有点奇怪，所以让我们设置一系列阈值，在每个阈值上，你必须进行某些测试以查看模型是否具备能力，并且你必须采取越来越多的安全和安全措施。但最初我们有了这个想法，然后想法是，看，如果由第三方来做，效果会更好。
比如，不应该是我们来做，对吧？不应该来自一家公司，因为这样其他公司不太可能采用它。所以保罗实际上去设计了它，你知道，它的许多功能都发生了变化，而我们这边则在研究它应该如何运作。你知道，一旦保罗有了初步成果，那么在他宣布
概念后的一个月或两个月内，我们就宣布了我们自己的。我的意思是，我们许多人深度参与了其中。我记得我自己至少写了一个草稿，但有好几个草稿。——草稿太多了。——我认为它经历了任何文档中最多的草稿。——是的。——这很有道理，对吧？就像美国对待宪法一样，
把它视为神圣的文档。——是的。——我认为这是一个加强美国的大事情。——是的。——就像我们不希望美国偏离轨道，部分原因是因为美国每个人都像‘宪法很重要，如果你践踏它——’——是的。——‘我很生气。’——是的，是的。——我认为 RSP 就是我们的，它
就像 Anthropic 的神圣文档。所以值得进行大量迭代以确保其正确。——我认为在 Anthropic 观察 RSP 发展过程中很酷的一点是，它似乎经历了许多不同的阶段，并且需要许多不同的技能才能使其运作，对吧？有那些宏大的理念，我觉得达里奥、保罗、萨姆
和贾里德以及许多其他人都在想：‘原则是什么？我们试图表达什么？我们如何知道我们是对的？’但也有这种非常操作性的方法，即不断迭代，我们想：‘嗯，我们以为我们会在这个安全水平上看到这种情况，但没有，所以我们是否应该改变它，以确保我们对自己负责？’
然后还有各种组织事务，对吧？我们想：‘让我们改变 RSP 组织的结构，以实现更清晰的问责制。’我认为我的感觉是，对于这样一份重要的文档，就像我喜欢的宪法类比一样，美国存在许多机构和系统来确保我们遵守宪法，对吧？
有法院，有最高法院，有总统，有国会的两院，当然他们还做各种其他事情，但你需要围绕这一份文档建立所有这些基础设施，我觉得我们也在这里学到了这一课。——我认为这在某种程度上反映了我们许多人对于安全的看法，即这是一个可解决的
问题。——嗯哼。——它只是一个非常非常难的问题，需要大量工作。——嗯哼。——是的。——我们需要建立的所有这些机构，比如围绕汽车安全建立的许多机构，历经多年才建成。但我们想：‘我们有时间这样做吗？我们必须尽可能快地弄清楚我们需要哪些机构
用于 AI 安全，并建立这些机构，尝试首先在这里建立它们，但要使其具有可出口性。’——没错。——这也迫使统一，因为如果组织的任何部分与我们的安全价值观不一致，就会通过 RSP 显现出来，对吧？RSP 将阻止他们做他们想做的事，所以这是一种反复提醒每个人的方式，基本上
让安全成为产品需求，成为产品规划过程的一部分。所以，这不仅仅是一堆我们重复的陈词滥调；如果你来到这里并且没有对齐，你实际上会遇到它。——是的。——你必须学会跟上节奏，否则就不会成功。——是的。——随着时间的推移，RSP 变得有点有趣，因为
我们花了数千小时的工作在上面，然后我去和参议员交谈，我解释 RSP，我说：‘我们有一些东西意味着很难窃取我们制作的东西，而且它是安全的。’他们说：‘是的，这是一件完全正常的事情。你是说不是每个人都这样做吗？’你像：‘哦，好吧，是的。’是的。——不每个人都这样做是半真半假的。——
是的。——但这很奇妙，因为我们在这上面投入了大量精力，但归结起来，他们却说：“是的，这听起来像是做这件事的正常方式。”——是的，听起来不错。——这正是我们的目标。就像达妮埃拉说的：“让我们让它变得枯燥且正常。让我们把它变成像财务那样常规的事情。”——是的，想象一下就像审计一样。——对，对。——对吧？是的。——不，
枯燥且正常正是我们想要的，当然从 retrospect（回顾）来看。——是的。而且，达里奥，我认为除了推动对齐之外，它还推动了清晰度——嗯哼。——因为这是我们试图做的事情的文字记录，对公司内部每个人来说都是清晰可见的，从安全角度来看，外部也能看清我们自以为应该追求的目标。它并不完美。我们正在迭代
它，让它变得更好，但我认为有价值的是明确说出：“这就是我们担心的，这里的东西。”你不能仅仅用这个词来在任何一个方向上 derail（使脱轨）某事，对吧？不能说：“哦，因为安全原因，我们不能做 X，或者因为安全原因，我们必须做 X。”我们真正试图做的是澄清我们的含义。——是的，它防止你担心
太阳下的每一件小事。——没错。——因为实际上是消防演习在长远上损害了安全的事业。——对。——我曾说过：“如果有一栋建筑，你知道的，火警每周都响，那这是一栋非常不安全的建筑。”——嗯哼。——因为当真的发生火灾时，你只会————没人会在乎。——
“哦，它总是响。”所以————是的。——保持校准非常重要。——是的。——没错。——是的。一个稍微不同的框架，我觉得有点澄清作用的是，我认为 RSP（风险评估框架）在许多层面上创造了健康的激励措施。——嗯。——所以我认为在内部，它使每个团队的激励措施与安全保持一致，因为这意味着如果我们在安全上没有进展，我们就会
受阻。我也认为在外部，它创造了比其它可能性更健康得多的激励措施，至少在我看到的范围内，因为这意味着，如果你知道，如果我们最终必须采取某种戏剧性的行动，比如，如果我们最终必须说：“你知道，我们的模型，我们已经达到某个阶段，还无法使模型变得安全”，这与
有证据支持该决定的点以及思考它的既定框架保持一致，并且它是清晰可见的。所以我认为在许多层面上，RSP，我认为以某种方式，也许我最初在讨论早期版本时没有理解，它创造了比我考虑过的任何其他框架都更好的框架。——我认为这些都是真的，
但我觉得它低估了弄清楚正确的政策、评估以及界限究竟应该是什么有多么困难。我认为我们已经并且继续在这方面进行大量的迭代，而且我认为还有一个棘手的问题，即你可能处于一个非常清楚某事是危险的或非常清楚某事是安全的
点，但对于一些如此新的技术，实际上存在一个巨大的灰色地带。所以我认为这一直是，就像我们所说的所有事情，这些是我在开始时对 RSP 感到非常兴奋的原因，现在也是如此，但我认为以清晰的方式执行并使它发挥作用比我预期的要困难和复杂得多。——是的，我认为这完全
是重点。就像————是的。——就像灰色地带是不可能预测的。它们太多了。就像，直到你真正尝试实施一切，你才知道会发生什么错误。所以我们试图做的是去实施一切，以便尽可能早地看到会发生什么错误，所以————是的，你必须————灰色地带是————你必须做三到四遍
之前————是的。——是的。——在你真正把它做对之前。就像，迭代是非常强大的，你知道的，你不可能第一次就做对。所以，你知道，如果赌注在增加，你想尽早进行迭代；你不想在晚的时候进行。——你也在建立内部机构和流程，所以具体细节可能会发生很大变化，但
建立做这件事的肌肉记忆才是真正有价值的东西。——我负责像 Anthropic 的计算资源，所以————这很重要。——所以，谢谢。我是这么认为的。所以对我来说，我想我们必须应对外部人员————是的。——不同的外部人员处于不同的光谱上，比如，他们认为事情会多快进展？——嗯哼。——我认为这也是一个因素，我起初并不认为事情会那么快，但随着时间的推移改变了看法。所以，我对这一点表示同情。因此，我认为 RSP 对我与那些认为事情可能需要更长时间的人进行沟通非常有用，因为这样我们就有了一个东西，即我们不需要采取极端的安全措施，直到事情变得非常
激烈，然后他们可能会说：“我认为事情在很长一段时间内不会变得激烈。”然后我会说：“好的，是的，我们不需要采取极端的安全措施。”这使得与其他外部人员的沟通变得容易得多。——是的，是的，它让这变成了一件你可以谈论的正常事情，而不是某种非常奇怪的事情。——是的。——是的。它还如何体现在
人们身上？你是————评估，评估，评估。——很好。——一切都关于评估。每个人都在做评估。就像，你的训练团队一直在做评估。我们试图弄清楚，这个模型是否变得足够好，以至于有潜在的危险？所以我们有多少个评估团队？你有前沿红队。肯定有很多，我的意思是有很多人————每个
团队基本上都产生评估。——这意味着你只是在针对 RSP 进行测量，比如测量某些会让你担心或不会让你担心的迹象。——完全正确。比如，很容易对模型的能力进行下界估计，但很难进行上界估计，所以我们投入了大量的研究努力，比如说：“这个模型能做这件危险的事吗？或者不能？也许有
一些我们没想到的技巧，比如思维链或最佳事件或某种工具使用，这将使它能够帮助你做非常危险的事情。”——它在政策方面真的很有用，因为安全一直是一个非常抽象的概念，而当我像这样说：“我们有一个评估，它决定了我们是否部署模型”，然后你可以去校准
政策制定者、国家安全专家或我们涉及的CBRN领域专家，实际上能帮助我们构建校准良好的评估体系，从反事实角度来看，这些评估原本是不会发生的。但一旦你有了具体的事物，人们就会更有动力帮助你使其准确，因此这在这方面很有用。RSP对我来说确实显现出来了。奇怪的是，我认为我对RSP最主要的思考方式就像它听起来的样子——就像语调。我认为我们刚刚对RSP的语调进行了大幅重写，因为它感觉过于技术官僚，甚至带有一点对抗性。我花了很多时间思考如何构建一个人们想要参与的系统。
如果RSP是公司的每个人都可以走在一起告诉你的事情，那就好得多，就像我们现在做的OKR一样。RSP的最高目标是什么？我们如何知道是否达到了这些目标？我们目前的AI安全水平是多少？是ASL-2还是ASL-3？人们知道该寻找什么，因为这是你们对某事是否出错拥有良好共同知识的方式。如果它过于技术官僚，只有公司里的特定人员觉得他们可以接触，那就没那么高效了。
看着它转变为一份文件真的很酷，我认为公司里的大多数人，如果不是所有人的话，无论他们的角色如何，都可以阅读它并说：“这感觉很合理。我想确保我们以以下方式构建AI，我明白我为什么担心这些事情，如果碰到某些情况，我也知道该寻找什么。”这几乎就像是让它足够简单，以至于如果你是在制造厂工作，心想“看起来这个安全带的连接方式应该是这样的，但它没有连接”，你也能发现它。
领导层、董事会、公司其他人员以及实际构建它的人员之间存在着健康的反馈流动，因为我认为在大多数情况下，事情出错的方式仅仅是线路没有连接或接错了，这将是一种令人遗憾的出错方式。这一切都在于将其操作化，让人们容易理解。我想说的是，我们没有人想要创办一家公司。我们只觉得这是我们的责任。感觉我们不得不这样做。
我们必须做这件事。这是我们要让AI变得更好的方式。这也是我们做承诺的原因。因为我们做这件事是因为感觉这是我们的责任。我想以某种有益的方式发明和发现事物。这就是我接触它的方式，这导致我从事AI工作，而AI需要大量的工程，最终AI需要大量的资本，但我发现，如果你不是以设定环境、建立公司的方式来做到这一点，那么很多工作会被完成，很多工作会重复我在科技界发现的令人疏远的相同错误。
还是那些人，同样的态度，同样的模式匹配。所以在某个时刻，似乎不可避免地我们需要以不同的方式来做到这一点。当我们还在研究生院混的时候，我记得你有一套完整的计划，试图弄清楚如何以推进公共利益的方式做科学。我认为这与我们思考这个问题的方式非常相似。我想你有一个叫范内瓦计划之类的项目来做这件事。我是一名教授。我想我基本上只是看着局势，确信AI在影响力方面处于非常陡峭的轨迹上，似乎并不是因为资本的必要性。
作为一名物理学教授，我可以继续做那件事，我确实想与我信任的人一起建立一家机构，试图让AI发展良好。但我永远不会推荐创办公司，或者真的想做。我想这只是一个达到目的的手段。通常事情顺利发展都是这样。如果你做某事只是为了让自己富裕或获得权力，或者你必须真正关心在世界中实现一个真正的目标，然后找到你拥有的任何手段。
我认为对我们来说，作为一个战略优势，我想得很多，也就是说，听起来很好笑，但就像这张桌子上的信任程度一样。我想这不是，汤姆，你在其他初创公司待过。我以前从未当过创始人，但实际上很难让一大群人拥有相同的使命。我想当我走进工作时，我感到最开心、在Anthropic最自豪的事情，就是这在很多人身上扩展得有多好。
在我看来，在这个群体和其余的领导层中，每个人都是为了使命而来，我们的使命非常清晰，而且非常纯粹。我认为这是达里奥提到的，在科技行业中不常看到的东西。感觉我们试图做的事情有一种 wholesome（纯正/健康）的感觉。是的，我同意，我们没有人像“让我们去创办一家公司！”那样想。我觉得我们不得不这样做。感觉我们不能再在我们所在的地方继续做我们一直在做的事情。我们必须自己做。
感觉随着GPT-3，你知道，我们都接触过或工作过，以及扩展定律等一切，我们在2020年就在眼前看到了它。感觉如果我们要不尽快一起做些什么，你就会达到不可逆转的点。你必须做些什么才有任何能力去改变环境。我想，基于达妮埃拉的观点，我认为这个群体中确实有很多信任。我认为我们每个人都清楚，我们投身于此是因为我们想帮助世界。
我们做了80%的承诺，那是每个人都觉得“是的，显然我们会这样做”的事情。是的，我认为信任是一件特别的事情，极其罕见。我归功于达妮埃拉保持高标准。我归功于你……把小丑拒之门外。把小丑拒之门外。首席小丑驯兽师！那是我的工作。不，但你是文化得以扩展的原因，
“是的。人们常说这里的人都很友善。”“没错。”“这其实是一件极其重要的事情。”“我认为 Anthropic 的政治氛围很淡，当然，我们每个人的视角都与普通人不同，我试着记住这一点。”“这是因为自我意识低。”“确实自我意识低，而且我认为我们的面试流程以及在这里工作的人的类型，几乎对政治有一种过敏反应。”“还有团结。”“嗯哼。”“团结至关重要。产品团队、研究团队……”“是的。”“信任与安全团队、市场团队、政策团队……”“没错。”“比如安全方面的人员，他们都在为公司的同一个目标、同一项使命做出贡献，对吧？”“是的。”
“我认为，当公司的不同部门认为自己在追求不同的目标，或者认为公司关注点不同，甚至认为其他部门在阻碍他们的工作时，这是功能失调的。”“没错。”“我认为我们成功保留下来的最重要的一点，再次强调，RSP（责任与安全原则）推动了这一理念：并不是说公司的某些部分造成损害，而其他部分试图修复，而是公司的不同部分履行不同的职能，但它们都在单一的理论变革框架下运作。”“极端的实用主义，对吧？”“没错。”
“你知道，我最初加入 OpenAI 的原因，是因为那是一家非营利组织，是一个我可以专注于安全的地方。但随着时间推移，也许那并不是一个很好的契合点，也做出了一些艰难的决定。在很多方面，我真的很信任 Dario 和 Daniela 的判断，但我不想离开。我认为我实际上相当不情愿接受这一点，因为一方面，我并不认为世界上有更多的 AI 实验室是好事。而且，我认为我对此相当、相当不情愿。”
“而且，当我们离开时，我想我是不情愿创业。我认为我争论了很长时间，我们应该成立一个非营利组织，只专注于安全研究。”“是的。”“我认为，正是实用主义，直面限制，并诚实地看待这些限制对实现使命意味着什么……”“嗯哼。”“这导致了 Anthropic 的诞生。”“我认为我们早期做得很好的一项重要教训是：少做承诺，多兑现承诺。”“没错。”“对吧？”“是的。”“比如，要力求校准，保持现实，直面权衡，因为你知道，信任和信誉比任何特定政策都重要。”“没错。”
“拥有我们现在这样的环境非常不寻常。看着 Mike Krieger 为安全事项辩护，比如为什么我们还不应该发布产品，然后又看着 Vinay 说，‘好吧，我们必须为业务做正确的事。我们如何跨过终点线？’”“嗯哼，没错。”“听到技术安全组织深处的人谈论构建对人们实用的东西同样重要，听到推理工程师谈论安全。这太棒了。我认为，这也是在这里工作的最特别之处之一，就是每个人在团结一致的背景下，优先考虑实用主义、安全和业务。这太不可思议了。”
“最安全的举措……”“我认为……”“没错。”“分散权衡……”“没错。”“从公司领导层分散到每个人，对吧？”“是的。”“我认为功能失调的世界是，有一群人只看到大局，比如安全部门说‘我们必须始终这样做’，产品部门说‘我们必须始终这样做’，研究部门说‘这是我们唯一关心的’。然后你就被困在顶层了，对吧？”“是的。”“你被困在顶层。你必须做出决定，而你拥有的信息并不比他们中的任何一个多。这就是功能失调的世界。”
“功能失调的世界是，当你能够向每个人传达‘我们共同面临这些权衡’时，这就是功能正常的世界。”“没错。”“世界远非完美之地。只有权衡。你所做的每件事都将是次优的。你所做的每件事都将是试图两全其美的尝试，但结果往往不如你预期的好，而每个人都在同一页面上，共同面对这些权衡，他们只是感觉自己在从特定的立场面对它们。”“嗯哼。”“从特定的职位，作为整体工作的一部分，共同面对所有权衡。”
“这是一场向上的竞赛，对吧？”“这是一场向上的竞赛，是的。”“这不是纯粹的看涨赌注。事情可能会出错，但是……”“没错。”“我们都一致认同‘这是我们正在做的赌注’。”“市场是务实的，所以 Anthropic 作为公司越成功，人们模仿我们成功之处的动力就越大。而且，如果这种成功与我们实际做的安全事项紧密相关，那么它就在行业内产生了一种引力，实际上会让行业的其余部分参与竞争。就像‘当然，我们会制造安全带，其他人可以模仿它们。’这很好。是的。”“那是一个美好的世界。”“真的很好。”
“没错。这是一场向上的竞赛，对吧？但如果你说‘好吧，我们不会制造技术，你也不会比其他人做得更好’，那最终是行不通的，因为你没有证明从现状到达目标的可能性是可行的。”“嗯哼。”“世界需要到达的地方，更不用说行业或一家公司了，是需要我们成功地从‘技术不存在’过渡到‘技术以非常强大的方式存在’，并且社会实际上已经管理好了它。我认为，唯一能实现这一点的方法是，在单家公司层面，并最终在行业层面，你们实际上是在面对这些权衡。你们必须找到一种方法，实际上保持竞争力，实际上引领行业，在某些情况下，同时还能安全地做事。如果你能做到这一点，你施加的引力是如此之大。”
“有许多因素，从监管环境，到希望在不同地方工作的人员类型，甚至有时是客户的观点……”“没错。”“这些因素都会推动方向，如果你能证明在不牺牲竞争力的情况下可以在安全方面做得好，如果你能找到这种双赢的局面，那么其他人就会……”
被激励去做同样的事情。——是的，我的意思是，我认为把RSP（负责任使用政策）做好之所以如此重要，是因为我认为我们自己，看到技术发展的方向，经常想到：“哦，哇，我们需要非常小心这件事。”但同时，我们也必须更加小心，不要狼来了，说像“创新需要在这里停止”。我们需要找到一种方法，让AI对客户有用、创新、令人愉悦，但也弄清楚我们必须支持的约束到底是什么，使系统安全，以便其他人认为他们也可以做到，并且他们可以成功，可以与我们要竞争。——我们不是末日论者，对吧？像，我们要建立积极的东西。——是的。——我们要
像建立好的东西。——我们在实践中看到了它的发生。在我们推出RSP几个月后，三家最突出的AI公司都有一个，对吧？可解释性研究，那是我们做的另一个领域。仅仅是对整体安全的关注，比如与AI安全研究所的合作，其他领域。——是的，前沿红队几乎立即被克隆，这是好事。
你希望所有实验室都在测试非常、非常令人恐惧的安全风险。——出口安全带。——是的，完全正确。——嗯哼，出口安全带。好吧，杰克之前也提到过，但客户也非常关心安全，对吧？客户不想要产生幻觉的模型。他们不想要容易被越狱的模型。他们想要有帮助且无害的模型，
对吧？——是的。——所以很多时候，我们在客户通话中听到的只是，“我们要选择Claude，因为我们要知道它更安全。”我认为这也是巨大的市场影响，对吧，因为我们拥有值得信赖和可靠的模型的能力，这对于它对竞争对手施加的市场压力也很重要。——也许稍微展开一下达里奥说的一些内容，我认为
有一种叙事或这种想法，即也许美德的事情是几乎像高贵地失败，对吧？就像你应该去，像把安全，你应该去，像把东西，你应该以一种不切实际的方式展示，以便你可以以一种不切实际的方式展示你对事业的纯洁性之类的东西。我认为如果你这样做，实际上是非常自相矛盾的。首先，
这意味着那些做决定的人将是自我选择的，那些不在乎的人，以及那些不优先考虑安全且不在乎的人。我认为，另一方面，如果你努力找到对齐激励的方法，使其如此，如果有艰难的决定，它们发生在最有
力量去支持和做出正确的艰难决定的地方，以及最有证据的地方，那么你可以开始触发达里奥描述的向上竞争，在那里，而不是让关心的人被挤出影响力，你反而拉动其他人不得不去跟随。——那么，对于接下来我们要做的
事情，你们都对什么感到兴奋？——嗯，我认为有很多理由你可以对可解释性感到兴奋。一个是显然的安全，但还有另一个我认为我在情感层面上发现，同样令人兴奋或同样对我有意义，那就是我认为神经网络是美丽的，我认为其中有很多美丽是我们看不到的。我们对待它们像
这些黑盒子，我们对内部的东西特别不感兴趣，但当你开始去查看它们内部时，它们充满了令人惊叹、美丽的结构。你知道，就像如果人们看生物学，他们会说，“你知道，进化真的很无聊。它只是一个简单的东西，运行很长时间，然后制造动物，”而像，相反，
它就像，实际上，你知道，进化产生的每一个动物，我认为，你知道，它是一个优化过程，比如训练神经网络。你知道，它们充满了令人难以置信的复杂性和结构，我们在神经网络内部有一个整个类似人工生物学的东西。如果你愿意查看它们内部，这里有所有令人惊叹的东西。而且我
认为我们才刚刚开始慢慢解开它，这是令人难以置信的，那里有那么多，但我们发现那里有那么多。我们才刚刚开始揭开它，我认为它会很惊人且美丽。有时我想象，你知道，比如十年后，走进书店并购买，你知道，关于神经网络可解释性或
真的，像关于神经网络生物学的教科书，以及里面将会有的那种疯狂的东西。我认为在接下来的十年，甚至在接下来的几年里，我们将去开始进入并真正发现所有这些。那将会很疯狂且令人难以置信。——那也很棒，你可以买到你自己的教科书。——就在上面印你的脸。——我
意思是，是的。——我很兴奋几年前如果你说，像，“政府将建立新机构来测试和评估AI系统，它们实际上将是胜任和好的，”你不会认为那会发生。但它发生了，这有点像政府建立了这些新的使馆，几乎，以处理这种新技术类别或，像，克里斯
研究的东西。我只是非常兴奋看到那会去哪里。我认为这实际上意味着我们有国家能力来处理这种社会转型，所以不仅仅是公司。我很兴奋能参与其中。——我已经对此感到兴奋，你知道，在一定程度上今天，但我想只是想象未来的世界，AI将能够为人们做什么，是
不可能不感到兴奋。达里奥经常谈论这个，但我想甚至只是Claude能够帮助，你知道，疫苗开发和癌症研究和生物研究的些许迹象，是疯狂的，像，只是能够观看它现在能做什么，但当我快进，你知道，三年后或五年后，想象
Claude实际上可以解决我们作为人类所面临的许多基本问题。即使仅仅从健康角度来看，即使你把其他一切都排除在外，对我来说真的很令人兴奋，就像回想我的国际发展时期。如果Claude负责帮助做很多我试图做的少得多的工作，那将是惊人的
我大概在25岁时就有效地做到了这一点。——我的意思是，我想我们也是类似的，我很兴奋能在工作构建Claude。我很兴奋将Claude打造进公司，并推向世界各地的企业。——我想我只是出于个人原因感到兴奋，比如，我很喜欢在工作中使用Claude，所以毫无疑问，我花在家里的时间越来越多，经常只是和Claude聊天。
最近最大的变化在于代码——嗯哼。——就像六个月前，我根本不用Claude做编码工作。我们的团队当时也没有太多用Claude进行编码，而现在情况截然不同。就像我在两周前在YCU发表演讲时，一开始我问：“好，在座有多少人现在用Claude进行编码？”结果 literally 95%的人举了手。
——哇。——哇。——就像房间里所有的手都举起来了，这完全不同于四个月前的情况。——嗯哼。——是的。——所以当我思考令我兴奋的事情时，我想到了那些领域，你知道的，就像我之前说的，那里有一种共识，再次看来像是共识，像是所有明智之人的想法，然后这种共识开始破裂。
我想到了那些即将发生但尚未发生的地方。其中之一是可解释性。我认为可解释性既是引导和制造安全AI系统的关键，而且我们即将理解它，可解释性包含了关于智能优化问题以及人脑工作原理的见解。我曾说过，而且我绝不是开玩笑，Chris Olah将会成为未来的诺贝尔医学奖得主。
——哦，是的。——我是认真的。我是认真的，因为很多这些，我以前是神经科学家，很多这些精神疾病，那些我们还没搞懂的，比如精神分裂症或情绪障碍，我怀疑那里有一些更高层级的系统机制在起作用，而且很难用大脑来理解它们，因为大脑太柔软、难以打开和互动。
神经网络并非如此；它们不是完美的类比，但随着时间的推移，它们会成为更好的类比。这是一个领域。第二点，与此相关，我认为仅仅是AI在生物学中的应用。生物学是一个极其困难的问题。出于各种原因，人们仍然持怀疑态度。我认为这种共识开始破裂了。我们看到了诺贝尔化学奖颁发给AlphaFold；这是一项非凡的成就。
我们应该努力构建能够帮助我们创造一百个AlphaFold的东西。最后，利用AI增强民主。我们担心如果AI以错误的方式构建，它可能成为独裁主义的工具。AI如何能成为自由和自我决定的工具？我认为这一点比前两点更早到来，但它同样重要。——是的，我的意思是，我想有两件事至少与你之前说的相联系，我的意思是，我觉得人们经常加入Anthropic是因为他们对AI有着科学上的好奇心，
然后被AI的进步所说服，从而分享这种愿景，即不仅推动技术发展，还要更深入地理解它，并确保它是安全的。我觉得和那些在工作中的人一起，他们对AI发展愿景以及与之相关的责任感的统一，确实令人兴奋。我觉得这在过去一年里发生了很多，得益于许多进展，比如Tom所谈论的。
另一件事是，我的意思是，回到具体的问题上，我觉得到目前为止我们在AI安全方面做了很多工作。其中很多非常重要，但我认为我们现在，随着一些最近的发展，真正看到了从非常先进的系统中可能产生的风险类型的曙光——嗯哼。——所以我们可以直接调查和研究它们，
通过可解释性，通过其他类型的安全机制，并真正理解来自非常先进AI的风险可能是什么样的。我认为这真的将允许我们以一种非常深入的、实证的方式推进我们的使命。所以我兴奋于未来六个月，我们将如何利用我们对先进系统可能出错的理解来描述它，并找出如何避免这些陷阱。——完美。结束！——耶！——我们做到了！——哇！——美好的时光。——我知道。我们得经常这样做。