欢迎收听跨过串门计划,这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播一凯,一位热衷于 AI 领域的产品经理,很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来,让我为您简单介绍本期我们克隆的这档节目,并分享几句非常精彩的原话。本期我们克隆的是 Bloomberg Originals 旗下 The Circuits 在 2026 年 6 月 17 日更新的一期加长访谈,主持人 Emily Chang 对话 Anthropic CEO 达里奥·阿莫代迪。
达里奥是 Anthropic 联合创始人,也曾在 OpenAI、百度等机构工作,是当下全球 AI 竞赛中最受关注的人物之一。他有几句原话让我印象很深,感觉就像指数增长,比如说你坐在一艘宇宙飞船上,以接近光速的速度离开地球。如果你选择的商业模式从根本上和你的价值观冲突,你会很难办。重要的只有两件事,我们作为一家公司要成功,同时我们要捍卫自己的价值观。
我们需要更理性、更温和的做法。这些话背后有很多张力和细节,那我们就一起来听听这期完整对话。你现在睡得怎么样?我一直不是那种睡眠特别好的人,只能说我正在学习怎么在压力异常大的时候找到放松和睡着的方法。一切都推进的太快了。从内部看,这是什么感觉?感觉就像指数增长。比如说,你坐在一艘宇宙飞船上,以接近光速的速度离开地球,按照狭义相对论,你睡一觉醒来。
地球上已经过去了两天,于是你要在一天里处理两天发生的事,然后你又去睡觉,因为飞船还在继续加速。醒来时,地球上已经过去了三天,再下一天又过去了四天,这大概就是现在的感觉。你会不会每天睡觉前都很偏执,担心醒来以后会发生什么?我们确实有足够多迫在眉睫的问题要处理。我一边不停处理这些问题,一边思考我们该怎么做准备。
但我不觉得偏执或者担心醒来以后会发生什么是有建设性的。我看过历史上一些人,他们也处理过这种高压局面。你需要学会理性应对,不要把不同危险之间的比例关系搞乱。一会儿说我不担心,一会儿又说天啊,今天必须恐慌,这种来回摇摆,我觉得是不成熟决策的标志。真正成熟的决策是,你不能忽视它。我们不能自满。事实上,风险正在变得越来越大,但我们必须理性应对。
就像外科医生做手术,或者军官指挥一次军事行动,任何要做出影响很多人的决定的人都必须理性决策。他们必须理解风险,但也必须保持基本的冷静。我儿子昨天还问我能不能用你的 Claude Code 账号,我说绝对不行,我需要我的 tokens。我们在消费级场景里也看到越来越多这种情况。我们本来想更像一家企业级公司,但即使我们没有在消费级市场上投入那么多精力,它也开始增长得很快。
你现在站在 AI 宇宙的中心,这是什么感觉?有意思的是,我整个职业生涯里,尤其是在 Anthropic 的这段时间里,体验一直像一条平滑指数曲线。平滑指数曲线给人的感觉是什么都没发生,什么都没发生,什么都没发生,然后发生了一点小事儿,接着一下子就失控般加速。这是我对世界的感受,也是公司规模相对于其他公司、相对于整个世界时的感受。
所以我看这个图已经看了一段时间,我当时说大概就在这个时间点,我们会成为收入最高、估值最高的 AI 公司,结果确实发生了。所以从一个角度说,我并不惊讶,因为图上就是一条平滑的线。但从另一个角度说,当事情真的发生时,你会看到更多细节和色彩。那当然还是会让人惊讶。不过,我们仍然记得自己一直在关注的那些问题:怎么训练好的模型?
怎么把它们放进好的产品里?怎么确保一切安全?还有怎么帮助人们同时管理这项技术带来的社会风险?问题还是那些问题,只是好像被放在了更大的显微镜下面。你小时候在旧金山长大是什么样的孩子?我知道你父亲是皮革工匠,母亲在图书馆工作,这些经历怎么影响了你?当时第一波互联网革命就在我身边发生,但我完全没有兴趣。我只对做数学感兴趣,喜欢随手写下我感兴趣的东西,像理解宇宙。
我也喜欢科幻。那大概就是我当时所处的整体环境。我觉得自己只是对这个世界有很强的好奇心。你成长的这个城市是科技中心,现在它又是 AI 的中心。这里这座城市有没有什么东西影响了你的世界观?我觉得那种不随大流、强调个人主义、允许你看起来有点疯狂的整体氛围,确实在很大程度上影响了我。你会听到一些故事,说你去欧洲一些国家或者美国其他地方,那里会不太鼓励你用不同方式思考问题,甚至会觉得这很奇怪。
你有一套疯狂的想法,也会被觉得奇怪。我对硅谷其实有很多批评,但我觉得它好的一点是,他会鼓励你,就算所有专家都反对你也没关系。如果你有一个连贯的愿景,对世界有一套连贯的看法,你就应该去追。也许它完全行不通,但如果行得通,它会有一种长尾效应。你在某些地方挖某些矿脉,可能就会发现一个巨大的金矿。我觉得这种精神非常重要。
二零一六年,你你的妹妹 Daniela,她的丈夫 Holden Karnowski 住在同一个合住房里。那时候你们都在争论什么?我觉得那段时间,Open Philanthropy Project 刚刚开始做起来,Holden 是负责人。当时我是一名生物科学家,所以我在帮他们看一些事情,比如发展中国家的健康问题或者生物研究。
我会就这些方向给一些建议,看看哪些领域有前景,哪些领域没那么有前景。你离开 OpenAI 的决定已经成了硅谷传说,到底发生了什么?除了外界流传的版本,真正的问题是什么?你们到底在哪些地方有分歧?我就直说,简单说,当你在打造强大的技术时,会遇到很多困难的问题。Anthropic 每天也会遇到,我们也不知道自己做的决定到底是对还是错,所以在安全问题上有很多合理的分歧。
我们和他们当然也有过一些这样的分歧,但光有分歧不足以让人离开。这里的人也会和我有分歧,这里的人彼此之间也会有分歧。可是,当你觉得自己不能信任某个人,当你觉得他们的价值观并不是他们嘴上说的那样,当你觉得他们不诚实,当你觉得他们做这件事并不是出于他们声称的原因,当你看到一些令人不安的行为模式,看到不诚实,这就会让你很难继续和一家公司共事,也很难继续信任这家公司。
归根到底,如果你们没有相同的愿景,而且你也不信任对方,那为什么还要争呢?解决办法就是,你去做你的事儿,他们去做他们的事儿。我完全接受这个状态。我们按我们的方式做事,他们按他们的方式做事。我们会看到谁在市场上赢,也会看到谁在公众舆论的法庭上赢。我觉得这些结果比那些关于谁为什么离开了什么地方的戏剧化说法更有说服力。
我们正在提供一个例子,展示如何以我们认为负责任的方式部署这样技术。如果他们不同意,他们应该把自己的论点讲出来。我觉得关于这件事儿,基本也就这些可说的。在印度 AI 峰会上,有一刻你和 Sam Altman 好像拒绝在台上牵手,那到底是怎么回事?当时的情况是,那个峰会组织的非常混乱,我们都是最后一刻才上台的,他们临时改了我们的站位,然后给我们拍照,接着又命令我们所有人牵手。
如果你参加过这类峰会,就知道我不是在特指印度不好,但这种有国家元首参加的国际峰会,通常都特别混乱。可是其他人都牵手了啊!别这样,我也不知道该怎么跟你说。Narendra Modi 突然就在台上,让所有人赶紧牵手。好吧,好吧。那我们这么说,Sam 和伊浪正在互相起诉。你也不喜欢 Sam。看起来,如果这些在打造世界上最重要技术的人,连在台上牵个手都做不到,我们怎么相信你们会在生存风险问题上合作?
我可以这么说,做这项技术的人质量和可信度差异很大。我觉得现在有个说法,好像大家彼此都不信任,这个说法不对。Demis Hassabis 在做 Gemini 模型,是 Claude 模型很强的竞争对手。我认识他十五年了。我们在很多问题上合作过,我们从 Google 购买算力,也一直交流 AI 安全方面的想法。
所以我的看法是,第一,有些参与者比其他人更值得信任。啊,Anthropic 之外,也有一些人,我信任他们,也认为他们值得信任。我觉得接下来需要做的是,让值得信任的参与者联合起来,把那些不值得信任的参与者放到一种位置上,让他们也不得不采用同样的标准。这么多年下来,我学到一点儿:有些人不会主动做正确的事儿。
但如果行业里的大多数都在做正确的事,那我觉得行业里剩下的人也会被放到一个位置上,基本没什么别的选择,只能跟上来。这里有积极的一面,就是你能激励别人,比如 Demis 和我会互相激励。他做 AlphaFold,我们也在生物领域尝试做一些事情。我们做可解释性研究,他们也开始做可解释性研究。这甚至不算竞争,只是每家公司做了很酷的事儿。
另一家公司会说这很酷,我们也想做做看,看看里面有没有新的东西是我们能做出来的。这就是向上竞赛里比较像胡萝卜的一面,还有大棒的一面,或者说隐性的压力。你会说好,这些人在做正确的事儿;那些人如果不做正确的事儿,就会显得很糟糕。我们经常看到一些行为,他们有点不情愿地做了正确的事,同时还假装自己在做别的,并暗示我们有什么坏的、阴暗的东西。
这其实也在预料之中。但我认为这就是让行业走到一起的方式,也是让行业合作的方式。早期别人关注的是好玩吸睛的消费者应用,你押注的是编程和企业级市场。Cloud Code 现在很火, Cloud Code 确实很火。你为什么下这个赌注?这是价值观上的决定还是商业上的决定?我们创办 Anthropic 的时候,最根本,也始终最重要的事儿,是我们想做成这件事儿。
但接着你就得问自己,要资助这些模型的研发,而这件事儿非常昂贵,那它就需要是一家公司需要有商业模式。商业模式会不会妨碍价值观?这个问题一直存在。但我从在其他公司工作的经历,以及观察其他公司的经历里学到一点:如果你选择的商业模式从根本上和你的价值观冲突,你会很难办。要么你背叛自己的价值观,要么你变得无关紧要,你最后会陷入一种两难困境。
当然,也有办法脱身,有办法绕开,但那就是一个很难的局面。更好的做法是选择一种和你的价值观相融的商业模式。所以当时我们思考这个问题时,就是说我们已经见过社交媒体世界、消费者世界,它真的很容易鼓励用户参与,甚至鼓励成瘾。我们在 AI 视频模型里看到的那些低质内容也是这样。问题是它到底想做什么?是不是想最大化你投入注意力的分钟数?
因为这是广告收入驱动出来的激励。但如果看企业级市场,我们想让这些模型真正对人有用。如果我想一想 AI 能带来的所有正面事情,我确实经常警告那些负面事情。但归根结底,我们认为正面会超过负面,而这些正面的事情,很多基本都属于企业级 AI 这个范畴。我们想用 AI 治疗过去无法治愈的疾病,那就是和生物技术公司合作、和制药公司合作、和学术研究团队合作,这些都是企业。
我们想用 AI 让能源更便宜、更高效,这也都是企业级场景。我们想用 AI 帮助教育,大部分也是企业级场景。我们想用 AI 去改善发展中世界的健康问题,他们可能是非盈利组织,但本质上也算企业级客户。我们想提高经济增长,这基本上也是企业级场景。还有另一个因素,就是企业非常重视信任和长期关系。消费者市场可能会有一种近乎噱头化的东西,但企业级市场看重的是你建立一种关系。
你和一家公司合作很多年,你兑现你说过的话,他们也兑现他们说过的话,然后他们基本上信任你,所以这和我们的目标非常协同,也就是以积极安全的方式部署这些模型。因此,我认为这种商业模式大体上和我们的价值观一致,对我们很有帮助。不是说其中从来没有冲突,也不是说我们不用做艰难选择,但我认为这类选择的数量比选择其他商业模式时要少得多。
开发者一个下午就能从 Claude 切到 GPT 或 Gemini,在这个行业里真的可能长期领先吗?一个强劲的竞争对手要复制你们做出来的东西需要多久?模型质量是最重要的。我们现在在模型质量上领先很多,这里面确实有一些惯性,但我从来不依赖这个。Anthropic 从来没有依赖过那种想法,就是这个产品粘性很强,用户不会换。
我觉得你要有更好的模型,要有更好的产品。我们看到增长率完全没有拐头,至少在录这次采访的时候,不但没有下降,反而还上去了。所以,我倾向于认为模型质量才是最重要的。Claude Co 发布后不久,二千八百五十亿美元的市值一夜之间蒸发,交易员把这叫做 SaaS 末日。如果 AI 继续以这样的速度进步,传统软件会有多少被取代?
速度会有多快?这是那种很难提前预测的问题。如果你能提前完全预测,那大家都会去市场上赚一大笔钱。而且每次都能预测,所以没人确切知道接下来会发生什么。但我会指出几点:所有这些传统软件公司都有不少护城河。我认为接下来会发生的是,有些护城河会消失,但另一些会留下来。快速写软件的能力,我很确定这个护城河会消失。
如果你的护城河是我们写出了这套复杂软件,别人写不出来,那祝你好运,你守不住。但我认为很多公司有客户关系,有对这个领域怎么运转的经验,也有独特的行业知识,所以我给这些公司的建议是:显然不要自满,不要无视它,把你所有的护城河列出来,而且要非常清楚,其中一些会消失,另一些护城河会变得相对更重要,因为它们会成为限制因素。
也可能会出现新的护城河。我认为,那些反应灵活的公司,那些主动围绕仍然存在的护城河和新护城河来调整的公司,会做得很好。那些自满的公司,那些骗自己说过去有效的东西以后还会继续有效的公司,日子不会好过。这就是我会给出的建议。到最后,我猜。这取决于你把什么叫 SaaS,什么不叫 SaaS。但我猜软件行业会变大,而不是变小。
虽然里面会有一些大输家。解释一下,我只是觉得这个蛋糕在变大,AI会让蛋糕变大,现有的头部公司相对占比可能会变小,其中一些公司的价值可能会下降,有些如果没有用正确方式适应,甚至可能会倒闭。但我觉得在增长非常快的时候,你经常会看到这种情况。如果 AI
能做到的事情增长了十倍,那么一个现有的头部行业增长一点五倍,其实很容易,只是它没有整个大蛋糕增长的那么多,所以我觉得这可能会发生,但这并不是说不会出现一些大输家。
那些不适应把头埋进沙子里、不去看清将要发生什么、不去识别自己有哪些护城河的人,会非常艰难。你们最大的支持方包括 Amazon、 Google、 Microsoft 和 Nvidia,他们都有自己的议程。他们既是合作伙伴,也是竞争对手。你们有很大的商业里程碑和融资挂钩。到底是谁在做主?有很多次,我们都很直接的说出了自己的看法。
我一,即使我们签了更多合作协议,我现在还是会再说一遍。他们知道的是,我们一直和他们合作,我们一直是好的合作伙伴,我们可以一起做事。我相信他们希望我们不要说这些话,但这些就是我的信念。那你能怎么办?归根结底,他们从这些交易中获得的好处和我们一样多。我们都是成年人,我们可以在一件事上合作,同时在另一件事上有分歧。
彭博报道说,你们的估值已经高于 OpenAI。我们说的是一家成立五年的创业公司,估值接近一万亿美元。你怎么看这个数字?如果你们在算力上更克制,盈利路径也更快,为什么还需要这么多钱?算力正在非常快的增加,对吧?所以,业务基本面看起来很好,同时也可能出现另一种情况:一年之后,你拥有的算力会变成现在的三倍、四倍。
具体数字我不说,但算力增长确实非常快。我们也完全预期收入增长会追上并超过算力增长。但融资就是为了给这种不确定性留缓冲,所以这是一件完全理性的事。对公司来说,稀释比例非常小。从逻辑上讲,这完全不等于业务基本面出了问题。事实上,它和相反的情况是兼容的,也就是业务基本面并没有问题。有报道称,你们的服务器压力很大,可靠性也有问题。
还有人抱怨 tokens 不够用。你说过,其他公司在基础设施上压得太激进。那你们到底有没有自己需要的资源,还是也在追赶?算力这件事儿,有一种东西叫营销里的算力。我的看法是,只要时间拉长一点,哪怕不只是几个月,我们是能拿到大量算力的。这里有一点值得说清楚,我不认为按任何合理标准看,我们买的算力太少了。
我们原本规划的是算力每年增长十倍。每年十倍,这是我们的预期,但实际情况不是这样。二零二六年第一季度,我们看到收入按季度增长超过三倍,注意是一个季度里超过三倍,不是年化三倍。当然,三的四次方就是一年八十倍。我们没有按年化八十倍的增长来规划,按年化八十倍来规划也不理性,因为如果最后只有十倍,你就会发现自己多准备了八倍资源。
所以,我们现在处在一个局部极端的算力爆发期,这种情况不会一直持续。如果一直持续到年底,收入数字会高到地球上没有任何公司能达到。我不认为会发生那种事儿,也不可能发生。但短期内确实会出现这种阶段,让你觉得天哪!这个增长速度比我们曾经能预想到的任何情况都快。不过你也看到了,我们和 Google 的算力协议,也看到了我们和 Amazon 的算力协议,还有更多协议我们可以做也会做。
市场是有流动性的,如果你真的能很好的使用算力,而且需求在那里,你就会拿到算力,可能只是需要一两个月。超过你的头号竞争对手,这感觉好吗?我面前还有很多艰难挑战,而且我们一直讲向上竞赛这个想法,就是希望把其他公司也一起往上拉。我觉得我们已经看到这种效果了,我们确实把他们拉上来了。有时候他们不承认自己是在这么做。
有时候他们一边攻击我们,一边抄我们,但这种带动作用非常有价值。所以我认为,成为最重要的公司,不管是在商业上,还是在模型上,它的价值不在于为了打败对手而打败对手,它的价值在于我们有能力带动整个生态一起往前走。我们希望未来能做更多这样的事。但是赢了,多多少少总会感觉不错吧。我们当然一直在努力成功。我们当然不是在这里努力失败。
我不是那种认为应该关停这项技术,认为我们不该构建它的人。我们是在自由企业体系里运行的。这件事本身没有什么不对,我们只是必须降低模型带来的风险,所以这一直是在两者之间做平衡。在 Anthropic 大部分历史里,你们都是弱势一方。我想,在还没什么可失去的时候,占据道德高地会更容易。到了现在这个规模,要坚持自己的价值观有多难?
我会说,我花了很多时间思考这件事儿,也就是公司规模扩大之后会发生什么。在公司的每一个规模阶段,我都很警惕。每到一个新阶段,公司都会遇到新的挑战,也会出现新的失败方式。公司可能失去商业上求生的意志,也可能失去价值观的核心。这两点我都担心,因为我认为他们是相互促进的。我其实认为,正是因为我们能做出这么好的模型,我们才有能力在公司成长、规模变大时,用一种有效的方式坚持自己的价值观。
这里有很多陷阱,也有很多可能走错的地方。不是因为我联合创始人或者公司领导层的价值观变了,而是因为公司的人员构成变化的非常快,所以我大概有一半时间都在和公司内部的人谈 Anthropic 的文化以及这种文化是怎么运转的。当你增长这么快,就会从大型科技公司招来很多人。如果你不告诉他们 Anthropic 是怎么运作的,他们就会自然复现自己唯一熟悉的东西,也就是他们原来那些公司的运作方式。
所以这是一场持续的斗争,也是一项持续的挑战。对我和 Daniela Modia 来说,可能最重要的优先事项就是搞清楚怎样把这一点保留下来。因为我们认识到,从长期看,这就是我们是谁的核心。你们的产品迭代速度太惊人了,你们发的又多又快,你们是怎么做到的?我会说有两个原因。第一,我们是一家很统一的公司,有统一的文化。
公司变大了,但效率还是非常高,大家仍然在同一个方向上,文化和组织都很一致。我觉得这是最大的因素。第二大因素是 Claude 本身。我们现在用 Claude 来帮助开发模型,让模型更高效,也更快的开发产品。这里面需要摸索各种新的做法。我们还在起步阶段,但它已经带来了很多加速,而且越来越能稳定的带来加速。
所以我会指出这两个因素。你能不能告诉我,你见过 AI 做过的最疯狂的事是什么?我见过一些最让人惊讶的东西发生在生物学和医学领域,我见过好几个案例,包括 Daniela 的一个案例,Claude 诊断出了一个医学问题,而一群很厉害的医生之前都漏掉了。在生物学这边,模型也开始在药物设计、计算化学这类任务上变得出奇的强。
我以前是做生物学的,所以我看到会觉得哇,这很难,你需要大量训练才能做这个。而 Claude 正在变得很擅长,我觉得这就是一个我们会获得巨大收益的领域,这是 AI 积极的一面。我们会得到非常巨大的好处,生活会变得更好,人类体验的质量会变得更好。一个世纪的科学进步,一个世纪的科学进步,以及一个世纪关于做人是什么样的进步,回到一九零零年想想。
想想十九世纪末、二十世纪初,人们面对的所有问题,所有让人过早死亡的原因,所有他们不得不忍受的痛苦,还有我们今天不再需要面对的物质匮乏,然后再想象一下,再来一个这样的一百年。我真的相信,如果我们能挺过这一关,而且我认为我们会做到,我也越来越乐观。那么,这个世纪的科学和医学进步会带来一个好得多、好得多的世界。
我知道你很喜欢写作,你也因为写文章而出名。你会用 Claude 来帮你写吗?会,我还没有到允许 Claude 直接写出的文字进入我文章的程度,因为我的风格太具体了,我有点挑,但我基本上会用 Claude 帮我头脑风暴,帮我梳理主题,帮我想,比如这里可以用哪些参考材料,所以它扮演的是一种辅助角色。我不知道 Claude 距离写的比我更好还有多远。
现在还没到,但我觉得,这肯定会到来。我也喜欢写作,而且我觉得,写作会帮助你在想法里挣扎推敲,这里面有很多批判性思考。如果我们让 Claude 来做,会不会失去这一点?我有点担心这一点。事实上,这也是我自己写作的一半原因。写作当然是面向外部受众的,很多人会读我写的东西,但他同样也是为了澄清我自己的思路,让我知道接下来该做什么,也让我和其他人之间有一个共同的参考点。
我觉得我们还在处理一个问题:到底怎么使用 AI 才能保留这些好处?我现在的做法,我觉得能做到这一点。我用 Claude 做研究,也用 Claude 帮我组织自己的想法。如果我们只是端到端地用它,比如直接让它写一篇关于 AI 风险的文章,首先,它写不出我真正想的东西;其次,我也确实会失去刚才说的那种好处。
随着模型变得更好,我觉得可能会有某种方式让我们更直接地把它们用于写作,而且仍然保留这些好处。但我觉得这会是很微妙的事儿,不会是一刀切。我们需要随着时间慢慢摸索。我认为我们可能会看到一种很不寻常的组合:GDP 增长非常快,同时失业率很高,或者至少就业不足,低薪工作很多,不平等程度很高。你对工作流失一直说的很直接,你说过 AI 可能会在未来一到五年内消灭一半的入门级白领岗位,那是一年前说的。
AI 发展的非常快,现在还是百分之五十吗?还是更高,我一直都是这么说的。你回去看那些最早的片段,他们总是被断章取义,只剪出三秒钟。但我真正的说法一直是我不知道会发生什么,但这是一个数量级,说明事情可能会疯狂到什么程度。而且我也一直在讲,我们可以怎么应对。比如我讲过 token 税,讲过和企业合作,帮助人们适应变化。
我对再培训项目有点怀疑,但也应该把他们放进工具箱里。还有宏观经济政策,其实从一开始我就在谈解决办法,但不知道为什么人类心理里总有一种倾向。就是只剪出三秒钟说末日要来了,所以我的信息绝对不是末日要来了,我的信息是这件事儿我们应该提前看到,我们对此感到担心,也需要真正积极的应对。我不知道确切会怎样,但我还是很担心。
我的担忧大体还是同一个数量级。我们现在确实看到 AI 正在让人更高效。但这通常只是中间那个峰值阶段。如果回到工业革命那类历史,我在《The Adolescence of Technology》里写过这个:你把一份工作百分之九十自动化了,很好,人们在剩下的百分之十里效率提高十倍,因为他们的杠杆提高了十倍。
但最终它会接近百分之一百。接下来的问题就是,那你必须给他们找到别的事情做。长期会怎样?我不知道,我真的不确定。但我确实认为会出现一些适应方式。我举一个例子,Anthropic 内部的软件工程师,我们现在正在经历这种转变。目前 AI 会让软件工程师更高效,即使 AI 写了全部代码或者几乎全部代码,它仍然是在让人更高效。
但我们已经开始看到一点苗头,可能有些人并没有因此变得更高效。对那些事情来说,直接让 AI 去做反而更好。这是一方面,另一方面是我们还会需要更多什么样的需求?我们有一种岗位叫前沿部署工程师,或者叫应用AI解决方案架构师,他们的工作是技术工作和客户沟通的混合。这类岗位需求很大,因为客户很多,我们也增长得很快。
当然,是不是每个纯软件工程岗位的人都能转到这种工作?不是。它并不完美,也不是一对一对应,但这能让你大概感受到会有非常大的冲击,同时事情也会调整。最后哪一边占上风,我不知道。但正因为如此,提前警告才重要。只有这样,我们才能应对,才能制定政策。这包括 Anthropic 内部的政策,也包括面向整个世界的宏观经济政策。
我们想拿出经过认真思考的观点。我们不想说那些人们不相信会真正发生的事儿。我们也不想说半生不熟的东西。我们想认真思考到底应该怎么处理这些问题。你们发布过一张图,展示了潜在的工作冲击,比如销售、金融,哪些工作会消失,谁会被替代,又会创造出哪些新工作?没有人能确定,因为经济是不可预测的,就像股市一样,它们都是这种去中心化的过程,你没法提前真正知道一份工作里还有哪些部分人类仍然能做。
但我大致会说,只要是入门级白领工作,不管是银行、金融还是其他类似领域,AI都会有很大潜力,先让人更高效。但之后就会进入下一步,AI 可以整个完成这份工作,然后我们就必须思考人还能做什么。我认为我们需要提前规划,我们已经在这么做了。当我们和企业客户交流时,会看到他们面对的选择。他们可以选择节省成本,这通常意味着少招人,用更少资源做基本相同的事;也可以选择用同样多的资源做更多事情。
只要有可能,我们总是尽量推动他们选择后者,也就是用同样多的资源做更多事。因为这基本意味着招聘同样数量的人,甚至可能招更多人,只是去做新的事情。我们是在把他们推向正和的方向。对我们有利的一点是,整个蛋糕会变大很多。正因为蛋糕会变大很多,大概率会出现一些地方让人们可以转过去。问题只是我们能不能足够快地找到这些地方,冲击的规模会很大。
这就是我在提醒大家的事儿,但我们必须解决这个匹配问题。那你帮我把这个场景推演一下,五年后你醒来,这个国家会是什么样?那些人都在做什么?如果失业真的那么严重,革命不就是这样开始的吗?这正是我们想避免的结果,这绝对是我们想避免的结果。我觉得还有几个方向,但没有一个是确定的,我们也不敢说一定会发生。首先是物理世界。
现实世界里的东西,当然机器人革命也在发生,但它比 AI 现在的发展慢很多。人们总是在说建数据中心,可是当处理任何类型的信息都变得容易的多以后,也许真正的限制会落在物理世界里。所以我们会需要更多人去制造、建设、生产现实世界里的东西。还有一类是以人为中心的工作,我觉得这会很重要。我听过很多故事,说 AI 发现了我的医生没发现的问题,听起来当然很好,但人们确实想和真人交流,尤其是在重要事情上。
也许 AI 能做更好的客服,但即便如此,人们,或者至少一部分人,还是想和人交流。所以,这种由人际关系驱动的工作,我觉得会很重要。我也认为,人类会在某种程度上负责指挥这些 AI,因为归根结底,它必须符合某些人的价值观和意图。所以,我觉得那里会有人的角色,只是这个角色会很薄,还是会很厚。我不知道这个很难说,外界有很多反弹。
我知道你说过你是在试图警告人们,但杰森黄说你把任务和工作混为一谈了,也有人说这有点像末日营销,而且对 Anthropic 有利。我想说清楚,而且要强烈反驳这一点:关于失业风险以及我们有哪些应对思路,这整套图景,我们其实一直在讲,我们还没有把所有想法完全展开。因为我想把他们做对,但 Anthropic 已经提出了很多想法。
我们做过经济资助,也有经济指数。在《The Adolescence of Technology》里,我谈到过应对这些风险的可能办法,从税收、宏观经济政策到未来新的工作会是什么。我还花了大概五页专门讲任务和工作的区别。我讲了为什么这一次和以往不同,也列了六种我们可以做的事儿,从私人慈善到政府行动都有。
我谈问题,也谈解决方案,但社交媒体。我非常讨厌社交媒体,作为一个类别,我就很讨厌。人们拿着一年前的三秒钟片段说事,他们根本不读那些文章,或者他们就是利用社交媒体的机制。我其实已经用更谨慎的方式写过这些事情,也认真谈过这些风险,说这是廉价营销,这个说法本身才是廉价营销。这是懒惰,是不愿意认真面对严肃的思想工作。
我觉得这也是问题的一部分。再说一次,我认为这是硅谷的一种病,它被卷进了这个三秒钟社交媒体世界。所以人们只回应那三秒钟,或者他们以为自己只需要回应那三秒钟,我觉得这非常危险。这样我们就没法进行成熟的讨论。结果人们只是懒洋洋的看一个三秒钟片段,然后说:“哦,达里奥是这个意思。”这太蠢了,也太不严肃了。只要有人说这种话,我就会降低对他的评价。
全球领先的 AI 公司之一已经深度嵌入美国国家安全的很多不同环节,包括军事行动。Anthropic 和五角大楼围绕 AI 军事防护措施的僵局正在升级。你长期持反战立场,这可以一直追溯到你在加州理工。我们当然不是为了钱才这么做,这件事非常麻烦。就算不谈那些法律战,光是接入政府网络就非常麻烦,而且钱并不多。
所以我们做这件事儿是因为我们在乎它。同样的,正因为我们是在乎这件事儿,才去做这件事儿。所以这项技术的使用必须有限制。我在《The Adolescence of Technology》里用过一个说法:除了那些会损害我们自身价值观的用途之外,我们应该用尽一切方式使用这项技术。我们的红线是大规模监控和全自主武器。
我相信这些东西会损害我们的价值观。如果民主国家为了获胜而去做这些事儿,那这样的胜利就不值得。这就是我看到的平衡,也是我们采取的立场。它既解释了为什么我们是第一批和美国国防部合作的公司,也解释了为什么在别人愿意做某些事儿的时候,我们有些事儿不愿意做。我认为你必须选择一个立场,然后守住它。有些公司一会儿说我们不会和政府做任何事儿,一会儿又突然变成我们要和政府做所有事儿。
我不理解,你应该选定自己的原则,然后坚持下去。你们从二零二四年开始就一直和 Palantir 合作,没错。你也知道他们的技术被 ICE 警察部门还有加沙使用。Cloud 有没有以其他方式被用于监控?我们不和 Ice 合作,不管是通过 Palantir 还是通过其他任何人,我们也不和 C B P 合作。
我认为我们没有在加沙开展合作,我们非常谨慎,会把合作范围限定在我们相信的事情上。所以你画下了自己的红线,总统把你们排除在联邦政府之外,五角大楼把你们标记为美国供应链风险,OpenAI立刻接手,签下了你们不愿意签的合同。这场仗到底怎样才算赢?我不认为这里有什么赢。对这样一家私营公司来说,这不是 Anthropic 想要赢,或者会用输赢来思考的一场仗。
这更像是,甚至我都不想把它叫做一场仗。它更像是一场辩论,讨论政府应该如何正确使用 AI。AI 是一项正在出现的新技术。我们还不了解他在哪些方面可靠,哪些方面不可靠。我们也还不了解他会在哪些方面推动我们的价值观,在哪些方面损害我们的价值观。所以,我认为重要的一件事儿是为一些使用场景树立先例。有些场景我们认为是好的,坦率说,大多数都是好的。
还有一些场景我们会担心。正如我说过的,单靠一份合同能做到的事情有限。我们已经看到,别人可以签一份合同,而那份合同不尊重你同样的红线。但这件事儿确实提高了外界对这个问题的关注。现在国会里也有严肃的两党努力,试图禁止一些我们担心的事情,并试图设定护栏。我还是不想把这说成一场仗,但如果说有什么成果,那就是推动我们的国家更认真的思考这项技术怎样用才是合适的。
别人说你是意识形态疯子,或者说你们是一群左翼疯子,你介意吗?我一直被人说过更难听的话,别人想怎么说,我怎么说,Anthropic,都可以。重要的只有两件事:我们作为一家公司要成功,同时我们要捍卫自己的价值观。从某种意义上说,我的人生其实很简单,因为当你要做的就是这两件事时,事情就很简单。你永远知道自己站在哪里。
一位美国官员说,在 L M 的帮助下,美国军方已经从每天能够打击一千个目标,提升到每天打击五千个目标。这意味着 Claude 可以帮助更快地杀死更多人。你对此感到安心吗?我觉得这里有两件事儿,一件事儿是美国在军事上能不能更有效。我支持美国拥有这种能力。我认为这种能力变强不会引发战争,而是会威慑战争。
你其实是在问你是否相信这个国家。你希望这个国家在世界舞台上更有力量,还是更没有力量?我的答案是希望更有力量。我是爱国者。另一件事是美国政府正在执行的某些具体政策,我支不支持?显然,有些我支持,有些我不支持。但这不由我决定。如果我们提供一项技术,美国国防部也提过这一点,而我们其实同意他们的看法。如果我们提供一项技术,就不该由我们来说你可以做这个军事行动,不能做那个军事行动。
我私下可能认为这个军事行动有道理,那个军事行动是个坏主意。但我们不会因此拒绝提供技术。你必须把政策留给军事决策者。你能做的,是设定一些高层边界。对我们来说,这些边界要防止那些看起来不符合我们价值观、也不符合我们国家价值观的用途,同时也要推动那些我们认为能促进这些价值观的用途。这就是我们的思考方式。Bloomberg
报道说,Claude 正被美国军方用于伊朗战争,通过 Palantir 的 Maven Smart System 平台做 AI 辅助瞄准。
二月份,据报道,一枚美国导弹击中了伊朗一所女子学校,造成一百五十多人死亡,其中大多数是儿童。Claude 在那次打击中发挥了作用吗?我们不知道,我们无法接触到这些信息,也不知道这些模型具体是怎么被使用的。显然,战争中发生的这些错误非常非常可怕,这是一件非常可怕的事儿。如果这还不能说明为什么我们必须坚持反对某些我们不支持的用途,那我不知道还有什么能说明。
我们当时愿意冒着公司未来的风险去限制这些模型的使用方式,而你说的这个用途甚至还没有违反我们的红线。我们担心的是,如果出现违反我们红线的用途,类似问题可能会多出一百倍。当然,我还是要说,我认为总体来看,使用这些模型是合适的,净效果是好的。但军事决策者会犯可怕的错误,即使在最理想的时候也会犯。而我不知道我们现在是不是处在最理想的时候。
这里有几件事可以谈,比如制定红线,防止模型被用于更可能导致这些问题的场景。如果我们允许全自主武器,如果我们直接放开,而现在几乎其他每家公司都已经在这方面放开,那会怎样?这里的情况是,Cloud 提供辅助,但最后由人类做决定,所以最后那个决定是人做的,不是 Cloud 做的。想象一下另一个世界。不是
Quad,因为我没有允许这种事儿,而是别人的 AI 模型,AI 模型直接做出决定,人类根本看不到,这就是我们要坚持反对的事儿,这就是我们当时在抗争的事儿。
我还想说,这里还有另一件事儿。我还是认为用采购来处理这个问题不是正确方式,但我们必须确保一件事:美国人民关心的不是我作为技术供应商关心的,而是美国人民关心的是军事决策者不能犯这些错误,他们必须可靠的行动,必须明智的选择要做什么。这同样是我作为公民关心的事儿,也和我作为技术供应商有关。政府大量使用
Microsoft Excel,如果我说 Microsoft,你可以把 Excel 用在这个军事行动里,但不能用在那个军事行动里。
现实中你做不到,但希望这能让你理解我们是怎么思考这个问题的。那所学校有网站,用 Google 搜一下就能找到。Claude 难道不应该发现这一点吗?IE 或者他们用的任何技术难道不应该发现这一点吗?这是不是说明了一个更可怕的问题:在战争中把技术当捷径?我要说的是,我不知道具体情况,这可能涉及我不了解的机密信息。
但我们确立的原则,我认为这里也遵守了这个原则,就是由人来做最终决定。我不知道 Claude 或任何其他 AI 扮演了什么角色,但如果这都不能说明为什么这个原则如此重要,那我不知道还有什么能说明。AI 战争更有可能阻止第三次世界大战,也就是美国和中国之间的战争吗?还是更有可能让它发生?总体来看,我会说 AI 战争更可能阻止这件事发生。
但如果我们对它的使用完全不设限制,那它也可能更容易引发战争。你看过《奇爱博士》吧?它的设定是有一个末日装置,一旦他认为自己遭到核武器攻击,就会自动发射核武器。这能出什么问题呢?这又回到我说的致命性问题,也就是全自主武器。我认为冲突发生的方式往往是双方互相扑过去,彼此误判。如果我们对这项技术没有适当监督,这类事故就更可能发生。
但如果 AI 用的合适,甚至不说战争,只说情报收集。比如我们能够预测或者乌克兰出现的新动向,如果我们知道对手在做什么,他们在发动某种入侵或军事行动之前就会三思。所以我认为更强的情报能力确实能威慑冲突,更强的响应能力也能威慑冲突。我仍然相信这些东西。Anthropic 几乎每周都在上头条。是的,最近大多数新闻都围绕 Mythos。
当然,这是 Anthropic 最新最强的模型,它能够走完整个网络杀伤链的所有环节,而且可以自主完成。你说 Mythos 太强大,不能向公众发布。它最让你意外的是什么?最让我意外的是模型发现漏洞的能力一直在上升。更重要的是,它能把这些漏洞变成漏洞利用。人们通常只谈漏洞,不常谈把漏洞变成漏洞利用。而 Mythos 在这方面做的相当好。
让我意外的是,我们看到了一个巨大跃升,这个跃升特别大。而且我们几乎没有给他额外提示。我们最早给一些公司试用时,他们说过这样的话:“这就是一件超级武器,要用它应该得有持枪许可证,请不要发布它。”也就是说,要求我们不要发布的声音来自那些拿到它的公司。他们发现了大量关键漏洞,也发现这些关键漏洞具备可利用性,所以他们基本是在要求我们不要发布。
当然要说清楚,因为在社交媒体世界里,事情总会被扭曲。我们的目标不是永远把它锁起来,我们正在逐步把它开放给越来越多的人。最终,我们相信应该把 Mythos 发布给普通用户,但要配上很强的网络安全防护措施。现在的问题是,今天的网络安全防护措施我们已经在 O P 四四点七上发布了。O P 四点七是一个不错的网络模型,但比 Mythos 弱很多。
这些防护是可以被越狱的。我们有点担心其他一些公司,因为他们认为这已经是足够的防御。它有时候确实有效,但我们都知道这些分类器可以被越狱,也可以被绕过。我们自己的测试,以及坦率说,我们对其他公司已经部署的防御措施的评估,都表明这些防御还不够强。这就是我们还在等待的东西。我们要把防御做到真正有信心的程度。
这件事儿遭到了很多反对。你看到有研究人员说,他们用更便宜的开源模型复现了它,也有人说 OpenAI 已经有这些能力了。对那些说这是一场大型公关营销的人,你怎么回应?说他能用开源模型复现,这个说法非常不真实。Mithos 的思路是看完整个代码库,然后找出问题。有个人在 Twitter 上说,如果你把一个开源模型指向 Mithos 找到的那一行代码,他也能发现同样的问题。
但那不是 Prompt,也不是问题本身,这根本不是同一回事。最终的测试是我们去找公司去看开源代码库,我们在 Firefox 里发现了 271 个新漏洞,我们也在一些私有公司里发现了数千个漏洞,只是他们还没有修复或者还不能披露。之前的模型没有人找到那 271 个漏洞,所以真正重要的是实际流程在现实中到底能不能用。
这和另一种情况完全不同,比如你已经找到 Metaus 发现的那一行,已经在干草堆里找到了针,那别的东西现在当然也能把这根针捡起来。但那些说这只是一次成功营销的人呢?我们因为没有发布这个模型,在商业上遭受了巨大损失。这个模型极大加速了 Anthropic 内部的研究、生产以及下一代模型。如果我们发布出去,它也会在外部世界产生同样的作用。
没有发布它,在商业上给我们造成了巨大伤害。如果它能帮助防守方,也会帮助攻击方,那我们现在还能防住什么吗?我想说的是,我们先把 Mythos 给防御方,而不是先给攻击方。原因就是要修补所有漏洞。我不知道,随着模型越来越强,可能会发现越来越多漏洞,但漏洞总归是有限的,对吧?就像你有一个表面,上面只有这么多洞,你把所有洞都补上,这个表面就会变得很难攻击。
而且代码本身也会用强大的模型来写,所以之后就很难在里面找出缺陷或者攻进去。所以我认为,等这一阶段过去,希望六个月或一年之后,我们会拥有一个比过去安全的多的互联网生态。我们正在努力走向那个世界,也在尽最大努力把 Mistral 开放给新的网络防御者。我们一直在和政府沟通,也非常尊重他们的建议。他们放慢了我们开放 Missiles 的节奏,因为他们担心反情报风险。
我觉得这是合理的。我认为这里所有严肃的人都明白,这里面确实有真实的取舍。我们看到 Twitter 上有很多人,还有其他 AI 公司在那里冷嘲热讽。你看看他们说的话,再看看他们实际做的事儿,两者并不一致。他们不是严肃的人,他们没有认真面对我们现在面临的这些严肃取舍。你看,每天都有客户给我打电话,说想要 Mythos 的访问权限,也有国家给我打电话说想要 Mythos 的访问权限。
同时,美国政府和我的安全团队又在说,不,等一下,这里面有风险。我不是说哪一边一定对,我觉得答案在中间,双方都有合理的观点。但这里确实有一个真实的挑战,我们需要作为一个社会一起面对它,而不是指责别人是在做廉价营销,也不是用廉价营销去搞对立。有些其他公司就在这么做,这一切只说明他们极其缺乏庄重感和成熟度。
我们所有人都需要一起面对这个时刻。你们是不是已经不得不做出一些取舍,而这些取舍并不完全让你安心?Anthropic的整个历史一直都是取舍,对吧?Anthropic的整个历史都是这样,在某种理想世界里,你可能会希望在发布第一个聊天机器人之前,花上几年时间去研究所有可能出问题的地方。我们当时确实推迟了 Claude 首次发布,但也只是推迟了几个月。
所以我想说的是,所有事情都是取舍。这个光谱两端的极端做法,都是完全疯狂的。所以一切都是取舍。我想说的是,现在我们处在一个我会称为商业领先的位置上。我和 Daniela 其实正在尽我们所能把天平进一步推向谨慎那一边。Mythos 的发布就是为了这个。如果你不是领先者,很难做这样的事儿。所以我认为之后你会看到更多类似的事情。
有一种观点是,政府为什么不接管你们?为什么要让一家私营公司控制这么强大的技术?我其实认为这是一个非常严肃的问题,我也有同样的担忧。我不认为政府应该直接接管我们,但我会这样说:先退一步,描述一下现在的情况。历史上我们见过的每一种强大技术,要么是由政府建造的,要么起源于政府。核武器显然最初是由政府建造的,之后也基本上还是由政府建造。
但即便是互联网、GPS、手机所有研发,也都是在实验室、联邦实验室和大学里完成的。AI是第一项在私营部门里建造出来的技术,政府在其中并没有真正发挥重要作用,而且是很晚才进场。我认为这其实是一种危险而不稳定的局面,这不是我会选择的局面,但也没有真正的替代方案。这种技术是可以被建造出来的,我们的对手也在建造,它有经济价值,所以它一定会被建造出来。
问题在于政府没有做这件事,而不是私营部门做了这件事。我认为我们需要思考如何对权力建立制衡机制,所以我认为 AI 公司的权力需要受到制衡。我们有一个机制叫 Long Term Benefit Trust,它基本上是一个机构,可以任命董事会多数成员,也可以罢免董事会多数成员。所以,如果你把这套机制一路推导下去,它基本上就有权力解雇我。
我们现在做的是引入一些公共治理的元素,当然远远不是全部,只是一小部分。也就是说,公司要对某些人负责,而这些人不只是持有公司股票,这一点非常重要。不管公司未来发生什么,这个结构都会继续存在。我们也鼓励其他公司建立类似的结构,在政府这边,我觉得也需要制衡机制。国会已经有人宣布要推动立法,把这些红线写进去。
所以,我真的认为立法部门和司法部门都需要发挥作用,因为这项技术掌握在公司手里,我害怕掌握在政府手里,我也害怕。公司需要制衡政府,政府也需要制衡公司。我们需要对这项技术做基本监管。我觉得我们需要开始做发布前测试,而且要强制做发布前测试,对模型进行测试和审计。很有意思的是,硅谷科技圈有一群人,一开始的立场是,哪怕只是提高这项技术的透明度,甚至是出口管制,都会彻底毁掉我们创造这项技术的潜力,会扼杀创新。
可是,一旦他们看到第一个真正的危险,也就是我一直预料会出现的危险,就马上开始谈什么国有化,政府应该直接接管。拜托,各位,你们这是在两个极端之间来回摆动。一边是极端反监管,好像别人只要看你一眼不对,就是在毁掉整个行业。另一边又变成完全共产主义式的想法,觉得政府应该把一切都拿走。我们需要更理性、更温和的做法,这也是我们一直支持的做法,因为我们一直理解这项技术的力量。
我们没有恐慌,也没有否认它。我们看到了这条平滑指数曲线,也在用合适的方式回应它。所以你这次回白宫访问,感觉怎么样?我们一直尽量和政府里任何可以合作的人合作。我说过,我们的方法很简单,我们有一套原则,我们遵循这些原则,也希望对方是讲道理的人。老实说,政府确实非常认真地对待 Mythos。我们和 Bassin 部长、白宫幕僚长 Susie Wiles 都有过不错的交流。
我觉得他们确实理解这里风险的性质。我认为 Mythos 帮助他们更具体地感受到了这些风险在哪里,所以和任何一届政府一样,里面有些部门我们相处得很好,他们也理解这件事儿;也有一些部门比较难打交道,我觉得这很正常,任何政府都会这样。我们只能尽力去应对。你职业早期在百度工作过,百度是一家大型中国科技公司,你当时是在它的硅谷办公室工作。
你也很明确地表达过对中国的看法。现在中国正在推出很强的开源模型,美国公司还在免费基于这些模型开发,这是威胁吗?我们在这项技术上看到的一点是,模型有多聪明,价值差别真的非常大。我们极少看到人们更愿意使用智能水平更低的模型。当然,我也要说清楚,现在有一个很繁荣的生态,有很多挑战和问题,远比那些需要前沿模型的问题容易。
但这仍然是一条指数曲线。这些远离前沿的模型可能也有经济价值,类似我们在二零二三年和二零二四年看到的那种价值。但我们现在每年有十倍增长,所以我们发现处在前沿的东西价值总是远远大于不在前沿的东西。我觉得这是很多习惯了上一代产品开发的人不太理解的地方。我以前没有经营过公司,也没有特别从上一代产品时代,也就是文本到社交媒体那个时代去思考问题,所以我觉得自己像是那个世界的局外人。
也正因为这样,我觉得很多人的直觉是错的,他们有很多产品经验法则。但我认为,每年十倍增长的模型指数曲线真的会打破这些经验法则。智能本身是一个极其巨大的因素,大到会压过其他一切。所以,我们一次又一次看到价值就在前沿。现在,我对一些落后模型真正担心的是它们带来的风险。他们可能具备中学生级别的网络能力,十二个月后我们会有强得多的网络能力,但这些中学生级别的网络能力可能已经可以被任何人下载。
希望到那时我们已经把所有东西都修不好了。我不认为我们有什么办法阻止它,但我确实认为这是一个严重的担忧。你们这个领域里,人们会谈到一个时刻,AI 强到足以改进自己,然后改进后的版本再继续改进自己,如此往复。你的一些研究人员认为,那个时刻已经很近了,它到底还有多远?我不认为那是某一个时间点,我觉得那是一个连续过程。
我们已经在某些方面看到它了,AI已经能够为下一代AI提出架构建议。我会说,一年前我们看到 AI 带来的全要素生产率提升大概是百分之十到十五,现在可能已经到百分之二十或三十了,它可能还在翻倍。就像所有事情一样,我们都在指数曲线上,不存在某一个瞬间 AI 突然开始改进自己,或者突然失控,或者突然变得不安全。
我们看到的是一个加速的指数过程。在指数曲线上的每一个点,我们都必须评估现在是不是该放慢,现在是不是该给这项技术加更多控制。我认为以后会越来越需要这样做,但我认为理解这一切的罗塞塔石碑就是平滑指数曲线。再说一次,我觉得有些人本来反对所有 AI 监管,结果看到一件事儿之后,就想把 AI 国有化。这里面有一个反面教材。
还有些人本来轻视 AI 的力量,后来又说:“天啊,它在自我改进,它失控了,我们必须把它全部关掉。”这也是一个反面教材,在这些极端反应之间来回摇摆,对应对这项技术完全没有帮助。正确的回应、明智的回应是说我们不会恐慌,我们的应对措施会随着技术能力增强而平滑升级。如果你看到有人出现这种疯狂的来回摇摆,那说明他们被打了个措手不及,也说明他们并不严肃。
我知道你最喜欢的书之一是《The Making of the Atomic Bomb》,没错。你会看到自己和阿尔伯尼迈尔之间的相似之处吗?我最认同的人物是 Leo Szilard,他基本上是第一个提出可能存在某种链式反应的人。我的看法是,我们不可能靠那种大于生活本身的传奇人物,或者靠那些试图站在一切中心的人来度过这一关。
这里需要权力平衡,有很多强大的参与者都在这里有自己的利益。唯一能让所有人都得到好结局的方式。就是到处都有某种制衡机制,所以在某些方面,我其实把 OpenAI 看作一个失败案例,一个不应该发生的案例。你说过,文明崩溃的概率大约是百分之十到二十五,这不是一个小数字。有没有一种场景是 Anthropic 做出来的东西导致了这种结果?
我当然希望不是。我的看法是,我们采取的行动是在降低这个概率,而不是提高它。这个概率来自一个很直接的组合:这项技术本身,世界上有很多国家,一个经济体里有很多公司,而且还会不断有新公司出现。如果这个空白不被填上,这就是我们面对的两难。我们是在努力降低这个概率。我认为我们降低的幅度远远大于我们提高的幅度。
但这项技术的内在属性就是不可预测,所以我们会先做出一个东西,在发布前做大量测试。今天发布的模型并不危险,或者至少我认为,除了网络领域以外,它们并不是真的危险。然后我们会继续迭代,从中学习。所以这里有一大堆防御机制。公司内部有一半工作都是在尽可能降低风险,但风险永远不可能是零。我想说的是,假设外面有一堆航空公司,你说我要做一家更安全的航空公司。
你的航空公司可以比其他所有航空公司安全十倍,但如果有人来问你,你能保证你的飞机永远不会坠毁吗?这怎么可能保证呢?如果一架飞机有百分之二十五的概率会坠毁,你就不会坐上那架飞机。没错,百分之二十五太高了。我们正在努力把这个概率降得低得多,这就是目标。你们正在打造一个极其强大的东西,而且可能从中获得巨大利益。
我们为什么应该信任你们?我的看法是,任何公司刚起步的时候,尤其是看看过去几年硅谷作为一个整体的行为和思路,从不信任出发是很理性的。如果你不了解我,也不了解 Anthropic,那先不信任我们,我觉得很合理。我认为硅谷已经失去了世界很多信任,必须重新赢回来。我们想传达的信息是我们真的不一样,但这必须靠我们实际做的事情来赢得。
你可以同意,也可以不同意,但我们确实坚持了自己的价值观。Metal 这件事儿就是例子,我们没有把这个非常强大的模型发布出去,这在商业上真的严重拖累了我们。在那之前还有很多小一些的事情,比如在中国问题上,我们是言行一致的。我们切断了对模型的访问,我们本来不必这么做,没有人要求我们这么做,这让我们损失了几亿美元。
而在当时,几亿美元占我们收入的相当大一部分。还有 Cloud 二的延迟发布,我们在这方面有很长的记录,我们并不完美,我们会犯错。但我希望大家看的是整体历史,然后问一个问题:把这些历史加起来,哪一种关于我们的假设最符合这段整体历史?人们必须自己做判断,但我认为最符合事实的假设是我们真心在努力做正确的事儿。
我们是不完美的组织,组织总会有各种失灵,我们一直在努力修正,让他们运转得更好。会有很多小失误,也会有很多事情出错,但根本上,我们对怎样做正确的事有一副诚实而认真的图景,而且我们正在努力按这幅图景执行。那我们就在指数曲线的另一边再见。希望如此。你一直想当好莱坞明星,对吧?我以前没想到 CEO 这份工作有一个很意外的地方,就是你得经常化妆,这可不在我的预期清单里,也就是铺一点粉。