咱们不按稿子来了,咱们就是喝杯啤酒。这不是第一次喝非吉尼斯啤酒,但这是第一次喝IPA。凡事都有第一次嘛。干杯,干杯。我想问问PHP周的事。首先,为什么花了这么长时间才发现这些漏洞?因为听起来这些漏洞都挺简单的。你是问为什么花了差不多二十年,还是为什么花了最近这几个月?不是,对,为什么花了一年?也许先说说这个漏洞或者问题是什么。

问题是,虽然我们早就知道这些模型越来越擅长找现实中存在的漏洞,但第一,模型还在以相当快的速度进步;第二,人们之前并没有真正用模型去检查所有现有的东西。互联网上有大量地方需要检查,也有大量代码。随着人们开始这么做,我觉得我们会发现现实中的严重漏洞比我们预想的多得多。尽管很多关注这个问题很久的人已经预料到会有很多了。

我感觉很多讨论到头来都在说,我们需要修复软件。当然没错,我们应该修复软件,但也许还需要改变架构,这更难,但能更长久地解决问题。我觉得确实需要这么做。对,这听起来很难,但我们有了这么一个了不起的新工具来做这件事,所以我觉得事情会朝这个方向发展。而且,你已经能看到新一代初创公司在谈论构建一种新的互联网,或者新的应用架构,来适应这样一个世界。

模型会越来越聪明。你觉得全球软件升级会是什么样的?比如说用 PHP 写的代码库是不是就不太好,应该用 Rust 干干净净的重写一遍?还是说我们升级 PHP?但大家都觉得我们差不多需要升级所有手写的软件,这实际上会以什么形式发生?这对 Infosys 之类的公司来说是不是个大机会?因为软件咨询项目会多很多,越来越多的人在说咱们重新设计路由器操作系统或者应用的架构。

我看到有些新创公司说,他们要打造一整套全新的技术栈,这在两年前听起来简直是疯了。你会说,根本不可能,软件太多了,你写不完的。但现在也许很快就能做到了。我敢说,我们构建系统和网络会有一套全新的模式。还有什么让你想起互联网的早期?最让我想起互联网早期的是,使用这些工具的人创造力得到了难以置信的释放,在孩子身上尤其能看到这一点。

也可能是因为我还记得自己第一次有了一台能上网的电脑时是什么感觉,我能做各种大人连想都想不到要去做的事。看着一个八岁或十岁的孩子做出一款完整的电子游戏,里面有他们想到的一些疯狂点子,大人根本想不到。他们还觉得技术这辈子就该这么运作,而且还会越来越好。他们总是在说:“我要做些对自己有用的东西,再给朋友看看。

”我小时候,我们得费老大劲才能做出一个几乎没什么用的软件。现在,你可以在十分钟内做出一款完整的三D游戏,或者任何你能想到的不可思议的东西。这让我想起互联网的早期,包括这些人永远不会因此感到震惊,因为他们一直都觉得世界本来就该这样。他们能想到的任何点子,想创造的任何东西,觉得可能有用的任何东西,或者让生活变得更好所需要的任何东西,电脑都应该能做出来。

OpenAI 有过一次很离谱的事,我们发生了一次严重故障,Codex 停了,然后所有人都忘了怎么写代码。当然也不是全忘了,但当时就觉得哇,要是不能用的话,我记得我还是学生的时候,会遇到那些年纪很大的人,他们偶尔会拿出巨大的 Xerox Alto 磁盘,或者拿出逐行写着汇编代码的东西,或者拿出打孔卡。

我当时觉得真不可思议,你们把我们一步步带到了今天,靠的就是这种方式。是,没错,我同意。还有把程序记在脑子里,对吧?写了几百几千行代码,程序第一次运行就成功了。对,有好几种这样的本事都失传了。回到网络安全的话题,现在回头看,针对网络安全做二遥是个错误吗?还是说我们必须走这一步?这有点像周六夜现场里的段子,说我们敦促你们,敦促我们停下来,就好像说模型的网络安全能力越来越强了。

是啊,模型的能力确实越来越强了,但也不完全是自然而然涌现出来的。你看,周六夜现场那个段子之所以好笑,就是因为太真实了。这种笑话能让人记住,是因为它明确地指出了社会或者某个人身上一件荒唐但真实的事儿。说到网络安全,确实有人会说:“好吧,模型在网络安全方面确实很强。可是谁要求你们做这个了?你们为什么要这么做?

”我对我们这个领域有一个很大的失望,或者说批评吧。我觉得模型的网络安全能力越来越强,也许就是一个例子。我觉得我们没有很好的向人们解释,为什么我们认为这项技术所有潜在的负面后果都是值得承受的。把这种想法夸张的说出来,人们觉得我们像是在说:“好吧,你说模型有一天能治愈癌症,也许能吧。要是能的话,我想那是好事。

”你还说模型能让东西更便宜,好吧?也许我已经能看到这是好事,而且我能获得医疗或法律建议。但接着你描绘的未来就像一场新的工业革命,上一场可能就不怎么样,这一场听起来更糟。我会没有工作,无法掌控自己的未来,也没有选择和自由。AI又太危险了,你们得建立一个可怕的监控国家,才能让我们不至于都死掉。这可真是个糟糕的。

到目前为止,我都同意。这套说辞真是糟透了。而我对 Open AI 最引以为傲的一点是我们推动迭代部署,把这些工具交到人们手里,哪怕这在 AI 安全社区里极不受欢迎,我们还是一直坚持这个原则。我认为这是唯一一条还不错的路。我觉得光是告诉人们说你们可以让模型为你们做好多了不起的事儿,还是不够,得告诉他们。

我们会让你们能够过上自己定义的更好的生活,做有用的事。你们不会只是坐着领取基本收入,让旧金山几平方英里内的一群人替你们决定未来的一切。迭代部署的意思是你得把这些进展推出去,不能都封存在公司里。我的意思是,不是全部推出去之前,还是得确保安全。你不能在世界上制造混乱,但我们要防止能力积累起来却迟迟不推出。

从大方向上说,是的,你要把这些东西推向世界,交到人们手里,让大家用这项技术去探索各种美妙的可能。漏洞被利用会成为很多新闻头条,但漏洞利用被阻止就不会上头条。大家用 Cyber Blue 取得进展的速度有多快?PHP 这件事我完全不想宣布胜利,因为我觉得我们还不知道结果,而且我想还是会有一些坏事发生。

跟我最担心的情况相比,回想一下十天前第一天的情况,比我预想的好得多。我们听到了很多人使用我们模型的故事,不只是用来开发补丁和构建网络防御,还有一些公司说,我得赶紧扫描一下部署的系统,我要把系统停掉一个小时,用一下这个,然后重新上线,因为我的应用现在下线了。现在我觉得自己真是乌鸦嘴,不该说这些。不过第一天的情况确实比我想的好很多,而且我觉得大家已经能用上这个了。

我听很多网络安全专家说,他们已经不再确信我们在威胁模型里预设的那些假设是对的。他们说,你看,如果一切都跟我们想的一样,硬件漏洞也像我们想的那么难利用,那我们确实能看出这会怎么运作。但如果AI发现了硬件里非常深层的全新漏洞,涉及我们不了解的物理知识,而这突然间意味着某个假设不成立了,那我觉得大家就不知道会发生什么了。

有件事总让我很意外,就是我跟 Open AI 和类似公司的内行聊的时候,他们基本上不太相信沙箱能做得出来。这跟我原来想的很不一样。我原来会觉得,没错,你得建一个非常严密的沙箱,跟现在的能力相比,我们过去对沙箱的加固也不够。但最终,你可以造一座戒备森严的监狱,让模型在里面工作,把模型关在里面。看来你们对能否把模型关在沙箱里有点悲观。

首先,我觉得我们可以做的比现在好得多,而且应该这么做。我觉得眼下最该关注的就是建立更好的安全模型。假设有一个理论上的AI,比最聪明的安全研究员还聪明一百万倍,你真的愿意相信那个沙箱吗?尤其是如果这个模型能发现人类还不理解的新科学,你可以用模型来建沙箱,我觉得可以。我待会儿再说这个。我觉得沙箱在一定程度上是有效的,然后我觉得监控可以再往前推进一些。

我们可以看模型在做什么,不只是看思维链,还可以监控激活值,努力弄清楚我们能不能确信模型没有在欺骗我们。然后最终,我觉得你必须非常确信模型真的已经对齐,会重视并且忠实的努力遵循操作模型的人的意图,也会重视让人类永远掌控未来。如果你有一个模型,你完全确定模型已经对齐,那是的,我觉得你可以让模型帮你建越来越好的沙箱。

但如果你真的往未来想一想,拥有一个比我们聪明一百万倍的东西意味着什么?我不知道,我觉得那就变得很奇怪了,因为对齐会变得很难,因为你必须非常非常相信对齐的效果,才能相信这些沙箱始终能领先于能力的发展。你不能给模型一些相互竞争的激励,让模型有动力背离彼此吗?我觉得这是一个有前景的方向。我猜这个想法,我讨厌 agent 风群这个词,我们叫 agent 团队吧。

不过这个词好像已经流行起来了。我猜 agent 团队有非常有意思的 scaling law 特性,也有非常有意思的对齐特性。我觉得我们应该在这个方向上多努力,不只是为了能力,从安全的角度也应该这么做。我注意到你说的是 agent 的团队,不是蜂群。蜂群这个词太吓人了,我知道会让人想到蝗虫,不好,这名字起的不好,很符合AI行业历来的许多传统。

我们可太擅长这个了。我们待会儿再聊齐名。不过我注意到,领先的AI用户和普通企业用户在使用蜂群这件事儿上似乎有很大差距。所有高深的数学工作,抱歉是团队,所有高深的数学工作都在用agent团队,所有高级的黑客工作都在用agent团队,然后普通的企业事务却没有用大规模的蜂群,为什么还没用起来?因为这东西已经有好几个月了。

程度还没那么高。看这个问题的一个角度是:我们能在一个问题上投入多少算力,并且让投入有成效。几年前,我们都忘了这一切发展的有多快。但就在几年前,你不可能在一个问题上投入超过一美元的算力,还能得到任何帮助。为什么?你可以让GPT四费劲的给你生成大约十万个token回答你的问题,但肯定没法有效的去写东西,比如给你写一段软件。

我们当时还没搞清楚怎么在测试时用大量算力来得到更好的结果。后来我们搞出了思维链模型,就能深入思考一个问题。然后大家真的开始使用大量算力。现在你可以派出一整个团队去处理一件事儿,还可以并行做一万次。要有思维链和测试时的算力,才能用上蜂群。因为一堆 GPT 三组成的蜂群没什么用。对。但我觉得这带来的影响,世界上还没有足够重视。

其中一点是,你能投入到单个问题上,并且获得更好结果的算力,正在以惊人的速度指数增长。大多数人用AI做的事,跟那些最有效的使用AI的人做的事,差距一直在不断扩大。你们现在怎么分配算力预算?因为我想,虽然研究员薪水很高,但算力的开支要大得多。所以 OpenAI 的资本分配,某种程度上就是算力分配,而且很难事先知道做一件事儿要花多少钱。

其实也很难,你没法直接给 agent 一个 prompt,说去把这件事儿做好,花费不要超过一万美元。可以。好吧,agent 能做好吗?能,如果你说用一万美元的算力尽可能做好这件事儿,对 agent 能理解。哦,这给社会带来了另一类难题,两家公司竞争,一家说你可以在同一个问题上花一万美元,另一家说可以花十万美元,这意味着什么?

结果会怎样?很清楚,但社会该怎么看待算力分配和财富之类的事情,这还是个问题。但在 OpenAI 内部,我们也有自己的类似问题。我们分配大量算力来提高内部生产力,然后大家有很大的自主空间做决定,除非他们用的实在太过分。但你就是鼓励大家做有用的事儿。要是他们花了一千万美元的算力,你就说哦有意思。对,我们尽量不因为人用了大量算力就奖励他们。

没有token排行榜,实际上token排行榜上排的靠前还有点不好,肯定不会因此升职。不过这只是默认会让人起疑。如果你能证明自己在做重要的事,大家只会赞赏你。但到了某个时候,这就得变了,因为你说的量级在不断上升。现在有个研究员花了一千万美元做出一些很有意思的数学成果,你会说贵是贵了点,但数学成果很酷。

然后是一亿美元,等他们花十亿美元做数学研究时,你就会说:听着,我很高兴你在数学上取得这么大的进展,但我真得让你在数学上收着点了。听着,我们确实有那么一个星期让数学方面的开销失控了,是故意的,因为你得,而且奏效了,不试一下,你就不知道能走多远。出现新范式的时候,我觉得让大家不受太多限制,这很重要。所以,我们做纳维斯托克斯证明的时候,对agent团队的scaling law一点都不了解。

就是最近那个纳维斯托克斯证明,对应该给这些agent用最聪明的模型吗?应该给这些agent更多还是更少的副本?让agent运行更长还是更短的时间?我们当时完全不懂。现在我们稍微懂了一点,我觉得我们还能理解的深入的多。但就像我们发现的其他每一种新范式一样,我相信我们会找到办法,让投入的利用效率每年提高十倍。

不管你用美元、算力还是 FLOPS 横梁,都能把投入变成有用的成果。所以我觉得这是我们公司特别擅长的事儿。同时,也符合这个领域的一个重要特点,让大家去探索探索可能性的极限,然后相信巨大的优化压力会让我们找到高效做到这件事的方法。所以大方向上,我更愿意让我们更敢于让大家使用多到惊人的算力,也让用户能用上极高端的套餐去摸清可能性的边界,然后再想办法高效的大规模普及。

但什么时候开始优化呢?我觉得我们已经在做了。我敢说,从完成纳维-斯托克斯证明算起,一年后我们可以用百分之一的成本重做一遍。所以,我们当时是在不只是因为知道证明是怎么做的,而是用更好的方法。对。更聪明的模型和更好的方法,所有这些数学研究花了多少钱?大概是一千万美元这个量级,比如纳维-斯托克斯证明,我想。

也许再多一点,一千万美元左右,一千万到两千万美元那个量级,但这只是一个证明,所以再乘以七百不不,因为后来我们进步的很快,理解的更多了,明白了。那些证明平均下来,每个花的钱要少得多。我明白了,但数学研究花了几亿美元,对对,差不多是这个规模的工作。好,有意思。但这里面包括的其他发现,比我们发表出来的要多得多,所以可能是花了那么多钱。

除了那七百个证明,还有更多。有,当然,我们什么时候能看到第二张专辑?我们正在摸索怎么。这里确实有矛盾。我觉得,一方面,我对这一点非常明确,毫不犹豫。人类有权获得基础知识,我们不应该把重大的基础科学发现握在手里。全世界都有权获得并了解这些知识。我觉得这一点比另一个非常重要的利益更重,那就是:如果你是一名科学家,你的事业还有你人生中很大一部分乐趣和成就感,都来自科学发现。

所以,如果我们要继续在数学上这么做,或者开始在其他领域这么做,我觉得我们非常有责任为这些领域的工作者想清楚有什么解决办法,既能让世界从这些知识中受益,也能让他们拥有尽可能好的未来。所以,我们现在正在研究这个问题。我不知道,我觉得你可能太愧疚了。我不觉得那件事对AI来说特别不好。我想大家都看到了数学家群体群情激愤,但其他人都说:“是啊,我说过,你有关注2026年发生的事儿吗?

”就像我说的,我不觉得这对AI不好。总的来说,我觉得世界有权了解宇宙是怎么运作的。但我确实同情数学界。我觉得我们需要这么做。我觉得我们应该这么做。我觉得,如果我们能去弄明白一个涵盖整个物理学的理论,或者怎么治好很多疾病,显然这些都是世界应该拥有的知识。但我希望能找到一种做法,尽可能照顾到那些几个世纪以来推动这些领域发展的群体的感受,这很难。

我倒没有那么担心数学界,我觉得这很好。但你也承认数学家们不太高兴吧?是,但没关系。码头工人工会当初也不喜欢港口自动化。还记得那个人吗?不不不,我记得。我为什么对这件事的感受不一样呢?有个周末我们拿到了一个新模型,我其实可能不该说这件事儿。不过既然我们在喝酒,那我就说了。没错。我们已经喝了半瓶脱了,正是时候。

那个频道的名字叫 Model Name,后面加个短横线,再加 Hold My Beer,大家就拿这个模型去挑战能找到的最难的问题。大家本来都觉得模型做不到这些,然后我们一起看着大家拿出自己学术生涯里最难的研究问题,模型一个接一个地解决了,涉及很多不同的领域,看着这一幕太不可思议了。差不多连续两个晚上,我大半夜都没睡,因为太兴奋了,根本不想去睡觉。

这些问题里有很多我们都发表了,还有很多别的东西。我特别兴奋,也很高兴,但同时我也感到悲伤、惆怅,觉得有什么东西正在结束。这些感受比我预想的要强烈的多。再说一遍,我同意,对世界来说这件事是对的,我也同意。现实就是这样,没有人能阻止,也不应该阻止。但我确实有,真的。我觉得你能感受到一种惆怅和怀旧,不只是怀旧,惆怅,对。

我爸说过,他在一九五零年代的爱尔兰长大时,看到身边的人在生产中还会用马,还有五十年代对,当然那时候也有拖拉机了,用马正在逐渐被淘汰,但确实还有人在用。他意识到人类使用这种技术已经几千年了,而他亲眼看到了这段历史的最后一小段。我觉得亲眼看到一个篇章结束,总会让人有些惆怅,但没关系。这是人们的生活,也给他们带来了巨大的快乐。

当然,大多数数学家都没能解决一个千禧年大奖难题,但想到自己也许能做到,想到还有我们不理解的东西,只要付出巨大的努力,把生活中其他事情放到一边,全身心投入,还是能解决并理解这些问题。这本身就很美。从安全的角度看,还有什么让你感到兴奋?我们之前聊过一点,但我想再强调一下,我就叫群体吧,毕竟现在好像都这么叫。

我确实觉得群体的很多特性,和社会的韧性、稳健性有很多相似之处。我觉得只有一次生成,只有一个大脑的世界,恰恰缺少这些东西。社会有种种深层的缺陷,但社会的稳健性令人难以置信。这离不开很多人互相制衡、互相合作,也离不开多元主义和民主这些价值观。我之前有点难过,觉得 AI 的发展会逐渐远离这些东西。现在我对这个方向感到兴奋。

你的意思基本上是 AI 不应该走向集中化,因为会有很多 agent,这些 agent 互相抗衡,处于动态平衡之中。攻防就是一个很好的例子。凭直觉,我宁愿让一万亿个智能略微超越人类的 AI 加入社会,也不愿让一个智商达到一万亿的 AI 加入社会,杨。你觉得我们正在朝多个 AI 的方向发展吗?这些都需要我们去争取。

我们拥有这种不可思议的技术,这种技术可以用在很多方向,也可以用很多方式部署。我觉得很多人可能对该怎么使用这种技术,什么样的世界才是最好的,有不同的看法。但我觉得这个方向是对的。我们来聊聊创业。有了编程模型,你周末做的副业很快就能变成一番正经事业。我们Stripe一直在努力让这个过程尽可能简单。Stripe

Atlas 能帮你处理创业所需的一切,比如注册公司、获取税号、分配创始人股权,还有其他通常需要找穿西装的人处理的琐事。

所以,如果你正在筹备一家公司,可以去 Stripe 点 com 斜杠 Atlas。看看算力短缺的情况怎么样?我觉得在发展曲线的不同阶段,很多事情都会有点失控。和任何这么重要的新事物一样,会有非理性繁荣的时候。也会有崩盘的时候,会有供不应求,也会有供过于求,会有起伏。但我觉得我们总是想要更多算力,人们想要能力足够强、价格又足够低的模型。

我觉得这种需求只会朝一个方向走。我们正在做很多事情,努力为此做好准备。我们做了一款芯片,按每瓦能提供的智能来衡量,性能非常出色。我们正在学习怎么自己建数据中心。我们有一个机器人项目,打算用来建造大量数据中心。这才是真正的递归自我改进,也就是 RSI。对大家经常说的 RSI,是让 AI 做 AI 研究,但很少有人谈到能自我复制的数据中心。

这个想法是用 AI 控制机器人运营芯片厂,制造涡轮机或太阳能板,还能建数据中心。我觉得我们已经快能做到了。所以我们会努力制造大量非常便宜的算力,但数据中心现在的瓶颈不已经不是劳动力了吗?瓶颈是审批许可,还有零部件。我们能不能让机器人制造更多零部件?最终可以,对,这些都是我们从长远解决这个问题的办法。

我对算力的观察是,人们常说解决高价格的办法就是高价格,就是说,好,第一步,内存、GPU等等的价格已经很高了,解决办法现在应该随时都会出现了。解决办法进展的怎么样?很糟,我不是说这是 OpenAI 的工作,我觉得这应该是那只看不见的手的工作,对吧?内存已经变得非常贵了,所以新的内存制造商现在应该随时会大量涌入市场。

我觉得那只看不见的手现在失灵了。这只看不见的手,往好了说,过去的表现也是有好有坏,但我觉得在这件事上不太管用。为什么?只是因为有滞后效应,还是?我觉得这里每个领域的具体情况都很重要。不过,既然你先说到了内存厂商,很长一段时间里,如果你是DRAM生产商,你要投入两百亿美元资本开支,才能赚回一百九十亿美元。

而且你会经历一轮轮繁荣和萧条,比如有些年可能赚回两百一十亿美元,有些年赚回一百八十亿美元。但直到现在,我觉得造内存从长期来看都不算一门好生意。然后突然之间,这些厂商每家都要赚到大约一千亿美元的自由现金流,一年之内,简直难以置信。但我觉得他们都记得过去的经历,记得有多少次他们建了太多晶圆厂,别人又跟他们保证说这次不一样,结果他们差点破产。

所以他们在资本开支上就比较保守,显然是这样。我觉得你应该会看到,供应链的各个环节都会有新公司出现。也许更重要的是,有相关经验的人会进来,比如英特尔造芯片,他们可以重新进入内存市场,就像以前一样,就像以前一样再转回来。我觉得供应链上有很多情况都特别不容易看出来。举个例子,很多人想要本地推理,不知怎么的,他们觉得这个问题已经解决了,因为我们会有开源模型可以在自己的电脑上运行,这样就不需要数据中心里的那些东西了。

但从全球资源分配的角度看,让每个人都在自己的电脑里放一堆全球供应有限的DRAM,只有百分之五的时间用得上,其实很糟糕。如果你想应对这种供应极度受限的环境,就会希望云端的利用率达到最高。但不知怎么的,很多人的直觉正好相反。除了内存,在整个供应链上,我们还在哪些地方看到市场对高价做出了反应?涡轮机、电池、混凝土。

不好意思,你是说这些地方市场的反应就是价格上涨?对,你有没有看到什么有意思的市场反应?比如高价带来了创新,机器人的一些零部件。不是人形机器人那种有点假的演示,而是能把东西造的更快的工业机器人。明白,比如这些新的执行器厂商之类的。对,说实话,也许可以说,如果 OpenAI 销售我们自己的芯片,那也算一个例子。

好,对我正想聊你们的芯片,因为我本来就想拿这个举例。我觉得解决价格高、供应有限的办法,就是自己造芯片。我猜你们用了大量 AI 来造这款芯片。我本来以为这很难,因为我觉得芯片设计是那种受限于能获取到的公开 token 的领域。公开互联网上其实没有那么多博客文章教你怎么制造一款最先进的二纳米芯片。说到怎么做光刻,对我觉得全世界好像只有一家公司知道怎么做。

但说到芯片设计,比如生成最终要送去流片的文件,这方面大家已经很了解了,而且这非常适合让AI来做。考虑到全球的芯片产能会受到限制,我们有共同的利益。Open AI有一点让我很自豪,听起来可能很明显,但当时也许没那么明显,就是我们有这样一种文化:大家即使一件事儿已经用老方法做了很久,也非常愿意尝试用AI把事情做得更好。

还有哪些这样的例子?AI研究、软件工程,还有越来越多的采购工作,或者那些人们觉得跟大多数人用AI做的事相去甚远的工作。AI驱动的AI研究到底是怎么做的?是不是像让AI证明数学题或者找PHP漏洞那样?你跟AI说,帮我找出一些AI。我觉得,我们还不知道真正会怎么做。我们现在知道怎么说,帮我把算力效率提高百分之五。

但指令就是这么高层次的吗?那我现在也可以成为一个极其成功的AI研究员了。极其成功,我就不知道了。不过,对,如果你想找新工作,可以来做这个。我觉得现在还没人知道怎么做到这一点,让AI去发现一种新架构,一次带来的进步能和Transformer一样大。我觉得事情正在朝那个方向发展。那现在还缺什么?更聪明的模型,在这个方面更聪明的模型,高层次的规划和概念推理能力。

我觉得,如果把我们用来让模型变得特别擅长数学的同一套流程用到AI研究上,大概也会奏效。不过,接着我们之前聊的,我觉得至少在一段时间里。也许是很长一段时间,我们需要就允许单个模型变得多聪明达成一些限制,但进展受限会是因为这个决定,而不是因为AI没能力做好研究。具体来说。如果我用AI来开发更好的AI,那我们现在应该期待GPT七非常厉害,因为你们有GPT六和某个还没发布的版本来开发GPT七的,所以我对GPT七的期待特别高。

但假设我背着包来上班,走进OpenAI在旧金山的办公室,然后坐到我的办公桌前。我是跟 AI 说让这个模型变得更聪明吗?还是给 AI 一个具体的研究方向?需要给 AI 多明确的方向?迭代的过程又是什么样的?因为你们就在递归自我改进的第一线,我很好奇这是什么样的。大家经常讨论 OpenAI 的一个挺有意思的问题,听起来很简单,好像你可以直接说让 AI 帮我实现递归自我改进之类的。

但问题是你到底该向 GPT 七提出什么问题?大概光是说帮我实现递归自我改进还不够,而且光是说帮我把算力效率提高百分之五大概也不够。我觉得这是目前最有意思的讨论之一,答案也不只是该问模型什么问题,还包括像 agent 群这样的东西。我们要怎么使用这些模型,才能真正最大限度地发挥模型的作用?我觉得接下来大约三个月,我们会在这方面学到很多。

但听起来你们还没有形成一套明确的 Open AI 标准方法,用 AI 辅助开发 AI,你们自己也还在大量尝试,就是在做大量实验。刚才聊到token预算,我突然觉得AI在企业里普遍使用有一个很大的未解决问题:我们并没有给每个工程师设硬性的预算上限,你不会花到一定程度就被掐断,说。不好意思,你的游戏币都用完了。

也许我们应该设,但现在没有。再说,我想我们都相信AI会继续扩大规模。但如果认真看待这件事儿,就意味着每个人用在算力或AI上的开支会增加。所以,我觉得我们很快就要碰到这个问题:到底怎么决定给组织里的每个人多少花钱的权限?有段时间,很多公司的 Google Calendar 里有个功能,会显示每场会议的大致成本,就是算所有必须参会的人的薪酬。

我觉得那其实一直都低估了成本。有人观察到一个现象,Paul Graham 曾经提过,很多人也提过,就是公司里有些人有极大的权力,能让办公室的临时预算每周省下十七美元。可与此同时,你可以开成本高的惊人的会,却毫无价值,而且好像没有相应的权力能制止这种事。我这话当然是替自己说的,立场很偏,但我真的这么认为。

和公司里发生的其他事情相比,使用AI的开销并不是最大的问题。即使用得有点低效,我也不会把注意力放在这上面。哦,等等,你这还不够信scaling law啊!我不是说两年以后,你想把Stripe的所有营收和利润都花在OpenAI的服务上,然后再来抱怨这件事吗?我很乐意聊聊。可我们正在走向那一步。太好了。

我们现在的支出,Stripe的运营支出里大概百分之一这个量级花在token上,这显然听起来太低了。是啊,所以我们正努力改变这个情况,这个比例会涨到百分之五、百分之十、百分之二十,到那时就真有问题要考虑了。你直觉上觉得多少才合适?比如说现在应该是多少?现在应该是多少?也许很难说,但到了稳定状态,根据公司类型不同,这不应该会占到运营支出的百分之几十吗?

我觉得对很多公司来说,答案显然是肯定的。我也觉得总有一天,我们确实应该认真优化这笔开支。还有,Open A I 让我自豪的另一点是,我们一直在努力把每单位智能的成本不断降下来。我觉得我们一直在很好的宣传和推动这件事。但即便如此,即使按现在的成本算,我觉得用 AI 不够多的公司还是比用的太多的公司多。

最前沿 AI 每吉瓦的成本会涨还是会降?应该会降。降应该会降,为什么?因为到目前为止,成本一直在涨,对吧?成本可能上涨的原因是,如果AI每瓦能做到的事情创造的价值增长得太快,而供应又严重短缺,人们就愿意多花很多钱。但你会认为那是算力没跟上?对,我会认为那是算力没跟上。如果看把沙子变成智能的技术成本,那应该会下降,能源成本应该下降,芯片成本应该下降,供应链的其他成本也应该下降。

要是不降,我会很难过。但要让成本降下来,考虑到这里面有这么大的价值,供应量就必须大幅增加。所以你希望看到算力供过于求,我们开始生产更多内存,建设更多数据中心,各种投入都大幅增加。这样一来,任何想要一台电脑的人,不管出于什么原因,都能有一台。对于目前每吉瓦的成本,按五年总持有成本来算,大家给出的数字不一样。

不过我们就拿七百亿美元来说吧。我觉得如果这个数字是,这是安装成本,还有运行五年的成本。三,明白。我觉得,如果那个数字是两百亿美元,而不是七百亿美元,我们应该会高兴得多。而且,我们仍然应该要求每年通过更聪明的模型,从中获得十倍的性能提升。我猜你不会觉得二十亿美元是个好数字。要是真到了二十亿美元,就是哪里出了问题,因为那会很让人意外。

如果我们还是说二十亿美元比两百亿美元更好,为什么不是呢?我不觉得那会发生,但我们为什么不希望这个数字越低越好呢?我不知道这是你的理论,你的观点是能让价格下降的技术总体上是好事。我确实这么认为。对,在这个意义上,我支持通缩,支持能让价格下降的技术。那我们要怎么做到呢?从现在到那时会发生什么?每吉瓦两美元,我无法想象。

从现在到每吉瓦二十美元期间会发生什么?两百亿美元,每吉瓦二十美元,那可太好了。好吧,对,两百亿美元,即使要降到两百亿美元,也得让能源更便宜才行。但毫无疑问,从融化沙子或者类似的工序,到拿到 token,这中间层层叠加的毛利,很大一部分都得压缩。只要消除利润就能做到,还是说能源也得变得更便宜?我一时算不出来。

假设所有材料都是免费的,也没人赚利润,那也许在目前的能源条件下能做到,但也只是勉强做到。明白了,个人agent是现在AI领域最让人兴奋的事情,是其中之一。AI领域有很多让人兴奋的事儿,这是最让人兴奋的事儿之一。你们几周前推出了Dots,还有不少其他人也在这个领域推出产品。最终胜出的个人 agent 会是什么样的?

就是智能上下文工具,就这么几样东西。然后有人会,我觉得还没有人找到,那个能让人们大家喜欢这些产品,但还不会说我无法想象生活中没有这个东西。而人们谈到 coding agent,甚至 Chat GPT 的时候,确实会这么说。我觉得很快就会有人找到那是什么样子。你谈到了这东西现在还不太好用的一个原因,但我觉得只差几个点子就能成为非常主流的东西哦。

有意思,你觉得个人agent还没有迎来Macintosh时刻?我觉得还没有。你觉得会是什么样子?我觉得会很像现在的 Dots Muse 或者 Grokbar 之类的产品,但就是能用,就是能用,会很可靠。你给 Agent 更复杂的任务都能完成。Computer use

带来的局面,我觉得很有意思,因为不是每个人都欢迎 Agentic 的新未来,但这也不完全由他们掌控,因为你完全可以让 Agent 来使用电脑。

你觉得这种猫捉老鼠的局面会怎么发展?粗略的直觉是,双方都会为此争斗,但最终会达成某种共识,允许你让AI代表你使用电脑,包括使用软件。大家总是这么说,但这不有点像语义网吗?概念上听起来特别好。对我正想说,我觉得这事儿没那么非黑即白。对于事情会怎么发展,我没有特别大的把握。作为消费者,如果我不能让 AI 在我自己的电脑上自动完成任务,我会觉得有点烦。

我希望感觉是我的 A 真在按我的要求做事,这样我自己就不用去做了。我注意到,现在有一个很有意思的现象,就是每家公司都特别想在产品里加入AI,方式还很具体,做一个标签页或者弹出的小组件之类的,给你一个聊天界面,而且这个界面的能力往往强的让人意外。所以你可以说,嘿,我想退掉最近的订单,然后聊天界面真的能找到你最近的订单,你会觉得还挺厉害。

虽然有点不顺手,但这些事儿都能完成。不过,消费者其实都不想要这个界面,因为消费者对自己现有的主力聊天应用有很强的偏好。虽然不是完全不可改变,但偏好很强。他们想做什么事儿的时候,首先打开的就是那个应用。他们想要的是能够说:“嘿,去这家商家那里找到我最近的订单,帮我退款,或者类似的话。”我注意到商家很不愿意让人们在另一个 AI 应用里使用他们的服务,因为他们觉得哦,我们会失去控制权和护城河什么的。

我觉得这样也没什么,因为你的竞争优势很可能不是来自你写 HTML 的能力,你的竞争优势来自品牌忠诚度和产品选择,而新的界面就是在 Chat GPT 或 Gemini 之类的应用里通过 Agent 交互,但所有商家在这点上都不同意我,而且他们很擅长做生意,所以也许他们是对的。对,再说一次,我在这个问题上有偏见,但我在大方向上特别同意你。

我有一种非常强烈的偏好,宁愿从亚马逊买东西,也不愿从随便一个我不认识的电商卖家那里买。我不知道能不能退货,也不知道能不能相信他们会快速送达之类的。如果我让 ChatGPT 帮我买东西,可以在亚马逊和别的选择之间选,那我每次都会点亚马逊,哪怕价格更高,我就是特别。而这跟我在 Amazon 点 com 上点来点去的体验毫无关系。

现在,我觉得你可以说,如果合作伙伴不希望这种情况发生,那我们在 Chat GPT 里给他们提供平台还做得不够好。再说一次,也许我在这个问题上偏见很大。我觉得,如果商业活动更多的通过 agent 来进行,他们会处在一个很有利的位置。对,特别是亚马逊,靠着履约网络有很强的竞争优势,所以你基本上可以从任何地方使用亚马逊。

我特别信任这一点。这种局面真的让我很有感触。我现在的想法,尤其是对 agent 参与的商业活动,但也适用于任何事情。就是现在,只要有网页表单需要你亲手填写,那就不值得你花时间,因为这些信息大概都不是你第一次提供了。我们都填过医疗表格,问什么家族病史之类的。那真的很让人烦,因为你已经填过多少次你爸妈的病史之类的信息了,感觉太浪费了。

类似的情况还有上百万种。你填网页表单的时候,根本没有在创造新信息。如果再也不用在电脑前做假工作,我会特别开心。对,我的观点是,任何网页表单基本上都是假工作。我同意。我算是我认识的人里最早一批用那种插件的人,能帮你填姓名和地址,虽然填得很笨拙,因为我当时就想,我不能再填一次了。但现在我用大部分网页时都有这种感觉,我觉得这个现象很有意思。

现在商家特别看重自己的 HTML 和手机应用,觉得这些是竞争优势的来源。我觉得这很,要么他们错了,这根本不是竞争优势的来源;要么可能是,但只是暂时的,他们得接受这一点。我觉得我们亲眼见过的上一次这样的例子是应用商店,具体说是 iPhone

的应用商店。我记得当时每家创业公司都说,或者说很多创业公司,IC那一批里的大多数公司都说,我要做一个iPhone应用,这是个新的分发渠道,这太棒了,我可以做一件以前做不到的新事。

很多新的创业公司也就此诞生了。所有大公司都觉得自己必须做一个,但又有点不想做,因为他们觉得哦,我要把自己和消费者的关系交给苹果了。但这对他们来说很有利。这只是一个新界面。对,我接下来问的快一点。有人抱怨模型刻意刷 benchmark 分数,这真是个问题吗?OpenAI

的模型有刻意刷分吗?还是说你其实像 Rick Rubin 那样,只凭感觉觉得这个模型对位了,就不在乎 SWE benchmark 给模型打多少分?

也许我们真正应该关心的是,模型善不擅长两件事:一件事科学发现,做出人做不到的事;另一件事合作起来让人愉快。我觉得我们还没有很好的benchmark能衡量合作起来是不是愉快。其实我也不确定有没有很好的benchmark能衡量最聪明的科学家。不过我们努力不去刷分。我总以为刷分这种现象已经过去了,可大家还是在做。

那你们是不是比其他实验室更能抵住刷分的诱惑?我相信我们更擅长。我不认为我们一直以来都更擅长。我相信我们现在做的更好。感觉整个行业还在摸索怎么让模型合作起来,让人愉快。之前有一阵子模型特别爱拍马屁,最近又有一阵子脾气很冲,特别拧巴。模型不拍马屁,结果什么小事儿都要跟你唱反调,挑你的刺。其实现在的模型已经相当不错了。

我觉得最新的模型比我们很长一段时间以来用过的都好得多,但感觉应该还能做得更好。Amishir 几年前跟我说,他想要的是一个很有想法,会向你提出挑战,但仍然尊重你的资深同事。到现在我还没听过比这更好的简短概括。对。跟 Greg Brockman 共事这么多年,你对他有什么大一统理论?我觉得 Greg Brockman 是独一无二的,而且是最好的那种独一无二。

按 Greg Brockman 的尺度来衡量,他也是独一份的。你得亲身经历才能明白那是什么样的。但我觉得身上结合了几种特质:劲头十足,工作效率高的惊人,极其投入,一心要完成使命,这非常酷。你很讨厌用 token 来衡量任何东西,不管是定价还是别的 token,不是 AI 的标准单位,可我们还是用上了。

我们确实聊过这个,你可能会说按成果来衡量,但我觉得不行,因为不同使用场景的成果差别太大了。问题是合适的标准化单位是什么?我们差点做了一个决定,那会是个糟糕的决定,就是说我们的下一个模型完全不按 token 定价。你只要给模型一个 prompt,我们就给你报个价,然后帮你做,就像 AWS 一样,你做点什么,我们给你发账单。

但客户对此的反应非常负面,他们说:“我得知道自己付钱买的是什么。”我问过几个人,同样的输出,你是不是宁愿多付钱,也希望按某个固定的token数量之类的东西来定价?哪怕我们把token数量夸大,他们说,我更愿意你们把token数量夸大,让我多付钱,因为我知道有个实实在在的东西。所以我觉得你说的对,人们不只是想让我们直接给他们报个价,因为他们觉得长此以往,总有一天会被坑。

就像有些人可能宁愿按 CPU 小时付费,也不愿只为完成任务付费,哪怕后者更便宜。你知道,芯片炸极长度用的纳米,现在说的这个纳米数,跟实际情况已经没什么关系了。Token会不会也变成那样?你们是不是该开始说,这是一个智能等价Token,就像那个牌子说的?我不敢相信这不是黄油。最小特征尺寸的纳米数,对,那是编出来的。

我希望不会这样。我们用纳米这个词来描述一个跟纳米毫无关系的东西,这让我很不舒服。我知道,这很荒唐。你不喜欢那样?我不想编造一个假的单位 token,在某种程度上就是个假单位。我是说 token 从某种意义上确实存在,但不是个好单位。从商业价值的角度看。Token是假的,支持用Token的唯一理由是不是?

如果你在浪费Token,我们应该尽快解决这个问题。我们不应该一直传输。Claude Shannon不会赞成我们一直传输噪声而不是信号。所以从信息论的角度看,两边最有用的Token数量有个下限,我们最终会回到那个水平。对,现在你得考虑,是要小模型每一百万Token十美分的输出,还是大模型每一百万Token十美元的输出?

然后还得考虑思维链可能有多长。这些都是额外的思考负担,我觉得实际上没有增加任何价值。思维链包含在价格里吗?我们的收费里,大多数人都要为思维链付费。明白。顺便说一句,这杯 Guinness 没有我想的那么差,肯定没有 IPA 好喝,但也没那么差,挺好喝的。对,IPA 很棒,但这杯也挺不错。我们喜欢 Guinness,对,至少在这个播客里是这样。

谢谢。