好的,我又请来了 Semi Analysis 的创始人 Durgaish Patel。我们俩版本的家庭感恩节聚餐,就是每年固定录一期播客。我们其实并没有亲戚关系。别把这事儿告诉大家,会打破这个神话的。你给我讲讲吧。基本上,世界经济的走向越来越取决于 AI 实验室的经济状况、算力市场的走向等等。所以,我想了解一下未来几年内这个疯狂的局面最终会走向何方。
不过,我们先从现状聊起吧。你来给我讲讲目前实验室的算力和实验室的营收情况,或许再展望一下未来一两年。好的,回看去年,即使在年底,美国大部分的 GDP 增长也仅仅是 AI 基础设施。展望今年上线的,大约三分之一算力都是给这些实验室的,也就是 OpenAI 和 Anthropic。这些算力可能是别人建好再租给他们的,但作为终端客户,就是他们展望未来算力的数字正在急剧膨胀。
对吧?今年我们的Capex已经略高于一万亿美元了。到二零二八年,这个数字将超过两万亿美元。实验室在其中所占的比例也越来越大,因此到头来会出现一个非常有意思的局面:这些实验室正从每年花几百亿美元到每年花几千亿美元。甚至预计到这十年结束时,每年要花数万亿美元。这至少是他们已经开始与合作伙伴签署的部分合同所体现的。
所以这需要对他们的财务状况进行大幅重塑,对吧?在此之前,他们大部分时间都是亏损的公司。Anthropic 在第二季度开始实现盈利。大家认为在第三季度的某个时间点,OpenAI 可能会开始盈利。即便算上 Codex 和 5.6 等产品的大幅增长,但如果回到一年前,他们所有的钱都是风投支持下的亏损,对吧?
哪怕回到今年年初,也都还是靠风投资金支撑的亏损。他们现在已经扭亏为盈,真正开始赚钱了。不过,这并不意味着他们不再吸纳新资金,新资金依然在源源不断的进来,以进一步加速增长。但归根结底,他们业务中越来越大的部分是由自身的营收来支撑,而不是靠外部注资。在过去一年半的时间里,他们的利润率确实暴涨。算力的基础成本一般在每兆瓦一千万、一千三百万或一千五百万美元左右。
现在发生的事情最有趣的地方在于,之前他们部署模型产生营收时,对吧?在英伟达 Hopper GPU 上部署 GPT 4 时,给 OpenAI 带来的是负毛利率。但现在,当 OpenAI 部署 GPT 五点六,或者 Anthropic 部署 B S 五 Mythos。Fable
是他们所产生的收入已经远远超过了每兆瓦一千万到一千五百万美元这种增量成本,eNthropic 利收入已经高达每兆瓦五千万美元,而这现在让他们能够做到的是,你看,如果我在推理算力上花十美元,实际上能产生五十美元的收入,然后我转过头来就能把这笔利润全部追加投入到训练当中。
我非常想了解的一点是,你如何看待算力向这些实验室集中的趋势,或者说全球算力与流向实验室的?算力之间的相对比例,比如,如果你说现在有三分之一的新增算力流向了这些实验室,那么到什么时候,全球超过一半的新增算力都会流向实验室?又到什么时候,这些实验室基本上会占据全球绝大多数的算力?是的,在今年年初,Anthropic 和 OpenAI 的起点,OpenAI 是二,Anthropic 还不到二。
到今年年底,他们都超过了五,所以他们的总算力增长到了原来的三到四倍。如果看今年新增的算力,那大概占到了今年全部新增算力的百分之三十。而当我们展望明年,考虑到那些已经白纸黑字签下的合同,情况会更加惊人,对吧?Anthropic OpenAI 明年将吃下多达百分之四十到百分之五十的算力。而且这种集中化趋势看起来丝毫没有放缓或停止的迹象。
事实上,它看起来只会加速。不过,具体由谁来为他们搭建这些算力,情况会有所改变。明年一个很大的新入局者是,比如 SpaceX 正在建设大量的算力,而且他们很可能会积极地把其中相当一部分租给 Anthropic 和 OpenAI。因为这两家有能力、有边际支付能力,出最高的价格。此外,OpenAI 和 Anthropic 也开始搭建自己的算力。
OpenAI 用自己的芯片,Anthropic 用他们从谷歌购买并通过 FluidStack 部署的 TPU。所以,当你问全球新增算力的一半什么时候会全归 OpenAI 和 Anthropic,我是说,其实到明年年底就已经有一半的新增算力流向 Anthropic 和 OpenAI 了。因为算力增长得太快了,新增算力基本上就会占到总算力的绝大部分。
所以你的意思是,很快,也许一年半或两年内。全球大部分算力就会被这两家实验室拥有,或者至少是在满足这两家实验室的需求。你觉得能维持多久?现在的趋势可能是。全球以吉瓦级的算力每年翻一倍,但前沿实验室的算力每年都会翻两番,变成三倍。但如果保持目前的趋势,按乘以三来算,就会从今年初的大概二,增长到今年底的接近六,到二零二七年底是十八。
到二零二八年底是五十四,你会觉得好吧?到那个时候,考虑到全球算力的总量,他们根本不可能继续保持三倍的增长了吗?还是怎样?你如何看待未来几年的全球算力格局?对,所以如果今年新增算力增加三十几瓦,明年增加五十几瓦,后年增加七十几瓦,粗略来看,你就会看到一个非常有趣的现象,那就是今年新部署的一瓦功率效率要明显高于两年前部署的功率。
所以实际上,今年部署了全球算力中极其巨大的比例,尽管部署的瓦数并没有翻倍。但我部署的是 GB300S TPUv7 和 Training3,它们的效率要高得多得多,每瓦性能是上一代芯片的三倍五倍。所以归根结底,这里存在一个巨大的梯次跃升。如果 Anthropic 和 OpenAI 明年吃下百分之四十五的算力,到了比如说二零二七年十二月,他们已经吃下了全球新增算力的一半。
但那全球一半的新增算力,其实性能比之前的所有算力都要高,所以你在这里又得到了一个乘数效应。因此,到了大概二零二八年底,如果这个趋势继续下去,而我看不到任何能阻止它的因素,他们两家就会直接掌控全球大部分可用的 flops。让我困惑的是,你为什么觉得我们在二零二八年只会增加八十几瓦?如果我们进入的世界里算力的价值暴涨了这么多,顺便说一句,那还是上限,那是建立在我他妈的极其看好的前提下的。
对,好,那我们按思维链来推演一下。几个月前我采访你的时候,你说过,为了制造一吉瓦的,好像是 Vera Rubin。你需要怎么说来着?需要五万五千片 N 三晶圆,六千片 N 五晶圆,还有十七万片 D R M 晶圆。我不知道,那些数字可能已经变了。我得吐槽你一下,你刚才念 wafers 的发音简直太他妈蠢了,wafers。
顺便说一句,我们刚搬到美国的时候,我分不清 V 和 W 的毛病挺严重的,而且我当时还是个素食主义者。素食主义者,我记得你跟我说过这事儿,在北达科他州,我当时上小学,我就会说,能给我来个 veggie 吗?能给我来点 veggies 吗?不管怎样,那是以吉瓦的量,对吧?对。现在我让一个 L M 运行了你的晶圆制造设备模型,算出来制造一吉瓦的算力,基本上每年需要多少设备成本?
算出来大概是三十亿到四十亿美元。现在假设你把洁净室、厂房外壳以及晶圆厂里的所有其他东西都算上,所以大概六十亿美元的晶圆厂 capex。每年能产出一吉瓦,而一吉瓦现在能产生一千亿美元的营收,但而且。那六十亿美元的 capex
是每年都在产出一吉瓦,而那一吉瓦每年都在产生一千亿美元。所以哪怕在五年的时间里,第一个吉瓦已经产生了五年的利润,晶圆厂生产的第二个吉瓦产生了四年的利润,以此类推,晶圆厂层面六十亿美元的 capex。
最终将产生超过一万亿美元的终端 AI 收入。对,这中间还有很多日常运营成本,还有很多其他的 CapEx,比如数据中心、电力。而且你还得给 OpenAI 付研发费用,这里面有很多不同的人都需要分钱,所以,但是,但确实这里面有巨大的。就算把一半分给所有这些中间商、晶圆厂 Capex 和最终产生的营收之间,依然有一百倍的差距。
其实比这还多,这还是非常保守的估计。那这样一来,这就是资本主义,对吧?你可以想象,人们肯定会想能把一美元变成一百美元。有这么巨大的差距,他们难道会想不出办法造更多的反射镜吗?我是说,他们确实在想办法。对,只是这些反射镜需要时间来做,对吧?但这事儿十万火急,就像 Anthropic 和 OpenAI 觉得。
我们现在就能赚一万亿美元,但卡就卡在进阿斯麦光刻机的反射镜上了。他们会愿意花好吧?如果我们砸一千亿美元在这上面,怎么才能造出更多反射镜,对吧?我们很快就会面临这种局面,我就会觉得我们难道就解决不了这个供应瓶颈?这感觉实在很难想象。不肯定有,你已经看到有人在这里做搞笑的套利了,他们买下燃气轮机这类东西,然后试图转卖。
对,因为燃气轮机的价值要大得多,因为它是卡住数据中心的东西。我觉得,要是有人有四亿美元,还能说服阿斯麦卖给他一台 EUV 设备,他完全应该直接买一台,然后等着用,等着等着,再以超过十亿美元的价格卖掉,对吧?但归根结底,是的,资本主义会让这些产能扩张,但这就像一根鞭子,对吧?鞭子的信号传导到末端需要很长时间。
所以供应链不会立刻做出反应。事实上,你去跟蔡司的人聊,他们会说,对对对,我们到二零二零年代末需要造出一百台 EUV 设备。我想我们今年早些时候录那一期节目的时候,他们甚至都没想过需要造那么多,也就是足够一年造一百台 EUV 设备的反射镜。现在他们有点觉得,好吧,我们得这么做了。但实际上,基于目前的所有经济效益,这个数字应该还要更多。
但扩产需要花太长时间了。假设这个技术战里的每一家公司都被私募股权收购了,比如有个极度 AI P.U. 的人进场。说我们要把产能拉到最大,你觉得在造出更多东西这件事上,物理限制会是怎样的?能有多快?因为问题在于,我们很快就会进入这样一个世界:AI 实验室的营收或者单纯 AI 带来的现金流会极其庞大,因为显然加速芯片厂商也有这些巨额现金流,庞大到你光靠现金流本身就能支持所有这些生产的极端扩张。
对我确实同意。一般来说,显然存在一些物理限制。按照供应链目前的扩张方式,一百大致上依然是准确的数字。针对二零三零年。2030 年造一百台阿斯麦设备,但是如果你对蔡司说给你们一百亿美元,他妈的赶紧给我扩产,那情况就会不一样了。而且你得对供应链里的每家公司都这么做。我觉得今年不会发生,我觉得明年也不会发生,我觉得后年也不会发生,因为全世界都受资金限制。
但如果到了比如顶尖实验室明年能产生哪怕加起来一万亿美元营收的世界,他们也没法拿出十亿吗?我觉得他们不会那么做,但是。对,或者至少几千亿,对吧?看起来他们清楚世界的走向,我觉得他们完全可以做出。问题在于实验室可以花几千亿,他们明年会产生几千亿的营收,但最终明年的 capex 大概是两万亿美元,所以就出现了这种巨大的脱节,对吧?
晶圆制造设备供应链大概会做到两千亿美元左右。数据中心市场供应链会做到更多,加速卡供应链会做到更多,能源供应链也会贡献一部分数字。你把这些全加起来,Capex 会远超过两万亿美元。所以实验室还没到能用现金流来承担这些东西的地步。当然是的,没错,我是说,很明显他们永远到不了那个地步,对吧?因为他们想继续,对,继续再投资。
你想继续让你的 capex 高于你的回报,但我真正想搞清楚的关键问题是:如果目前的趋势持续下去?到二零二八年底,每个实验室会用到超过五十吉瓦,所以他们加起来就会有一百吉瓦。按你的说法,到二零二八年,这些吉瓦能带来的吞吐量或性能会比现在高出好多倍,对吧?因为硬件变得更好了,不仅每瓦 flops 提升了,而且硬件在处理 AI 工作负载方面也变得更强了。
好,所以到 2028 年底,这些实验室要用到一百吉瓦。那全球算力大概有多少?我觉得考虑到二零二八年的时间点,这可能有点难。你会看到他们已经占了新增算力的百分之七十到百分之八十。我不确定到时候市场会发生什么,对吧?算力价格要暴涨到什么程度,他们才能真正买下百分之七十到百分之八十的算力?谷歌、Meta 或者亚马逊愿意卖出哪怕那么多的量吗?
还有一点需要说明的是,当我们聊到这些吉瓦数字时,亚马逊在 Bedrock 上运行 Anthropic。模型在我们看来也算作 Anthropic 的算力,因为归根结底,这实际上算作 Anthropic 的营收,哪怕里面有分成和抵扣额度之类的,但归根结底,到 2028 年。如果他们加起来达到一百吉瓦,他们会对市场造成极具破坏性的影响。
因为如今任何人都能靠每兆瓦一千万到一千五百万美元的算力赚钱,你真的,我不骗你。这没那么难,去弄一个 GB 三百 S 机架,去下载 Kimi 的权重,去下载 ViLM 或者 SGLINE,把它搭起来,Codec Fable 其实能帮你搞定这个,这相当简单。我是说这不简单,但也算不上什么高深科技。然后把它放到 Open Router 上,非常简单,你产生的营收就会开始超过你付出的算力成本。
所以,这其实已经导致了每兆瓦一千万到一千五百万美元的算力定价开始出现向上拐点。要在二零二八年达到一百吉瓦,你必须相信这些实验室能出得起更高的算力价格,因为在十到十五的价格上,任何人都能赚钱。那算力现在会涨到每兆瓦两千五百万美元吗?会涨到每兆瓦四千万美元吗?但按你的说法,现在这些实验室每兆瓦产生的营收就已经远远超过其他人了。
如果他们继续保持目前的领先优势,你就会预计这种情况会一直持续下去。如果存在某种递归自我改进,也就是 AI 实验室的能力相对被拔高,或者他们内部有不对外发布的模型,在帮他们做出更好的下一个模型,你就会预计这种情况会更加明显。你难道没看到现在就已经这样了吗?像 SpaceX 或者稍微落后一点的公司,就会直接把算力卖给出价最高的人。
如果他们在内部做商业变现的能力不如这些实验室的话,所以我觉得,可以继续预期他们能吃下,竞标越来越大份额的算力。我觉得这也是我的看法,他们会继续吃下更多的算力,但归根结底,他们按现在的价格或者接近现在的价格是做不到这点的。确实,确实,他们确实得开始为每兆瓦支付两千五百万、三千万、五千万美元,才能在二零二八年真正吃下全球百分之七十的算力,才能在二零二八年达到一百吉瓦。
这是一个非常激进的目标。这当中另一个非常棘手的方面是,我们已经看到 AI 实验室出现了巨大的放缓,对吧?他们主张的这种监管对这些实验室的放缓作用,其实远远超过了对开源中文大语言模型的放缓。OpenAI 没有发布 Astra,OpenAI 暂停训练两周。Anthropic 没有发布他们安全评估里提到的 Model 2。
也就是大家普遍认为是 Mythos 的下一个版本,他们显然没有发布自己最好的模型。在这种情况下,他们每兆瓦的营收就会停滞,甚至可能再次开始下滑,因为其他模型又有了竞争力。所以不是说他们落后了,只是他们没有把最好的东西发出来。如果有某种监管影响阻止了他们发布最好的模型呢?现在他们每兆瓦营收的增长速度没那么快了,那他们以高于其他人的价格购买额外算力的能力就会开始减弱,然后也许他们就达不到那一百几瓦了。
在一个不需要考虑安全的世界里。我确实相信事情就会这么发展,对吧?他们每兆瓦可以开始产生一亿美元甚至更多的营收,他们能为每兆瓦支付五千万美元。其他人没有任何合乎逻辑的理由拿自己的算力去做别的事,除了说求你了,Dario,把我手里的东西全拿走吧。但有一些我们无法描述的力量在起作用,可能会让这个进程慢下来。
对我的意思是,我觉得一个很好的思维工具就是,如果 AI 模型真能和一个全自动化的软件工程师一样好,会怎么样?他们目前还没达到那个水平,对吧?我觉得他们离完全自动化一个全职白领的工作还差得很远,但白领工人每年能赚六位数甚至更多。如果你有一吉瓦的电能支撑,比如说大约一百万白领工人的规模,对吧?按这个算下来,就会是一千亿,这其实低得让人意外。
对,每人十万,一百万人,对吧?对,我不知道。但如果你美吉瓦能实现完全的 AGI,那就会是几千亿美元。我觉得这里的另一个层面是,而且我们一直在看到这一点,大部分价值捕获并没有发生,对吧?这些模型产生的大部分价值,并没有归到 OpenAI 和 Anthropic 手里。庆幸的是,到目前为止,绝大部分价值都直接给了用户,对吧?
Jane Street 拿到了 OpenAI GPT 五点六超快模式的独家合同,或者作为 Anthropic 最大的客户之一,他们从购买的 token 里创造的价值,远远超过了 Anthropic 赚到的利润,对吧?因为他们能从市场上赚钱,或者 Meta 曾经有传言说它占到了 Anthropic 业务的百分之十。
他们通过优化广告算法之类的东西,让用户停留时间延长百分之五,获得了更高的效率。他们用这些模型赚到的钱远远超过了 Anthropic,所以最终。这也是必须的,所以确实,如果你有了一百万新的软件工程师,每个软件工程师的成本也会下降。我有一点想不通的是,市场会达到平衡吗?如果达到平衡,你会认为算力的价格就该等于 Anthropic 和 OpenAI 能用它产生的价值吗?
或者非常接近它,只是给 Anthropic 和 OpenAI 留一点加价空间?现在很奇怪的是。算力的售价和 Anthropic 能从中赚到的钱之间有四倍甚至更大的差距。在一个每吉瓦营收持续增长的世界里,如果 Anthropic 将一吉瓦变现的能力翻了一倍、翻了两倍之类的。要是这个差距还继续扩大,岂不是很奇怪?
所以 Anthropic 光凭手里有这些软件,有这些权重,就能把成本十美元的东西,变成一百美元。对,所以这里有一点,这总是一个很有意思的问题,对吧?也就是 AI 产生的价值都流向了哪里?AI 正在产生所有这些价值,你有终端用户,我觉得大家都会同意,他们创造的价值比任何人都多,因此他们为这些模型付了很多钱。
但接着你还有应用层,到目前为止,应用层产生的价值非常少,然后是模型层。同样,直到一年前,它的毛利率还是负的,而现在正在产生巨大的正毛利,而且看起来正在走向每兆瓦产生一亿美元的路上。所以,就像你说的,把十美元、十五美元变成一百美元。但如果我们再回到一年前,硬件供应链赚走了所有这些毛利,而几乎其他所有人都在上面亏钱,OpenAI
和 Anthropic 只是在把 VC 的钱往里砸,许多其他初创公司也是如此。
许多超大规模云厂商在不知道会不会有回报的情况下建设基础设施,所以最终,如果你愿意这么说的话,模型层上产生的几乎是负价值,因为他们卖 token 的价格比他们在基础设施方面的成本还要低,所有的价值都被芯片。晶圆厂给拿走了。最初在二零二三年,存储厂商在 HBM 或用于 AI 的存储上根本赚不到钱。尽管从理论上讲,他们提供的价值是巨大的。
现在你看,台积电赚到的价值其实比存储厂商少得多。真的有那么多吗?他们捕获的价值更少。尽管,所以价值捕获转移了很多次,这对追踪市场或参与市场的人来说非常有趣。比如 Jane Street 就是个例子。Responsible,你没必要把他们吹得这么狠,这不是广告。那么接下来会发生什么?Anthropic。
和 OpenAI,他们捕获的价值是不是慢慢开始膨胀了?他们会不会继续膨胀,把所有的价值捕获都拿走?之前大家是这么想的,然后伊朗证明了其实并没有。我可以把算力按每兆瓦两千五百万美元或每兆瓦四千万美元卖给 Anthropic 和谷歌,哪怕只是短期的,我按这个价格卖出去,一年就能收回全部 CapEx。那你预测,像 GB 三百 S 类按每吉瓦四百亿卖出去的那批相关算力?
会怎么样?S P X 按每吉瓦四百亿卖给了谷歌,到明年年底那能卖多少钱?我觉得大部分算力的交易价格依然会低于每吉瓦两百亿美元。哪怕到明年年底也是,因为这一切都得靠融资。对于不用融资就能建起来的算力,对吧?如果 Meta 能建算力,微软、亚马逊、SpaceX 能在不找客户的情况下建算力,直接说去他的,我就要把这算力建出来。
然后转过头,等到建好了,那局势就由他们说了算。所以,大部分算力在建好之前,很久就已经签好合同了。对,所以这就是伊朗在市场上利用的优势,他手里真有这么多算力,然后他就说,嘿,Anthropic,我知道你们每吉瓦能赚六百多亿美元,你们干嘛不花一笔天价把我的东西买下来呢?显然,这并不是伊朗拍脑袋决定的,也不是 Anthropic 拍脑袋决定的,算是市场自己摸索出来的。
其他人呢?你随便找一家云厂商。他们会说:“好吧,我要建一几瓦的算力,或者一百兆瓦的算力,我要把 capex 花出去,我得转头去找个客户。如果我想找客户,我就得先找到资金。有了客户,谁来给我提供资金呢?客户必须先签合同,然后我拿着客户的承诺去信贷市场融资。所以就出现了这种完全不同的权力结构。Meta 实际上在囤积算力,他们和 SpaceX 很有可能是第三名。
”而唯一合理的第三名,就是因为他们囤积了所有这些算力,他们利用自己的资产负债表和能力来建算力,哪怕并没有一个能带来巨额变现的终端客户,而且他们有真正的资产负债表,所以他们可以去信贷市场说,嘿,各位,你们建一吉瓦能拿到你们的利润率,不算离谱的利润率,但也算不错的利润率,而我现在拥有了所有这些算力。现在 Meta 和 SpaceX 就有了这种选择权,可以看看四周,心想:我内部的用力能帮我赚更多钱吗?
还是我应该拿到外面,以极高的利润率卖给 Anthropic、 OpenAI 呢?对,所以现在我们算是进入了一种新局面。SpaceX 和 Meta 会说,其实我要自己建算力,然后我可以开始往外出租,不是按十三,我可以二十五、五十,甚至更高卖出去。因为我一直在做视频短片和其他形式的内容,所以我一直在想为播客招一个新剪辑师。
但主动去找剪辑师一直挺耗时间的,因为绝大多数候选人都不符合我的要求。所以我在 Grokbot 里创建了一个招聘助手,看看能不能帮上忙。我塞给了他一大堆上下文。基本上把我想要的全部内容自言自语说了一遍,然后他派生出了另外四个 bot。分别聚焦在搜索的不同方向:一个翻了我过去一年的邮件,找相关的自荐信;一个搜了我的 X 动态和私信;一个翻了我喜欢的各种纪录片片尾的演职员表。
最后一个去寻找我关注的那些 YouTuber 的剪辑师,然后 Grokba 把这些 The Agent 找到的所有候选人汇总在一起,根据我的标准进行筛选,最后给我交出了一份供我审核的最终候选名单。说实话,第一批里有几个我想见的好候选人。但大部分都是不行的。但在我给 Grokba 提供了更多关于他漏掉了什么的反馈后,他重新给了一份新的候选人名单。
这回我真的非常兴奋。我最后把这整套工作留存成了一个常规程序。所以现在每周 Grokbot 都会检查我的自建邮件和 X 私信,跳出有潜力的新候选人来考虑面试。如果你也想自己试试 Grokbot。可以去 x 点 ai 斜杠榜。你觉得到 2027 年底,他们每吉瓦的营收会有多少?比如到 2027 年底的 Anthropic 或者 OpenAI。
我觉得这很大程度上取决于谁的模型最好,前提是他们被允许继续发布自己最好的模型。但我觉得每兆瓦做个五千多万美元完全有可能。到 2027 年底,哦,到 2027 年底吗?对,那情况就更有挑战了。但我认为它可能会比这更高,比如全公司综合下来每兆瓦七千万、八千万美元,甚至更高。E T,所以我认为,如果是这样的话,对吧?
算力的价格会变成什么样?那如果我是 Anthropic。增量算力就很值钱,也许我会花每兆瓦四千万美元买 SpaceX 的算力,而如果我是 SpaceX,我就会看供应链,我会想我和 Jensen 达成了这笔交易,他现在突然开始用 Twitter 了,而且伊朗说他们是英伟达独家的,然后 SK 海力士、美光和三星看着英伟达,他们会想那为什么不提价呢?
所以我认为价值捕获这里存在一个牛鞭效应,对吧?并不是说有人提了价,整个供应链就会立刻重新平衡。对,但随着时间推移,供应链会重新平衡,东西也会越来越贵。为了拿到那些增量产能,你多少得提价,对吧?所以台积电涨价非常慢,但存储厂商涨价非常快,基板厂商涨价非常快,供应链的不同环节都在涨价。如果是十五A了就不会卖,但他现在卖是因为价格到了二十五以上,对。
所以显然他把价格提得非常快,对我有点惊讶,你居然觉得到明年年底,每吉瓦收入的涨幅甚至不会远超每吉瓦一百。RSI 什么时候发生,什么时候起飞,对吧?我觉得,或者即使 RSI 没有发生,目前的进展速度也会持续。如果你只看过去一年半取得了多少进展,比方说一年半前的模型是什么,比方说像 Large 三点五之类的,世界上现存最好的模型是二月份训练出来的。
好吧,你是说可能我们就是无法发布最好的模型?老兄,潘奈说他们已经两周没训练模型了,搞什么鬼?对,我是说还有另一方面,一方面是在内部,他们用的够不够多,去把算力的价格推高,或者另一方面,整个 AI 进展会不会因为监管而放缓?对,但他们甚至不被允许使用这个新模型,比如 Astra 甚至都没在内部广泛部署。
但即便如此。我也不知道,就是,对,如果你有这样一个模型,当时发布的是什么模型来着?比如说是去年年初的,像 GPT 四 O 是四 O 吗?对,到这个时间点,到二零二七年底,你说的可是相当于从四欧跨越到 Fable 或 Mythos 这种量级的飞跃。对,但 Mythos 还没出来。对,或者甚至连 Mythos 都算上,对吧?
又是那样的飞跃,甚至 Mythos 都不被允许发布,对吧?他们把它阉割了。对,比如我们不能用它来优化推理性能,我们不能用它来优化各种各样的东西。对,是的,可能 AI 进展或 AI 部署出现了一些放缓,意味着每吉瓦的收入可能会更低。但只有这样。我才能理解为什么到明年年底每兆瓦只有一百。对,我是说,只要模型变得更好,它产生的价值就会更高。
显然,谁能捕获这些价值仍然有待商榷。但最终,所有人都会涨价。对。因为他们可以这么做,而且这极具通胀性,特别是如果监管方式目前为止还只是不发布模型的话。但越来越多的监管方式是:纽约在禁止数据中心,德州在实行暂停令,俄亥俄州在要求或者至少在试图要求你必须替一定半径内的所有人交房产税。这类事情会减少供应并推高成本。
而且这部分成本也会转嫁出去,所以你最后会面临一种局面,那就是进展确实放缓了,至少在对外层面是这样。对,即便他们内部的模型一直在变得越来越好,我也想不出什么理由。比如在起飞场景下,为什么 Anthropic 会不把他们最好的模型藏在手里,比对外提供的版本领先六个月?出于安全和监管的考虑,而且也为了竞争优势,如果进展加速,这六个月的差距实际上是一个更大的差距。
所以这就会把每兆瓦营收的增长限制在一个低得多的水平,远低于我们今年上半年看到的增速。有一点我非常感兴趣。随着这些公司上市,他们要对投资者负责。假设到明年底,他们拥有我不知道接近二十几瓦的电力,也就是他们算力的百分之十二几瓦。假设他们想把用于训练的算力从百分之六十提高到百分之七十,他们的投资者就会说:既然你们每几瓦能产生一千亿美元,你们为了增加训练算力,基本上等于放弃了差不多两千亿美元的营收。
投资者就会觉得搞什么鬼?你们在训练上已经花的够多了,为什么还要在训练上花更多?作为一家上市公司,你觉得对?如果他们就直接说,不,我们要。继续增加用于训练的算力份额,来抵消每吉瓦算力给我们带来的营收增长,你觉得会发生什么?对,这其实也是我个人的看法。随着时间推移,各大实验室分给推理的算力会越来越少,我觉得这是非常非共识的。
对吧?大家普遍的想法,大多数人的标准看法是:哦,大部分算力都会用于推理,大部分算力会用于训练的前向传播,可能不一定是用来产生营收的推理。但最终的情况是,如果他们目前每兆瓦产生三四千万美元,你把百分之四十分给推理;如果你现在能做到每兆瓦产生六七千万美元,你还会继续把百分之四十分给推理去赚所有这些利润吗?
然后去分红和回购股票吗?还是去把 A G I 做出来?对。我觉得 Anthropic、OpenAI 很明显的答案,不仅是高管层、董事会也是,就是去把 AGI 做出来,因为那要赚钱得多。没错,所以归根结底,你会看到他们不断调高用于训练的算力比例。即便每增加一份算力,如果拿去做推理,产生的利润其实越来越高。
对,所以核心问题是好。如果我是在卖 token,OpenAI 推出极速模式是只给外部用吗?还是他们内部也在用?结果发现不,其实我会同时分给内部和外部,因为我内部用超快 AI 或者最顶尖 AI 模型创造的价值,远比外部某个人创造的要多。对,所以归根结底,当然我每兆瓦能产生一亿美元,但如果我把这些算力转向 AI 研究,我能得到多少边际进展?
那又会对未来的盈利潜力产生多大影响?我搞出来的不管什么鬼东西的折现现金流,对吧?对。所以他们不会去算那笔账,但归根结底,把越来越多算力留给内部是更合理的。而推理算力规模搞这么大的唯一原因,就是为了能扩张你的训练集群。没错,我觉得这是一个很有意思的经济学问题,可以让模型去推演一下,什么样的世界格局下,他们才会减少用于推理的算力比例。
我觉得过去三个月他们已经在这么做了,有意思。我觉得今年某些时候,他们是在提高算力比例的。我们按月来看,你应该也同意,Anthropic 每个月新增的算力都比上个月多。当他们比如签下 SpaceX 的单子之类的时候,可能会有些波动。但总的来说,算力总量是一条向上的曲线。所以一月份他们新增的算力比十二月少,但他们的营收增量却飙升了。
然后差不多进入了平台期。他们现在不是每个月都能新增两百五十亿美元AI二了,这就意味着他们拿到的编辑兆瓦流向研发的比例要高于流向推理的比例。有意思,对。所以他们现在客观上就是在把更多算力投向研发。对对对,对我觉得只要你足够深入的去看他们在做什么,这其实是不言自明的。对,那如果我看你说的那些全球算力增长速度的数字,有几件事儿我想搞明白。
按你刚才说的数字加起来,到二零二八年底,全球算力会超过两百吉瓦,对吧?对,全球范围。好,那之后还能以多快的速度继续增长?比如两千零二十八年之后的全球 AI 算力,对,今年是三十,明年五十,二零二八年七十,二零二九年大概会在九十到一百这个量级,之后就每年都增加一百甚至更多之类的吗?我觉得斜率可以继续往上走,而且四年之后的事情很难预测。
毕竟谁知道会,我们是不是进入了 RSI 阶段,或者全球经济什么时候能按每年百分之十增长?因为如果一年能达到一百多吉瓦,营收和 GDP 增长就会极其夸张。对,如果你觉得,2028 年全球有两百吉瓦,那到那时候中国能占多少?那在这儿整个趋势里,中国的算力会怎么持续增长?因为如果西方在中国拥有大量算力之前就开启了 RSI,我们所处的世界可能就会完全不一样。
对,所以今天的中国,如果我们把基准拉回到二零二二年,美国当时贡献了全球大约百分之四十五到百分之五十的新增算力,中国贡献了大约百分之三十到百分之三十五,剩下的由世界其他地区瓜分。自二零二二年以来,我们对中国出台了严厉的监管政策,而美国自身则大幅增长。所以今天百分之七十的电力消耗都部署在美国,而中国占的比例确实非常小。
数据中心 AI 算力部署的电力里,中国占了不到百分之十。往前看的话,他们的占比依然非常小。他们本土的产量相当小,他们从英伟达采购的量也依然相当小,而且其中很大一部分最后也流向了其他地方,对吧?马来西亚之类的,所以说到底,中国本土在新增算力里的占比依然维持在百分之十或百分之十以下。所以我认为到二零二八年情况可能会开始出现拐点向上,但基本上可以断定,中国大概只会拥有三十几瓦甚至更少的 AI 算力。
到二零二八年,对,在二零二八年。好,那之后他们的曲棍球棒曲线往上拉得有多快?我确实觉得到二零二八年,他们能部署的算力会有个大幅提升。二零二六年,他们主要还是依赖大量走私过来的芯片,台积电为那些以为不是华为,结果其实是华为的公司代工的大量芯片。或者三星出货的大量 HBM,差不多是这样。但到了 2027
年,晶圆厂开始建起来了,尤其是 2028 年,中芯国际和长鑫存储这类的晶圆厂开始建起来,本土产量实际上达到了每年几百万颗。
到那时候,仅在 2028 年,他们靠国产芯片就能新增五到十几瓦。对,那些芯片肯定比英伟达二零二八年会有的芯片差,也比谷歌二零二八年或者 OpenAI 二零二八年会有的差。所以你是说,哪怕吉瓦数本身都夸大了实际情况?就比如说,虽然是三十吉瓦,但芯片其实要差得多。但之后会对之后会怎么样?如果你觉得全世界在接下来的一年里会新增一百吉瓦之类的。
我知道你说过那么远的事情很难说准。那中国在随后的那一年里能新增多少?基本上,我想知道的是。他们一旦能够开始大批量出货算力,曲线就会立刻呈曲棍球棒式拉升吗?还是说依然会比美国加盟友的量少?这很大程度上取决于美国是否通过 Match Act,某些设备是否会继续受到出口管制,以及中国本土开始有能力制造的新设备能以多快的速度造出来。
但归根结底,中国肯定会出现曲棍球棒式的拉升。如果说中国有什么是非常擅长的,那就是极快的扩大制造规模,而且我觉得。中国会开始有能力把越来越多,哪怕是国外的芯片采购弄进中国本土,或者至少缩小美国允许英伟达卖给他们的产品之间的差距之类的。你觉得中国有可能在二零二九年新增五十吉瓦吗?二零二九年新增的边际吉瓦数,我觉得这完全合理。
一t,而且其中一部分也可以是从国外采购的。对,不过是的,我觉得中国在二零二九年能做到五十几瓦是完全合理的。但如果其中大部分是国产芯片,这里面就存在一个折算系数。那五十几瓦其实也就相当于美国的二十几瓦,或者说用美国芯片达到的二十几瓦。对,所以其实你是在预测这样一种局面:,也许二零二八年领先的实验室拥有的算力,比中国在二零二九年甚至二零三零年全中国拥有的还要多。
如果你按吉瓦的质量来加权的话,前提是没有采取任何措施去放慢美国实验室的步伐。对,没错,显然政府已经开始,政客们已经开始这么干了。对,而中国是不会放慢 AI 步伐的,事实上,他们唯一会做的就是加速。所以说实话,我采访 Jason 并问到出口管制时,我本身是个自由意志主义倾向的人。我当时其实并不完全确定自己对这个问题的真实看法。
我当时是在为他相反的观点做最强辩护,因为我觉得把想法彻底变清楚很重要。但我当时觉得,也许存在一种可能,如果我们直接和中国合作。对我们反而更好,尤其是因为他们控制了那么多的供应链,以及机器人和其他领域所需要的其他东西。但我之前没意识到。算力的情况会像你说的这么糟糕?出口管制看起来确实起到了作用。如果他们出货的量真像你说的那么少,那差距可太大了。
等到我们做出自动编程工具,甚至开始进入自动化研究员阶段的时候,中国在算力存量上已经落后一大截了,所以如果最终情况真是这样,那说明管制确实奏效了。我觉得这确实算是一个显著的成功。我想说的是,这里唯一的限制条件是一部分原因确实是出口管制,但还有一部分原因也只是金融体系的差异。对吧?美国的金融体系比中国的金融体系更愿意压住初创公司,但中国的金融体系一旦选定一个行业重点发力,补贴力度就会大得多。
所以,中国半导体行业拿到的补贴明显多于全世界其他国家半导体行业的总和。这意味着,如果起飞没有你暗示的那么快,而是花了更长时间。那么归根结底,中国在半导体方面会大幅追赶上来,而这在未来的某个时间点就会转化为算力。我觉得这里值得注意的另一个方面是,相比他们拥有的算力量,今天的中国公司在 AI 模型上并没有落后那么多,至少在公众感知上是这样。
对吧?中国头部的实验室总共最多也就一两百兆瓦的算力,字节跳动 Seed 是唯一的特例,他们的算力明显比这个多得多。但是 Kimi 并没有在一级瓦或者接近一级瓦的规模上运行,而 Anthropic
到今年年底差不多有五级瓦,对吧?甚至更多。抱歉,所以问题就变成了,这到底重不重要?我觉得现在算力上的这个差距没那么要紧,因为当我们去拆解一个实验室的算力比例或预算时,历史上大概是六十,到目前为止大概是百分之六十用于训练,百分之四十用于推理。
但训练还可以进一步拆解。其实算力里有百分之五十是做研究,大约百分之十是做开发,然后百分之四十是做推理。我说的研究和开发指的是研究员构思想法、测试新架构、测试新的数据配比、测试新的超参数,不管他们在做什么新的注意力机制技术等等。但最终他们做训练运行的时候,比如 Anthropic 训练 Mixos,其实不到两百兆瓦,对吧?
预训练整个过程,预训练算它两个月消耗不到两百兆瓦,然后 RL 用的就更少了。但你觉得 RL
消耗的算力比预训练还要少?至少从单集群推理的角度,我是说单集群预训练的角度来看,是的。但总算力大,概率还是更高的,对吧?总算力是更高,但它是串行的,对吧?所以在同一时间点上,他们最多可能也就用了两百兆瓦,而实际上他们拥有好几个吉瓦,所以他们大部分算力都用在了研究上,而不是用在一个模型的开发上,这是有原因的,对吧?
很难把所有这些集群协调起来。很难把他们都放在同一个地方,很难做跨站点的多机房训练,RL 也很难做。在 RL 期间生成更多的 rollout
并不一定会让它变得更好,有各种各样的原因导致你可能无法把你拥有的全部两个吉瓦都用在训练上,对吧?实际上我可能只能利用上两百兆瓦。随着我们越来越深入实现自动化编程和自动化研究员,我其实预计用于研究和用于训练的算力预算比例会开始变得模糊得多,或者训练占的比例甚至更高。
另外还有像持续学习这样的东西,对吧?所有这些因素都开始意味着,实际上有越来越多的算力投入到了模型训练中。好吧,如果最终我们进入一个每年要做一百吉瓦的世界,按现在的价格,那就是每年五万亿的 capex。再加上你必须在那之前很久就把发电厂建好的事实,或者说它占了你资产的三分之一,再加上数据中心是十五到二十年寿命的资产,而且你当时也必须把它建好。
所以这五万亿你必须把未来几年的增长考虑进去,实际上可能更像是七万亿或十万亿的 capex。我刚才没听懂,因为你没有算进去,就是说,那里面并没有包含发电的基础设施或者数据中心本身这类东西。对,没错,而且数据中心本身是,当你谈论 AI 的 CapEx 时,大家说的都是四五百亿美元,但那其实仅仅是指关键的 IT 设备。
对吧?服务器、网络设备、光纤收发器、光通信,所有这一类的东西,它并没有算进数据中心本身或者那些提前建设的发电厂。如果我今年要建一百几瓦,明年要建一百五十几瓦,那么那一百五十几瓦对应的所有建筑都需要算进今年的 capex 里面先建好。如果我后年还要建两百几瓦,所有那些发电厂的钱也得花出去,你今年就得把涡轮机买好。
对吧?所以你会发现,如果你要建一百吉瓦,实际规模甚至远不止五万亿美元。对,所以很有可能每年的新增 Capex 会接近十万亿美元,到二零二零年代末的时候。对,那差不多要占到全球经济规模的十分之一左右了,而且差不多是三分之一。如果全建在美国的话,不过到时候美国经济本身也会增长。但即便如此,按目前美国经济的规模来看,相当于美国经济的三分之一到四分之一全都要投入到数据中心里。
而当我自己把这句话说出口的时候,我就在想,也许你说的对。我们根本就不会允许这种情况发生,这就是为什么这件事儿不会发生的原因,对吧?因为要让这种指数级增长继续下去。相当于美国经济的四分之一都只是在建数据中心,对我是说,我相信资本主义,相信资源会重新配置到利润最高的事情上,但与此同时。政治是客观存在的,信贷市场也是客观存在的,资本市场也是客观存在的。
所以,为了实现,比方说到二零三零年建好那一百吉瓦,或者我们甚至把它压缩到二零二八年,所有这些项目的capex加起来差不多要有三四万亿美元,其中有超过二点五用于IT的capex,然后还有一到二用于数据中心和能源,以及像半导体等所有下游供应链。所以,如果你的 CapEx 达到三四万亿美元,这么多现金从哪来?
目前还没有人能从业务里赚出这么多现金,对吧?Hyperscaler 们资助了截至目前的所有增长,谷歌、微软、亚马逊、Meta,他们资助了其中很大一部分,他们占了算力的一半以上,但他们现在也不产生净现金了,他们其实把所有的钱都花在 CapEx 上。而且除此之外,他们还借债,把所有的钱都砸在 capex 上,对吧?
你能看到 Meta 在这么做,甚至亚马逊、甚至谷歌都在做,微软很快也会跟上,所有人都在发债支付他们的 capex。那么现在谁是那个来为这一切买单的增量资金方?也就是之前没买过单的人,像谷歌这种情况,让他们停止回购,其实挺简单的;或者 Meta 停止回购,转头去买算力基础设施,这对市场没有巨大的影响,但确实有些影响。
但当你展望到二零二八年 Hyper Scaler 那时,都在举借数千亿美元的债务。然后他们整个供应链也都在举借数千亿美元的债务,这笔钱谁来出?所以有几种不同的途径,有像英伟达和博通这样的半导体公司,以及存储芯片公司转过头来决定资助其中的一部分 capex。有传统的基建投资者转过头来筹集资金,投资基础设施,而且不再是投桥梁,而是投数据中心。
最后,经济里的每个人都在意识到,也许我不该买房,或者也许我不该投资帮人买房的房贷信用产品,或者也许我不该买国债,我就应该去买 hyperscaler 的债券,或者我就应该买这家数据中心的债券。或者我应该买 Anthropic 的债券,因为 Anthropic
愿意为建设算力所需的增量十亿美元支付百分之二十的利率,因为他们知道从中获得的收入会极其庞大,他们愿意付百分之二十,因为这依然比按每吉瓦五百亿美元从 SpaceX 租要划算,所以就会出现所有这些争夺。
但如果你现在这么做,整个世界经济就真的发生大转向了。Antecess 是一个确定性的软件测试平台,能实现完美的复现。它还解锁了一些相当离谱的调试方式,比如时间旅行。有了 Antecess,你可以跳到运行轨迹里的任何一个节点,然后从那里开始。所以一旦发生崩溃,你可以倒退到出问题的确切那一刻,把整个系统冻结住。
包括应用、数据库,甚至是环境本身,这让你能做到一件本来不可能的事儿。就是在完全相同的瞬间观察分布式系统的每一个部分。时间旅行还允许你对已经发生过的事件添加遥测和日志,比如你可以倒退到崩溃前五秒,决定抓取所有的网络流量。最厉害的是 antithesis。给你提供了一个直联系统的实时终端,你可以用它来扰动任何你想扰动的东西,杀掉一个节点,或者关掉某个功能,然后点击播放。
看看会发生什么,然后再回去尝试别的东西。在生产环境中做这种破坏性分析,往往只有一次机会。比如,如果你重启了一个死锁的服务,你需要研究的那个确切死锁就消失了。但有了 antithesis,原本的时间线永远是可复现的。所以你需要验证多少个假设,就能验证多少个。如果你不想自己做这些时间旅行,也可以直接通过 antithesis API 让你的 agent。
替你来做访问 antithesis. dot com 斜杠 door cache,了解更多。过去几天我们俩在私下一直在辩论,AI 是否会导致主权债务危机?逻辑是这样的:AI 是你面对的情况是,正如我们之前提到的,很少的投资就能换来一大笔钱,对吧?所以回报率。这算他妈哪门子问题啊,老兄!天哪,简直不敢相信!
不,对其他所有没法以小博大的人来说,这确实是个巨大的问题,对吧?所以回报率高的惊人,甚至在数据中心这一层,如果你建了个数据中心,按折旧成本算,你租给Anthropic和Open
AI的价格能翻十倍,这他妈太疯狂了!所以你投一美元,年底就能变成二美元或者十美元之类的,这会把利率推得更高。如果利率变高了,而且整个经济体都这样,大家借的钱越来越多,他们就会去挤占政府原本会借的,或者其他公司原本会借的,或者你作为一个消费者去办房贷原本能借的资金,那基本上就会让其他所有人的借贷成本都变高。
这对无数人来说影响都巨大。抱歉,我这里要多说两句了,但这事儿我们俩一直在琢磨。所以我觉得美国说到头来不会有事儿,因为如果数据中心建在美国,你从根本上可以直接对数据中心收税,但按目前的税制。企业所得税占联邦财政收入还不到百分之十,百分之八十以上是薪资税和个人所得税。随着自动化程度越来越高,这部分会缩水。
与此同时,在支出端,目前税收支出的百分之二十是用来偿债的,基本上就是还债务利息,而很多债务是短期的,每五年就会展期一次。你他妈笑什么?因为这感觉像我们刚学到的,你刚学到的,对呀,说的好像你有多不一样似的,就跟你拿了他妈的金融经济学学位一样。我还真拿了,网上还以为我是个养蜂人呢。几个月而已,Dylan,这就是我们的本职工作。
我知道,不好意思,搞得我现在都不自在了。靠,没有,挺好的,你说的挺好的,我只是觉得挺逗的。上百万人在听一个这个月才刚搞懂债务的家伙讲。所以你从百分之二十开始,假设利率上涨百分之一,那么在五年周期里,用来偿还债务的税收比例,基本上就会从百分之二十涨到百分之二十五。如果利率上涨五个百分点,那个比例就会涨到百分之四十以上。
但如果你考虑到政府每年还要借两万亿美元,那就会从百分之四十左右涨到百分之六十以上,所以百分之六十的税收基本上全用来偿还债务利息了。不,我觉得美国会没事儿的,因为只要我们允许在美国建数据中心,税基也会扩大。但在我看来,其他国家就彻底完蛋了。我刚才查了哪些国家负债很高,税收很少。而且很多债务需要频繁偿付,像巴基斯坦或尼日利亚这些国家,我觉得在这种新的利率环境下,真的会完蛋。
所以这种挤出效应,其实是我一直这可不是无脑冲十亿吉瓦就能解决的吧?对,对吧?你有这么多高度依赖借贷的行业和国家,不管是你刚才提到的那些注定要违约的贫困国家,还是快消品行业,对吧?像你在 Trader Joe's 或到处看到的生产这些商品的各种公司都大量借债,所有的电信公司都大量借债,银行也大量借债。
所以,如果市场上的利率上升,不一定是政府设定的利率,而是市场里的,也就是政府公布的联邦利率和其他所有人借款利率之间的利差。因为亚马逊明年想发一千亿美元的债。或者不管到底是多少,可能少一些,但你最终会面临这个非常棘手的问题:资金到底从哪里来?有一部分资金是由现金流支持的,而且现金流一直在增长。但合理的做法是投资远超现金流的规模,因为这样未来几年的回报会非常惊人。
所以就有了这个缺口。然后压制这个缺口的,就是所有这些其他因素,对吧?有针对数据中心的监管,一般的监管,消费者的愤怒,政客的愤怒,针对AI的监管,AI实验室出于安全原因不发布最新模型。所有这些因素,再加上利率上升,都在对这一切产生影响。所以,所有这些因素都在压低这条曲线,把它从纯粹简单的经济学角度下资本主义想要的状态,压向我们身处的复杂系统所决定的状态,压得越来越低,以至于该建的吉瓦数并没有建出来那么多。
不过,利率也是资本主义的一部分,对吧?是的。但在简单的经济模型里,和在我们拥有的更复杂的现实系统里是不一样的。你觉得亚马逊或 Anthropic 之类的公司明年发债的利率会是多少?他们发了几千亿美元的债,这个利率平均利率会是多少?我觉得亚马逊不会发几千亿美元的债,算总量,比如说各大科技巨头、超大规模云厂商总共会融的,以及所有的云服务商。
对,在我们做的模型里,2024 年到 2029 年大约有 11 万亿美元的 Capex 总量,总量。如果你用现金流尽量多的去支持其中的大部分,为了完成这 11 万亿美元以上的建设,你最终仍然需要发行超过 5 万亿美元的信贷。你不觉得 AI 收营收能继续按每年三倍的速度增长吗?AI 收营收确实在增长,我觉得它不可能永远这样增长下去。
我不觉得在不撞上某些限制的情况下,我觉得某些实验室会有某些动力。而且在很多情况下,并不是实验室在建设所有的算力,尽管他们越来越想走这条路。他们没有这么多现金流。如果他们的营收一直增长,随便吧,那也行。但是你,你觉得他们的营收会有多少?你觉得他们不会有那么多营收吗?不,我只是说到了二零二九年,大约会有十一万亿美元的 capex,其中六万亿是用现金支持,五万亿是用发债支持。
如果是这样的话,整个生态系统里筹集五万亿美元的债务,确实会让利率上升。那什么能阻止这种情况呢?有几个因素。第一,实验室会不会进一步提高每兆瓦的营收,并保持大规模的推理分配?如果是这样,他们就会拿走所有这些利润,积累整个标普五百的所有利润,因为大家都在付钱来降低自己的成本。当然,他们的利润也会上升,但现金总得有个来源。
所以,相比他们向世界交付的价值,他们的营收增长速度是有上限的。而且,这里还有一个技术扩散的问题。但归根结底,实验室的营收还在继续增长。他们不可能全靠现金流来支持一切。最理想的情况其实是尽量多用信贷来支持,因为即便实验室的现金流能支持很多东西,你想建的规模也比这更大。当然,所以就会产生一定规模的信贷。
我们目前的模型显示,到二零二九年,基础设施投资中有五万亿美元的信贷和六万亿美元的现金支持。当你把这个算进去,你就会发现,相对于 AI 模型的这种需求增长,这些算力其实是不够的。所以你就得到了那个显而易见的答案,也就是每兆瓦的营收会持续上升。哎,有道理。那你觉得,由于这一切,到二零二九年利率会上升多少?
哥们儿,我刚才只是随便凭感觉估了个数字。但如果要凭感觉说的话,全球和经济的增长都在大幅上升,那利率为什么不会上升呢?对。亚马逊也是从现在的水平往上涨,我觉得 Meta 负的,好吧,这完全是凭感觉估的。但最近 Meta 融资成本大概在百分之五到百分之六,我觉得他们完全有可能愿意付百分之八,因为他们会很乐意付百分之八,毕竟他们要建的算力带来的回报是巨大的。
对,市场可能不希望他们这么做,但他们自己会想付百分之八。另一面是,如果他们付百分之八,相比现在的百分之五、百分之五点五或百分之六,涨了两百五十个基点,这会让经济里的其他人也多付两百五十个基点。是的。这就会引发很多连锁反应,对吧?银行会叫苦连天,因为如果他们的信用利差走高,资产收益却没有,他们自己的负债重新定价的速度比资产快得多。
最终的结果就是,如果信用利差爆掉,他们会亏损巨额资金。另一个后果是,这也是你提过的一个观点:如果利率上升,折现率就会增加,这就意味着所有股票的折现现金流。对,会暴跌。这意味着,即使整个股市表现可能还行,比如标普五百会挺好,and,任何个股的价值可能都会直接崩掉,尤其是巴菲特、伯克希尔那种能在三十年里持续产生良好现金流的股票类型。
对,就像是我为什么要为强生花这么多钱?没错,他们被看作是稳健的股票,现金流很好,会随着时间返还现金流,或者像铁路公司那样。如果我的折现率不是百分之三或百分之五,那我他妈为什么还要投那么多钱?现在折现率是百分之八,甚至是百分之十。对于发展中国家来说,我的好朋友经济学家 Basil Hopperen 提过这个观点。
我们可能会看到第二次沃尔克时刻,在一九八零年代,为了对抗通胀,美联储主席保罗·沃尔克把利率提高到了大概百分之八左右。实际利率是百分之八,那导致了大约四十个不同的国家,主要是拉美国家,在那个年代发生了违约。我觉得这种情况很可能会再次发生。其实,好吧,我们现在要聊到起点话题了。我们刚才一直在聊,如果利率。
顺便说一句,我觉得这一切在起点到来之前就会发生。对我就是这个意思,我就是这个意思。所以,我们刚才聊的是,在起点到来之前,利率会上升百分之二、百分之三之类的。在某个时间点,我觉得世界经济极有可能每年都翻一倍,好吧?这不会在五年内发生,但最终肯定会发生。这就类似于会有一个有一位叫 David Binder 的研究员在这方面做了很棒的研究,但基本上,如果你看一下全自动化经济下的投入产出表。
算一下,要让经济中的整个存量资产翻倍需要什么?对,如果经济每年增长百分之三,根据七十规则,大概需要二十多年翻倍。对,但是他说,好吧,现在我们的瓶颈在于人,你不可能让人口每年翻一倍,但在一个劳动力每年也能翻倍的世界里,经济能增长多快?我觉得它每年都能翻一倍,或者至少每年增长百分之几十,利率应该和增长率相当接近,因为消费的存在,它不会完全等于增长率。
但应该非常相似,所以我想在二零三零年代,我们将进入一个利率高达百分之几十的世界。而且,我不知道,我脑子里有种想法,觉得它甚至可能达到百分之几百。不过,好吧,就算它至少有百分之几十,我想说的是。所有没有参与 AI 生产的国家都会违约,所有非 AI
的股票基本上都分文不值,因为现金流折现后毫无价值。如果联邦政府找不到向 AI 征税的办法,偿还债务的成本就会超过现有的税收收入,还有所有这些我们肯定连预期都没算进去的连锁反应,比如你办不到房贷。
等等等等,因为从根本上说,这个世界正在发生什么?你看,这些都是极客黑化,对吧?但退一步看,到底在发生什么?刚才才开始算极客黑化吗?我们会进入一种新形态,基本上我们正处在一种完全不同的增长形态中,整个经济体基本上在说。嘿,你想给人们发钱?你政府借钱给人们发养老金?现在的机会成本极其高昂,因为那笔钱本可以用来建一座机器人工厂,再去建另一座机器人工厂,接着再建下一座机器人工厂。
所以资本的机会成本会大幅上升,而这从根本上说,就是我们讨论的所有这些事情的原因。对,所以随着利率上升,股市会遭受重创,对,甚至包括 AI 公司,对吧?有些人会说,一些非常相信 AI 的人会问,为什么美光、海力士或铠侠的交易估值只有两三倍市盈率?这就像是好吧,如果你真的 AI Pio 的经济中的一切都应该以两三倍市盈率交易,而如果你没有 AI Pio 的,那当然他们的盈利超长了。
所以这有点像一个论据,解释了为什么我觉得存储芯片表现会很好,但存储股票不应该再涨十倍什么的。因为如果真的涨了,如果我们处在对存储有这么大需求,意味着 AI 引发了经济剧烈变化的市场中,那么所有东西的估值倍数都应该在两三倍左右,而且股市他妈的该崩盘了。没错。对吧?所以从某种意义上说,比如 Meta 的交易价格,我不知道。
我觉得 Meta 的交易市值差不多是一家一点五万亿美元的公司。这就好像,什么搞笑吗?至少从逻辑上讲,他们的价值远不止这些。你只要看看他们的现金流,看看他们囤积的所有基础设施,以及他们未来能以极其惊人的每瓦收益卖出的所有算力,要么是因为他们自己的实验室搞成了,所以当 token 卖。要么就是直接卖给
Anthropic 和 OpenAI,最终就变成了一个问题,就是你必须把所有资本重新分配给 AGI,而你的做法就是把其他所有人都挤出市场。
所以,AGI 的限制因素不是研究工程师们,比如我们的室友 Shoto 能把齿轮转得多快,其实就只是世界上其他人有多大程度允许这种情况发生。对,因为他们会去监管,显然还会加息。他们会说不许建数据中心,他们会说别再建晶圆厂了,他们会说糟糕,每家公司的股权价值都在暴跌。那我怎么买得起 AI 呢?来扩大我的业务。
那好吧,那 Anthropic OpenAI 就得开始自己做这些东西了。显然,他们最终会把精力放在这上面。他们已经在自己造芯片了,或者至少在自己设计芯片了,而且还会向外扩张。他们正在签约自己的数据中心,并在未来几年里搭建自己的基础设施。这里就涉及到经济的这种重新分配到底该怎么发生,但其实有很大的下行阻力,让它不会直接起飞。
哪怕模型本身有这个能力,我认为你和我都相信我们所处的世界里模型是有这个能力的,但慢速起飞至少是我的希望。是有可能的,因为经济和监管层面的方方面面,比如政府说不许发布你们的模型,政府说其实你们在内部都不能用那么多,因为这很快就会发生。他们已经在说不许发布你们的模型了。这其实我最担心的是起点,而向外部署实际上是有帮助的,对吧?
所以我们阻止向外部署这个事实,那么。这能阻止起点吗?我的意思是,现在的话至少能带来更多营收,因为模型还不具备 RSI 的能力。但我担心的是,到了二零三零年,政府说我们要等六个月才能让你们的模型公开发布,六个月,一百倍,冲,啊!对,那六个月里,他们就在公司内部搞递归自我改进,公司里各种疯狂的事情都在发生。
与此同时,我们其他人却只能用着按现在的节奏落后好几年的模型。是的,所以我是这么想的。好,假设全世界都参与进这场试图放慢 AI 的阴谋里,我觉得这不是什么阴谋,这是明摆着写出来的。几乎每个政客都这么说。假设他们基本上阻止了整整,他们把 AI 放慢了一年。如果算力每年都在增长二到三倍,他们阻止了一整年的 AI 部署,以至于你比本来应有的进度落后了一年。
在 RSI 期间,你一年就能取得三到六年的 AI 进展。但他们不只是限制算力,对吧?他们还会限制实验室在内部发布模型的能力,对吧?我们看到 Anthropic 不得不暂停向外籍员工提供 Mixos 一段时间。我都不知道这是真的,内部也是这样吗?我是说他们是这么声称的,他们声称,我还以为那只是另一个 checkpoint,不是 mythos,但基本上就是 mythos。
对,但我的意思是,类似这种事情也不会被允许,对吧?政府是挺笨的,但也没那么笨,对吧?至少我希望如此。政府是不会希望各家公司的,至少美国政府掌握着主动权,他们不会想让 Anthropic 在内部使用 Misos 的,他们肯定会说他妈的等一下,对吧?比如慢下来,出于所有这些监管方面的原因,每一个当选的官员都会讨厌 AI,甚至那些已经当选的人就已经讨厌 AI 了。
所有的选民,你真的会遇到,我敢打赌,在某个时候,你父母会打电话给你说,Dhurkesh Patel,你干得很糟糕,你让所有 AI 的进展发生的更快了,就凭我的播客,这肯定会发生,他妈的一定会发生。这并没有阻碍 AI 的进展,我是说,也许你教育了大家,对吧?也许如果他们更聪明了,他们推进 AI 的速度就会更快。
但不管怎么说,在 AI 的进展、开发和应用上,你都会遇到现实世界里的限制,哪怕它最终还是会发生。就像是在达成目标之前,我们可能会先分崩离析。Jainshri目前正在招募两个独立的 ML 实习岗位,一个侧重于 ML 工程,另一个侧重于 ML 研究。我和负责研究方向的 Alok。聊了聊,想进一步了解这个项目。
我觉得这个领域从根本上来说研究的还不充分,在我们的深度学习研究团队里,常常会有一些悬而未决的问题,比如我们不理解某些市场参与者的行为,或者交易发生的某些动态过程。这些没解决的问题是非常好的实习项目,因为他们归根结底是我们很在乎,只是还没抽空去弄明白的课题。所以,即使是作为实习生,你也会参与真正的研究,而不是做一些生搬硬凑的练习。
Jane Street 团队紧跟前沿的 L M 研究,一个比较常见的实习项目是把最新发表的论文应用到金融市场中,而金融市场本身就带着一系列棘手的问题。归根结底,我们是在尝试对数以千计相互关联的不规则时间序列进行建模,信噪比极低,因为有很多竞争对手也在做同样的事情,所以我们要解决的是一个具有对抗性、非平稳且极高维度的问题。
说明一下,你完全不需要懂金融,也一样能胜任。只要你有机器学习研究背景,剩下的 Jane Street 都能教你。他们二零二七年的实习申请现在已经开放了。申请网址是 jennystreet 点 com 斜杠 doorcash。关于这些推演场景,我觉得很不可思议的一点是,世界上未来的劳动力供应居然有那么多,最终集中在极少数几家公司手里。
还有就是劳动力供应同比增加的速度有多快?如果前沿的算力按 flop。计算每年增长四五倍,而且达到同等能力所需的算力每年大概下降为原来的三分之一。那么前沿的算力或者说前沿实验室里的有效 AI 人口规模,同比就会增加十倍。现在这倒无所谓。因为 AI 还不够好,做不了完整的工作,在干活或执行复杂计划等能力上,也没有人那么有自主性。
但如果目前的趋势持续下去,你面对的将是这样一个世界:OpenAI 拥有的 AI 劳工今年可能是一千万,明年就是一亿,后年就达到十亿,然后很快就算算力扩展放缓,用不了多少年,每家公司各自拥有的等效劳动力就会超过地球上的总人口。我觉得。这是完全有可能在本年代末发生的事儿,也就是单个实验室内部的 AI 劳动力,有效人口数量比地球上的总人口还要多。
所以,我们经常讨论因为国有化等原因导致的权力集中,但我们很少去想。我们其实正在飞快的进入一种局面,绝大多数人按工作产出之类的来算,全都被集中在两家消耗着世界上越来越多算力的实验室里。那么,如果这些 AI 发生对齐失误,世界上绝大多数劳力基本上就都失控了,因为全球大部分心智都在那里。但就算没失控,也仅仅是极少数公司掌握着巨大的影响力或控制权。
对,最近就有一场争论,好像是 Gavin Baker 说,Anthropic 的 Dario 认为世界上最终只会剩下一家公司,然后 Shoto 和 Dario 就出来澄清说,不不不,我们没这么说过。但归根结底,如果你相信 RSI 相信这些实验室是算力最有效的使用者,能从算力中创造最大价值。那么,唯一会发生的事情就是算力的集中。
如果你相信 AI 研究员 RSI Agi 这些,那么这一切都是存在的,这一切都是基础。就算没有 RSI,这也同样成立。在前沿领域,给定能力水平下的当前有效人口,目前同比也是在以十倍的速度增长,对吧?所以,只要达到人类的水平。比如,一个非常能干的远程员工,或者非常优秀的软件工程师、研究员,按当前的能力增长速度,这样的人口规模每年就能翻十倍。
懂了,这还是没算 R C。一旦有了 R C,就会更夸张。可能每年增长一百倍甚至一千倍,又或者智力在提升,但人口没怎么涨,或者两者兼而有之,对吧?对,所以多cash,你觉得在一个没有走向彻底中心化的世界里会是什么样?因为在我看来,所有的力量似乎都在朝着中心化狂奔。没错,这太吓人了。对。我真希望它不要完全中心化,但也许 Machines of Loving Grace 的核心主旨就是这样,对吧?
就是它包揽一切,让我们的生活变好。对未来确实很难预料,但我赞同你的看法。我觉得根本问题在于 AI 训练有巨大的规模效应,因为你花在训练某种技能或某套知识上的任何精力,都会被数十亿次绘画或数十亿用户分摊掉。而且,这是其中一个效应。另一个效应是,如果你在 AI 竞赛中稍稍领先。而算力又紧缺,你就能收取高得多的溢价,因为你能更好的利用这种。
稀缺资源,所以这两个效应会让 AI 竞赛中领先的人获得越来越大的优势,可能还有更多,对吧?如果模型会在部署中学习,而某个模型的部署范围远广于另一个,它就会获得多得多的现实世界数据。对,我完全懂你的意思。无论是用户部署和持续学习,还是训练带来的规模效应,又或者是最好的 AI 模型帮你做出下一个 AI 模型带来的增量进展 RSI,所有这一切。
我都还没提 RSI 呢,所有这些都指向了中心化,所以我觉得一个重大的思考方向,我们私下真该花点时间想想,或者至少我会去想想,就是在充分考虑这些规模效应的前提下。Aggie 之后那种去中心化、广泛赋能的未来愿景到底是什么样?另一种愿景是由政府来控制。也许有人觉得政府比私营企业更值得信任。我不信任政府,也不信任 Dario,更不信任 Sam。
对对,这是个问题,对吧?但至少目前还没有。显然,预测未来很容易出错,可能你没预料到某个关键效应或改变一切的事情。但事先来看,很难找到理由,或者很难看到我们该怎么避开非要在两者中选一个的局面。我的意思是,这就是资本主义能走得通的原因,对吧?靠的是去中心化的决策和去中心化的权力。这也是为什么在某种程度上,高度中心化的资本主义经济体其实比高度去中心化的资本主义经济体增长的更慢。
这所有一切的前提是必须有法治,但接着 AI 把这一切全给颠覆了。对,到头来你会觉得私有制。可能不是最高效的经济形态,因此增长速度比中心化的 AI 经济要慢。这依然是私有制,但问题是有多少家公司真正参与其中?这部分经济在全美占比大概也就百分之五左右吧?不对,一万亿除以三十。比这还少,不好意思,不过是的,现在可能也就占整个经济的百分之二,英伟达占了很大一部分。
还有 Anthropic、OpenAI 以及这些超大规模云厂商,显然还有其他公司参与,但很大一部分 AI 业务其实就来自极少数几家公司,所以它虽然可以说是私有财产,但参与其中的公司极少。这就是市场结构正在导向的结果。所以有什么能阻止它呢?我不知道,除非 AI 进展放缓,除非政府下死手监管,否则这就是必然发生的事。
如果是这样,我们要面对的世界要么是资源极度集中,我们只能祈祷那一家公司把什么都做对;要么是政府把一切都放慢,人们把一切都放慢,进展以某种方式慢了下来。希望能这样吧,这样能有更多的权力制衡,即使我们走向。A G I A C R S I,一路上发生的所有事儿,也依然会导致有人攫取到更多资源,所以很难想象出一种不会导致 AI 走向极度集中的框架。
E T。现在唯一积极的一点是,今天 Anthropic 并没有捕获到大部分价值,所以我们可以随便聊什么。他们从每兆瓦两千万美元涨到了每兆瓦一亿美元,但他们买的很多算力其实依然在按十三付钱。但说到底,他们之所以能涨到每兆瓦一亿美元,是因为 Gensery 从中美兆瓦能捕获三亿美元或者五亿美元的价值。而多尔卡什普特尔通过做博客调研研究信贷,每兆瓦能捕获多少美元呢?
现在你能用多少?难说。对,但我觉得那算是唯一值得欣慰的地方,就是其余的经济部门可能从 Anthropic 获利要多得多。不对,但你前面阐述的,他们把推理算力重新分配给 AI 研发的整套逻辑,那套逻辑的核心在于 AI 实验室内部的人力回报率远高于外部的回报率,这是我自我安慰的想法。远高于外部回报,对,这是我在自我安慰。
我同意,在世界的所有可能走向里,你看有八万种世界,只有其中一种 anthropic 没有掌控整个世界,那就是权力再次集中。因为我不想把 token 发到外部,他们在内部价值更高,所以其实是一回事儿,对吧?我为什么要让 Jinstory 从这帮无可救药的期权交易员身上赚走所有的钱?喂,人家可是巨无霸,得了了吧!
我的天哪,不,我觉得挺好的,我觉得挺好的,让市场变得更有效,对世界来说是很有价值的事。对,对,对。Jainshri靠准确判断世界大事赚了这么多钱,从那些无可救药的期权交易员身上赚钱。不管具体是什么,Anthropic为什么要为此分配算力?如果到头来Jainshri每兆瓦能变现两百,所以他们愿意付给Anthropic一百。
那如果Anthropic直接在内部使用这些算力,每兆瓦能创造数亿美元呢?而这正是眼下在发生的事,可不是吗?好。在这个沉重的话题下,我想等 RSI 正式启动的时候,我们再聚吧。你打算差不多两个月都不让我再上你的播客了吗?行吧,好多谢了,兄弟。