欢迎收听跨过串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的 AI 声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的 AI 财经、健康与科技领域精品内容。我是主播伊凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。
接下来，让我为您简单介绍本期我们克隆的这档节目。本期我们克隆的是红杉资本旗下博客的一期深度对谈节目，发布于二零二六年六月三十日。主持人是红杉资本的合伙人 Shine，嘉宾是知名半导体与 AI 研究机构 SemiAnalysis 的创始人 Dylan Patel。迪伦从硬件论坛版主起步，如今带领团队为全球机构提供最前沿的芯片与人工智能产业分析。
这一期，他们主要围绕AI领域里一个常被忽视的关键杠杆——硬件与软件的协同设计展开讨论，并聊到了这种深度整合如何带来远超单纯硬件迭代的效率飞跃。那我们就一起走进这期完整的对话。我觉得 SemiAnalysis 内部特别有意思。我们有九十个人，其中一大块是技术专家、工程师，遍布整个供应链。然后还有一大块是以前在对冲基金干过的人。
你能看到这些争论，比如有人说哦那个不重要，然后另一个人就说但成本呢？接着工程师又说不不不，这个技术才是最接近的。你能看到这种很自然的像打架一样的讨论，而且我们内部挺随意的。考虑到我以前当过版主，你大概能想象那个氛围是什么样的。你乐在其中，你很享受这个。别跟猪摔跤，因为猪也乐在其中，对吧？我们现在在 SemiAnalysis 的办公室跟 Dylan Patel 在一起。
我是红杉资本的商桑扎黄的合伙人。你做的事真的挺疯狂的。半导体五年前在西方可不算什么性感的领域，在东方很性感，但西方这边的人基本都忘了这回事。你倒是没忘，你重仓押注，打造了这个领域里大概是最顶尖的研究公司，一直在给全世界做科普，从最前沿的技术细节到供应链，再到大格局。有传言说 SemiAnalysis 最近营收突破了一亿，我不知道这个数字有多准，但不管具体是多少，你们确实很猛。
这个嘛，信息有多准，数字就有多准。这种事永远说不准，还有传言说你可能要搞一个风险投资基金。我在生态里老听到有人想跟 SemiAnalysis 涉上关系。你建立了一个值得信赖的品牌，所以不管你做什么都挺有效的。这显然只是你旅程的开始。恭喜你取得这些成绩，但这一切是怎么发生的？第一个问题就是你的背景是什么？
你是怎么走到今天这一步的？我小时候从娘胎里出来那会儿，好吧，我是在小生意家庭里长大的，我爸妈开了家汽车旅馆，我们就住在旅馆里，我们还有个加油站，所以我经常开玩笑说，我训练的第一个神经网络就是根据走进加油站的人的长相和种族来判断该拿哪种烟。天哪，基本上香烟都排在高处，我当时太矮了，够不着。而且严格来说，那个年纪卖烟也不合法，但管他呢，我得把垫脚凳挪到对的位置。
我第一份办公室工作也是在合法年龄之前开始的，对，那是很好的经历。不过我没拿工资，对吧？家族生意嘛，一样一样。对我们有汽车旅馆，街对面就是加油站，所以有时候有人走进来，比如一个卷发的白人老太太进来，我就把梯子或者垫脚凳挪到骆驼烟那边；如果是不同年龄、职业、种族的人，我就把垫脚凳挪到不同的位置。我开玩笑说，这是我训练的第一个神经网络，因为如果等他们告诉我，我就得先挪过去，再爬上去，不如提前准备好。
所以，薄荷烟、一百细支这些，我开玩笑说那是我训练的第一个神经网络。但我是在家族生意里长大的，住在汽车旅馆里。这一切其实要追溯到我八岁生日的时候。我生日在五月那年四月，Xbox 三六零发布了。我生日没要Xbox，或者说没要生日礼物。我爸妈问我想要什么，我说想要圣诞节礼物。我们家过圣诞节，但当时我觉得他们不可能在圣诞节给我买Xbox三六零。
所以我就把生日礼物改成了要圣诞礼物。总之，圣诞节到了，我拿到了。过了几个月，我住在阿拉巴马的表哥，他们家也开汽车旅馆，要来我家过春假，我们就打算在我家玩。他年龄在我和我哥之间，我哥更爱运动，对 Xbox 不太上心。他偶尔也玩，但不太上心。但我表弟嘛，我想让他觉得我很酷，对吧？所以我在电话里吹了好几次，说：“对我有Harbox，然后Harbox坏了，有个硬件缺陷叫死亡红环。
”长话短说，我不得不把它拆开，短接温度传感器，修好了。但在这之前，我试过很多别的招儿。都没用，这大概就是我接触硬件的开始，就像打开了潘多拉魔盒。到十二岁的时候，我已经经常泡在这些论坛里看帖发帖。那会儿正好是Reddit吞掉所有其他论坛的时候，所以我成了啊Android、Apple、Google这些板块的版主，还有硬件板块也一直在看Intel、Nvidia和AMD这些论坛。
我装电脑泡这些论坛，看帖发帖很多，有些板块我还管得很多。还有智能手机，看着他们从非常简单发展到拼速度，再到在很多架构层面比PC更先进，GPU也一样，就是一直追踪观察读每一条评论。而且总带着经济视角，因为我在小生意里长大，所以我一直在看经济账，对吧？有一阵子，网上那些键盘侠都爱MD的GPU，我自己也买过一块MD的GPU，因为性价比好。
但一到比谁技术更强的时候，我总是说不不不，NVIDIA更好，因为他们用更小的芯片实现了更好的性能和能效，而且他们的利润率更高。所以我总在说，在GPU这块，NVIDIA的利润率比AMD好，这挺有意思的。你那时候才十二岁，我十二岁开始当版主，但这些都是贯穿我整个青少年时期和高中阶段的事儿。你还有其他什么奇怪的爱好吗？
还是就只搞半导体？我玩了很多星际争霸，有一阵子我是北美天梯的宗师。星际争霸二，好吧，所以你是那种能在好几件事儿上都做到痴迷级优秀的人。对，痴迷是好事。你成绩怎么样？还行，要我说，大部分是 A，但有些课我觉得很无聊，或者就是不喜欢，比如西班牙语，我成绩不算特别好，但顺便说一句，我现在西班牙语说的很流利，所以这很蠢，但就是那么回事儿，但也许这就是你没考好的原因。
不过说实话，我后来才学的西班牙语。所以，我成绩还行，对吧？对亚洲父母来说够好了，我比学校里大多数人都好，但也不是那种拼命追求全A的类型，好吧？那你很大程度上是互联网的学生，你就是这么积累起这些专业知识的。你是什么时候决定创办 SemiAnalysis 的？创办这家公司最大的意外是什么？对我上了大学，拿了几个学位都跟半导体无关。
然后在一家小型的量化风险公司做了两年量化分析师，后来基本上是一系列事情赶在一起了。一件事，我的奖金被人坑了，我帮公司赚了好几百万的无风险收入。因为我利用了市场上的一个风险漏洞，我记得远超一千万，然后别人抢了我的功劳，诸如此类。虽然最后钱是补给我了，但我和那家公司的信任关系已经破裂了。还有我的祖父母是跟我们一起长大的，或者说跟我们一起住在汽车旅馆里，他们和我们住在一起，所以非常亲近。
后来我祖母得了痴呆症，她不记得我是谁了。她从楼梯上摔下来，出了意外去世了。这些都发生在二零二零年初。另外，还有一些感情上的事，所以有几件事儿凑在一起，让我非常难过。所有这些事儿都赶在一块儿了。然后新冠来了，我哥说：“兄弟，来我这儿住吧。”他住在纳什维尔，我就过去和他住了。我们当时想封城也就几周的事儿，你可以先住我这儿，等结束了再回家。
结果大家都知道了，封城持续了长得多的时间。但在我哥家住了几个月，情况就是，我不知道自己要干什么。我当时就待在我哥家里，什么都得按他的规矩来。他和他当时的未婚妻，现在的老婆都在，所以我基本上得小心翼翼的。但我也不在乎那份工作了，于是我在网上发帖，比以前更勤了。我一直都爱在网上发东西，也一直在大量炒股。
我做空新冠，做多新冠，赚了不少钱。那时候半导体短缺也开始了。总之，我那会儿完全沉迷于发帖这些事儿。后来，大概就在那段时间，又是因为跟人争论，网上有人把我人肉了，公开了我匿名账号的真实身份。当时我心想，完了，吓坏了，停更了大概三周。然后我问自己，我这是在干嘛？我干嘛要在乎？于是我就开始用真名发帖。我本来也有博客什么的，我搞了个正式的博客叫 SemiAnalysis。
在我二十四岁生日那天，我发了两篇博文。从那时起。它就不是一份 newsletter，但我获得了巨大的关注，因为现在我是用真名发帖，不再是匿名了。而且那两篇文章我投入的精力比平时多得多，不再是网上那种随便发发，而是真正用心写的播客。你现在还可以回去翻翻，写的不算特别好，但在当时算不错了，是网上能找到的关于半导体的最好的内容。
我就这么一直发一直发，开始接到很多咨询业务。二零二零年那会儿，我也算是彻底崩溃了，不知道自己想干什么。于是我把所有东西打包，开上我的卡车，买了个能架在卡车后面的帐篷，又买了个气垫床什么的，然后开车跑遍了美国所有的国家公园。一周里有两三天，我会找个随机的汽车旅馆，把房价砍到大概三十美元一晚。然后就在房间里做semi analysis的事。
到了周末，我就在某个随机的国家公园里看书，经常是看教科书或者一边徒步一边听有声书，内容都是关于半导体、A I，所有我特别关心的事儿。在这六个月里，我一边跑遍每个国家公园，一边学到了非常多的东西，而且从头到尾我都是一个人，一直是一个人。我一直在发博客，所有人都说Dylan。你到底在干嘛？那是星链出现之前，星链非常早期的日子，对星链之前。
所以当时大家真的就是那种反应，你到底在干嘛？后来我又去拉美旅行了一年左右，一开始是跟朋友，后来是跟前任，大概待了一年，然后到了二一年底、二二年、二三年、二四年，我从二零二零年中开始就一直处于完全无家可归的状态。但我满世界跑去参加每一个行业会议，我一年参加四十多场会，不管是在供应链的哪个环节，只要我觉得有意思，我就去。
我第一次去某个会的时候，感觉就是哇，太棒了！你能直接跟专家聊，而且他们愿意跟你聊，因为你显得特别兴奋。在半导体这个领域，大家都是老一辈的人，他们很少见到年轻人对这个这么有热情，所以特别乐意跟你分享。那我必须得问一下，有没有供应链的某个环节，或者某次会议，特别改变了你对半导体世界的看法，或者让你当时觉得，现在也觉得被严重低估了？
我觉得行业展会和学术会议差别非常大。有些我最喜欢的会，比如 Neurips，为什么？因为那里有两万名 AI 研究者，他们大多跟我在同一年龄段，所以特别好玩。而且他们又是顶尖的 AI
研究者，你能学到很多东西，还有很多派对。然后另一头，比如在日本有个随机的化学会议，会场里是三百个日本大叔，大概有二十个来自ASML的人，二十个来自台积电，二十个来自英特尔，只有这些人说英语，其他人全说日语，你只能感叹，好吧，这还是挺有意思，挺好玩的。
我觉得我有个本事，就是不管对方什么背景，是什么人，我都能跟他们聊得来，总能找到有意思的话题，通常就是技术那些事儿。所以我觉得最有意思的会往往是那些特别大的，会因为最大的事情都在那里发生。但我觉得那些特别小众的领域也非常令人兴奋，比如 space。有IEEE，就是国际电气电子工程师学会那个，还有SPIE是另一个体系。
SPIE的会议在细节上挖的非常非常深。我去的每一场，特别是SPIE先进光刻或者SPIE光掩膜会议，第一次去的时候，我连听到的百分之九十的内容都听不懂，然后我就拼命读，拼命学，当然也建立了一些人脉。然后第二次去，我大概听懂了一半儿；第三次去，我听懂了差不多百分之七十五。即便是现在我去参加，我还是没法完全搞懂所有东西。
但像你去Neurips去个几次，你就能明白。好，什么是神经符号推理？好，这个是什么？那个又是什么？你很快就能对全局有个大致的概念，但供应链的某些环节实在太晦涩、太深，技术性太强了，你得花很多时间才能搞明白到底发生了什么，对吧？对每一篇研究论文来说都是这样，这不一定意味着你没搞懂。你去参会无非就几个原因。
对吧？你理解研究本身，但那些都是发表出来的研究。你真正关心的是，这些研究怎么跟技术结合，还有这些研究跟今天已有的东西有什么不同。而这些研究论文没有一篇会告诉你今天正在发生什么。但你可以直接去问人，去建立人脉，去学习，然后你就慢慢了解了供应链。哦，原来是这家公司给那家公司供货，尽管这些信息从没在任何地方公开过，或者你会了解到这种化学品的成本大概是多少，一台设备大概要用多少，你就这样一点点把东西都学会了。
你会听到一些恐怖故事，比如某种化学品短缺，结果把供应链上这一整块全打乱了。然后你发现全世界只有三家公司生产这种化学品，这简直。我最喜欢的一个故事是，我在那个特定的日本会议上，一个日本人用非常蹩脚的英语告诉我，他父亲在八十年代就干这行。他说，全世界唯一一家生产这种化学品的工厂，被烧毁了，结果导致内存价格翻了两三倍。
我当时就想，哇，跟今天的情况也没太大差别，没差一点，没差。太疯狂了！推理将会是地球上最大的市场，也是地球之外最大的市场。同意还是不同意？显然，token的使用会是最大的市场，token创造的价值也会是最大的市场。但我认为，token经济学，也就是token的使用，AI的普及，才是当下最重要的事。而推理，不管是开源模型还是闭源模型，都会是世界上最大的市场之一。
我觉得会比石油大得多。比很多其他领域都大得多。AI推理会占到GDP的好几个百分点。你做的Inference X，我觉得已经成了行业标准。也许可以聊聊你为什么启动它，它是做什么的，以及大家对性能基准测试和推理有什么误解。对，我们把视角拉远一点看，界面的奥斯做的很多事情，很多是给机构客户和订阅产品做的研究，但也有很多是那种黑把这个搞清楚应该挺酷的。
我们来想想怎么搞明白，然后直接公开发出来，这又带来了更大的规模。我们之前用这种方式做了很多 GPU 基准测试、训练性能和推理性能的测试，但最终我们发现推理基准测试是静态的，测一下花点时间，然后发布出来，它很快就过时，晦涩跟不上时代了，因为模型一直在变。我感觉每周都有新模型出来，不管是中国的模型，还是今天刚发布的 MetaS5 Fable。
新模型层出不穷，在软件层面，PyTorch、VLMs、Glan，新的驱动，新的什么东西又发布了？事实上，这些库大部分的更新周期是一周两次，所以基本上软件一直在更新，性能也就一直在变。新的推理优化不断涌现，也在不断更新。所以，我感觉这是一个接一个永不停歇的突破，不断推动效率提升和成本下降。这就是为什么我们看到同等质量的模型成本一年能降六十倍，这太惊人了。
但要跟上这个节奏，你就不能做静态的基准测试。你需要让基准测试是活的，会呼吸的，也就是说要在最新的硬件、最新的模型上持续不断的跑。于是我们就启动了这个项目，而且从生态里得到了很多支持。这件事儿之所以能做成，是因为我们在生态里攒下了一些口碑，让 CoreWeave、 Crucial、 Nebius、 Oracle、微软、亚马逊、谷歌和 OpenAI 都愿意给我们贡献算力。
然后我们又跟 SGL VLM、现在还有 RadixR 和 Infrac 这些在开源方面带头的公司合作。我们还拉上了 Nvidia、AMD、谷歌和亚马逊，因为我们现在也在加 TPU 和 Training。现在所有这些人都在一起协作。我们有超过五千万美元的硬件是捐赠给我们的。等我们上线 TPU 和 Training 之后，硬件规模会超过一亿美元，大概有十五种不同的芯片类型。
所有这些基准测试每天都在跑，跑的是所有最新模型，蒙莎最好的模型，阿里巴巴最好的模型，还有大概五家中国模型厂商最好的模型，最好的开源模型，最好的中国实验室模型。我们每天都在他们的模型上跑基准测试，同时也跑美国最好的开源模型 GPT 减 OS、NeMoTron 等等。所以，我们每天都在以自动化的方式跑这些基准测试，跑在这些专门拨给我们做推理基准测试的服务器上。
我们会扫过大量不同的配置和优化类型，最终产出的结果，所有结果都是公开的，所有配置也是公开的。所以，现在我们有了帕累托最优曲线。因为很多时候，人们在比较推理性能时，会拿别人最优的曲线或点位来跟自己最优的去比。这就好比我开保时捷，跟某个赛车手比，肯定是我开得更慢。推理基准测试也是一样，所以我们做的是为交互性维度上的每一个点，也就是它对我的响应速度，以及批量大小维度上的每一个点，也就是我同时在服务多少用户，这条曲线上的每一个点都创建了开源的最优容器。
现在，任何想要最优配置的人都可以直接去 infernix 下载，然后把它当做最优配置来跑。他们可以每天检查更新，甚至可以自动下载那个模型的最优配置，这样他们的推理性能就能接近峰值。在你看来，那条曲线是最重要的曲线吗？吞吐量和交互性曲线最重要的一条。对，我觉得硬件、基础设施、模型、应用层，大多数东西都是这条曲线的下游。
到底是那种需要超级快、超低延迟的任务？我其实不太在乎成本，所以我把批量大小设得很低，大量使用推测解码、获得 token、预测这类技术。这里面可用的技术非常多，还是说我其实是在批量处理一大堆文档，完全不在乎这些，所以我不用那些在成本效率上更差但能提升单用户速度的技术，因为我只想塞进更多用户文档处理一整晚，我也不在乎。
现在我们对AI基础设施的处理方式有点像一刀切。但随着时间的推移，我们会走到这样一个阶段：有些是批量型工作负载，有些需要即时响应。整条曲线对用户都会很重要。我们在 Anthropic 身上就能看到这一点。Cloud Code 的快速模式比普通模式贵得多。OpenAI 的优先队列功能也是一样。抱歉，问个笨问题，成本是怎么纳入这个起点的？
假设我打个比方，我有一个批量大小为一百的设置，每个用户每秒能跑十个 token，那么在那一个计算单元上，我总共每秒能跑一千个 token，这是曲线的一端，超级慢，每秒十个 token。另一端是我每秒能跑五百个 token，但只能有一个用户，或者每秒两百五十个 token，一个用户。然后中间有一些点更接近帕累托最优。
普通人其实想要的是每秒五十或一百个 token，以及我能批量容纳的用户数量。所以这条曲线就是取决于我批量处理多少用户，要么是每秒总共一千个 token，要么是每秒总共两百五十个 token，中间是一条曲线。最终，有些工作负载会想要那四倍的成本下降，因为同一块硬件能跑一千，而不是两百五十。而有些用户会愿意多付四倍的钱，因为我不在乎价格，我在乎的是时间。
因为使用这些token的人很贵，或者我这里的反馈闭环很贵。如果让你猜时间范围，你自己选十年或十五年，你觉得有多大比例的推理计算会发生在太空？可以是百分之零、百分之五十、百分之九十九。这个问题很难，你选一个时间范围，比如十年，随便什么时间范围，然后你来猜。我觉得一个非共识，或者说至少跟 SpaceX
唱反调的看法是，顺便说一句，我很喜欢 SpaceX，而且如果我能买股票的话，我绝对会买他们的 IPO，不是投资建议，不是投资建议，谢谢谢谢，不是投资建议，红杉资本那边以后再说。
我不认为太空数据中心在未来三到五年内会有什么实质影响。不过话说回来，我觉得在二十年这个尺度上，绝大部分算力都会搬到太空去。所以，真正的关键因素其实是成本。是时间框架的问题，是在陆地上建设电力的成本，以及你到底能在陆地上搞出多少电力。而且，我觉得显然，我对推理需要多少吉瓦或太瓦电力的看法，在我个人看来，那条增长曲线是非常疯狂的。
你的预测是多少？需要多少吉瓦？我觉得到二零三零年，光是 OpenAI 和 Anthropic 两家加起来就会超过一百吉瓦，然后再加上 Meta 和 Google 等等，用于推理的算力会是一个极其庞大的数字。到二零四零年左右就会是太瓦级别了。我们即将获得的生产力提升曲线就是如此。所以，推理部署的规模会非常巨大。
因此，如果看二零四零年，我觉得可能超过一半的增量算力都会部署在太空；但如果看二零三零年，我觉得这个比例还不到百分之一。你觉得每瓦智能一直在提升吗？而且，我们现在的每瓦智能水平跟人类生物学相比，似乎仍然存在巨大的差距。那么，你觉得我们能缩小这个差距吗？如果能，这种提升会来自哪里？我觉得这往往也取决于你具体在做什么。
比如，一台 TI 八四计算器在做数学运算时的每瓦智能就比我们高得多，而这已经是三十年前的东西了。所以，这显然是个比较蠢的例子。通用智能，那么回到每瓦智能是否一直在提升这个问题，我提到过，在相同基准测试水平下，成本已经降低了六十倍。我们在每瓦智能上也看到了同样的趋势，虽然没有达到正好六十倍，但更接近四十倍。
有些效率提升不是通过降低功耗实现的。但每瓦智能的年均提升幅度非常巨大，至少今年、去年、前年、大前年都是如此，而且我预计这种趋势会持续下去。至于我们离人脑还有多远，我们还差好几个数量级。好在这一点其实并不重要，我们可以给计算机投入大量电力，给计算机供电比给人脑供能容易多了。毕竟人类会生病，还有食物偏好，还需要睡觉。
对，没错儿。让我再问一个关于这个主题的问题。在我看来，无论是每瓦智能还是每美元智能，或者任何这类指标，我觉得大致有三个层面的输入：你可以有硬件层面的改进，让硬件本身更高效；你可以有底层系统优化，比如内核级的改进、矩阵乘法库之类的东西。或者你也可以有高层的模型级、算法级改进。在我看来，过去三年里，大部分收益似乎都来自硬件层面，也有一部分来自模型层面。
你同意这个看法吗？你觉得未来还会是这样吗？你觉得在内核层面还有很大的潜力可挖吗？上哥完全不同意你的看法。好，很好，这就是我提问的原因。好，我觉得一种方式是把这看成三个不同的层面。从这个角度看，从 Hopper 到 Blackwell，这基本上是我们过去三年里仅有的硬件迭代，在 DeepSeek 上大约有三十倍的提升；在最优化的部署上，你可以在 InferenceX 上看到大约有三十倍的提升。
但是在过去三年里，我们在每瓦智能上的提升远不止于此，其中很大一部分来自模型层。回想三年前，那是GPT四，现在呢，可能是像Q Gemini一样较小的模型，总参数量两百七十亿，激活参数只有二十亿，表现却要好得多，所以模型层有了巨大的提升。硬件层也有相当大的提升，但关键在于那个协同设计的层面，我觉得这才是重点。
如果你去看这些模型的架构，DeepSeek是最有名的那个，至少是公开的，大家都能看到的。对，DeepSeek通过协同优化，或者说内核级的内存优化，获得了巨大的效率提升。对，我觉得内核当然是一部分，但实际上是你要为芯片构建硬件架构。你看 DeepSeek V3 里所有专家的形状都是针对 Hooper 优化的，再看 V4。
是针对 Blackwell 和华为的芯片优化的。有意思的是，尽管 TPU 客观上是很棒的，芯片 DeepMind 全跑在上面，Anthropic 的预训练也全用它，但 TPU 跑 DeepSeek 就很拉胯，而跑其他一些在 Nvidia
上表现不好的模型却非常出色。这里存在某种程度的深度优化，不管是形状、网络、I/O模式，怎么做集合通信，怎么处理注意力机制的算术强度，所有这些都在模型、硬件和中间的基础设施软件之间做了协同优化。
很难说你现在就能把这些收益拆开来看。你觉得我的理解是，过去几年中国在这方面比西方做得好很多。DeepSeek是最早真正这么做的模型之一。我倒不这么认为，我觉得更多是西方不告诉别人自己做了什么。OpenAI没告诉大家GPT 4o有多稀疏，形状大小是多少这些，但GPT 4o跟DeepSeek V3规模差不多，还稍微小一点，而且4o发布时间还稍早一些，如果我没记错的话。
所以你的看法是，这三层其实一直在同步推进，速度也差不多，最大的收益就来自协同优化。对，要我说，模型层的收益比协同优化层、比软件基础设施层和硬件层都要大，但每一层都有创新。而真正最大的收益，顶尖实验室最厉害的地方，就是当他们把这三层协同优化的时候。你看，Anthropic虽然他们用很多种硬件，但推理基本不怎么用TPU，主要用TPU做训练。
他们推理大量跑在 Trainium 和 GPU 上，GPU 更像万金油，但他们优化了自己的硬件，优化了模型，优化了一切，才能做到这一点。而 OpenAI 之前的模型更多针对 Hopper 优化，现在更多针对 Blackwell 优化。你顺着时间往前看，这些实验室都是这样，Google 也一样。Gemini 二是真正针对 TPU v6e 优化的，Gemini 三也是。
接下来要出的下一代Gemini，是真正针对TPU
V7优化的，所以很多这些东西都在协同优化。实际上，你把那个模型拿出来放到旧硬件上跑，效果真的不怎么样。所以我觉得这种协同优化是最重要的，这叫软硬件协同设计。这让我特别兴奋。我日常工作就是看某一层，这里有很多创新，每一层都有很多创新。但真正的突破性创新是当你跨越几层去做协同优化和协同设计，突然间，本来这里两倍，那里两倍，那里两倍，不是乘起来变成八倍，而是直接一百倍，因为你跨三层都做了优化。
这就是你在那些实验室里看到的，在 Nvidia 这样的公司里看到的令人兴奋的东西。Nvidia 不完全是做模型层的协同优化，但从模型层一路往下到芯片，多少也涉及一些。或者你看台积电这样的公司，他们不光协同优化制造环节，而是从组件、耗材、工具一路往上，到客户告诉他们的芯片设计方向，这是跨多个抽象层的协同优化。
优化过程中总会有某个地方存在瓶颈，拖后腿，然后需要被拉上来。还有各种补丁去掩盖那些问题。如果要你预测，在技术栈的任意层面，随便哪里都行，你未来一年最密切关注的一些瓶颈是什么？不一定在供应链，不一定是规模方面，而是实际的技术层面。当然，供应链也可以算，但就是是内存改进吗？还是单纯的扩展？内存，内存这块大家谈的很多，但我不从供应链角度讲，我从技术角度讲，内存的容量和带宽进步一直很慢。
nan 单元大概是二十五年前发明的，DRAM 单元大概是四十年前发明的，在单元本身就是 nan 单元到底是什么这方面一直没什么重大突破。当然，nan 本身是个很简单的门电路。DRAM单元也是未来可能会有一些极具创新性的东西出来，但即便过去五年我们真正做的也就是把HBM堆叠的更多更快。不过接下来几年会有新的创新，不再是单独把HBM堆在芯片旁边，而是直接把内存堆在芯片上，这会让带宽暴涨。
这个领域有一些很有意思的公司，也有一些公司在尝试做概念验证。我觉得内存带宽是最大的瓶颈之一，另一个是在硅芯片的历史上，至少过去二十年，一颗芯片多少瓦？对于数据中心或桌面芯片来说，基本看一眼就能预测。峰值大概在每平方毫米一瓦，所以如果一颗芯片是一百平方毫米，功耗一般就在一百瓦左右或略低。你看最新的 NVIDIA 芯片，最新的 TPU 芯片也还是在这个每平方毫米一瓦的范围内。
所以现在芯片已经到一千四百瓦了，NVIDIA 的下一代像 Reuben 这些会到两千瓦，再往后到 Reuben Ultra 大概会到四千瓦左右。但这其实只是在增加硅片面积。真正让人兴奋的是，我们现在终于在做一件事儿，而且正在推进中，就是可以把注入硅片的功率提得更高，远超每平方毫米一瓦。这突然意味着你需要的硅片面积变小了。
当然，它运行功率更高，某些情况下效率更低，但你减少了硅用量，而且能克服某些问题。哦，那是不是会遇到散热问题？散热问题，还有电气干扰之类的问题，各种不同的问题都会冒出来，所以这是个很难的工程问题，也是为什么我们一直卡在每平方毫米一瓦左右。但让人兴奋的是，全世界都在尝试改变这些。我觉得供应链里另一个有意思的点是，人们总说能源很难，我们有能源瓶颈，但其实是有些很简单的解决方案的。
可以想一下，比如美国有能力制造数百万台卡车的柴油发动机。你可以在装配线上很轻松的把它们改造成用天然气，然后接上一个电动机，反过来驱动它，让电动机发电，而不是让电动机带动轮子转，就是反过来用。这样，你往一个美国能造几百万台的东西里灌天然气，就能发出电来。然后你可能会说：“好吧，那维护起来不是很麻烦吗？
”因为你现在得在一个数据中心里放几百台这种东西，其实你完全可以从汽车修理店拉人来，让他们跑来跑去修卡车发动机。实际上这相当简单，我不是说它简单到谁都能做，我肯定做不了。我觉得你说到了一个很好的点，就是西方在过去二三十年并没有真正去思考半导体和更广泛的硬件，所以我们没有太多创新，我们没有最聪明的人在思考怎么改进这些东西。
谁会想去硬件行业工作呢？当你可以坐在那儿，对，就是这样。好吧，我特别想问，NVIDIA对TPU你怎么看？我觉得大家都想在这两者之间选边站，但这其实取决于一个事实。你看，两年后，Google会通过自己的供应链造出超过一千万颗TPU，而NVIDIA会造出更多几千万颗GPU，两边都会是千亿美元级别。Google那边每年造出来的TPU价值会超过一千亿美元，NVIDIA这边会是五千多亿或者别的什么数字，我不做具体估算，这不是收入预测，只是个思想实验。
对我们的研究就是这个，媒体趋势也一样，Ashley就是在为SpaceX的IPO做准备。你们在SpaceX投了很多吗？好吧，那就说得通了。我们很幸运，是很大的投资者。太好了，太好了。要我说，像 Google TPU 和 Nvidia GPU 这个对比，他们各自都有很占优势的地方，对吧？你看
Nvidia 会说我们有交换机，而且是通用型的 TPU；那边会说我们更专用，能效其实更高，而且我们的网络对某些网络架构的优化其实更好。
所以两边都有很能打的论点。我完全可以一本正经地跟你论证GPU比TPU强得多，或者TPU比GPU强得多，但归根结底还是硬件软件协同设计的问题。实际上，按OpenAI模型的发展方向，他们用TPU可能是个很糟糕的决定。而按脸 tropic，和 Google 模型的发展方向，他们用 GPU 训练可能也是个很糟糕的决定。
当然，对成熟模型来说，用哪个都还行。这里面的根本区别是什么？有很多方面。对吧？举个最简单的例子，矩阵乘法单元的大小就不一样，因此你做的矩阵乘法的形状，你用的注意力机制，注意力机制的结构方式，专家的结构方式都会不同。所以你觉得 OpenAI 和 Anthropic 正在走向非常不同的模型架构？我觉得他们的模型架构其实差别很大，有意思。
你看 OpenAI 的模型稀疏得多，这有它的好处；而 Anthropic 的模型虽然也稀疏，但总体上更稠密，这又有不同的好处。还有很多其他方面，对吧？比如网络拓扑。NVIDIA的所有芯片都通过 Memlink 交换机连接，Google 那边没有交换机，但他们做到的是，NVIDIA 的 Memlink
只能连接七十二个 GPU，而 Google 的 SCI 可以以超高带宽连接八千个芯片，但数据必须经过其他芯片才能到达。
因为没有交换机，所以这里就有取舍，有优点也有缺点，而这会影响模型架构。你不一定非得说哪个比哪个更好，因为说到底，你没法把它们孤立起来衡量。这种差异会一直延伸到模型层。对吧？但我记得很长一段时间里，大家都会想 Nvidia 的可编程性，还有 CUDA 本身就是一条巨大的护城河。在我看来，至少过去三到六个月，这种说法好像变了。
模型公司不再在乎，如果要给另一款芯片写定制 kernel，那就写呗。如果有必要，我们愿意同时用四五种芯片。Cloud和 CUDA 在做这类优化工作上其实已经相当厉害了，所以看起来，而且本来也没有一万家模型公司，每家都需要可编程性。模型公司大概也就几十家这个量级，所以在我看来，那个基本前提有成千上万的大客户需要 CUDA 兼容性，这种论调好像在变。
对 CUDA 的护城河，软件的护城河，至少在一定程度上已经被解开了，因为模型现在编程能力很强，所有软件在这种情况下都会商品化。我确实觉得开源和人们所说的 CUDA 护城河，其实跟 CUDA 本身没什么关系，而是 DeepSeek、Kimi、智普 AI、阿里巴巴、腾讯，还有小米最近也出了个很棒的模型。
这些公司的模型都是针对 GPU 做协同设计的，所以如果我想在 TPU 上跑这些模型，有些情况下他们跑的并不好。那 Google 就得自己创建开源模型生态，或者自己开源模型。所以他们做了 Gemma 系列，结果就是这其实不是 CUDA 在起护城河作用，而是下游产品对 NVIDIA 优化的更好。而且这些公司还都在开源这些模型，或者像 NemoTron 也在开源。
然后下游的使用者，比如推理API提供商，那些拿开源模型为企业定制业务用例的强化学习公司，所有这些公司都受制于一个事实，好吧？我好像得用NVIDIA。因为整个生态都在用 NVIDIA，哪怕我其实不太在意写 CUDA 内核，因为模型很擅长干这个。但问题在于模型的形态，比如这个专家模块是这样，隐藏维度是那样，等等。
所以在 NVIDIA GPU 上跑就是比在 TPU 上跑更好。反过来也一样，如果 Google 真的开源了非常好的模型，情况也会一样。人们拿到他们的模型会说，哇，这些模型在 NVIDIA GPU 上跑的不太好，那我应该直接租 TPU 或者买 TPU 来跑。对小团队来说，你会想用所有的开源软件，比如 VLMs、GLM、PyTorch 这些，但大实验室不一定需要全用这些。
OpenAI 很久以前就 fork 了 PyTorch，啊，Anthropic 和其他公司也不一定重度依赖这些开源实现，他们早就 fork 或者自己构建了，所以不需要依赖开源。这样一来，情况就更像是我会选最好的硬件，然后为那个最好性价比最高的硬件从头到尾协同设计我的模型和基础设施软件。而且我会让AI帮我写所有这些软件。
你怎么看Cerebras？我觉得Cerebras是一家非常有创新精神的公司，在市场的某些领域，他们做的非常非常好，推理速度极快。我觉得这是个很大的市场。我们在 SemiAnalysis 几乎只用 Fast Mode。顺便说一句，我特别欣赏你在核算上的严谨。不知道那是你专门做的一个展示，还是一直都这么做？
就是核算每项任务的花费和投资回报率，分析的太棒了。对对，我们做的相当认真，谢谢。那是我们写的 Dark GDP 那篇文章，而且我们还会追踪每个人每天的 token 消耗。如果有人用量突然飙升，我就会问你干啥了，然后对方解释完，我就说好，谢谢，告诉我，听起来值得，然后继续忙我的。我觉得对于高端任务，Fast Mode 显然价值很高。
我能看到很多不同的用力，超快的token生成速度是值得的。我也能看到另一面，有很多用力不需要超快token，因此市场不会为此买单，他们会用GPU和TPU。我觉得 Serba 最大的风险在于，我主要认为最好的模型才是你想用 Fast Mode 跑的，而小模型你可能未必会用 Fast
Mode。我也能想象这个判断可能是错的，比如在金融市场之类的领域，像 Jane Street 那种高频交易或者中频交易。
但归根结底，在基于 SRAM 的芯片上跑非常大的模型，处理非常长的上下文是非常困难的，比如 Cerebras，比如 Grok，所以问题突然就变成了：如果模型变得太大了，怎么办？如果 OpenAI 的模型不是几千亿参数或者小几万亿参数，而是十万亿参数以上，那一下子我觉得这就塞不进 SeriBras 了。
而且如果还带着超长上下文，比如一百万的上下文长度，那就更难说得通了。到目前为止，我们看到各大实验室的大部分收入和用量都来自他们最好的模型。即使模型涨价了，我们也看到了这个现象。有一些数据显示，就连 Fable 今天刚发布，就有大量用户转向 Fable 和 Mythos，也就是那种次顶级的模型，尽管它贵得多。
所以，那这是按金额算的量，按 token 算的量呢？谁在乎按 token 算的量？重要的是钱。说的对，我不在乎卖了多少辆，比如二十万辆 Mini Cooper 或者丰田凯美瑞，如果福特 F 一百五十的平均售价是他们的五倍，哪怕销量只有一半。好吧，说的对，所以美国最赚钱的市场是皮卡，对吧？我多半是在开玩笑，但差不多是这个意思。
我觉得这确实是你做的特别好的地方，也是你区别于几乎所有人的一点。你不仅关心技术，还非常关心经济账。我觉得很少有人能把这两件事很好的结合起来。对，谢谢。我觉得在 SemiAnalysis 内部这件事儿特别有意思，因为我们有九十个人，其中一大块是技术专家、工程师，覆盖整个供应链；然后另一大块是以前在对冲基金工作的人。
你会看到这些争论，比如有人说哦那个不重要，然后另一个人就说但是成本呢？接着工程师又会说：“不不不，这项技术才是最接近的。”你会看到这种争论自然的打来打去，而且我们内部挺随意的。考虑到我以前就是论坛版主，你大概能想象我有多享受这种场面。你很享受，别跟猪摔跤，因为猪会乐在其中，对吧？顺着这个话题，在进入下一个问题之前，半导体领域有没有什么能触发你的话题？
就是那种，像梗一样，有人一提你就会觉得这人肯定是个傻子。比如有人说：“哦，内存是瓶颈。”这倒是事实，但我觉得更让我上头的是，有人说 AI 没有投资回报率，这真的让我火大。就是那种投资回报率在哪儿，或者否认模型进步的人，有那么一群人会说模型没有在变好，他们不会推理，他们不会思考。他们会走进死胡同，会停滞，但实际情况是能力曲线一直都在向右上方走。
他们又会说：“你看这个基准测试没进步，那是因为它已经到百分之九十了。”去看新的基准测试啊，对你饱和了。现在他们正在飙升，对吧？我觉得这才是更大的问题和挑战。半导体确实非常复杂，我不会因为别人缺乏理解就责怪他们。我每天都在从别人那里学到关于半导体供应链的新东西，而我已经研究这个领域，可以说有十八年了。
从我十二岁开始当论坛版主算起。可以说研究了这么久，即便如此，我整天都泡在里面，这是我唯一关心的事。但抽象层实在太多了，就像我昨天才了解到一种化学品，销售额有上千亿美元，我当时就想，哇，都不知道还有这种东西存在，也不知道它用在哪个工艺里。你总是在不断学习新东西，上千亿美元的销售额，在一个几千亿美元的行业里，随便吧。
但问题是，但它必不可少。它必不可少，而且实际上每一块芯片都需要它。你就会感叹：哇，原来有上千道工艺步骤！我也不知道，就像有人会说：哦，你喜欢半导体？那说出每一道工艺步骤的名字，这不可能，拜托。我觉得最搞笑的是，当人们面前摆着所有事实，却得出了一个完全错误的结论。这种事在我们的工作中也经常发生，对。对，我觉得我的态度不是去生气别人这么做，而是要尽可能快的去做。
我觉得这个行业，因为它是如此AI，就是当下世界上最重要的事，而且有那么多短期瓶颈。我们聊了很多短期的东西，有没有更长周期的事情让你特别兴奋？比如十年时间框架下的，我们聊到了轨道数据中心，但像硅原子层面，你觉得在十年框架下是被低估还是高估了？还有没有其他十年框架下的东西？有，我觉得在太空方面，太空在十年框架下会超级疯狂，超级棒，比如太空数据中心，还有小行星采矿之类的事情。
我对SpaceX的愿景感到特别兴奋。再说一遍，这不是投资建议，别一听就冲进去。我觉得在半导体这边巨大的市场变动和巨大的变化，可能仅仅因为某些事情早一年或晚一年发生就会到来。所以这些技术，比如共封装光学，大家都知道它会在十年内发生。争论的焦点是二七年、二八年、二九年还是二零三零年，但总会在某个时间点发生。
我觉得更有意思的是，有些公司，比如你们投了 Navin Rao 的公司吗？投了。好的，对我觉得他试图在硅层、软件抽象层和模型层同时进行创新，而且他完全明白这不是那种几年内就能做成的事。这不是一个两年的周期，对，不是几年的周期，这是一个长期赌注。像这样的事情就是，好吧，我们要把模拟计算和基于能量的模型，还有所有这些疯狂的东西一次性全带进来，这很让人兴奋，很可能不会成功。
但你知道，这很让人兴奋，我真的很期待。它肯定不会很快成功。对我应该说肯定不会很快成功。我相信 Navin，我大概是在二零二零年还是二零二一年认识他的，他是我在这个行业里最早认识的人之一，挺有意思的。实际上是在二零二零年，这很能说明他的为人。以我的经验来看，他一直在努力。是我在网上调的他，我在网上把他调出来的。
他一直在努力帮助年轻一代，一直在发掘人才。他在Mosaic时候也特别有远见，我记得当时还有人给我做过推荐。不对，那是2019年，我当时还是匿名的，我在网上调他，然后他开始回复我，我就转到私信，接着又约了电话。可以说，他是我在整个半导体行业里聊过的第一个真正重要的人。有意思，不过抱歉，打断你了。有意思，你觉得这个生态的终局会是什么样？
比如，你觉得每个实验室和每家超大规模云厂商最终都会有自己的芯片吗？Training现在看起来已经跑通了，对吧？所以你觉得终局是不是每个实验室、每家超大规模云厂商都有自己的芯片？至少推理用自己的训练，可能还是找Nvidia或者别的厂商。你觉得终局会是什么样？我觉得大家都会去尝试，而且不会停下来。我认为，最终供应链很重要，你能引入什么技术也很重要。
而且随着行业规模越来越大，供应链的多元化也会发生。你看现在，大家的芯片看起来都差不多，中间是一块大的逻辑计算芯片，左右两边、上下两边都堆着高带宽内存。顶部是网络互联，底部是 PCIe 和其他 AI training M TPU NVIDIA 的芯片结构完全一样。大多数创业公司也是这样，当然 Grok Servers 除外，他们在搞一些很不一样的东西，但那也很酷。
我觉得再往前走，硬件架构和模型架构会出现更多分叉，所以大家会去做协同优化。但有些人可能会陷入局部最优，对吧？就像梯度下降一样，大家都在努力寻找最优解，但有些人会冲进一个局部最小值。问题就在于你怎么跳出来，怎么退回到那个全局最小值。在某种程度上，NVIDIA这种更通用的方案，在并行AI算力这个维度上，永远会比任何其他家的芯片更通用。
因为他们有太多关注不同需求的客户，这些客户会持续在设计上给他们反馈那个最小值永远会比他们更好，但问题是那个最小值是不是一个局部最小值？比如 TPU 或者 Trainium，或者 Grok Cerebras，或者随便哪家的设计，在当下这个点优化的特别好，但到了中局你其实得往另一个方向走，那他们就错了。
对。也许他们能风光一阵子，但最终会被证明是错的，这才是真正的问题。所以我觉得通用AI算力会有一个很大的市场，因为你去跟实验室的人聊，他们连自己一年后要用什么架构都不知道，对吧？他们真的不知道一年后自己会用什么架构，他们有很多赌注，很多研究方向，这也是这件事让人兴奋的地方。但他们不知道最终会走向哪里。
一般来说，他们知道自己手里有什么硬件，也在努力做协同优化。但如果模型架构突然出现新的突破，比如把注意力机制换成别的什么东西，谁知道呢？或者，突然之间发生了什么变化，最好的硬件就会跟着变。那么大家会仅仅基于一个更专用的 ASIC 就做出五年的硬件投资承诺吗？还是会留出一部分预算去配置更通用的算力？你从 Google 的做法就能看出来，他们愿意为 GPU 向 XAI 支付每小时十亿美元的费用，对吧？
这太疯狂了，对吧？这个价格非常高，当然算力确实稀缺，等等等等，但这还是很疯狂。而且他们自己明明有TPU，所以这里面有一些问题，比如他们为什么要这么做？实际上，Google内部有三套不同的TPU设计项目，他们在跟Broadcom合作做一款TPU，这个架构跟和MediaTek合作的那款又不一样。这个TPU的架构跟另一个不一样，那个是研究用的，我就不多说了。
但他们确实在做不同的架构，不是说找几家供应商做TPU用的都是同一套架构，不是的，是不同的架构。而且第三种架构跟前两种差别非常大。所以我觉得大家已经意识到局部最优解是可能出现的，因此我认为每家都会有自己的专用集成电路项目，每家都会投入数十亿美元部署自己的专用集成电路。像 Google 这种规模，一年就是数百亿美元，但最终他们总会有一些工作负载是用不到 TPU 的。
Google 内部有些非 Gemini 或 DeepMind 的项目，主要用的其实是 GPU，而不是 TPU。当然，也有些主要用TPU，情况比较复杂。但比如说做药物发现或者微梦，你可能就不想用TPU。具体是哪个我就不说了。但确实存在不同的架构压注和不同的AI发展路径。AI for Science的算法模式可能就跟通用人工智能模型不一样。
所以我认为我们会看到多样性继续扩散，而且因为市场已经变得如此庞大，各种细分领域就会被开辟出来。这就让公司有可能在自己的细分领域里真正赚到钱，哪怕市场的大头被 Nvidia TPU 和 Training 拿走了。说得好，我们能聊聊数据中心的建设吗？从各方面来看，如果你看图表，按每计算小时的美元成本来算，我们正处在一场疯狂的计算资源紧缺之中，而且这看起来既是需求侧也是供给侧的问题。
需求方面，长时间运行的 agent 需求暴涨。供给方面，所有这些数据中心的建设都在延期。你觉得在可预见的未来，我们会一直处在这种计算资源紧缺的状态吗？还是说在某个时间点会缓解？是的。每个季度我们部署的计算能力都比上个季度多得多，建成的数据中心也比上个季度多。今年即使算上延期，也会有二十几瓦的规模；明年算上延期会超过三十几瓦。
当然，任何事情都可能延期，硬件相关的东西都可能延期，这就是现实。我们这辈子会一直面临计算资源紧缺吗？这取决于模型的发展。但你看，Mathos的总可用市场，比如Mathos五、Fable五，可不是Opus的两倍。模型能力强了太多，能完成的任务也多了太多，所以它的总可用市场要大得多。然而，全球的计算能力在过去这六个月里并没有翻倍。
从 Opus 发布到现在大概七八个月吧，Opus 4.5 发布之后，4.6、4.7、4.8 都有改进，但 Fable 和 Mathos 是巨大的阶跃式提升。全球的计算能力在同一时期并没有翻倍，也没有翻四倍。但AI能完成的有用任务的需求，以及这些任务的数量和价值，却实现了这样的增长。所以现在的问题是，接下来会发生什么？
很明显，Anthropic在第二季度已经盈利了，是净利润盈利，不算股权激励。而且我觉得到第三季度，他们可能连股权激励都算上也能盈利。他们就是这么赚钱，他们一个 Opus Token 的利润率至少是 Opus 4.8 的 Token，按 API 价格算，利润率超过百分之八十。他们有很多协议，因为跟
Bedrock Vertex 这些平台合作的方式，总体的公司毛利率会被拉低一点，但归根结底，他们单个 token 的利润率非常高。
既然你有这个能力，你就有能力付钱。最终，他们以高于市场价买的每一块GPU，他们也从SpaceX以高于市场价买过GPU，那个价格比Google出的低，但那是因为他们签约更早。这是其他公司，比如靠风险投资支持的公司，或者利润率还没转正的公司，不一定能做到的。成本效益比是怎样的？比如我租的每一块GPU，因为我计算容量不够了，我可以立刻转手在上面卖token，或者每一块TPU每一块Training，我都能立刻以正利润率在上面卖token。
如果我本来有百分之七十五的毛利率，就算计算成本翻倍也没关系，我仍然有百分之五十的毛利率。而且，如果他们是租用计算节点扩容，并不一定需要人力，所以最终我的净营业收入还是在涨。因此，我会不惜代价去租GPU。在某种程度上，我愿意付多少钱，我就付得起多少钱。我有个几乎相反的问题，就是这种计算能力的建设会不会在某个时候突然出问题？
今天早些时候好像有条推文，Crucial公开说他们的一个客户要求暂停其中一个数据中心的建设。看起来现在生态系统里的每个人杠杆都加得很高，都是那种我们必须建、必须赶紧建的状态。高杠杆、高增长，对我来说作为一个投资者，这让我非常非常紧张。等等，高杠杆、高增长意味着用很少的股权就能撬动巨大的上行空间。你又不是债主，你是信用，你是股权投资者，来吧。
对，你得去上私募股权那门课，只做杠杆收购。我其实就是私募股权出身。哦，厉害！他把学校那套忘了，在风投待太久了。没有，我现在只看收入倍数。你们看到这种迹象了吗？会担心吗？我明白你的意思，这又回到模型那个点了。显然，如果模型在扩大，它能做的经济价值总量就是我们那份按GDP报告里说的。你刚才也提到了，如果模型能完成的工作量增速超不过算力增速，那风向就会变。
过去六个月，风向非常明确的偏向这一边。模型能做的事儿在变多，他们能覆盖的工作总可用市场扩张速度比算力增长更快，所以价格在涨。但完全有可能模型进步突然停止。你去问 Anthropic 或 OpenAI 的人，也许他们是在自我催眠，但基本上所有人都会说不不不不，模型进步还在继续。所以，当前的路线可能会在某个地方停滞，我不确定会在哪里。
但目前看来，模型改进的路径是清晰的，而且改进速度很快。实际上，模型现在进步的比六个月前或一年前更快。因为我不愿叫它递归式自我改进，但基本上是工程师们用模型来帮助编写所有信息，并越来越快地推出下一代模型。所以你看到的是一个类似递归自我改进的循环在运转，模型变得更好、更快。但归根结底，资本是个大问题。这也是为什么
Google 要融资，他们持有的 SpaceX 股份多到离谱，大概拥有公司百分之五的股份。
我觉得比这多一点，不过对我记得他们一度持有百分之十。LarryPay在一百亿美元估值时投了十亿美元，拿到公司百分之十的股份，后来被稀释了，但那是史上最伟大的投资之一，干得好，Larry。对，所以他们知道自己手里有价值大概一千亿美元的股票，锁定期结束后九个月左右就能卖掉，再加上他们自己的毛利润，即便如此，他们还是做了测算，觉得需要融资，于是就做了增发。
这太疯狂了！这告诉你他们认为需要花多少钱，但资本确实是个大问题。你看 Meta，Meta 宣布要融资，股价就暴跌，人们不喜欢。但所有这些公司都会融资，不管是发债还是发股，总有一天资金水龙头得关小。但现在 Amazon 每增加一块 GPU，收入都在涨，或者说每块 TPU 或 Training，不管谁加的，都在产生毛利润。
我想在这个点上加一点看法，然后把它变成一个问你的问题。我们聊这些的时候，我脑子里一直在想一个几乎可以算作替代假设的想法。拿Crusoe的例子来说，我用石油打个比方，在石油行业，沙特阿拉伯生产一桶油的成本远低于很多其他国家，还有油的纯度等等。沙特的原油通常杂质很少，这让炼油更容易。我的问题是，当你去看每一吉瓦在建的算力，比如说现在有二十吉瓦要上线，这些吉瓦之间有多大的同质性？
你可以用你认为合适的任何指标来回答，但比如说 Google 的一级瓦是不是比大多数星云厂商的一级瓦价值高两倍？因为他们有光交换机，他们做这个很久了，知道怎么做电力平滑。因为我觉得这可能是一个替代假设：那些擅长建数据中心的人，他们就应该全力去建，因为需求太大了，而且他们做的比别人好太多。但也许我们已经开始看到一些早期迹象，那些不太擅长的人开始有点受挫了。
所以我不知道实际情况是怎样的，有意思，值得思考。到目前为止，这方面是有衡量指标的。Tranium卖给Anthropic和OpenAI的租赁价格每吉瓦不到一百亿美元，而GPU至少在过去六个月市场疯狂之前，通常每吉瓦在一百二十亿到一百三十亿美元左右。这是星云厂商和Amazon之间的价格对比。现在Amazon卖GPU价格也差不多是一百三十亿。
我的理解是，这些数字里Amazon还补贴了一点，所以实际差距可能更大。是不到一百亿，不到一百亿，但有一些奇怪的，基本上具体是多少？我的理解是，Anthropic 在让 Trainium 变得真正可用这件事儿上起了很大作用，比如写各种库等等。我听到的所有说法都是 Trainium 的硬件真的非常好，而且还在变得更好。
显然，Anthropic 现在大量使用它，所以希望我们能看见那个价格上涨。对他们签的那个协议，其实设了一个底价机制，如果效果不好，价格会更便宜，甚至便宜到可以取消；如果效果特别好，价格就会高一些。但实际算下来，Trainium的价格就是不到十，而GPU这边，SpaceX那笔交易大概是每吉瓦两百五十亿，或者说每兆瓦两千五百万美元一年。
跟Google的租赁价格一比，这差距太夸张了。当然，如果亚马逊现在卖Trinium，价格可能会比十高，因为算力短缺。但你在数据中心领域已经能看到这种现象了。数据中心的租赁价格，如果你做的是托管，不是算力，只是电力，这里是数据中心定价，通常按每千瓦每月多少美元来算。以前是每千瓦每月六十美元，现在你能看到成交价在一百二十到一百六十之间。
不同质量的数据中心，我见过有高达两百的。当客户信用评级不太好，而数据中心本身又相当不错的时候。我也见过低到一百的，或者在印度低到八十，因为电网不稳定，网络连接也不好，数据中心也比较一般，但好歹是个数据中心，所以这种巨大差异已经存在了。在数据中心建设这个领域，常见的坑就是项目直接失败。失败的人很多，他们声称要建，可能就四个人说，对我们听说了，我买了一些涡轮机，付了定金，我要建一个数据中心，然后就一直延期，延期最后失败。
所以你必须做概率加权、时间加权，考虑时间滞后，区分哪些团队不行，哪些行。我们的数据中心模型做的就是这件事，我们追踪每一个数据中心，根据他们使用的设备等等，对每一个都尝试做这种分析。你刚才提到 Google。在一个吉瓦级的数据中心里，他们实际上会部署一点五吉瓦的硬件，因为他们对从工作负载到各个环节的理解非常深，能够灵活调配电力。
所以，通常一个吉瓦的算力电力消耗利用率大概在百分之六十到百分之七十，不是说硬件利用率，而是总有人租用。他们现在能做到那百分之六十到百分之七十的利用率，意味着实际跑满一个吉瓦，你用的就是整个吉瓦。你还会看到有人，包括 Google，跟电力公司签协议，说我知道这个电网可持续供电一个吉瓦，但一年里除了三天，其实可以供两个吉瓦，那就给我两个吉瓦，那三天通知我关停就行，他们就会这么做。
这类技巧，然后你还需要对工作负载、备用电源、现场发电机等等有极强的管理能力，才能想办法真正持续维持两个吉瓦。当人们做到这一点，他们就能收更多钱。不管是因为我实际上卖了两个吉瓦，尽管名义上只有一个吉瓦，因为那三天我可以用电池、天然气等来应对。我搞定了现场发电。现在我在别人都没有的地方有了一个吉瓦，而且我能快速建成。
这不一定是成交价更高，而是我卖了更多的吉瓦。有时候卖更多吉瓦，每个吉瓦的售价还不一样。我觉得在数据中心和能源层面，更多是有和没有的区别，以及项目是否延期，这更偏向二元结果。但在算力这一侧，我觉得有意思的工作要多得多。一个吉瓦给Anthropic，客观上说产生的收入比给OpenAI要高，而且看起来他们两家现在手里的每一个吉瓦都能卖出去。
考虑到OpenAI和Anthropic那边的速率限制、token上限等等问题，尤其是Codex 5.5出来之后，性能好多了。同样，如果你把一个几瓦给 SpaceX，他们也能把它变成某种东西。我的猜测是，他们可能比大多数人都更善于利用硬件。我觉得人们低估了他们的网络经验，尤其是来自 Starlink 的，也低估了他们通过特斯拉积累的电力管理经验。
对，像 Fred Mayo 这样的人非常厉害，他们真的很强。所以对我来说，这其实可能是很多人分析中缺失的一点。虽然我也不知道确切答案。我觉得还有一个事实是，当 CoreWeave 建一个吉瓦级数据中心时，虽然他们的 GPU 算力在性能和可靠性上客观比 Amazon、Google 或
Microsoft 更好，我们是测过性能和可靠性，但问题是 Google 在算力上线前六个月就开始卖了，然后他们得拿着签好的合同去借债，用那个信用背书，再回头去付他们已经下的采购订单。
而 SpaceX 的做法是不行，这东西现在就在跑，直接买。当你有一张资产负债表能这么做，跟没有的时候，差距就很大。这也会让你的每兆瓦收入高得多。你有看到这个机会为什么存在？因为五年前你问我，我会说超大规模云厂商会通吃这块。你刚才也提到 CoreWeave 的性能比超大规模云厂商更好，这个机会为什么存在？
宏观层面是什么原因？执行层面有什么原因？二零二三年，我写过一份报告，让Amazon特别恨我。报告叫《Amazon云危机》，我讲了Amazon为什么是最好的云，因为他们有Natural智能网卡，能提供租户隔离，所有hypervisor都跑在网卡上，这样就能把全部CPU核卖出去。他们还有自己定制的SSD，直接买裸单颗粒，自己做SSD，成本更低。
他们还有自研的 Graviton CPU，把单核成本压下来了。所有这些让他们能卖更多核，安全性更好，网络也不错。但这些都是为传统 CPU 场景做的，存储也是为传统云世界优化的。可在AI云里，这些东西很多反而拖累性能。这些Nitrual网卡对性能不利，现在依然性能更差。虽然它们迭代了几版改进不少，但还是更差。
很多安全功能在AI场景下没意义，因为不像以前那样把用户做时间切片，或者把一个Socket切给多个用户。没人会在一个八 GPU 服务器里单租一个 GPU，也没人会在一个七十二 GPU 机架里单租一个 GPU。他们租整个机架，甚至租很多个机架，而且也不存在租六个小时就还回去这种事儿，大家都是长期合同。所以 GPU 租赁市场的运作机制，让超大规模云厂商的很多专长变得没用。
有些甚至是有害的，网络性能就是其中之一。对Google和Amazon来说，他们自研的网络对传统CPU和自己做的业务更好，但对AI反而更差。另外一些情况是，Microsoft自己建数据中心能省钱，但他们的数据中心团队其实没那么强。当建设节奏可预测的时候还行，一旦需要把全年预测翻倍，他们就摔跟头了，不得不去拿一堆Neo Cloud的产能。
我觉得性能是一个因素，上市速度是另一个。这些大组织里没人会因为把这个数据中心建得更快而发财。但你看，Crusoe，比如 Chase 和团队其他人，我本来想点几个名字，但还是算了。这些人如果能更快交付算力，他们是真的会发财的。他们是加了杠杆的，超高杠杆的股权持有者。不过他们也全是从比特币那边过来的，这话你可能不太方便说。
他们数据中心的主力是从 Microsoft 来的，我也不太清楚。我就是开个玩笑，不过你懂的。在一个波动极大的市场里，你能学到很多东西。你觉得 Jensen 在 H S R 上有多大程度是在布局？Jensen 绝对讨厌所有超大规模云厂商掌握所有权力的世界。他之所以会砸钱给那些随机的 AI
实验室，我甚至都不确定那是否合理，但他就是在砸钱把他们捧起来，然后去跟全世界的人说：“你们应该投资这家公司，因为他想创造一个多极化的世界。
”这就是他喜欢中国实验室的原因，因为他想创造一个多极化的世界，一个只有 OpenAI、Anthropic 和 Google
模型的世界，对他来说是死路一条；一个只有超大规模云厂商在建设算力的世界，对他也是死路一条。所以，他当然需要把资源分配的枪口对准星云，帮他们的集群兜底，做一切能做的事。因为虽然今天卖给 Crucial 的 GPU，卖给 Coreleaf 的 GPU，和卖给 Google、Amazon 的 GPU
对他来说价格都一样，但五年后 Crucial 和 Coreleaf 的存在意味着 Google TPU 会变弱，Amazon Trainingium 也会变弱。
而更多推理由非闭源模型实验室完成，对它更有利。所以，我觉得星云这个生态就是一群在野蛮生长的人，这些新实验室也一样，他们很多都有NVIDIA的投资。这就是个蛮荒地带，有些会失败，很多都会失败，但有些会脱颖而出，成为真正优秀的团队。不管是说来奇怪，Crusoe一群搞加密货币的人，然后开始建数据中心、搞半生气发电，还是CoreWeave最初是一群纽约对冲基金的人。
他们也是，后来也搞过加密货币，但后来他们做起来了。有很多人没能像他们一样冒出来，差不多同时起步就是失败了，对吧？所以我觉得，我得说这两个团队都非常出色，他们值得很多赞誉。这也是你的观点，不过。对我的观点是，它就是在水里撒了一大把鱼饵，最好的鱼会想办法活下来，对吧？星云的情况也差不多，他也希望新实验室能这样。
我们拭目以待，看有没有新实验室能真正冒出来。不过，Thinking Machines有上亿美元的年度经常性收入，对吧？这相当厉害了。虽然媒体上总说哦，他们流失了那么多人才，但你看 Tinker 做到了上亿美元的年度经常性收入。对于一个推出不到六个月的产品来说，这已经相当厉害了。我们希望其他新实验室也能发生同样的事。
所以他想要一个多极化的世界。去，恭喜你取得成功。谢谢。我最后想说的是，我见过一点点，我觉得听众大概能从你的言谈中听出你有多努力。但很明显，你已经拼命工作了十多年，这才有了过去几年在正确的时间出现在正确的地方。不过，你所取得的成就真的令人难以置信，而且我知道这仅仅是个开始，所以非常感谢，谢谢你来做这期节目。