今天我想谈谈未来几年实验室的计算资源状况。在过去连续三年中，Anthropic 的收入每年增长十倍，今年很可能再次实现这一增长。去年他们的收入达到九十亿美元，我认为今年他们的收入可能会在一千亿到一千五百亿美元之间。
为了让这种趋势持续下去，Anthropic 需要在明年年底前实现一万亿美元的营收。当然，没有深层理由表明这一定会发生。这是一个非常大胆的推测，最终取决于 AI 的能力。到明年年底，AI 会变得那么有用吗？
但假设这种趋势确实持续，我想推演一下在那种世界会发生什么。AI 领域的另一个大趋势是，实验室的计算资源每年仅增长三倍。如果实验室要在计算资源仅增长三倍的情况下保持收入每年增长十倍，以下三件事中必须有一件发生，或者三者组合发生：
第一，实验室的利润率必须提高。第二，计算资源的价格必须上涨。第三，实验室用于推理而非训练的计算资源比例必须增加。据我了解，这三件事基本上都在发生。
关于利润率，据报道，Anthropic 的推理利润率从去年中期的百分之四十上升到了目前 Fable 模型的百分之八十以上。关于计算资源，现货价格比今年二月的低谷期高出百分之四十以上。
关于用于训练与推理的计算资源份额，根据 Epoch 的数据，2024 年 OpenAI 仅将四分之一的计算资源用于推理，而目前这一数字可能接近百分之五十，甚至更高。
实验室原本不希望增加用于推理的计算资源份额。在实验室看来，推理收入的主要目的是说服投资者提供更多资金，以训练下一个更大、更好的模型。如果你将大部分计算资源用于推理，那基本上是在宣告 AI 进步停滞，你现在的业务只是充当云提供商。
这比构建 AGI 的吸引力要小得多，所以实验室不想从事这项业务，也不认为自己处于这种境地。他们认为，在一年内，他们将打造出让当前模型显得极其糟糕的模型。但他们需要将大部分计算资源投入到构建下一个模型所必需的训练和实验中。
这就剩下两种选择，以解决实验室计算资源每年仅增长三倍但收入增长十倍的差距。要么实验室的利润率提高，从而获得剩余价值；要么计算资源价格上涨，使实验室下方的整个供应链获得剩余价值。
我不清楚我们会进入哪种世界。如果实验室的利润率效应占主导，我们是否会进入一种世界，即某些顶级模型的利润率从百分之八十上升到百分之九十以上？
这就要求领先模型远远超越竞争对手，因为利润率的本质——为什么它们存在于市场经济中——是因为你提供的服务比市场上其他人能提供的替代品好得多。但对我来说，智能的利润率超过百分之九十且不被竞争消除，这真的非常疯狂。
因此，在这两种趋势之间，只剩下一个“泄压阀”，那就是计算资源的价格必须上涨。正如我所提到的，这已经开始发生。当你看前沿实验室实际需要积累的计算资源时，这种效应甚至更强，因为他们不能只是去购买现货实例。
他们需要确保获得足够的规模以实现极高的效率和灵活性，并且拥有适合其自身权重和客户信息安全需求的计算资源。这里有一个相关的案例研究，即查看 Google 和 Anthropic 从 SpaceX 租赁的计算资源。
例如，Google 每月支付九亿美元，租用十万一千个 GPU，这些 GPU 是 GB200 和 GB300 的混合体。Google 支付的价格是这些 GPU 每小时现货价格的两倍。而这个现货价格本身比二月份的价格高出百分之四十以上。
我想强调这里的一个关键结论：随着 AI 模型变得更智能，它们将能够更好地利用同等数量的计算资源进行变现。如果真正的人类级软件工程师可以在相当于 H100 的硬件上运行，那么按照目前软件工程师的价格，这台 H100 每年的租金应超过二十五万美元。
这比 H100 当前的现货价格高出十五倍以上。这甚至还没有考虑到你的 AI 可以在夜间和周末工作的事实。当然，你可能会预料到，如果突然有千万名额外的软件工程师出现在经济中，软件工程师的边际价值会下降，因此 H100 能够产生的收入不会比现在高出十五倍。
但我实际上不确定这是否属实。如果我们将这个论点应用于人而不是 AI，那么这就是经典的“劳动总量谬误”。例如，经济学家普遍认为，高技能移民不会在长期内降低工资，因为创新和专业化会增加劳动力的价值。
也许这种劳动力供给冲击会如此巨大和迅速，以至于我们不能再依赖这种一般性的经验法则。但如果你相信标准经济学的说法，那么劳动力的边际价值，从而计算资源的边际价值，应该保持惊人地高。
那么，让我们思考一下在那样的世界中会发生什么变化。其中一件事是，随着顶级实验室在变现计算资源方面变得越来越好，以及计算资源成本的增加，其他人将更难与他们竞争，因为他们必须与那些能够更好利用该资源的人争夺这一资源。
另一件会发生的事——我认为这是整个思维实验中最有趣的含义——是如果你能训练出最好、最高效的模型，那么你将能够收取比今天高得多的利润率。这是经济学中的阿尔希安-艾伦效应，它基本上是说，如果成本
每小时20美元租用H100的话，使用更弱、效率更低的模型将极其愚蠢，因为它会在昂贵的算力上消耗更多的Token来获得完全相同的结果。因此，如果实验室能够训练出能更有效地利用这种稀缺资源的模型，它们就能收取更高的溢价。基本上，如果你有一个模型能用更少的算力得到相同的结果，那么从某种意义上说，你就创造了更多的算力，算力的价值将会上升。
另一件会发生的事情是，目前许多流行的AI应用可能会因为价格过高而被淘汰。AI目前相对便宜的原因在于，AI还无法做到许多顶尖人类能做的事情。但在某个时间点，这种情况将不再成立。届时，Google、Anthropic或OpenAI愿意支付更高的费用来获取Token以自动化AI研究，这远高于你我愿意花钱去生成更多AI垃圾内容的意愿。
老实说，我有点担心这种分析与过去人们对稀缺性判断失误的模式有很多相似之处。我想到了著名的西蒙-埃利希赌约。保罗·埃利希是一位著名的“末日论者”，关于人口增长，他曾打赌说，在1990年之前的十年里，一篮子商品的价格会上涨而不是下跌。这个赌约之所以著名，是因为它旨在说明埃利希的马尔萨斯世界观是错误的，以及他未能预见市场信号和人类智慧如何找到更好的方法来节约稀缺资源。
我猜测这个赌约的类比可能是错误的。其他分析表明，如果那个赌约是在不同的十年进行的，埃利希很可能就会赢。但更一般地说，我认为算力的供应弹性要小得多，吸收大规模需求冲击的能力要弱得多，而且通过替代方案来适应的能力也远不如开采不同金属那样强。为了说明为什么我认为算力容量每年增长3倍很难推动甚至维持，我看不到构成这3倍增长的三个要素中的任何一个能大幅加速。
其中1.4倍来自摩尔定律。我认为，如果摩尔定律能再维持几年，那简直就是奇迹，而不是加速。另外1.2倍来自建造新晶圆厂。这一过程最终将在2030年甚至更晚的时候，因仅靠建造新的ASML EUV光刻机而成为瓶颈。几个月前戴伦在播客上详细讨论过这一点。还有1.8倍来自这样一个事实：AI吸收了原本用于智能手机和PC的大量晶圆配额。
这可能在明年年底遇到瓶颈，届时在TSMC的领先制程N3节点上，AI的占比将从60%上升到86%。在某个时间点，你将吸收所有领先制程的晶圆产能用于AI，你就无法继续增加这个比例。所以我不知道我们如何在未来几年继续实现每年3倍的算力扩展，更不用说超越这个水平了。
月底，我会遵循一个悠久的传统来结账。我首先打开Mercury，这是我的银行平台，以确保所有交易都被正确分类。自动分类规则处理可预测的事项非常有效。但我经常与新承包商合作——导师、研究人员和摄像师——我也在尝试新工具。手动分类所有这些交易每个月会增加几个小时的开销。
因此，我没有逐一处理，而是让Mercury内置的AI助手Command一次性处理所有交易。Command为每笔交易建议一个类别并提供理由。我只需审查、修正任何错误并批准。一旦在Mercury中完成所有工作，它会将所有内容同步到QuickBooks。Command的判断确实很好。它不仅做显而易见的事，比如查看供应商，还会调查团队中谁进行了购买，并查看备注和备忘录以建立尽可能多的上下文。
这只是使用Command自动化业务后端的方法之一。要了解更多信息，请访问mercury.com/command。Mercury是一家金融科技公司，而非受FDIC保险的银行。银行服务由Choice Financial Group和Column N.A.提供，它们是FDIC成员。AI生成的回答和建议的操作可能会有所不同，且不保证准确。
现在，我想澄清的是，在未来某个时间点，算力会再次变得便宜。到那时，我们将拥有能将硅沙海岸和铜矿转化为新计算机芯片的机器人，算力的价格基本上就是进行这种加工所需的原材料和工具成本。我只是在谈论当前这个前奇点时代，其中AI算力每年仅增长3倍，这不足以抵消AI随时间推移变得更有价值的程度。
顺便说一下，Anthropic的收入每年增长10倍，而其算力每年仅增长3倍，我认为这说明了模型业务中规模经济的强大。从逻辑上讲，这是有道理的。当你训练一个模型时，你只需支付一次性的成本来学习所有这些不同的技能，然后这些技能可以分享给所有用户。这与人类劳动非常不同，因为人类劳动的每个实例都必须从头开始重新训练。
我希望我们生活在一个智能规模经济不那么强的世界里，因为我担心权力集中，但看来我们确实生活在这样的世界中。好了，这是对我也发布在我网站dwarkesh.com上的一篇博客文章的叙述。去看看其他文章，或者在我未来发布文章时收到通知。否则，我们下次在完整剧集里见。