智能的一个定义是样本效率。也就是说，在特定领域内流利且胜任地操作需要多少数据？事实上，过去几年我们在训练样本效率方面取得的进展并不明确。看起来我们只是极大地拓宽并改进了数据分布。AI 变好的主要方式是通过添加更多、更好的数据，以及增加开发这些数据所需的计算资源。显然，强化学习（RL）是实现这一目标的主要途径。你可以将强化学习视为一种合成数据生成方式，即投入大量计算资源去对抗验证器——或者如果你有大型语言模型作为裁判，则是对抗评分标准——以找出最初什么是好数据。

然后你训练模型去预测这些正确的轨迹，这与训练模型预测互联网文本中的下一个词的方式非常相似。为了使这一过程生效，模型必须至少对最初预测出正确解有一定的先验概率，这就是为什么在你希望模型最终能够胜任的每一个领域和技能中，都需要海量的人类专家轨迹来“拓展思维”。这种人类专家数据具有高度的任务特定性和定制性，这一点怎么强调都不为过。

如果你需要一些直观感受，我推荐查看 Mercor 或 Surge 网站上的职位描述。那里有专门将旧文档转换为精美 Word 文件的 Word 专家职位，有撰写逼真的并购尽职调查报告或证券申报文件的法律专家职位，还有撰写模板市场研究报告的管理顾问职位。不仅数据必须如此具有领域特异性，而且数量还必须非常庞大。

每项技能都对应着至少数百名人类专家，他们生成示例补全内容、编写评分标准并解释他们的思维链。生产这些专家标签的数据行业，以及这些精心分类的技能得以凝聚的强化学习环境，每年赚取数十亿美元的收入，很快将达到数百亿美元。

想象一下，如果你需要花费几十年时间的课程、数百名同时授课的教授以及数百万次练习任务，才能学会如何美化一个 Word 文件。这里任务数量的差异甚至低估了差距，因为模型必须处理多得多的任务，且每个任务都更难。人类学生可能只练习一次或两次教科书问题，而对于 GRPO，这些模型为每个任务生成数百到数千次轨迹，并且它们必须这样做来解决信用分配问题。

思考这些模型的正确方式，不是把它们看作像人类那样学会了你所看到模型展示的各种不同技能的存在。它们更像是一个弗兰肯斯坦式的怪物，由十亿个精心构建的示例拼贴而成，全部缝合在一起。Epoch 最近报道，开源模型落后于最先进的尖端模型四个月。

我认为开源和之前的落后者之所以能在几个月内追上尖端水平，是因为数据是进步的真正驱动力。数据可以轻松地从公共 API 中提炼出来，而超参数、训练技巧和架构优化则不能。如果是后者推动了大部分进步，那么追赶将比我们观察到的要困难得多。

人们很容易忘记这些模型训练所依赖的数据量，以及这比人类在一生中接触到的数据要多得多。我们将这些 AI 视为由各种能力组成的闪烁星系。但在其中心，肉眼不可见，将所有星座凝聚在一起的，是一个难以想象的数据黑洞。

我想做几个比较点，以说明样本效率差距究竟有多大。这里有一个。如果一个人平均每小时看到并听到——让我们慷慨地说——2,000 个单词，那么从出生到成年，他们将看到约 2 亿个 token。相比之下，这些尖端模型的训练数据在数万到数万亿个 token 之间。这接近百万倍的差异。

另一个比较点是：如果你想的话，你可以在几个小时内学会远程操作任何随机的类人机器人或机械臂。如果 AI 能学得同样快，机器人技术将成为一个价值数万亿美元的产业，你将拥有无穷无尽的 Unitree G1 机器人在世界各地做各种有用的工作。

但我们不能这样做的原因是，我们的 AI 学习效率远低于人类，即使我们已经收集了数百万小时的演示数据，这也不足以让它们执行复杂、开放式的任务。最后一个比较点：一个青少年大约需要 20 小时的练习就能学会开车。即使我们包括他们长大的 16 年以及理解世界运作方式和建立物理直觉的时间，这仍然比 Waymo 和 Tesla 用于训练自动驾驶汽车模型所使用的数据少三个到四个数量级。

现在我想处理人们对这类比较的一些常见回应和异议。人们会说的一个观点，我认为 Karpathy 在我的播客上也说过，是对于人类来说，数十亿年的进化必须基本上对我们进行预训练。因此，当我们比较我们在有生之年看到的少量数据与这些从零开始、完全随机初始化的大型语言模型必须学习的数据时，我们认为这是不公平的。

我认为这不是正确的思考方式。我们的基因组只有 3GB，其中只有 1% 到 2% 是蛋白质编码的。根本没有足够的空间来存储进化 supposedly 预训练的网络的参数。我认为更接近的类比是，进化找到了正确的超参数和正确的损失函数，而在我们的有生之年，我们仍然从零开始构建大脑中的连接组。

也就是说，这类似于神经网络本身的权重和参数。即使你接受这个比较，说“是的，这些模型为了预训练而看到的数万亿个 token 类似于刚刚赶上进化”，这仍然无法解释为什么任何你想要赋予这些模型的新边际能力需要如此多的数据。一旦你受过教育，你不需要一百位不同的教授来教你学习一门新的编程语言。但这些 AI，即使经过预训练，仍然需要大量的数据来学习。

下一个边际技能，以及之后的下一个边际技能。对于这种比较的另一种反对意见是，我们没有包含我们一生中看到的模态数据。因此，如果我们包含从出生到成年所看到的所有感官信息，那可能是数百亿到数千亿的数据令牌。而我对此反对意见的回应很简单，即盲人或聋人，他们与部分感官流隔绝，仍然拥有通用智能。这向我表明，所有这些数十亿的感官令牌并不是让人类变得聪明的关键因素。事实上，通过手语和阅读进行交流而非听觉的聋人，他们摄入的语言令牌数量可能远远少于我们之前估算的两亿个，这表明我们之前计算出的百万倍差异甚至可能是一种低估。

好的，人们提出的第三个常见反对意见是，我们还没有进行足够的扩展。我们有这些缩放定律。它们告诉我们，更大的模型具有更高的样本效率。我们知道人脑大约有十万亿个突触，而目前的前沿模型参数数量约为五万亿。因此，也许如果我们将这些模型扩大一到两个数量级，就能实现与人类相当的样本效率。这个反对意见之所以偏离重点，其实非常有趣。如果你查看缩放定律方程的工作原理，它们告诉你参数和数据项是独立地添加到损失函数中的。假设你有一个模型，并且你已经以计算最优的方式进行了训练，你说：“我想要样本效率。我想使用尽可能少的数据，并投入尽可能多的参数来实现这一目标。”

取Chinchilla缩放定律论文中的常数。即使你将参数数量增加到无穷大，这也只会使所需的数据量减少十倍，以保持相同的损失。人类的样本效率比这些模型高出数千到数百万倍。因此，仅仅扩大当前模型的规模根本无法弥补这种差异，这确实表明人类处于完全不同的缩放曲线上。

好的，抛开这些极客式的比较，你可能会问：我们为什么要在乎样本效率？这对于实验室实现它们的两个总体目标来说真的是必要的吗？这两个目标是：第一，自动化白领工作；第二，自动化AI研究本身。实验室在白领工作上的赌注是，软件工程师、分析师或会计师所需的常见任务是常见的，因此你可以很容易地将它们纳入训练分布中。如果你查看这些实验室过去几个月的收入曲线，它确实表明，将这些类型的常见任务纳入分布带来了巨大的价值，即使我们无法复制使人类学习如此特殊的一切。

也许训练AI执行这类任务比训练人类效率更低，但那又怎样呢？人类的寿命根本不允许这些模型所经历的训练数量和广度。如果你作为一个人类，有一种奇怪的learning disability，需要在成为合格的软件工程师之前阅读GitHub上的每一个公共代码库，那么训练你根本就没有意义。在你的教育早期阶段，你就已经依靠社会保障生活了，即使你接受了训练，你也一次只能处理一个项目。

但是AI可以通过同时注入吉瓦级的训练数据来学习这些技能，并且它们所学到的东西可以一次性分摊到数十亿个会话中。因此，我们在训练它们时可以极其低效，但仍然能保持巨大的优势。然后还有一个问题，即白领员工需要进行多少超出分布范围的思考，而这些是你无法提前训练的。这更多是关于不同工作性质的问题，而不是关于AI研究的问题，这也取决于你在谈论哪种工作。

有些工作如此机械和可预测，以至于我们在现代AI时代之前就能够自动化它们，例如银行柜员或旅行社代理。但还有其他工作，需要每天处理与数据分布相当遥远的问题。我认为软件工程可能就是这样的工作。这是AI应该首先接管的工作，但我愿意打赌，到2028年，对软件工程师的需求总体上会比现在更多，这主要是因为AI的互补性投入。

对于这些类别的工作，实验室的计划首先是自动化AI研究，然后让自动化的AI研究人员解决样本效率问题。那么问题来了：不具备人类级别样本效率的AI，是否仍然能够解决阻碍类人智能和学习的所有剩余研究问题？这是一个非常复杂的问题，我不得不在未来的一篇更长的博客文章中加以解决。但只是为了稍微透露一下，我认为人们目前对智能爆炸的看法非常笨拙，因为要么人们完全否认AI加速AI进步的可能性，要么他们假设某种上帝会在另一端出现。

他们没有仔细推理AI进步速度比平时快得多，但建立在LLM和LLM特有的那种智能之上的情况看起来是什么样的。但我把那个留到下次再说。与此同时，如果你想阅读这篇博客文章，或者我写的其他所有博客文章，或者在我写未来博客文章时收到提醒，请去我的网站dwarkesh.com注册我的通讯。好吧，我们下次见。