The data black hole at the center of AI

智能的定义与数据效率的停滞

智能的一个关键定义是样本效率，即在一个特定领域内，需要多少数据才能流利且胜任地操作。然而，过去几年我们在训练样本效率上并没有取得显著进展。目前的进步主要源于数据分布的大幅拓宽和优化。AI性能提升的主要途径是不断增加更多、更好的数据，并扩展开发这些数据所需的计算资源。强化学习（RL）是实现这一目标的核心手段，它本质上是一种合成数据生成机制。通过将大量计算资源投入验证器或评估标准（如使用LLM作为裁判），模型能够识别出高质量的数据，并训练自身去预测这些正确的输出轨迹，这与训练模型预测互联网文本中的下一个词类似。

"You can think of RL as basically a kind of synthetic data generation, where you dump a ton of compute against a verifier... in order to find out what the good data is in the first place."

这一过程要求模型在最初就具备预测正确解决方案的先验概率。因此，必须在每一个希望模型掌握的技能领域，投入海量的人类专家轨迹数据。这种数据具有极高的任务特定性和定制性。例如，Mercor或Surge等平台上存在专门招聘文字专家将旧文档转换为精美Word文件、法律专家撰写并购尽职调查报告、管理顾问编写市场研究模板等职位。每个技能领域都需要数百名人类专家生成示例、编写评估标准并解释思维链，由此产生的数据产业年收入已达数十亿美元，并即将达到百亿美元规模。

人类学习与AI训练的规模鸿沟

为了直观理解这种差距，我们可以对比人类学习与AI训练的成本。如果一个人需要花费数十年时间、数百名教授的课程以及数百万次练习任务才能学会整理一个Word文件，这将是何等荒谬。即便仅从任务数量来看，差距也令人震惊。人类学生可能只需练习一两次教科书问题，而使用GRPO等算法的模型，为了解决信用分配问题，每个任务需要生成数百到数千次的轨迹输出，且每个任务都比人类练习的更具挑战性。

因此，更准确的比喻是，这些模型并非像人类那样掌握了多种技能，而更像是一个由十亿个精心构建的示例拼贴而成的弗兰肯斯坦怪物。近期报告指出，开源模型落后于最先进的前沿模型仅四个月。这恰恰证明了数据是进步的真正驱动力，因为数据可以从公共API中轻松蒸馏，而超参数、训练技巧和架构优化则难以复制。如果后者是主要驱动力，追赶将远比现在困难得多。这些模型所训练的数据量远超人类一生的所见所闻，其中心隐藏着一个无法想象的巨大数据黑洞，维系着所有能力的星座。

数据量的极端对比与进化论反驳

为了进一步说明样本效率的差距，我们可以进行几组对比。首先，假设一个人平均每小时看到或听到2000个单词，从出生到成年，人类大约接触2亿个token。相比之下，前沿模型训练使用的数据量在数十万亿到数百万亿个token之间，差距接近一百万倍。

其次，人类可以在几小时内学会操控任何随机的仿生人或机械臂，若AI具备同等效率，机器人产业将是万亿美元级别。然而，即使收集了数百万小时的演示数据，AI仍无法执行复杂的开放式任务。最后，青少年仅需约20小时练习即可学会开车，即便算上16年的成长和世界认知构建，其数据量仍比Waymo和特斯拉训练自动驾驶模型所用的数据少3到4个数量级。

针对有人引用Karpathy的观点，认为人类有数十亿年的进化作为“预训练”，因此比较不公平，这种看法并不准确。人类基因组仅3GB，其中编码蛋白质的部分仅占1-2%，根本没有空间存储进化所“预训练”的网络参数。更恰当的类比是，进化找到了正确的超参数和损失函数，而我们在生命中从零开始构建大脑的连接组（即神经网络的权重和参数）。即使承认前沿模型训练所需的数百万亿token类似于“追赶进化”，这依然无法解释为何赋予模型任何新的边际能力仍需如此巨大的数据量。受过教育的人类无需数百名教授即可学习新编程语言，但AI即使经过预训练，仍需海量数据来学习新技能。

感官数据并非智能的核心来源

针对“人类拥有海量多模态感官数据”这一反驳，作者指出，虽然从出生到成年人类接收的感官信息可能达到数百亿token，但这并非智能的关键。作者强调，盲人或聋人虽然缺失部分感官输入，但仍具备通用智能，这证明感官token并非让人变聪明的核心因素。事实上，通过手语和阅读交流的聋人，其摄入的语言token量可能远低于此前估算的2亿个，这意味着人类与AI在样本效率上的差距可能比之前计算的百万倍还要大。

模型规模扩展无法弥补样本效率差距

关于“只需扩大模型规模即可达到人类样本效率”的观点，作者通过缩放定律（Scaling Laws）进行了驳斥。尽管当前前沿模型参数约为5万亿，而人脑突触约为100万亿，但缩放定律表明参数和数据项在损失函数中是独立相加的。即使将参数增加到无穷大，仅能将所需数据量减少十倍，而人类在样本效率上比模型高出数千至数百万倍。因此，单纯扩大当前模型规模无法弥补这一巨大差距，人类实际上遵循着完全不同的缩放曲线。

低效训练在商业逻辑上的合理性

尽管AI在样本效率上远不如人类，但这并不妨碍实验室实现自动化白领工作和AI研究两大目标。对于软件工程师、分析师等常见任务，将其纳入训练分布能带来巨大的商业价值。虽然训练AI比训练人类效率低下，但人类寿命限制了其训练量和广度，而AI可以通过吉瓦级数据流快速学习，并将技能摊销到数十亿次会话中。因此，即使训练过程极其低效，AI在商业上依然具有极高的性价比和可行性。

白领工作的自动化前景与AI研究的未来

不同白领工作对分布外思维的需求不同。银行柜员等机械性工作早已被自动化，而软件工程等需要处理远离数据分布问题的工作，AI的互补效应可能导致2028年对人工软件工程师的需求超过现在。对于这类工作，实验室的计划是先自动化AI研究，再由自动化AI研究者解决样本效率问题。作者指出，当前对智能爆炸的思考过于粗糙，未能仔细推演在LLM基础上加速AI进步的具体形态，这将是未来需要深入探讨的复杂问题。