想象一下，如果每一代学生都只从前一代学生写的笔记中学习，而从不翻开原始教科书。第一代可能会犯一些错误。第二代可能会继承这些错误。第三代很可能会放大这些错误，而在几代之后，没有人会记得原始真理看起来是什么样子的。现在，用人工智能模型替换学生，用人工智能生成的内容替换笔记，用人类知识替换教科书。欢迎来到现代人工智能面临的最重要挑战之一：模型崩溃（Model Collapse）。这是一种可能决定未来的人工智能系统是变得更聪明还是逐渐与现实脱节的现象。来自牛津大学、剑桥大学和其他机构的研究团队最近的一项研究表明，如果人工智能模型持续从人工智能生成的内容中学习，它们可能会开始遗忘罕见但重要的信息，产生越来越重复且准确性降低的输出。今天，我们将深入了解模型崩溃究竟是什么。

我们要理解为什么会发生这种情况。我们还将了解为什么这很重要，或者说这对后代为何至关重要。同时，我们也会看到研究人员正在尝试如何防止这种情况的发生。那么，什么是模型崩溃？从核心来看，当人工智能模型反复使用由其他人工智能模型生成的数据进行训练时，就会发生模型崩溃。研究人员将其定义为一种退化过程。在这种退化过程中，合成输出逐渐污染未来的训练数据，导致模型失去对其最初训练的关于现实世界分布的信息。你可以把它想象成复印复印件。第一份副本看起来没问题，第十份变得模糊不清，第一百份几乎不像原件了。人工智能也会经历非常相似的情况。每一代都会引入微小的缺陷，比如信息缺失、模式简化、幻觉和统计偏差。当未来的模型从这些输出中学习时，缺陷就会累积起来。研究人员描述了两个阶段：首先是早期崩溃（Early Collapse）。

这是模型开始遗忘罕见事件的时期。它在常见模式上表现良好，但不寻常的例子会消失。例如，如果只有1%的训练数据讨论罕见疾病、濒危语言或小众科学概念，这些例子往往最先消失。接下来是晚期崩溃（Late Collapse）。这是一种模型开始失去现实结构本身的场景。输出变得重复、通用，并与原始数据分布脱节。最终，模型可能看起来流利，但不再反映现实世界。那么，为什么会发生模型崩溃？要理解这一点，我们首先需要了解人类知识的钟形曲线分布。大多数信息遵循这种分布：常见的事实位于钟形曲线的中间，而罕见的事实则占据尾部。例如，有数百万份文件讨论狗、披萨和像纽约这样流行的城市。而讨论土著语言、晦涩历史事件或专业科学发现的文件则少得多。这些罕见的例子至关重要，因为它们代表了人类知识的多样性。

当人工智能生成合成数据时，它自然会更多地复制高概率信息，而不是低概率信息。因此，尾部被压缩了。这意味着不寻常的事实或罕见信息通常会被遗忘。让我们用一个现实世界的例子来理解这一点。假设训练一个人工智能图像模型，原始数据集中包含10万张狗的图片、10万张图片的猫（原文为100,00 images，推测意为10万），以及可能只有500张白孔雀的图片。第一代人工智能学会了所有这三种动物。现在，假设下一代主要使用该人工智能生成的图像进行训练。由于白孔雀很罕见，该人工智能生成的数量较少。下一代看到的更少，再下一代几乎看不到任何白孔雀。最终，模型表现得好像白孔雀从未存在过一样。现实并没有改变，但模型对现实的表征已经改变了。这正是研究人员在涉及文本、图像和生成模型的受控实验中观察到的现象：罕见特征首先消失，随后在连续几代中发生更广泛的退化。

那么，为什么模型崩溃很重要？换句话说，它为何如此关键？现在许多人认为模型崩溃仅仅意味着人工智能变差了。事实要微妙得多，而且可能更危险。原因在于我们可能会经历多样性的丧失（Loss of Diversity）。这意味着未来的模型变得越来越相似，回复变得通用，创造性输出向平均值收敛。互联网开始像一面镜子大厅：人工智能从人工智能中学习，而那个人工智能又从另一个人工智能那里学习。最终，原创性下降。接下来，我们将经历知识崩溃（Knowledge Collapse）。这意味着模型保持流利，语法依然出色，自信度仍然很高，但事实可靠性下降。换句话说，人工智能听起来比以往任何时候都更聪明，但却越来越脱离现实基础。这更难检测，也不是显而易见的失败。接下来是偏见放大（Bias Amplification）。

这意味着微小的偏见可能变得永久化。想象一下，早期的模型略微低估了某种特定文化、语言或人口群体。未来的模型学习了这种扭曲，然后将其放大。经过多代之后，代表性不足的群体变得越来越隐形。这也是研究人员担心少数族裔语言和专业知识领域的原因之一。最后但同样重要的是人工智能生态系统的反馈循环（AI Ecosystem Feedback Loop）。今天的互联网越来越充满由人工智能生成的内容，包括文章、图片、代码、视频和社交媒体帖子。随着合成内容的增长，未来的训练数据集中可能包含更大比例的人工智能生成材料，这可能会带来潜在的问题。那么模型崩溃是否已经在发生？这才是对话变得真正有趣的地方。答案是……并不完全如此。研究人员已在受控环境中展示了现代崩溃现象，但对于在现实世界条件下风险的严重程度仍存在激烈争论。

为什么？因为主要的人工智能公司并不仅仅使用原始人工智能输出进行训练。相反，他们使用人类反馈（Human Feedback）。他们使用经过策划的数据集。他们还使用检索系统，如你的检索增强生成（RAG）系统。并且我们使用数据过滤和质量控制管道。一些研究人员认为，最灾难性的崩溃场景假设了不切实际的训练实践。因此，行业目前并未经历全面崩溃，但底层机制是真实的且经过实验验证的。与其将其视为当前的灾难，不如将其视为一项长期的工程挑战。那么，我们如何防止模型崩溃？

事情在这里变得令人兴奋起来，研究人员正在开发几种策略。其中一种是将人类保留在循环中。

最有效的防御措施出奇地简单：持续注入真实的人类生成数据。即使相对少量 Authentic 人类数据，也有助于将模型锚定在现实中并保留原始分布。这就像定期重新校准指南针一样。其次，我们有数据溯源（Data Provenance）。

这意味着未来的 AI 系统可能需要能够识别人类创建的内容、AI 生成内容以及经过验证的来源的机制。数据谱系变得越来越重要。如果我们知道数据的起源，就可以防止不受控制的递归训练循环。第三，我们有高质量合成数据。

有趣的是，合成数据本身并非敌人，糟糕的合成数据才是。许多现代系统已经成功使用了合成数据。使用合成数据的关键在于验证、多样性、外部锚定和人类确认。研究人员发现，精心策划的合成数据集可以显著降低崩溃风险。

接下来是 RAG（检索增强生成）。这意味着模型不必将所有知识存储内部，而是可以不断查阅外部来源。这就是检索增强生成的理念，通常简称为 RAG。模型不再仅仅依赖学习到的模式，而是在回答之前检查最新信息。这减少了对递归生成知识的依赖。

接下来是多智能体验证（Multi-agent Verification）。一种新兴的方法涉及多个 AI 系统相互审查和验证输出。模型不会盲目消费合成数据，而是在将其接受到未来的训练管道之前评估其准确性、一致性、新颖性和锚定性。

模型崩溃揭示了关于智能的深刻道理：无论是生物的还是人工的智能，都无法在回声室中茁壮成长。学习需要与现实的接触。对于人类来说，那是观察和经验；而对于 AI 而言，则是高质量的数据。

AI 的未来可能不由更大的模型、更多的 GPU 或更庞大的参数决定，而可能由一个更为根本的因素决定：我们能否保持 AI 与现实世界之间可靠的联系？因为如果未来的 AI 主要从 AI 中学习，挑战将不再是教会机器如何思考。

而是防止它们忘记现实的样子。这使得模型崩溃成为我们可能听说过的最重要的 AI 问题之一。希望这些信息对您有帮助，请在下方评论中告诉我们您的想法。