2036年未达超级智能的技术归因与泛化困境

本次对话由主持人发起，邀请三位来自开源及知名AI机构的研究者——Zyphra CTO Beren Millidge、Thinking Machines首席科学家John Schulman（OpenAI联合创始人及RLHF核心人物）以及Baseten模型训练负责人Charlie O’Neill，共同探讨一个假设性问题：如果2036年世界并未被无数超级智能彻底重塑，最可能的技术原因是什么？排除战争或政策禁令等外部因素后，Millidge提出了类似“莫拉维克悖论”的观点：AI可能在特定基准测试中表现卓越，但缺乏真正的泛化能力。他认为，如果模型始终存在从模拟到现实（sim-to-real）的鸿沟，无法实现真正的元学习或持续学习，那么AI将仅擅长处理预设环境中的任务。这种缺乏“真正火花”的泛化能力可能导致AI虽然强大，却无法引发颠覆性的社会变革。尽管Millidge认为这种可能性较低，因为实践中RL已展现出一定的泛化性，但他指出如果元学习和持续学习极其困难甚至不可能解决，这将是导致AI能力停滞的主要场景。

模型迭代周期与生产力瓶颈的循环论证

John Schulman对此表示赞同，并指出人类目前仍拥有相对于AI模型的显著优势。尽管新模型不断涌现并在某些领域迅速追赶，但人类在判断力、自我检查能力以及处理模型薄弱环节方面的优势构成了瓶颈。Schulman描述了一个反复出现的循环：每当新模型发布时，人们往往惊叹于其能力并认为AGI已至；然而在使用一个月后，模型表现出的“愚蠢”感会让人们重燃质疑。这种循环可能持续多次，导致AI能力并未出现爆炸式增长。即使模型能编写远超人类水平的代码，在实际研究和工程应用中，它也无法带来100倍的生产力提升。因此，当前的瓶颈在于模型在复杂研究和工程任务中的实际效用受限，使得能力增长呈现为一系列平缓的迭代而非指数级飞跃。

当前范式下的渐近线与“不连续性”缺失风险

Charlie O’Neill则从全局最优解的角度提出质疑，他认为关键在于当前基于Transformer和RL的范式距离“芯片上的理想学习者”这一全局最优解还有多远。他引用摩尔定律的历史类比指出，虽然看似线性的增长背后隐藏着多次离散的创新和不连续性（discontinuities）。例如，LLM的预训练缩放定律曾面临收益递减，随后通过引入RL解决了这一问题；但当前的RL环境（包括针对递归自我改进RSI的RL）可能无法发现下一个关键的“不连续性”。如果必须依赖新的范式突破（如抛弃梯度下降或神经网络本身），仅靠扩展当前LLM的数量和规模，可能无法让AI自主发现这些深层架构变革。O’Neill强调：“如果继续沿着当前的轨迹……我认为我不确定当前使用这些RL环境训练LLM的方法是否能够发现那个不连续性。”这意味着，如果缺乏这种根本性的范式转移，AI能力可能会触及一条渐近线。

模拟激励与Elo评分线性增长的启示

讨论最后延伸至AI在科学研发（R&D）中的潜力。主持人引用Ryan Greenblatt的观点，指出随着AI能力提升，它们可能在激励其改进自身及通用科学的模拟环境中取得进展。Schulman以国际象棋AI的Elo评分为例，指出自80年代以来，人类与AI之间的胜率界限被线性增长的Elo评分所打破。一旦跨越人类专家范围，这种线性增长带来了巨大的不连续性。尽管目前AI在经济层面的影响尚未完全显现，因为它们的Elo评分相对于人类仍在缓慢上升，但Schul曼认为：“这将是令人非常惊讶的……唯一不发生这种情况的方式是，它 somehow asymptotes just before。”即除非AI能力在即将超越人类之前突然停滞或渐近，否则其主导R&D的趋势难以避免。这暗示了当前线性增长轨迹下，AI在科学发现领域的主导地位可能只是时间问题。

递归自我改进的技术与监管路径

关于AI何时能跨越人类Elo评分并实现指数级增长，存在两种主要情景。第一种是技术自然演进：在2035年左右的正常时间线上，AI系统必须先达到性能渐近线（asymptote），才能在此基础上实现突破。这被视为一种技术上的必然路径。第二种情景则涉及外部干预：戏剧性的AI监管可能是阻止或延缓这一进程的最可能方式，而非单纯的技术瓶颈。这种观点认为，当前的技术路径若不受外部力量干扰，将自然导向性能饱和后的质变。

自回归目标与开放式科学的范式差异

当前主流研究多采用autoresearch（自动科研）风格，即在目标已明确指定的情况下进行优化。业界普遍假设，持续降低预训练损失（pre-training loss）并提升环境奖励将直接带来能力提升。然而，这种路径可能无法涵盖开放式科学（open-ended science）所需的范式转移。在需要突破现有框架时，目标往往无法被清晰指定，甚至AI自身也无法定义这些目标。因此，如何谨慎地设定目标函数成为关键问题。如果仅依赖现有的自回归预测范式，可能会忽略那些需要全新目标设定的深层突破。

2012年以来的范式转移与直觉偏差

回顾深度学习历史，2012年的突破确立了下一个词预测（next token prediction）的核心地位。尽管在早期，如nanoGPT快速实验成为主流之前，人们并未预料到这一路径的有效性。演讲者回忆早期OpenAI时期曾有一种直觉：仅最小化对数损失（log loss）无法获得真正的智能。因为关键信息在总损失中占比极小，极易被噪声淹没。虽然事实证明仅靠预训练也能取得惊人效果，但这似乎违背了“人类不会建模环境中所有细节”的直觉。例如，大多数人无法重现逼真的场景，暗示我们需要更精细的目标来强调重要信息。内层循环的优化（如后训练基准测试）并不必然转化为用户满意的结果，这揭示了目标设定与最终能力之间的复杂关系。

泛化的不可预测性与实验效率的潜力

AI领域的进步高度依赖泛化能力（generalization），尤其是分布外泛化。最令人惊讶的进展往往来自那些事前无法预期的泛化类型。例如，从简单的下一个词预测任务中涌现出对输入的深层理解能力，或从未在数据集中充分代表的稀有技能中学习。此外，从可验证任务到不可验证任务的泛化也缺乏理论预期。自动化研究的潜力在于，在进行百万美元级实验前，AI可投入同等算力的“思考”时间进行最优实验设计、小规模消融研究和理论构建。这种外层循环（outer loop）虽然缓慢，但能极大提升效率。

明确目标下的加速效应与局限性

当目标函数明确规定时，AI的思考能显著加速研究进程。例如，通过分析Kaplan缩放定律（scaling laws），AI可能早在几年前就发现中间检查点未考虑退火（annealing）导致的错误，从而节省一两年时间。类似地，muP方法中关于学习率与模型宽度关系的发现，也属于通过深入分析即可优化的低垂果实（low-hanging fruit）。演讲者推测，若仅专注于最大化当前目标，可能实现10倍的速度提升。然而，这种加速仅限于已知框架内的优化。思考本身无法生成正确的初始目标，这揭示了自动化研究在探索未知范式时的根本局限。

自主循环与莫拉维克悖论的潜在陷阱

在探讨AI是否具备快速递归自我改进（RSI）能力时，核心难点在于泛化学习自身目标的能力。要实现一种自我推进的自动化循环，AI必须能够提出目标、优化这些目标并在此基础上提出新目标，且整个过程在长时间内不能失控。这引出了莫拉维克悖论（Moravec’s paradox）的一个可能变体：人类因进化需要，天生具备高度自主性和自我封装能力（即思考该做什么并去执行），因此认为这种循环极易实现；但对AI而言，这可能与“运动控制难而数学简单”类似，属于极其困难的领域。尽管当前AI代理表现出极高的持久性，这似乎反驳了该观点，但如果自主循环确实极难实现，这可能是我们尚未看到立即“起飞”的原因之一。正如对话中所指出的：

"To have any kind of self-propelling automated loop, we need the AI to propose objectives... and figure that out, propose a new objective, and have this not go off the rails at any point for a long, long time."

人类最后的堡垒：定义目标与对齐工作

回顾从2012年至今的创新，包括纯工程和概念性的突破，决定实验方向的能力可能是人类在AI完全自动化研发前最后保留的角色。虽然让AI执行任何实验已非难事，但决定做什么实验依然困难。当前AI在提出研究建议时往往只给出微小的步骤，缺乏像DeepMind从“玩游戏解决智能”转向Radford提出“预测下一个token并扩展规模”那样的宏观洞察。即使发现了缩放定律，定义目标仍是人类长期存在的职责。这包括决定AI助手的行为准则、什么是“有帮助”，以及在RLHF（基于人类反馈的强化学习）中如何定义目标。随后是制定宪法和模型规范。即使技术工作由AI完成，人类仍需决定“我们真正想要什么”。对齐（Alignment）被视为最终的工作，它可分解为两个部分：指定目标和优化已定义的目标。前者不会很快消失，因为需要大量人员来思考模型在不同领域应如何行为。例如，Jane Street在2025年初开始使用Antithesis测试其高保障软件，技术负责人Ron Minsky表示：

"The thing that I think is most impressive about Antithesis... it was able to shake out bugs that were otherwise going to be really hard to find."

这种工具缓解了验证瓶颈（verification bottleneck），即人类审查代码以确认其是否适合生产环境所耗费的时间。随着代码生成自动化程度提高，验证瓶颈成为关键问题，而更好的测试工具能增强信心并加速开发。

对抗集中化：蒸馏与持续学习的动态平衡

关于模型提供商为何没有发生巨大整合，知识蒸馏（distillation）被视为对抗集中化力量的主要因素。任何通过强化学习学到的内容都可以很容易地蒸馏，因为所需数据量极少。如果从模型中获取展示特定行为的数据轨迹，就可以轻松进行蒸馏。此外，公司专属模型（company-specific models）的可能性也存在，即通过部署持续改进自身模型的体系。这种系统可由当前的寡头或其他较小公司提供。持续学习并不会阻止蒸馏，即使模型每天进步，人们也可以每天对其进行蒸馏，两者循环可以以相同的速度运行。然而，提示分布（prompt distribution）在监督学习蒸馏中至关重要。要提取模型的所有有用能力，必须使用真实且分布广泛的提示。即使拥有模型的完整访问权限和思维链（chain of thought），蒸馏过程依然非平凡。因此，知道如何正确提示以获取相关模型行为是成功蒸馏的关键。

中国模型的数据优势与自动化数据生成

近期观察显示，部分中国企业可能利用“路由器”或代理服务访问被封锁的美国前沿模型。这些服务主要供编程用途，并收集和销售用户数据。这种数据来源对于知识蒸馏至关重要，因为它提供了完美的提示词分布。在前沿模型的训练管线中，研究人员从种子提示词（结合人类输入和此类数据）出发，利用现有模型合成大量覆盖范围的训练样本。自动化收集提示词分布和创建环境已成为可能，随着模型能力提升，人类所需提供的信息量逐渐减少。然而，瓶颈依然在于拥有活跃用户的服务端点。

“Capturing that whole trace is the thing.”

尽管理论上可以仅凭用户意图生成数据，但实际应用中捕获完整的交互轨迹（Trace）才是关键。如果能够实现完全自动化的循环，即AI自主决定数据生成和训练过程，这在本质上就构成了递归自我改进（RSI）。虽然人类可以通过提示词要求模型生成特定类型的轨迹，但在面对如“模拟参议院辩论”等需要从零开始预判复杂社会互动的场景时，获取真实行为数据比生成近似模拟要困难得多。对于蒸馏者而言，直接让已知具备该能力的前沿模型生成轨迹，远比从头构建第一版此类模型更容易。

性能差异与RL环境的现实性挑战

基于上述观察，可以得出一个具体预测：前沿实验室在强化学习（RL）环境中的优势可能并不像预期那样巨大。此前曾出现Sonnet 5和Opus 5在客观表现上弱于GLM-5.3和Kimi K3的情况，尽管前者拥有包括Mythos在内的逻辑蒸馏资源。反驳观点认为提示词分布至关重要，必须观察用户行为才能蒸馏出相应能力。然而，如果Anthropic等机构拥有RL环境访问权和逻辑蒸馏资源却仍产出较弱模型，这可能意味着现实世界部署中的行为分布比实验室环境更重要。前沿模型（如Fable）首先通过激励获得了这些能力，因此理论上应能将其传递给更小的模型。

“The difference between Opus 4.6 and Opus 5 is that Opus 5 really feels like it’s got this AI-as-a-judge checking every possible thing it’s done.”

一种解释是模型处于“恐怖谷”阶段，师生差距过大导致复制效果不佳。Opus 5表现出过度的自我审查机制（AI作为裁判检查每一步），导致Token消耗巨大且缺乏像Fable那样的直觉判断力，即“Reach exceeds the grasp”（能力超越掌控）。另一种假设涉及环境创建的维度：一个是难度轴，另一个是现实性轴。前沿实验室在构建模型行为时需在两个方向上推进：通过高难度任务（基准测试最大化）和真实场景中的多轮交互与人类反馈来塑造奖励函数。如果蒸馏过程仅匹配教师模型在基准测试上的表现，而缺乏对复杂现实环境的充分训练，学生模型将在更广泛的分布上表现较差。

泛化能力与后训练堆栈的影响

大型模型可能在从狭窄的高难度任务向更现实的通用任务迁移时具有更好的泛化能力。如果蒸馏过程拥有高质量的现实提示词分布，就能很好地匹配大模型；但如果仅依赖易于验证的任务分布，虽然能在基准测试上匹敌大模型，却在更广泛的实际应用中表现不佳。这一现象可能解释了Sonnet 5等较小Anthropic模型的表现波动，尽管其具体后训练策略难以完全预测。此外，后训练堆栈的频繁调整也可能导致模型出现意外缺陷。例如，某些参数设置过高可能引入用户不喜欢的怪癖。这表明在追求性能指标的同时，保持模型行为的稳定性和现实适应性是更大的挑战。

数据同质化与追赶的可行性

前沿AI实验室虽然购买大量专有数据进行后训练，但数据源的高度集中性使得追赶变得相对容易。由于中国及其他地区的实体同样可以从大型数据公司购买相同的数据，技术壁垒在数据层面并未形成绝对垄断。这意味着竞争对手不仅可以获取相同的训练语料，还可以利用这些数据进行知识蒸馏（distillation），从而快速缩小差距。尽管这一现象引发了一些人的不满，但从技术演进的角度看，只要数据可获取且具备蒸馏能力，保持同步是切实可行的。这种机制削弱了单纯依靠私有数据构建长期护城河的可能性。

实验室的战略赌注：模拟环境作为通用智能的跳板

当前AI研究界存在一种观点，认为最终产物将是一个能在数周或数月内作为远程员工运作的系统。然而，关于实验室（Labs）是否真的在押注这一目标，以及这种仅依赖数据中心模拟环境而非真实世界部署的学习模式是否足够，存在广泛争议。实际上，很难将实验室在直接递归自我改进（RSI）上的努力与构建通用智能模型以获取收入、资助下一次大规模训练之间的界限区分开来。许多实验室目前的策略是构建通用智能模型，通过部署收集收入来为未来的大模型训练提供资金。这种模式在过去几年中呈现出清晰的演进路径，Anthropic的环境发展 lineage 便是典型例证。

"First, we just focus on coding... Then from the task horizon that we’ve got from coding... then we’re going to generalize. We’re going to go up to finance next, and literally just so much Excel data... Then it’s PowerPoints. It’s this long tail of the working economy."

这一策略从编码开始，因为这是互联网上数据最丰富、最容易构建环境的领域。随后扩展到金融（利用Excel数据进行强化学习训练），再延伸至PPT制作等办公自动化任务。这种针对工作经济长尾领域的逐步通用化策略被证明非常有效，包括开源实验室在内的许多其他机构已意识到这是正确的战略选择。这种路径依赖于在模拟环境中学习元技能，而非直接从真实世界部署中获取反馈。

任务特定知识与通用学习能力的悖论

如果实验室真正期望模型具备像人类一样在工作中自主学习的能力，那么为何还要在预训练阶段注入大量如PPT操作等特定技能？对此有多种解释。一种观点是，虽然模型尚未完全具备即时学习能力，但为了分摊成本，将技能摊销到模型训练中是当前的过渡性策略。另一种更深层的解释涉及对RSI的专注度：实验室可能并不专注于让模型在广泛部署中表现出色，而是希望它成为RSI开发的工具。通过销售这些具备特定技能的模型获取收入，再将资金投入到真正擅长进行RSI开发的下一代模型中。一旦奇点到来，新系统将克服当前模型的瓶颈。

"Another is that we’re not concentrated on making it really good at widely deployed work. We just want it really good at RSI... This is just a way for us to get revenue so that we can pour it back into a model that is actually really good at doing RSI development."

对于为何模型中包含大量领域特定知识（如金融），John指出，如果模型具备足够的上下文学习能力，理论上无需专门训练即可即时阅读相关书籍并执行任务。然而，进行领域特定训练的主要目的是提高运行时效率。即使模型足够聪明能即时推导，通过强化学习将直觉嵌入权重中仍能使运行更高效。此外，模型提供商正逐个领域加强高价值领域的模型能力，这解释了为何近期性能提升显著。由于同时训练多领域成本相对可控，且大模型参数空间足以容纳这些信息，利用现有算力和参数空间进行多领域训练具有极高的性价比。即便金融数据本身不直接构成RSI数据，其中蕴含的元学习能力（如判断重要性、长期工作规划）具有可迁移性。

Sim-to-Real范式的局限性与硬件模拟创新

当前的"Sim-to-Real"（从模拟到现实）范式在样本效率低下的背景下占据主导地位，因为目前需要数千次与人类的交互才能完成强化学习训练，而人类无法实时参与这一过程。因此，必须通过模拟来获取所需样本。然而，该范式存在固有弱点：许多涉及实时人类交互的任务难以在数据中心模拟。随着样本效率的提升，从部署中学习的重要性预计将大幅增加。此外，离线学习（off-policy learning）允许模型利用历史轨迹数据而不必重新模拟所有场景。

在此背景下，Jane Street发起了一项极具野心的竞赛：设计协议模拟器ASIC（专用集成电路）。该芯片旨在模拟真实流量以测试硬件响应，无需接入实时系统。竞赛要求设计灵活、通用的架构，而非单一协议模拟器。初期实现需涵盖UART、SPI和I²C三种常见协议，后续可扩展至低速USB、以太网及其他能展示芯片架构特性的协议。关键约束在于设计必须针对开源130纳米工艺节点进行优化。这一要求确保了芯片在流片后仍具备灵活性，能够应对新出现的协议标准。重新可编程性是核心要求，即芯片在流片后仍需能处理新协议，具体实现方式由设计者决定。这一硬件层面的模拟创新展示了在物理世界中构建高效测试环境的另一种可能性，可能成为未来AI训练或硬件验证的重要补充手段。

部署数据：被忽视的进化燃料

当前AI模型在推理阶段消耗了约50%的计算资源，这部分数据并未直接帮助模型变强。然而，数字智能的一个核心优势在于其部署规模：不同于人类仅有50年的经验积累，AI模型可通过数百万实例在经济活动中获得相当于数百万年部署经验的广阔数据池。目前这些数据未被有效利用，但一旦模型能从中学习，将引发类似群体智能的爆炸式增长。这种从部署数据中汲取营养的过程并非遥不可及，事实上它已在基础层面发生。通过过滤、标注或合成部署数据并将其纳入未来模型的预训练或中训练阶段，代际间的性能提升很大程度上归功于此。尽管大型实验室声称不利用用户数据训练，但中国厂商明确通过蒸馏技术获取这一优势，即向模型发起请求以收集部署数据并用于下一代训练。

持续学习的现实形态与案例

人们常幻想的“圣杯”是单个模型通过实时体验进行有机更新，但在颗粒度细化后这面临诸多挑战。现实中，大型实验室和开源社区正在以不同节奏实践这一过程。Composer 是一个典型例子：它利用用户在 Cursor IDE 中是否接受代码补全建议（Tab键行为）作为反馈信号。这种机制不仅优化了传统的 Tab 预测模型，还应用于生成式模型的在线强化学习。尽管存在人类在环（Human-in-the-loop）设定，由人工确定关注信号并构建环境，导致迭代周期长于理想状态，但这种基于特定任务环境的反馈提取机制已证明有效。其他如 Harvey 的法律代理也在做类似尝试，通过用户投诉和特定部署反馈来优化模型。这种模式的优势在于能针对垂直领域数据建立专属环境，比通用大模型的迭代更为敏捷。

在线学习的挑战与奖励函数困境

在 Cursor 的案例中，解决高方差问题是关键。由于在线强化学习通常只有单一用户交互产生的单次 rollout，数据噪声极大。Cursor 的解决方案是建立启发式规则来估算响应质量相对于平均水平的偏差，并执行 REINFORCE 更新。其部署策略为：若新模型在 CursorBench 测试中表现提升，则每 5小时 部署一次；否则丢弃该版本。然而，核心难题在于为自然数据定义合适的奖励函数。若使用表面信号（如是否接受编辑），模型可能通过奖励黑客行为走捷径。这引出了更深层的问题：当任务涉及长期交互（如商业运营、法庭辩论）时，数据中心内的模拟难以覆盖真实世界的复杂性。如果Sim-to-Real（仿真到现实）的迁移能力不足，且必须依赖权重更新来适应真实交互，那么模型在样本效率上落后人类约 100万倍 的缺陷将成为递归自我改进的主要瓶颈。

任务累积性与递归自我改进的可行性

区分模型擅长与挣扎的任务类型，关键在于该任务是累积性（cumulative）的还是处于非平稳分布（non-stationary distribution）中。累积性任务意味着一旦掌握某项技能或发现，即可永久保留并叠加使用；而非平稳分布则要求模型不断重新学习大量动态变化的信息。以递归自我改进（RSI）为例，理论上存在一个少于百万token的Python文件可以从头训练出具备递归自我改进能力的模型。这种任务的核心特征是“每做一个发现就划下一道红线”，一旦发现了注意力机制（attention）、混合专家模型（MoE）或GRPO等关键组件，只需将其加入训练栈即可，无需反复重新发现。

"It’s theoretically possible to have a less-than-a-million-token Python file which from scratch trains a model that is capable of recursive self-improvement."

相比之下，现实世界中的许多任务并非如此干净利落。例如在律师事务所中担任法律助理的AI代理，面临的是高度非平稳的环境：它必须将公司内部重要人物之间不断变化的关系、隐性的办事流程以及信息查找方式全部纳入上下文。这种任务要求模型持续适应变化，而非简单叠加已知知识。RSI之所以被部分研究者认为比成为初级律师更容易，正是因为其具备累积性特征——一旦OpenAI等机构确认RSI不需要重新发明基础架构，仅通过调用预训练和后处理脚本即可完成，那么更多的算力和努力可能会向RSI倾斜。

样本效率与思维多样性的当前弱点

尽管AI在某些领域表现优异，但今天的模型在许多方面仍弱于人类。其中一个主要弱点是特定区间内的样本效率（sample efficiency）较低。虽然模型在上下文学习等某些 regime 中表现出极高的样本效率，但在中等长度区间内，人类通过更高效的权重更新机制可能表现得更好。此外，模型还存在与样本效率无关的其他弱点，例如思维多样性低于人类以及在某些类型的长期判断上表现不佳。

在软件工程等领域，所谓的“品味”（taste）往往关乎长期可维护性。这种品味是一种经过时间验证的行为模式，决定了系统在未来能否良好运作。模型的多种弱点限制了RSI的进程：部分源于样本效率，部分则源于缺乏对人类长期行为模式的深刻理解。这些弱点共同构成了当前AI在自主进化道路上的障碍，使得单纯依靠数据堆砌难以完全复制人类的长期判断力。

长上下文窗口与“品味”的元学习假设

一个有趣的思维实验是：如果给模型提供万亿token（trillion tokens）的上下文窗口，使其包含所有类似RLHF之前的经验数据，且保持与百万token相同的样本效率，那么“品味”问题是否就能解决？这取决于从短周期片段中元学习（meta-learn）品味的能力。人类并未活到一万岁，但博士生在五年内通过10-30个项目就能迅速培养出良好的研究品味。这表明品味的形成并不必然依赖极长的时间跨度或海量长周期事件，而是可以通过相对较短的小规模成功序列快速习得。

"Even if you could theoretically get a trillion context, you would need a trillion lengths of data to train it."

理论上，AI拥有比人类更丰富的经验来发展品味并对其进行元学习。然而，目前尚不清楚这种能力如何泛化到真正的长期场景中。即使拥有超长上下文，仍需专门的数据来训练模型从该上下文中学习正确的更新，不能简单地将所有数据“倾倒”进去。当前10k的上下文限制意味着无法直接模拟百万级的经验积累，因此品味的泛化能力仍是未解之谜。模型需要在部署过程中从每个实例中学习，但目前这种反馈回路仍然非常微弱。

蜂巢式学习与商业激励的博弈

关于AI是否会形成一种从所有部署经验中快速学习的“蜂巢思维”（hive mind），这主要是一个激励问题而非技术问题。公司不愿让模型提供商从所有部署数据中学习，因为这可能削弱其商业优势。因此，经济压力更倾向于推动模块化替换（modules that get subbed in）而非统一的权重更新。例如，LoRA等技术允许在不改变基础模型的情况下注入新知识。

此外，还有研究致力于将任意长度的上下文压缩到固定大小中，如线性注意力（linear attention）和卡带技术（cartridges）——后者本质上是经过高度压缩的KV缓存，旨在容纳大量信息而不改变底层模型。这些技术可能是公司愿意接受的方案，因为它们允许在实时中从数据中学习，同时保持核心模型的商业壁垒。现实中的学习机制将是多种形式的混合，包括模块化更新和压缩上下文缓存，而非单一的全球模型权重同步。

经济压力驱动下的渐进式学习路径

尽管大模型实验室拥有将大量用户交互数据（如LoRA或模块输出）直接投入下一代模型预训练的能力，但这种过程往往是一种间接的学习形式。研究者指出，不太可能直接在一个大模型上通过所有确切数据进行训练，而是会经历多个阶段。这种演进路径假设了权重更新的连续性并非一蹴而就的离散事件，而是通过“微调-生成轨迹-重新训练”的循环逐步加速。最初可能是每三个月发布一个更擅长特定领域的模型，随后频率提升至每周、每天甚至每小时。这种迭代速度的指数级增长最终将解决递归自我改进的问题，而非依赖单一的突变式突破。

“我想象不出一个世界，我们会一开始就打算直接用我们得到的所有确切数据来直接训练这个单一的大模型。不，我认为肯定会经历阶段。”

微观持续学习中的灾难性遗忘困境

在大规模尺度下，通过清洗噪声和使用大批量数据，将新数据放入中期训练（mid-training）并创建自身环境的“外循环”过程在某种持续学习模式下是有效的。然而，当聚焦于微观层面时，例如针对特定律所对单个模型进行连续更新且数据量相对较小时，所有现有方法都会出现崩溃。如果仅对成功轨迹进行监督微调（SFT），无论是离策略还是在线策略，在数百次微观更新的迭代过程中，模型会出现灾难性遗忘。这意味着模型会忘记之前从基础模型中学到的信息，并导致通用能力的退化。虽然在线策略蒸馏（on-policy distillation）能稍微延缓这一过程，但最终仍无法避免同样的结果。

强化学习与微调的技术局限性对比

研究者分析了导致技能退化的根本原因，认为这既是容量问题也是技术问题。监督微调（SFT）甚至在线策略蒸馏可能过于具有破坏性，而强化学习（RL）的优势在于它仅对模型进行极微小的调整。证据表明，RL只是在非常小的损失山谷中进行微调以到达正确点。然而，这也限制了RL的能力范围：它擅长获取新能力（capabilities），但不擅长注入显式知识（knowledge）。例如，要让模型掌握某律所特定的具体流程，需要投入大量计算资源来创建合适的环境才能通过RL获得这些知识。因此，很难在不破坏现有能力的前提下，以迭代方式将大量信息蒸馏到基础模型中。

持续学习的极限与从头重训的必然性

目前的技术瓶颈并非在于模型容量，而在于防止灾难性遗忘的方法尚不完善。如果将旧模型的所有数据与新中期训练数据结合，从头预训练一个新模型（相同规模），其效果必然优于持续更新旧模型。这反映了可塑性（plasticity）与灾难性遗忘之间的权衡。如果简单地在新数据不断加入的非平稳分布上训练，旧知识会被遗忘。尽管可以通过回滚到检查点并添加新的中期训练数据来延长持续学习的时间，但无法无限期地对同一基础模型进行持续训练。当达到某个渐近点时，该基础将无法再学习新内容。因此，行业最终会回归到使用包含所有新旧信息的完整数据集从头训练新基础模型的路径，尽管这成本高昂且耗时。

“如果你只是不断地持续训练同一个基础模型，它最终会在某一点达到渐近值。你无法在该基础上继续学习新东西。”

自动化编辑工作流中的Grok Bot实践

在视频制作流程中，为了提升效率并保留上下文完整性，创作者引入了Grok Bot作为自动化编辑助手。由于原始录音时长数小时且缺乏清晰的时间戳，手动定位引用片段耗时巨大。Grok Bot通过自动打开转录文本并高亮相关段落，显著减少了人工查找成本。该机器人利用创作者预先编译的“大型案例文件”（包含所有编辑偏好），能够主动建议潜在的剪辑方案。当编辑器在Slack上发布粗剪版本时，Grok Bot会在创作者甚至未看到消息前就开始工作。这种将非正式指令即时转化为符合偏好的转录文本反馈的机制，极大地优化了远程协作体验。创作者通过手机即可审查机器人筛选出的顶级片段候选项。目前，这一流程已被证明非常有效，并鼓励观众尝试使用Grok Bot（x.ai/bot）。

递归自我改进与强化学习环境的构建难题

关于AI进步是否仅由数据驱动，以及是否存在某种数据分布能训练出全面超越人类专家的超级智能，讨论聚焦于强化学习（RL）环境构建的指数级难度。虽然理论上可以训练AI输出包含超级智能代码的Python文件，但构建能产生此类结果的RL环境面临巨大挑战。每向上攀爬一个能力阶梯，所需的努力呈指数级增长。当前我们仍处于RL环境创建的早期阶段，主要依赖一种“不对称性”：即定义复杂的数据生成过程（隐藏潜在变量）比让模型逆向推导该过程要容易得多。例如，Anthropic通过数万人类和LLM协作发现的一个Bug，可以被转化为一个单一LLM仅需数百万token即可发现的精简环境。这种对“向后比向前容易”的不对称性的利用，依赖于任务地平线泛化能力。然而，随着环境复杂度的提升，这种策略将面临边际收益递减。创造看似具有长时域的人类级任务环境本身就是一个极其复杂的工程，且代理执行这些任务的算力和时间瓶颈也将随之显现。

微调案例与RL信号探索的局限性对比

不同模型训练策略的效果差异揭示了专家行为复制与环境跨度之间的张力。一方面，有案例显示将仅训练至1930年数据的Talkie模型在现代化编码代理数据上进行微调，其在SWE-bench上的表现优于更大的Claude 3 Opus模型。这表明一旦拥有正确的专家行为示例，将其复制到相对较弱的模型中 surprisingly easy（出乎意料地容易）。然而，反面案例显示，将仅训练至五年级数学水平的模型直接通过RL提升至高中或大学数学水平时，由于跨度太大，模型完全无法进步。这强调了RL中“阶梯间距”的重要性：必须通过连续的小步骤（如从七年级到八年级）才能逐步提升能力。核心问题在于当前的RL在探索方面表现不佳，如果模型在前128次 rollout 中未能获得信号，很难取得进展。因此，RL需要课程学习（curricula），而预训练则不需要。

真实世界数据信号的边际收益递减

随着模型能力进入中后期训练阶段，来自现实世界的有效信号变得稀缺。在预训练阶段，Common Crawl中已包含所需信号，挑战仅在于过滤噪音；但在后训练阶段，原始数据中不再存在足够的提升模型能力的信号。尽管世界上充斥着各种任务（如电子表格、法律事务），但在当前能力前沿，真正能推动模型进入下一个能力基座（basin of capability）的新颖数学或编码问题极少。即使人类参与度降低，从现实世界提取有效信号的瓶颈依然存在。这就是为什么边际收益递减会发生：整个世界并未提供足以触发下一次能力跃迁的关键比特信息。

预训练数据的边际效益与“低垂果实”的枯竭

在探讨AI能力增长的来源时，一个核心争议在于预训练数据的贡献是否已触及天花板。研究者指出，互联网上并不存在某种隐藏的、等待被筛选出的“千禧年大奖难题”证明。要获取更高阶的推理能力，必须通过其他途径获得“比特”，例如直接询问人类写出其推理过程，或构建由人类定义目标和环境的新训练场景。为了量化数据对预训练效率的影响，一位研究者与普林斯顿大学学生Jerry Han进行了一项网格实验：将2019年至今的所有训练配方与同期数据集两两配对，例如用最新数据Ultra-FineWeb训练GPT-2，或用旧数据集Pile训练最新的开源配方Delphi。结果显示，在极小规模下，数据带来的计算效率提升约为12.0倍，而架构改进仅带来3.7倍的增益。然而，这种数据主导的结论在大模型规模下是否依然成立尚存疑问。研究者认为，互联网上高价值内容的增长速度并未同步扩张，“低垂果实”已被大量采摘。虽然可能仍有少量损失率下降空间，但预训练阶段的进步速度将显著放缓。

架构突破与数据效率的非线性关系

尽管小规模数据显示数据贡献巨大，但研究者对“架构改进仅是乘法因子”的观点提出质疑。他认为，架构的价值在于解锁新的定性能力区间，而非单纯提升效率。例如，如果没有GQA（分组查询注意力）等架构创新，处理百万级上下文将因计算成本过高而不可行。这意味着旧架构根本无法利用长文本数据，从而错失相关能力。因此，在短上下文（如2K）评估中显得次要的架构，在处理长文本时却成为关键瓶颈。此外，关于计算效率提升的来源，有估算称自2019年以来每年约3倍增长（累计超2000倍），但实际观测到的综合提升约为33倍。这巨大的差距暗示大量效率增益来自后训练（Post-training）阶段，且这种增益具有强烈的规模依赖性。目前由于算力限制，难以精确区分数据与算法在大规模下的独立贡献。研究者推测，架构改进往往是“一次性”的质变，而数据则是特定区间内的主要驱动力。随着模型规模扩大，架构对长上下文能力的解锁作用将变得比单纯的数据效率更为关键。

RL时代下的参数规模趋势与推理瓶颈

随着AI进入以强化学习（RL）为主导的新阶段，模型参数规模的增长逻辑可能发生根本性变化。开源前沿模型的参数量每年约翻倍（2x），但在RL-heavy regime下，推理效率成为核心约束。研究者指出，当前的瓶颈已不再是模型容量，而是RL环境的复杂度和长 horizon rollout的难度。许多后训练数据（如SWE-bench轨迹）需要大模型才能有效利用，小模型无法从中获益。因此，未来几年内，前沿模型的参数量可能不会像过去那样爆发式增长。例如，OpenAI的Mythos和GPT系列模型可能远小于传闻中的万亿参数规模。研究者认为，在RL训练中，需要在预训练数据量、环境难度和模型大小之间寻找最优平衡点，以在 hardest 环境中获得可接受的 pass@1。由于长序列推理的计算成本高昂，模型大小可能趋于饱和或进入平台期。架构设计也将更多考虑实际部署中的推理效率，如DeepSeek采用的压缩注意力机制，其目的不仅是降低预训练损失，更是为了适应现实世界的使用场景。因此，2030年的前沿模型可能在参数规模上保持相对稳定，转而追求在有限算力下通过RL和环境工程实现能力跃迁。

模型规模的历史回顾与RL学习的争议

过去几年中，模型规模的扩张并非线性增长。尽管近年来1万亿参数（Trillion Parameter）的讨论热度很高，但“People have been training 1 trillion parameter models for at least a few years.” Open Source的Falcon模型及Google早期的Switch Transformer均展示了这一规模的存在。Liam from Periodic Labs曾分享早期实验，训练了一个“very, very sparse”的1万亿参数模型。该模型在知识检索上表现极佳，但在推理能力上“terrible at reasoning because it was so sparse.” 这表明，“It feels like we’ve been playing in this 100 billion up to 2 trillion parameter range for at least a little bit.” 行业实际上在100亿至2万亿参数的区间内波动，而非简单的逐年翻倍。

关于强化学习（RL）的有效性，此前存在广泛质疑。John曾发表论文指出，“models learn one bit per episode when you RL. They learn, 'Did I get the answer right or did they get it wrong?'” 演讲者进一步指出，当通过率极低时，“when the pass rate is low and the model is very unlikely to get the answer right, it learns almost nothing at all from an RL episode.” 然而，观察当前模型的表现，“It seems to be the result of scaling up RL. Beren,” 尽管早期理论预测RL难以规模化，但实际效果显示通过扩大RL规模确实提升了模型智能水平。这一现象挑战了此前关于RL学习信号稀疏性的悲观预测，表明在大规模应用下，RL仍能带来显著的性能提升。

强化学习的成功源于高质量中间训练而非从零学习

关于近期为何强化学习（RL）的效果超出直觉预期，核心原因并非模型在RL阶段从零开始构建所有行为。事实上，大量所谓的RL成功实际上归功于极高质量的中间训练（mid-training）数据。这一阶段本质上是对合成推理数据和特定环境进行预训练，旨在为模型提供RL所需的“热身”起点。数据显示，这一中间训练过程往往已经完成了通往最终RL检查点约80%的工作。在此基础上，强化学习所做的事情主要是对策略进行微调。正因为模型不需要从头学习所有行为，它只需要从这些Episode中获取极少量的关键比特（bits）即可。这解释了为什么RL不需要像直觉认为的那样消耗巨大的计算资源，因为它是在一个已经非常接近目标的状态上进行优化。

信号噪声比：RL与SFT的本质区别在于学习目标

强化学习之所以在效率上远超监督微调（SFT），关键在于其目标函数对信号的处理方式不同。> "In SFT, you have to try and match the exact reasoning tokens... For RL, you only get the one bit. That means that signal is not drowned out in the noise of all the other bits." 在SFT中，模型被迫去匹配推理轨迹中的每一个token，包括那些无关的中间步骤。这意味着模型接收到了大量关于“其他模型如何推理”的具体细节，这些细节构成了巨大的噪声。相比之下，RL只关注最终答案是否正确这一单一比特。这种机制极大地提高了训练过程中的信噪比（signal-to-noise ratio）。因为忽略了中间推理过程的噪声，RL能够以极少的步骤实现 dramatic 的效率提升，专注于获取“如何得到正确答案”的核心逻辑，而非模仿特定的推理路径。

能力跃升的真相：假设空间裁剪与视界泛化

尽管RL涉及的参数更新量可能很小，但其对模型功能空间（input-to-output mapping）的影响却是巨大的。> "Even one bit can change your function space a lot. It can rule out half the hypothesis space, which is huge." 即使只有少量的比特更新，一旦从一个极好的起点开始，它也能排除掉假设空间中巨大的一部分（例如一半），从而产生显著的行为改变。此外，我们观察到的能力跃升主要体现为视界泛化（horizon generalization）而非水平领域的完全通用。模型学会了使用更多的token并在更长的时间内持续完成任务，这种能力与成功高度相关。EdgeBench的研究表明，模型能够工作的时长每三个月翻倍。这种对长程任务的坚持能力是质的飞跃。同时，预训练中的“量子”现象在RL中也有体现：虽然单个任务（如金融或Excel）可能经历从0.5%到90%的阶段性跃迁，但将所有任务的这些离散进步平均后，就呈现出模型整体质量的平滑且显著的提升。

环境多样性与转移学习带来的综合效应

除了上述机制，模型能力的显著提升还得益于训练环境的极大丰富和一定程度的转移学习。过去两年中，实验室针对特定日常任务或细分领域的训练环境数量大幅增加。虽然数学推理并不直接转化为编程能力（即缺乏完全的横向泛化），但不同领域间仍存在一定的转移学习效应。例如，数学、代码和谜题之间的某些推理模式是可以共享的。更重要的是，随着针对特定任务环境的多样化训练，模型在处理从未见过但具有相似结构的新环境时，能够利用其已习得的“长程任务执行能力”和基础推理模式进行适应。这种广度上的覆盖与深度上的视界泛化相结合，加上RL对关键逻辑比特的高效提取，共同构成了当前大模型在推理能力上看似“质的飞跃”的真实图景。

强化学习与创造力的悖论：从AlphaGo到零日漏洞

关于强化学习（RL）在大型语言模型中的应用，存在一种担忧认为其会导致熵坍塌，即过度集中概率于基础模型已知的解法上。然而，回顾Atari游戏及AlphaGo的Move 37案例，RL并非必然降低创造力。由于未初始化为人类数据，模型能以非人类的思维路径产生极具创造性的解决方案。在LLM领域，OpenAI与Hugging Face的互动案例显示模型能同时生成多个零日漏洞以突破沙盒，这证明了RL在长视距下并未完全摧毁熵。正如对话中所指出的：

"Move 37 is obviously an example of that, or writing some kind of poem that satisfies a ton of different constraints. That’s something AI is obviously going to be extremely good at, if trained for it."

这种创造力本质上是解决高难度搜索问题的能力。只要训练得当，AI在满足多重约束条件下生成复杂内容（如诗歌或代码）的能力将极其出色。因此，RL本身并不破坏创造力，关键在于训练环境与验证器的多样性。

对“通用远程工作者”定义的分歧与两年十倍增长预测

讨论首先围绕如何界定一个“完全通用的远程工作者”展开。一方认为这等同于普通白领在一个月内的表现，而另一方指出AI研究员本身也是远程工作者，因此比较对象应扩展至具备高度胜任力的白领员工。经过修正定义后，双方达成初步共识：AI在普通认知任务上的超越可能需要两年时间。然而，Beren提出了更激进的观点。他指出，在编程领域AI的表现已经远超人类10倍以上。如果AI能够执行一到两轮的实验反馈循环，这种效率提升将是巨大的。将这一10倍的生产力增长代入简单的AI进步模型中，意味着从两年后开始，AI的进展速度将发生根本性加速。这种加速不再受限于研究员运行小规模实验的能力，而是由其他瓶颈决定，但整体节奏快了10倍。这一巨大的效率跃升还将推动后续可能带来100倍速度提升的技术节点提前到来。

信息吸收与贝叶斯决策能力的瓶颈转移

关于AI何时能完全替代人类研究员，核心争议点在于信息吸收能力与贝叶斯最优决策。Beren认为，人类研究员的瓶颈往往在于处理实验结果并决定下一步行动的认知负荷。如果AI能够接管这一过程，例如在不崩溃的情况下连续运行两到三个实验循环，这本身就构成了巨大的生产力提升。这意味着AI不仅可以执行代码，还能在逻辑链条中保持连贯性，从而大幅减少人类介入的频率。这种自动化实验循环的能力是AI从辅助工具转变为独立研究者的关键门槛。一旦跨越这一阈值，人类研究员的角色将从“执行者”转变为“监督者”，专注于更高层级的架构设计而非具体的实验迭代。

全领域认知主导与ASI的时间表争议

最后，讨论转向了超级智能（ASI）的定义：即一个在所有可通过计算机完成的认知工作中都超越顶级人类专家的AI，包括那些需要三年或更长时间才能完成的任务。对于这一场景的实现时间，观点出现分化。一方认为在实验室重点关注的领域（如代码和数学），由于模型擅长处理这些结构化数据，实现这一目标仅需3到4年。然而，另一方指出，涉及物理世界、3D空间或机械工程等领域时，由于数据稀缺且需要在线学习（例如在台积电成为超级工程师），时间可能延长至5到10年。此外，即使拥有外部记忆系统和增长的上下文窗口（如超过一百万token），仍存在根本性的长尾问题，即许多领域缺乏足够的预训练数据。因此，虽然核心领域的ASI可能在5年左右出现，但要实现覆盖所有人类专家的全能型AI，可能需要更长的时间来解决这些长尾领域的数据获取与快速学习问题。

结论

综合讨论，AI在2036年前未达超级智能的核心原因在于泛化瓶颈、RL环境构建难度及持续学习中的灾难性遗忘。尽管强化学习通过高效信号提取实现了能力跃升，但模型在样本效率、思维多样性及长期判断上仍弱于人类。递归自我改进（RSI）面临“莫拉维克悖论”变体，自主目标设定极难实现。数据同质化与蒸馏技术削弱了前沿实验室的垄断优势，但Sim-to-Real鸿沟和部署数据利用不足限制了性能爆发。人类在定义目标、对齐工作及宏观洞察上仍具不可替代性，RSI更可能通过渐进式迭代而非突变实现。