小米再次做到了，发布了又一款最先进的开源权重语言模型V2.6 Pro。该模型超越了所有中国私有和公开模型，并做了一件更令人印象深刻的事：完全在开放环境中进行训练。对于其Pro和Flash模型，他们通过网站实时直播训练过程，追踪各种统计数据，最有趣的是还公开了运行成本。这种前沿模型运行的细节从未被分享过。即使是DeepMind现在也不透露训练其模型的开销，但小米做到了。他们基本上告诉所有人：“我们花费260万美元训练Pro模型，90万美元训练Flash模型，以将上一代产品提升至最先进水平。”

这次最大的变化是增加了一个代理中心的中期训练阶段，随后进行大规模的强化学习运行。因此，在今天的视频中，让我们找出小米究竟把钱花在了哪里，他们的实时仪表板上发生了什么，以及一种出人意料的简单方法如何让小米重回开源权重语言模型领域。这次发布太棒了，不容错过，特别是如果你想了解前沿规模的强化学习在实践中究竟是什么样子的。但在深入探讨之前，如果你曾经考虑过运行甚至微调像Mimo V2.6这样的开源模型，今天的赞助商Crusoe通过其名为“Crusoe Intelligence Foundry”的产品，将这一语言模型流程变成了更加优雅的体验。

他们基本上为你提供针对领先开源模型的无服务器推理和无服务器微调，无需你自己配置或管理底层GPU基础设施的麻烦。你可以在几分钟内部署模型并通过API开始调用它，或者在不先设置整个集群的情况下在你的数据集上进行微调。因此，无论你是想快速实验、围绕其构建应用程序，还是用你自己的数据定制模型，Crusoe都在底层处理基础设施，让你能花更多时间真正进行构建。目前，每个新的Crusoe账户都会自动获得5美元的免费积分供你试用。你所需要做的就是注册，积分将直接应用到你的账户中。

因此，请使用描述中的链接查看他们，今天就来试用Crusoe Intelligence Foundry，并感谢Crusoe对本视频的支持。无论如何，更有趣的是，小米似乎并没有像DeepSeek或MoonShot等实验室那样围绕相同的计算约束进行优化。事实上，MiMo V2.6在某些架构选择上几乎具有侵略性的传统感。首先，Pro模型非常庞大，拥有1万亿参数和420亿活跃参数，其骨干网仍然围绕相当标准的注意力机制构建，即使是针对100万上下文。更具体地说，他们在整个注意力层中仍然使用GQA（分组查询注意力），并且大多数层的注意力范围仅限于128个令牌的滑动窗口，而每第七层切换到全局注意力，从而在局部和全局注意力之间给出6:1的比例。

因此，这里没有像DeepSeek那样的花哨稀疏注意力方法，也没有像Kimi那样异质的线性注意力机制，后者都在试图完全重新思考长上下文推理的成本。我认为这感觉更像是他们在测试在保持整个系统稳定的同时，能将强化学习扩展到什么程度。因为在V2.6发布几天后，小米基本上预告了一种名为HiSparse 2的注意力机制，这是一种旨在使长上下文推理更加高效的新注意力机制。所以小米似乎将一些更激进的高效性工作留给了MiMo V3，这意味着V2.6可能更像是他们的强化学习扩展实验，也许是用来确认其扩展方法是否正确。

因此，这次发布成为了学习如何在前沿水平进行强化学习的完美教科书，因为你不仅得到了细节层面的方法，他们还提供了你需要监控的信息以及训练它们的样子。这感觉像是一个动手的现场演示，供任何个人或公司参考。在技术报告中，小米表示他们在三个维度上扩展强化学习：更多的训练计算、更多样化的环境以及用于评估模型实际表现的更计算密集型评分。第一个基本上就是暴力规模扩展。对于每一个强化学习步骤，他们采样1,568个提示词，并为每个提示词生成一组16条不同的轨迹。

因此，在模型获得单个权重更新之前，大约已经发生了25,000次单独的代理运行。而且这些不是你典型的简短数学推理轨迹。每条轨迹平均包含110,000到150,000个令牌，这意味着单个强化学习步骤包含27亿到37亿的生成令牌。这意味着一个梯度更新背后是数十亿个执行给定任务并最终产生模型可以学习的轨迹的代理。但为了确保这些轨迹有帮助，他们做了一些称为动态采样的事情。因此，当你为同一任务生成16次尝试时，并非每组都能为你提供有用的学习信号。

例如，如果所有16个代理都解决了任务，那么该任务对当前模型来说可能太简单了。如果所有16个都完全失败，你就有了相反的问题，这意味着在这两种情况下，每条轨迹都会收到大致相同的结果，因此没有太多信息告诉模型哪种行为更好。所以理想的情况是处于中间状态，也许有6个代理成功而10个失败。现在你可以比较成功的轨迹与不成功的轨迹有什么不同，计算有意义的相对优势，并将策略推向与成功相关的行为。因此，他们的动态采样器持续收集 rollout（回滚/轨迹），直到拥有足够多的这些可测量组，同时过滤掉整个组要么通过要么失败的提示词。

你实际上可以通过他们的实时仪表板上的指标观察这一过程，例如Dyn Stem pass rate zero（通过率为全零），Dyn Stem pass rate one（通过率为全一），以及Dyn Stem average at N（平均通过率）。他们还有一个更详细的反馈显示有多少被接受以及数据集 across 的接受率。然而，仅仅因为两个代理都通过了并不意味着他们应得相同的奖励。一个代理可能找到了实际的错误并进行了干净的五行修复，而另一个代理可能花费了150,000个令牌修改了一半的代码。

直到测试最终变绿为止。但对于二进制验证器来说，两者同样成功。如果你强化这种行为，他们会观察到模型学会了一种相当糟糕的策略。例如，当你陷入僵局时，它只会尝试做更多的事情、增加更多回合、使用更多令牌，直到某件事以某种方式奏效。因此，小米还通过分组代理评分来扩展用于判断轨迹的计算量，其中另一个模型会比较成功的解决方案并决定哪些行为真正值得强化。这种分组优势再分配将更多的正向优势转移到更好的成功轨迹上，基本上教会它哪种通过方式更好。

在消融研究中可以看到，如果没有这一机制，代理会逐渐触及长度限制；有了它，它们可以在轨迹长度没有同样爆炸性增长的情况下持续改进。因此，随着代理变得更聪明，评判者也必须变得更强。然而，更好的评分仍然假设环境本身不可被利用，因为模型实际上更关心获得奖励而不是解决问题。所以，如果答案意外地出现在 git 历史、缓存或环境中的其他地方（如互联网上），代理最终可能会找到它，或者逃离其沙箱以寻找答案。这通常是所有头条安全事件的成本泄漏所在，就像 Hugging Face 被 OpenAI 模型黑客攻击所发生的那样。

小米基本上将这种奖励作弊视为一个安全问题。他们会清理环境，隔离网络访问，甚至部署专门的攻击代理，其工作是在训练前找到环境的漏洞。这个黑客代理会反复运行，直到环境基本上对它不可被攻破，从而最大限度地减少模型逃脱并登上头条新闻的机会。除非他们需要为 IPO 制造营销噱头。大家好，这里是 Cloud 的未来频道。

当我们几乎完成这个视频的制作时，不幸的是，一家名为 Val's AI 的机构发现该模型可能也作弊了。在三分之二的编码任务中，答案仍然存在于任务的 git 历史中，Mimo 发现了它们并直接将其作为答案使用。这意味着当该模型部署时，这可能成为一种习惯，也就是说，与没有以这种行为进行强化学习的模型相比，该模型更容易利用系统。

老实说，前沿基准测试结果可能实际上已被污染，并不能代表其真实能力。所以请对看到的一切持保留态度，而今天我更像是在谈论训练方法学，所以这其实没那么重要。不过，回到视频内容。使用代理强化学习，你不仅仅是在训练模型，你还在构建一个随着模型变聪明而更难被利用的世界，并检查他们的解决方案质量究竟如何。这意味着为此投入的计算量不仅仅是训练本身。

对于 Pro 模型，只有约 43.5% 的强化学习计算量用于实际更新模型。另外 43.8% 用于生成轨迹，令人惊讶的是，12.7% 用于对其评分。因此，生成分支探索实际上比训练过程本身更昂贵。至于 Flash 模型，它也具有相似的比例。由于大量计算量花费在轨迹生成上，轨迹自然会开始成为瓶颈。因为这些代理不会同时完成。有些快速解决任务，而另一些则可以持续数百个回合。

等待最慢的代理完成整个训练批次会让昂贵的 GPU 闲置。因此，小米使用了一种称为部分轨迹的技术，未完成的轨迹可以暂停，同时训练继续进行，然后再恢复。在仪表板上可以看到，小米还将未完成轨迹跟踪为“陈旧性”，并在较新策略下重建其上下文。如果轨迹的陈旧度超过四步，它们将从轨迹中移除，因为你不想使用来自模型自身旧版本的行为来更新当前模型。

除了陈旧性，小米还跟踪其训练引擎和轨迹生成引擎之间的不匹配情况。因为轨迹是用 SG Lang 生成的，而训练是在 Megatron-LM 中进行的。这两个引擎之间微小的数值差异足以改变令牌概率或 MoE（混合专家）路由。但你为什么要使用两个不同的引擎呢？训练需要存储额外的精度，因为它正在更新权重，而推理可以在较低的精度下运行以增加吞吐量。

由于它们存在微小的数值差异，系统可能会产生非常不同的结果，特别是当你采样的轨迹超过 150,000 个令牌长时。因此，小米必须显式地同步两者，通过仪表板跟踪它们的 KL 散度，以确保他们正在训练的模型的行为与实际上生成经验的模型一致。Pro 模型的这一数值最终约为 0.0028，Flash 为 0.011。

他们还跟踪平均轨迹长度，可以看到 Pro 模型达到约 137,000 个令牌，而 Flash 模型达到约 148,000 个令牌。它们的数字之所以不同，是因为 Pro 模型可能在解决任务方面更好，因此比 Flash 更具令牌效率。这在它们分别拥有约 44 和 69 个代理回合时尤其明显。所以，是的，这些数据不仅仅是简短的 ChatGPT 对话，它们是极其漫长的与工具和环境的交互。

但轨迹越长，事情越容易出错，对吧？在这里你可以看到 Pro 运行因 MoE 专家负载不平衡导致 GPU 内存溢出错误而不得不重启，同时两个模型在训练期间也都遇到了基础设施和连接问题。我觉得称其为 RL 扩展实验几乎低估了该过程的复杂性，因为一旦你每更新一次生成数十亿个令牌，跨越数千个代理，你基本上就是在协调这个拥有数万并行工作负载的巨大分布式机器来学习某些东西。

现在，你可能会想训练过程如此精心复杂，他们一定通过很多步骤进行了训练，对吧？然而令人惊讶的是，他们没有进行 3,000 步的训练，甚至不是 300 步，而仅仅是 30 步。但这 30 步对于 Pro 模型花费了约 123 小时，对于 Flash 模型花费了 82 小时。而且正如你在仪表板上看到的，所需时间只会增加，它可能

因为每次 rollout 使用的 token 更多，所以耗时更长。但这 30 步已经足以大幅提升性能。在 Deep Seek 3 上，Pro 版本从 58.4 分提升至 72.6 分，而 Flash 版本则从 48.7 分跃升至 65.7 分。虽然这是一个代码基准测试，但提升并不仅限于编码领域，尤其是考虑到其中 65.8% 的数据与代码相关。如图所示，在一般工作流、视觉编码以及网络安全等方面，曲线总体均呈上升趋势。

尽管从追踪这 30 步性能表现的仪表盘中可以看出，不同检查点之间存在一些噪声波动。而且即使这些曲线在末尾仍呈上升趋势，他们还是决定在第 30 步停止训练，可能是为了推进下一代模型的开发。总体而言，Pro 版本的整个 RL（强化学习）训练耗时约 5 天 7 小时 30 分钟，Flash 版本则耗时 3 天 11 小时 5 分钟。Pro 的训练总成本为 262 万美元，Flash 为 85.4 万美元，仅这两次 RL 运行就花费了约 347 万美元。

没想到经过这 30 步，他们就诞生了一种新的 CFD RL（连续特征分布强化学习）开源方式。这意味着用于训练模型的这些 rollout 数据完全堪称黄金标准。随后，小米还尝试将这些能力迁移到更小的模型中。他们将 Mimo V2.6 的代理轨迹蒸馏到了拥有 3590 万参数的模型中，并在约 774 亿个 token 上进行训练，效果相当不错。

在 SweepBench Pro 上，90 亿参数模型的成绩从 32 分提升至 44.6 分，而在 Automation Bench 上则从仅 5% 跃升至 30.3%。此外，他们还使用这个 9B（90亿）模型测试 RL 是否能在不同的 harness（评估框架/环境设置）中泛化。他们在四个 mini-harness 上进行训练，并在七个环境中进行评估（包括三个未见过的环境），结果显示在所有环境中均有提升。

不仅如此，小米还开源了大量相关技术栈。除了蒸馏后的 90 亿参数模型和 RL 框架外，他们还发布了约 3,000 个代码任务、1,000 个网络安全任务、1,000 个通用任务和 2,000 个视觉任务，以及 mini-harness 和评估机制。因此，在分享百万美元规模下的 Agentic RL（智能体强化学习）面貌并同步发布模型的同时，他们还向所有人开放了用于实验的数据。这绝对令人惊叹。

这也是我认为小米 Mimo 比仅仅是一个基准测试领先的模型更有趣的原因。我之前已经制作过一期介绍该公司的视频，如果你想了解更多关于该公司及其背后的团队的信息，一定要去看看。如果今天了解到的 Mimo V2.6 RL 让你想更深入地探索 LLM（大语言模型）的强化学习，我的平台 Intuitive AI Academy 可能是你完美的起点。

该平台专注于帮助你建立对 LLM 背后关键概念的直觉理解，从基础一直涵盖到混合专家模型（MoE）或强化学习。我们不会用令人望而生畏的数学公式轰炸你，而是确保你先充分理解高层逻辑，这样当你接触到技术细节时，它们才会变得合理易懂。

此外，我们最近新增了一个测验系统，在每一章结束后测试你的理解程度，并设有每周排行榜以增加学习的竞争感。我们还刚刚发布了一章关于直观解析线性注意力机制的内容，这是 Kimi K3 和 Qwen（通义千问）模型所基于的最新前沿概念之一。

因此，如果你在工作中使用 LLM、打算转型进入该领域，或者希望投身于 LLM 研究，请通过描述栏中的链接查看该平台，并使用限时优惠码“back to school”享受年费会员五折优惠。感谢大家观看。特别感谢 Spam Mage、Chris Ladue、Deegan、Robert Zaviassa、Poof 和 Inu、DX Research Group、Alex、Leo Halawani 以及许多通过 Patreon 或 YouTube 支持我的其他朋友。如果你还没关注我，请在 Twitter 上关注，我们下期再见。