大家好,欢迎来到本期节目。又是新模型发布的一天。这次的主角来自小米和稀宇科技(Xiaomi and Xiaomi),它们堪称中国版的苹果。如果还不熟悉的话,现在他们发布了小米 MiMo V2.5 以及其旗舰版本——拥有万亿参数规模的 V2.5 Pro。作为参考,如果你查看量化模型列表并点击该按钮,会发现全球只有一人敢尝试对这个庞然大物进行极致量化。我实际上也成功将其跑起来了,并完成了量化过程。

为了运行这个模型,我必须使用分布式计算资源,因为它的量化难度极高。目前我正在测试其各项能力。说实话,我不确定它是否真如宣传那般强大,稍后我会展示具体原因。目前系统正在生成四万五千个令牌,速度降至每秒九个令牌。它正试图处理一个复杂提示词,我们看看能否完成。该模型的亮点在于,根据 Artificial Analysis 的数据,MiMo V2 Pro 在编程能力上击败了 GLM-5.1,整体智能水平与 Kimi K2.6 相当。

在开源模型中,它几乎并列第一。这款 MiMo V2.5 Pro 采用 MIT 许可证,意味着你可以完全自由地使用它。相比之下,其他模型如 GLM 系列可能要求署名等限制。如果你年收入达两千万美元左右,或许会受此影响;但观看本频道的观众通常不会。如果你有硬件需求,可以联系我进行更深入的测试。该模型具备出色的编程能力和智能水平,我已在官方聊天站点进行了初步验证。

在官网上,我只成功运行了贪吃蛇游戏。这是正在运行的界面。当我尝试更复杂的提示词,例如制作高保真 3D 俄罗斯方块时,系统经过大量推理令牌生成后,反复回答“我无法回答这个问题”。因此,我将展示当前正在进行的任务:创建一个高保真交互式网页。我使用 Mac Studio M3 Ultra 512GB 内存和 MacBook Pro 进行分布式计算,同时通过 OBS 录屏。

当前已生成四万六千个令牌,内存仍充足以维持演示。模型制定了计划并开始编写示例代码,尝试各种生成方式,但不断陷入过度思考的循环。它反复表示“即将开始写代码”,却持续在分析问题中打转,目前正卡在火车控制逻辑上。由于系统负载已达极限,我手动停止了生成。尽管产生了大量令牌,最终却未产出有效结果。不过,我成功在本地运行了贪吃蛇游戏版本。

要获得良好效果,必须启用“思考模式”。若禁用该功能,输出质量会大幅下降。对比可见:未开启思考模式的版本非常糟糕;而启用后,模型仅用一行简短推理便生成了远为优越的代码。该模型的量化极具挑战性。例如,在测试“如何用一把刀将四个相同橙子平分给四个孩子”时,低比特量化版本会完全丧失理解力,甚至出现逻辑错乱。

随着增加比特数,模型开始提出“称量孩子重量”等荒谬答案;进一步调整后又将橙子误识为其他物体。只有当量化精度达到特定阈值时,它才能正确回答:将每个橙子切半并分配给每个孩子,或识别出这是脑筋急转弯而直接每人发一个整橙。这表明其内部确实蕴含相当智能,尽管 Artificial Analysis 的图表可能存在争议,但其表现与 Kimi K2.6 并列顶尖开源模型。

值得注意的是,标准版 MiMo V2.5(非 Pro)才是本次发布的亮点之一。它是一个全模态模型,具备类似 DeepSeek 的多媒体处理能力,支持音频和视觉输入。虽然我在本地仅运行了语言模型部分,未能启用音视频功能,但其输出仍令人印象深刻。在 Q9 量化下生成的交互式网页中,模型成功构建了可切换行星的地球仪界面。

尽管效果不及其他顶级模型,但用户仍可发射小行星并模拟碰撞事件,证明其具备实际功能。小米作为中国科技巨头,业务涵盖手机、平板、汽车乃至机器人等领域,规模庞大且多元化。此次 MiMo 系列的发布进一步彰显了其在人工智能领域的雄心与实力。

发布这个模型后,它可能会非常出色。大家看专业版的表现,看看这些基准测试结果。橙色代表获胜,它在 GDP Vala、ELO T3 和 Bench Claw Eval 中都赢了。虽然在 SWB Pro(编程测试)中没赢,只落后于 Kim K 2.6 和 GLM 5.1,但至少他们对自身能力稍显诚实。

它采用了混合注意力架构和多令牌预测技术,这是目前新兴的推测性编码技巧。最后一层能同时预测多个令牌,内置了推测式解码功能,因此运行效率更高。此外还有高效的预训练、智能体能力以及 1 万亿参数,这非常惊人。他们还发布了基础模型,如果你想在上面进行微调会更容易些,因为顶层没有附带指令集。

关于这一点最棒的地方在于它的许可证是 MIT 纯开源协议,不像 MiniMax 最近发布的那种被标榜为“非常开放”但免责声明里写着非商业使用的定制许可证。MiMo V2.5 同样具备图像和视觉推理能力,基准测试结果依然名列前茅,非常令人兴奋。

新模型刚出来时通常会有许多推理问题,我花了不少时间让它正常工作。我认为这不是本地推理的问题,因为我把结果与云端对比发现,云端在处理基础 3D 俄罗斯方块 HTML 游戏时都出了问题。虽然不确定全球网络状况如何,但这确实是个激动人心的时刻。

接下来我们看看生成效果,这里使用的是专业版写故事。可以看到角色 Elias 再次登场:“老钟表匠埃利亚斯住在一间弥漫着黄铜油味和被遗忘的时间气息的店铺里。”文笔优美,必须给它点赞。速度达到每秒 13.5 个令牌,在 Mac Studio 上使用了约 450 GB 内存,MacBook Pro 上使用约 70 GB。

回到我的测试项目:HTML 俄罗斯方块游戏,让我们看看启用思考模式后是否有效。点击开始按钮重新开始。它能生成一些内容,而且这是个相当不错的版本,因为它提供了方块落点投影功能,相当于开启了简单模式。制作俄罗斯方块有两种方式:禁用或启用思考模式。我发现至少在这个模型上,禁用思考模式会产生远逊的结果,所以最好保持启用状态。

不过话说回来,如果我们回到非专业版(Q9 版本),这是 100% 精度而非量化压缩的版本,运行在我们分布式计算设置上。它依然能轻松解决逻辑难题,例如“如何用一把刀将四个相同的橙子平均分给四个孩子”,答案很简单:每人一个整橙。它还能制作 3D 俄罗斯方块游戏吗?让我们看看,这是普通 V2.5 版本。

这里显示正在生成 3D 俄罗斯方块 HTML,速度接近每秒 27 个令牌。看这个结果:未启用思考模式生成了 4000 个令牌,速度为每秒 27.9 个。这是一个非常快的模型,仅使用了 323 GB 内存。或许我们可以进一步量化以适配 256GB 预算,如果你感兴趣请告诉我。

点击播放按钮看看效果:太棒了!看起来很美,虽然我不知道怎么玩。能向上移动吗?可以。[笑声] 没关系,不知道什么算好。这游戏很难玩,有物理效果和酷炫元素。我能移动摄像机吗?不能直接移,但可以用 Q 键旋转。虽然搞不清原理,但它拥有某种惊人的 3D 物理效果,演示很出色,而且这只是基础非专业版。

既然 V2.5 非专业版在大多数任务上表现优异,且具备额外潜力(虽然这里没展示),那么专业版相比基础 V2.5 多了什么?我们来给它一道国际数学奥林匹克题目:“确定所有实数……”它正在快速输出,这是非专业版。屏幕上满是高级数学推导,速度约每秒 27 个令牌,已生成 13000 个令牌。

我同时在他们的测试工作室直播运行此测试,这是 V2.5 版本,正从我的浏览器中大量进行数学运算。哦,你好。“我无法回答这个问题。”所以它失败了。专业版能搞定吗?这里发生了什么?让我们刷新页面。“我无法回答这个问题”、“我现在无法回答”。看来你不行啊,做不了数学题。这里有 15000 个令牌了。

有趣的是在约 20000 令牌处,我决定停止测试,因为已经做得够多了。它不想停下,只想继续循环往复。但在 25000 令牌处,它说“解确实是所有偶数整数”,这其实是正确答案。只是消耗了大量令牌且不愿结束,一直在绕圈子。虽然最终可能得出答案(也许来自训练数据),但它真的应该在 21000 令牌内完成才对。

让我们看看专业版能否承受压力。对于流式计算,只需在服务器端选择与客户端相同的模型即可。我点击“服务器”,我的 Mac Studio 已连接,并在服务设置中启用了分布式计算。这意味着当我在 MacBook Pro 客户端时能看到服务器上的所有模型,只需点击“分发到计算”按钮即可建立连接。

我将问题输入这里,思考模式已禁用,让我们看看它是否知道自己在做什么。

它现在的速度是每秒 13.7 个 token。我们需要达到 21,000 个 token,这正是 V2.5 版本所达到的水平。你看,在大约 4,000 token 时它给出了结论:“所以这必须是一个偶数整数。”虽然它会再次检查答案,但我们已经在 4,000 token 内得到了结果。相比之下,之前的 V2.5 版本在大约 8,000 token 时才说“这必须是一个偶数整数”,但它随后又继续推理了另外 12,000 token,只是反复确认所有细节。

尽管它已经知道答案了,却还多跑了 12,000 token [笑声]。在这里,它大约在第 8,000 token 处确认了答案,而在第 4,000 token 左右就知道了结果。它可能也会再次检查所有事情,因为当我们在其官方网站上提问时,网站崩溃了。它表示在 V2.5 和 V2.5 Pro 上无法回答这个问题,且聊天内容相互混淆。如果你仔细阅读或设置停止条件,就能得到正确答案。

因此,这个系统内部确实蕴含价值,我们发现它用一半的 token 数量就产生了正确答案。当然,由于它想要双重甚至三重检查所有事情,所以并没有在满足条件时停止。那么总体来说,大家怎么看小米 MiMo V2.5?我认为它非常棒,采用 MIT 许可证。你不能抱怨他们,必须支持这些团队,因为他们正在做很棒的事情。此外,V2.5 还包含音频和视觉功能。

显然,V2.5 Pro 需要更多的系统资源。我们将不得不开始建立社区分布式计算架构。我们会以此方式推进,以便大家能协作推理这些模型。但他们提供 MIT 许可证这一点是好的。如果你想查看它,我上传了我正在运行的量化版本,即 4.3 bit INF 量化。我还拥有 Kim K 2.6 的更好量化版本,其 token 准确率达到 99%。我需要为此制作一个视频,因为我真的把它做得很好了。

尽管它已经很棒,但我们让它稍微更好一点,不过那个版本无法放入 512 Max Studio。它需要更多空间。他们是从哪里获得这种能力的?它在编程方面击败了 GLM。他们的能力从何而来?我想知道。如果任何人知道,请告诉我。希望你们觉得这个视频有用并享受了节目。它仍然是“必须是一个偶数整数”。让我重新验证一下。所以,它只是在过度思考这个问题。

它在过度思考。