MiMo V2.6 Pro 的开源优势与基准测试争议

MiMo V2.6 Pro 是一款采用 MIT 许可证发布的开源权重模型,这意味着它对商业使用非常友好。相比之下,目前公认性能最强的 GLM 系列虽然表现优异,但受限于自定义许可证,用户若达到一定收入规模需向官方报备使用情况。在基准测试方面,MiMo V2.6 Pro 的表现令人兴奋,其在特定图表中达到了 71.9 的高分。作为对比,DeepSeek V3 仅获得 66.9 分。

然而,数据解读存在细微差别。DeepSeek V4.1 宣称其 SWE(软件工程)得分为 74,但细看小字说明可知,该成绩是在使用 OpenCode 等特定工具时测得 65 或 66 分,且是多次测试中挑选出的最佳结果。这种“樱桃采摘”式的选优策略可能夸大了实际表现,尽管 MiMo 是否采用相同手段尚不明确。> "They pretty much tested it like several times and they picked the best."

模型名称 SWE/特定基准得分
MiMo V2.6 Pro 71.9
DeepSeek (V3) 66.9

量化敏感度与集群部署的内存挑战

为了在本地运行该模型,573 GB 的 RAM是最低门槛。作者尝试将其量化以适配 512 GB 的系统,但发现该模型对低比特量化极度敏感。无论是 3-bit 还是更高级的量化版本,都会导致严重的代码错误和性能下降。因此,建议用户即使运行 Flash 版本也务必使用 8-bit 量化,以避免糟糕的体验。

在硬件部署上,作者构建了一个由 Mac Studio、M4 Max 和 M5 Max 组成的集群。起初仅使用 Mac Studio 和 M4 Max,但在生成超过 10,000 tokens 时遭遇内存溢出。加入第三台电脑(M5 Max)后,集群成功连接并稳定运行。基础测试显示生成速度约为 15 tokens/秒,接近全精度版本的表现。

3D 生成测试:量化失效与原生推理能力验证

在具体的代码生成测试中,作者首先要求模型创建一个 3D 太阳系。使用原生精度(未量化或轻微量化)时,生成了约 1,800 tokens 的代码并成功运行。然而,当切换到量化版本时,结果截然不同:3-bit 量化版直接输出黑屏,而更高级的量化版本虽然能运行但质量明显下降。> "When I tried running the quantized version... This is what I got for a 3D solar system: a black screen."

随后,作者测试了启用“思考模式”的 3D 太阳系生成。该过程产生了 5,000 tokens,速度为 14.75 tokens/秒。虽然视觉效果不如 Qwen 等模型惊艳,但关键在于没有运行时或编译错误,这证明了推理代码的稳定性。接着测试了核爆炸场景,原生版本生成了 2,900 tokens 并成功展示爆炸效果;而量化版在尝试相同任务时直接出现运行时错误,即便启用思考模式也无法修复。

MiMo V2.6 Pro 在启用思考模式下的面部生成质量

在本片段中,测试者首先展示了 MiMo V2.6 Pro 在生成人脸时的表现。当启用思考模式(Thinking Enabled)时,模型消耗了 33,000 tokens 进行推理。尽管过程中出现了思考循环(thinking loop)的问题,需要后续移植检测器到分布式计算中解决,但最终生成的图像质量令人印象深刻。生成的人脸具有非常美观的轮廓和单眉(uni brow)特征,被评价为“非常漂亮”且令人骄傲。相比之下,未启用思考模式的生成结果较为怪异,呈现出类似蛋形的形状,且存在两个鼻子等结构性错误。这表明思考模式显著提升了复杂视觉生成的逻辑性和美学质量。

"So, got to say he's got a super uni brow... This is a very good generation of a face."

代码生成中的思考循环与温度参数权衡策略

在尝试用 MiMo V2.6 Pro 生成《侠盗猎车手》(GTA)游戏代码时,测试者发现启用思考模式会导致模型陷入循环。为了解决这一问题并避免生成错误的语法代码,测试者提出了一种变通方案:在思考阶段结束后停止模型,然后将温度(Temperature)重置为 0 继续生成。通过检查标签并选择结束思考标记,模型成功生成了 100,000 tokens 的 GTA V 重制版代码。这一过程揭示了在本地大模型部署中,平衡推理深度与生成稳定性的关键在于对温度参数的动态控制。

"The problem with increasing the temperature is I find that it does produce bad syntax code."

Agent 模式下的文件结构化优势与多模态局限对比

测试者进一步比较了 MiMo V2.6 Pro 与 Qwen 4 EXP、Nemo Flash 等模型在 Agent 模式下的表现。Agent 模式会将代码保存为多个独立文件(如 JS、Main),虽然消耗更多 token,但能产生结构更清晰、模块化更好的代码。在 GTA 生成测试中,MiMo V2.6 Flash Edition 的 Agent 模式版本在角色动画和驾驶手感上优于 Qwen,尽管存在左右方向反转的常见 bug。然而,在多模态图像转代码任务中表现不佳:模型虽然能识别出《帝国时代 2》的截图,但在启用或未启用思考模式下均未能生成有效的游戏代码。这表明该模型在纯文本/代码生成的 Agent 能力上较强,但在视觉多模态理解与执行转化方面仍有明显短板。

Minecraft生成机制与思维模式对比

在Minecraft测试中,关闭思考功能时模型无法创建额外村民,尽管拥有游戏皮肤但逻辑未完全成熟。启用思考模式后生成量激增至 32,000 tokens,虽背景缺失但菜单系统允许获取树木、黄金和铁矿石。虽然村民创建功能依然失效,且整体生成质量仅略优于前次测试,但无运行时错误的单提示词稳定输出被视为显著优势。

"I can't create extra villagers. It's got the skin of the game, but it's not fully baked."

Tomb Raider与知识问答的量化表现

Tomb Raider测试中,模型未识别IP名称仅重构文件。启用思考模式后生成5,000 tokens,实现了带有反射光照的枪械及可射击油桶机制,但角色移动存在下沉地面的缺陷。在知识问答环节,Pro版正确关联Craig David与Rewind歌曲,优于Flash版的错误回答。尽管Max量化版本未能完全展开答案细节,但整体准确性较前代有提升。

"We do have a gun and we do have lighting. So, that's kind of nice... the reflective lighting on the actual gun and we can actually shoot the barrels."

GTA生成质量与集群部署评估

GTA Los Santos测试生成了约 100,000 tokens 的代码,包含两个JS文件和一个CSS文件。游戏实现了流畅的开场动画、行人射击机制及警察追捕系统,城市生成效果出色但需增加更多NPC。该模型采用 MIT许可证 且在基准测试中登顶,支持多机集群部署以解决单设备性能瓶颈。尽管运行速度较慢且需硬件集群,但代码结构优化与代理机制的结合带来了显著的性能提升。

结论

MiMo V2.6 Pro凭借MIT许可证和71.9分的基准成绩,在代码生成与Agent模式的结构化输出上展现出超越GLM及DeepSeek的潜力。其核心优势在于启用“思考模式”后能显著提升复杂视觉与逻辑生成的稳定性,如成功生成无错误的3D场景及GTA代码。然而,该模型存在明显短板:对低比特量化极度敏感导致性能崩坏,且多模态图像转代码能力较弱。此外,思考模式易引发循环或高内存消耗问题。

综上,MiMo V2.6 Pro并非通用替代方案。它适用于拥有573GB以上内存集群、能接受8-bit量化及较慢生成速度(约15 tokens/s)的专业开发者,用于处理长代码与结构化任务。对于单设备用户或依赖视觉多模态的场景,该模型目前仍不具备实用价值。