Meta Muse Glimmer 发布与多模态能力初探

Meta 最新发布的开源权重模型 Muse Glimmer(被主持人戏称为 Llama)正式登场,该模型由 Intelligentsia Labs 推出,拥有 30B 参数规模。根据官方基准测试数据,Glimmer 在 SW Bench Pro 上甚至击败了 Qwen 3.6,而在 Verified 任务中表现略逊一筹。尽管官方声称其性能接近 Kimi K3,但并未完全超越。在本地部署测试中,Glimmer 展现出强大的多模态推理能力,能够处理图像和视频。当询问图片中的猫时,Qwen 3.6(启用 Spectral Decoder)和 Kimi K3(禁用思考模式)均识别为姜黄色虎斑猫,而 Glimmer 则给出了更细致的描述:Domestic cat(家猫),并指出其常被称为 Marmalade(橘子色/姜黄色)。这一细节展示了 Glimmer 在视觉语义理解上的独特视角,尽管三者输出整体相似。

"I think [snorts] a Glimmer definitely won this test."

3D Voxel 猫生成测试:Glimmer 胜出 Qwen

在“创建图像动画版 3D Voxel”的编码测试中,Qwen 3.6 启用思考模式后生成了 5,700 tokens,而 Glimmer 在“Extra High”思考模式下仅生成了 4,000 tokens。尽管 Glimmer 的 token 数量较少,但其生成的视觉效果在保真度上更胜一筹。Qwen 的结果虽然美观但存在部分损坏,而 Glimmer 成功还原了灰色背景墙、绿色草地地面以及关键的动画尾巴。主持人评价 Glimmer 在此测试中明显获胜,其输出与原始图像的相似度极高。这一结果也颇具讽刺意味,因为 Qwen 3.8 即将发布,而 Glimmer 在当前的单轮提示(one-shot prompt)测试中展现了更强的代码生成质量。

"I think uh Glimmer definitely won this test. You got an animated tail over here... Very very similar to the actual cat here."

飞行模拟与弹射器生成对比

在测试“放松的飞行模拟器”时,Qwen 3.6 直接抛出运行时错误导致失败。相比之下,Muse Glimmer 成功生成了包含速度指示器和云层的界面,虽然缺乏实体飞机模型且画面基础,但成功运行并获胜。随后测试中世纪攻城武器“弹射器”,Qwen 3.6 生成了精美且可交互的动画场景,甚至具备营地元素。尽管 Muse Glimmer 也生成了可发射的弹射器,但其箭矢横向飞出的逻辑错误使其在视觉保真度上落败。Qwen 3.6 凭借更高质量的光影效果再次胜出,展示了其在复杂场景渲染上的优势。

3D人体解剖与GTA风格生成测试

在“3D人类”测试中,Qwen 3.6 消耗23,000个token生成了包含肌肉、神经和循环系统的完整解剖模型,支持爆炸视图展示内部结构。而 Muse Glimmer 在极高思考模式下仅输出3,800个token,结果却是黑屏且无报错。转入 GTA 风格测试时,Muse Glimmer 生成3,000个token得到一辆卡住且相机失控的基础车辆。Qwen 3.6 则生成了具备昼夜循环、小地图及NPC的完整浏览器版GTA,其生成质量远超对手。尽管 Qwen 3.6 在后续测试中因变量重复声明报错,但其基础生成的完整性仍被认可。

单次生成有效性与性能数据汇总

作者强调单轮基础提示词测试的有效性。若模型无法理解自身代码逻辑(如变量重复声明),则更复杂的高级提示词必然失败。这种“先爬后走”的测试逻辑揭示了模型底层推理能力的差异。以下是本片段中明确记录的生成数据对比:

测试项目 Qwen 3.6 Token数 Muse Glimmer Token数
3D人体解剖 23,000 3,800
GTA风格生成 - 3,000

此外,作者提及 Qwen Max 需要5TB存储空间才能运行,暗示了本地部署大模型的硬件门槛。

Muse Glimmer与Qwen的创意生成对比

在3D马里奥平台跳跃游戏测试中,Muse Glimmer生成的动画效果略显基础,而Qwen在14,000 tokens的生成中展现了巨大潜力。尽管碰撞检测存在缺陷,但Qwen生成的死亡动画和云朵效果令人惊叹。相比之下,Gemini Pro 3.1需要每月支付超过$170美元的费用。在Out Run赛车测试中,Qwen生成的代码存在明显错误导致赛道缺失,而Glimmer虽然将道路生成为管状结构,但整体表现更为稳定。在Canvas动画测试中,Qwen成功实现了车辆靠右行驶的逻辑,并生出了美丽的山脉背景;而Glimmer生成的代码因未放入代码块且存在运行时错误,导致无法直接运行。

"It's a shame the collisions don't work. Oh, what is going on there... I got wrecked."

逻辑推理与数学能力深度评测

在基础逻辑测试中,面对“开车去洗车”的任务,Qwen在未开启思考模式下正确识别了驾驶需求。而在“Bo Selector”文化测试中,Qwen错误地将Selector解释为DJ的缩写,Glimmer则正确回应了“Bo selector”,但两者均未能识别出Rewind舞蹈元素。在切橙子测试中,面对8个橙子和4个孩子的问题,Qwen和Glimmer均给出了每人两个橙子的正确回答。在IMO数学难题测试中,Qwen在未开启思考模式下仅用6,000 tokens得出正确结论;而Glimmer在低思考模式下生成了离奇答案,即便开启高思考模式消耗26,000 tokens后仍未完全解决。Qwen在30,000 tokens的思考后因响应限制停止,但整体数学推导过程更为严谨。

"Qwen says two oranges each. Glimmer says two oranges each... That's good."

代码生成质量与用户体验差异

在Microsoft Word生产力应用测试中,Qwen生成了约15,000 tokens的代码,界面美观且功能正常。Glimmer生成的代码存在图标逻辑反转问题(点击下划线反而移除格式),且界面风格偏向复古黑底白字。尽管Glimmer的代码能运行,但Qwen在功能完整性和视觉呈现上明显胜出。此外,Glimmer在处理代码时存在未将代码放入标准代码块的问题,增加了用户手动运行的难度。在IMO数学题的渲染过程中,Glimmer出现了变量符号显示错误(如epsilon显示异常),需要修复前端渲染逻辑。尽管Glimmer在测试初期曾短暂胜出,但Qwen在复杂代码生成和数学推理的稳定性上展现了更强的竞争力。

Muse Glimmer 的开源许可与未来展望

Muse Glimmer 采用了 Apache 2.0 许可证,这一开放策略允许开发者将其与 Qwen(通义千问)或 Kimi K3 进行直接配对和对比测试。尽管目前的性能尚未完全超越 Qwen 或 Kimi K3,但社区对其 版本迭代 抱有较高期待。作者认为随着后续版本的更新,Glimmer 的表现有望显著提升,因此建议给予该项目一定的宽容度和观察期。这种开源生态的开放性使得不同模型之间的横向对比成为可能,也为本地 AI 部署提供了更多选择。

"license Apache 2 and they can pair it against Quen and they can pair it against Kate 3."

Qwen 与 Kimi K3 的生成质量差异分析

在具体的图像或内容生成测试中,Qwen 模型消耗了 6,000 tokens 生成了结果,虽然整体质量尚可,但存在明显局限。相比之下,Kimi K3 仅额外消耗了 2,000 tokens(即总消耗略高于 Qwen),却实现了质的飞跃。作者特别指出,Kimi K3 在 光照效果(lighting)上的表现远超 Qwen,两者之间的差距被形容为“天壤之别”(night and day difference)。这一现象表明,在本地大模型应用中,token 效率与输出质量的非线性关系 极为显著,少量的算力或上下文投入可能带来视觉效果的巨大提升。

"It's crazy how Quen at 6,000 tokens makes this generation... but Kate 3 with just another 2,000 tokens just it's just night and day difference."

测试结论与观众互动反馈

综合各项指标,作者最终判定 Muse Glimmer 赢得了此次测试。尽管 Kimi K3 在光照等细节上表现更佳,但 Glimmer 展现出的 元超级智能(meta super intelligency)潜力使其成为最终赢家。视频结尾,作者邀请观众分享对 Glimmer 新闻的看法,并询问大家认为谁真正赢得了测试:是 Kimi K3、Qwen 还是 Glimmer?部分观众在评论中确认了 Kimi K3 的生成效果优于其他模型,并认为 Glimmer “拥有巨大的潜力”(has got potential)。这种互动不仅验证了测试结果的争议性,也反映了社区对本地 AI 模型性能差异的敏锐感知。

结论

综合各项测试,Muse Glimmer虽在3D Voxel生成及多模态细节描述上胜出,但整体表现仍逊于Qwen 3.6与Kimi K3。其核心短板在于复杂代码生成的稳定性(如黑屏、逻辑错误)及数学推理能力,且存在未规范输出代码块的问题。Qwen 3.6在功能完整性、光影渲染及复杂场景构建上优势显著,Kimi K3则以更低的token消耗实现了质的飞跃。尽管Glimmer凭借Apache 2.0许可及潜在迭代空间被作者判定为最终赢家,但其当前性能尚未完全超越对手。该结论表明Glimmer目前仅适合对多模态细节有特定需求且能容忍代码缺陷的场景,在生产力应用及高保真生成领域仍需依赖Qwen或Kimi K3。