Nemotron 3 Ultra：550B参数模型的开放许可与数据合规优势

本期节目聚焦于 Nemotron 3 Ultra，这是一款拥有 550亿参数的巨型模型。NVIDIA将其与 Kimmy K2.6、GLM 5.1等顶级模型进行对标，声称性能处于同一梯队。该模型采用了一种名为 Open MDW 的新开放许可协议，其开放性程度可与 Apache 和 MIT 相媲美。这意味着用户在进行商业应用或模型修改时，拥有极高的自由度。

"They're using a new open license, Open MDW... it's up there with Apache and MIT."

此外，NVIDIA 强调其 训练数据完全公开，彻底规避了闭源模型可能面临的版权争议或数据合规风险。在技术架构上，该模型包含一个 MTP层（Multi-Token Prediction），尽管主持人尚未深入测试其具体效果，但计划先以“硬核”模式运行模型本身。值得注意的是，NVIDIA 作为全球市值最高的公司，免费开放了该模型的权重供用户下载和体验。

硬件门槛与Mac Studio的量化部署策略

尽管模型免费，但官方推荐的运行配置极高：需要 8块GB200 或 16块H100 GPU。这是一套价值超过 25万美元 的系统，且通常需要预订才能获取。为了打破这一硬件壁垒，本期节目将尝试在 Mac Studio 上运行该模型。由于完整的 BF16 版本无法装入现有内存，团队采用了 量化技术。

"We're going to be getting this behemoth of AI running on our Mac Studio..."

经过长达 24小时 的测试，主持人从多种量化方案中筛选出表现最佳的三种：一种是来自 MLX社区的 NVFP4 转换版，另一种是主持人自制的量化版本，第三种则是不同的精度配置。其中，6.2-bit INF edition 被特别指出，其权重与 BF16 原版的差异极小（fidelity negligible），但在速度上有所妥协。这种策略旨在平衡模型质量与本地硬件的可行性，验证在消费级/工作站级苹果设备上运行超大模型的真实性能。

推理能力基准测试：从歌词识别到多模型对比

首先进行了一项简单的“意志力”比例问答（10%运气，20%技能等）。Nemotron 3 Ultra在 Thinking Off、Medium和 High三种推理模式下均给出了正确答案，且在高思考模式下甚至跳过了不必要的内部独白。随后，节目将其与当前主流模型进行横向对比：

  • Kimmy K2.6 和 GLM 正确识别出歌词来源。
  • DeepSeek 错误地将其归因于“Fort Miner”。
  • Quinny (Qwen) 系列表现不佳，9-bit版本误认为是Yogi Bear，27B全量版则错误指向“Sexual Page”。
  • MiniMax 陷入循环，误认为是Taylor Swift。

"It thought it was Eminem to start off with thinking high..."

这一测试表明，Nemotron 3 Ultra在基础常识和歌词识别上表现稳定。接着进入代码生成环节，首先测试 Flappy Bird 的HTML实现。三种量化版本（4.5-bit、6.2-bit INF、MLX社区版）均成功生成了可玩的版本，其中 6.2-bit INF 的视觉效果被评价为最佳。在生成速度方面，4.5-bit版本达到 17 tokens/s，而6.2-bit INF版本为 11 tokens/s。随后测试3D版Flappy Bird，MLX社区版和6.2-bit INF版均生成了带有碰撞检测缺陷但视觉美观的3D模型，主持人给予两者 0.5分 的评价。

Flappy Bird与Word克隆的本地推理实测

在验证了代码完整性后，测试者对比了NVIDIA云端与本地Mac运行Nemotron 3 ULTRA生成Flappy Bird和MS Word克隆的效果。云端版本在“思考”模式关闭或中等时均出现碰撞逻辑错误，仅在高思维模式下生成可用代码。本地测试中，4.5位量化版本生成了32,000个令牌耗时2,000秒，虽然UI设计获得认可但存在功能缺失；而MX社区版生成30,000个令牌耗时2,600秒，却因运行时错误仅获低分。相比之下，Q6.2 INF版本以10,800个令牌生成了无错误且美观的界面，成为该任务的最佳表现者。尽管提示词简单导致整体效果未达预期，但本地推理在代码完整性上优于云端。

"So, that one actually won surprisingly. I don't know how it did that."

数学奥赛题与Snake游戏的逻辑推理能力测试

在数学任务中，模型被要求解决“偶数酷数字”问题。Q6.2 INF版本在10,000个令牌后正确推导出$2^k$的答案，尽管中间步骤有误但最终结果准确。然而，当思维模式设为中等或高时，模型分别得出了错误的整数n=4答案，且高思维模式耗时3,700秒生成40,000个令牌，显示出推理过程虽详尽但效率低下。在Python编码测试中，Q4.5和MX版本生成的Snake游戏代码几乎相同且简短（1,800令牌），而Q6.2 INF版本生成了2,600个令牌的代码，并提供了Turtle和Pygame两种选项，其中Pygame版本因使用专用引擎运行更快。尽管INF版结果更优，但所有版本均获得高分评价。

"So the 6.2, yeah, I'm going to give that a full mark because, you know, these math stuff are pretty tricky for these models to do."

程序化星球生成器的代码规模与稳定性挑战

测试者尝试让模型执行复杂的“死星”程序化星球生成任务。Q4.5版本生成了35,000个令牌，远超其他模型通常的10,000令牌上限。然而，由于代码量过大导致运行时错误，表明模型在生成超长复杂逻辑时存在稳定性问题。尽管预期极高，实际运行结果因错误而失败，突显了当前模型在处理大规模代码生成时的局限性。测试者指出，虽然推理速度较慢（如10.6令牌/秒），但模型具备MTP层，未来有望通过应用该层加速推理过程。

"And yeah, it's a runtime error. So, I guess it produced too much code.""

MLX社区版与Q6.2 INF版本的运行故障

在测试MLX社区版本时，该模型生成了30,000个token，速度为每秒11 token。然而，当尝试运行该版本时，系统再次抛出了运行时错误。随后测试的Q6.2 INF版本情况更为复杂，它生成了高达44,000个token的代码量。由于该测试是分块进行的，耗时较长且未记录具体计时数据。尽管背景中出现了星星等视觉元素，但系统依然报告了一个片段着色器的运行时错误。

"So, that is a shame. So, the Q 6.2 INF edition, that's not 3,000 tokens. That was 44,000 tokens..."

鉴于这些版本均存在严重的代码执行错误，作者对这些尝试给出了0分或0.5分的低评价。尽管即使禁用了思考模式，模型仍产生了巨量的代码输出，显示出其潜在的智力水平，但当前的稳定性不足使得这些尝试被视为浪费了时间。

GLM对比测试与Nemotron的潜在价值评估

为了验证模型能力，作者展示了GLM在生成3D Flappy Birds游戏时的表现。该版本采用4.8位量化，生成了9,000个token的代码。与Nemotron不同，GLM生成的代码包含了声音、美丽的拍打鸟动画、云朵以及碰撞检测功能。相比之下，Nemotron在类似的WebGL人脸生成测试中甚至无法产出有效结果。作者推测Nemotron可能更适合推理、医疗数据或故事写作，而非纯代码生成。

"This is GLM. And this is GLM with thinking disabled... It's got sound. You got a beautiful flapping bird."

在故事写作挑战中，Nemotron的多个版本（包括4.5位、MLX版和Q6.2 INF版）均成功识别出主角名为Elias。尽管生成速度在12至17.5 token/秒之间，且细节描述（如戴眼镜、测量时间）略有不同，但模型均遵循了角色设定。作者认为Nemotron拥有巨大潜力，其开源权重和清晰的训练数据记录是重要优势。

硬件销售策略与模型许可分析

作者指出，NVIDIA官方列出的运行该模型的硬件要求高达25万美元以上。尽管在Mac上艰难地以约5%的性能运行了该模型，但这证明了在非NVIDIA硬件上的可行性。作者推测，发布此模型的真正目的可能是为了销售其昂贵的专用硬件。如果该模型能成功驱动NVIDIA的硬件销量，预计未来会发布更多此类改进版本。

"I mean they've listed requirements quarter of a million dollar plus hardware to run this model... Obviously we managed to get it running little harder 5%."

该模型的许可证被评价为优秀，允许用户自行验证训练数据。作者最后幽默地表示，如果NVIDIA知道Mac能运行该模型可能会停止支持，因此建议保持低调。视频在作者模仿Yogi Bear的叫声中结束，暗示了对NVIDIA硬件依赖性的讽刺与期待。

结论

Nemotron 3 Ultra在Mac Studio上的量化部署验证了其非CUDA生态的可行性，但性能仅为官方推荐的5%。其核心优势在于Open MDW许可与公开训练数据，彻底规避了闭源模型的版权合规风险。在代码生成方面表现两极分化：Q6.2 INF版本在Flappy Bird和数学题上稳定且高效，但处理复杂3D逻辑时因代码量过大导致运行时错误。相比之下，GLM在同类任务中功能更完整。该模型目前更适合推理、医疗数据或故事写作，而非纯代码开发；其发布本质是驱动NVIDIA昂贵硬件销量的策略，本地运行虽具技术意义但受限于稳定性与速度瓶颈。