这段旋律出自《瑜伽熊》。[音乐] 32500个token，思考功能关闭；开启高深度思考。[笑声] 大家好，欢迎收看本期节目。今天我们要体验的是Nemotron 3 Ultra版模型。这是一个拥有550亿参数的巨型模型，官方将其与Kimi K2.6、GLM 5.1等顶级竞品进行对比，声称性能旗鼓相当。

该模型采用了一种名为Open MDW的新开源许可证，其开放程度堪比Apache和MIT协议。如果你打算将其用于商业目的或进行二次开发，这是一个非常友好的许可条款。此外，官方宣称其训练数据完全公开可用，因此不存在某些闭源模型因使用受版权保护数据而引发的法律风险问题。

这是一个规模庞大的模型，官方特别指出其4-bit量化版本在推理速度上超越了Qwen、Kimi和GLM。模型内部还包含一个多token预测（MTP）层，但我尚未深入测试该功能。我想先验证模型的基础能力是否足够强大，因此我们将直接进行硬核运行来启动测试流程。

Nvidia作为全球市值最高的公司，竟然免费开放了这个模型供公众下载和玩耍，但这背后有一个巨大的门槛。查看其官方描述可知，运行该模型需要8块GB200或16块H100显卡。这是一套价值超过四分之一美元的系统，且目前需要预订才能获取硬件支持。

因此，我们要在这个频道做一件“疯狂”的事：将这只AI巨兽跑在我们的Mac Studio上。看看它的速度如何，[倒吸凉气] 我不知道会发生什么，但这真的可行吗？答案是肯定的。我们已经获得了推理结果，并准备了一系列量化版本。因为完整的BF16精度模型无法装入我系统的内存中，所以我必须对其进行压缩量化处理。

官方甚至提供了NVFP4量化版本，声称其质量表现优异。我们将尝试三种不同的方案：一种是来自MLX社区的NVFP4转换版，另一种是我自己制作的版本，还有一种是其他不同的量化方案。说实话，为了得出这些结果，我花了整整24小时进行测试和筛选，最终从众多尝试中精选出表现最好的三个版本。

首先我们进入Inferencer界面，第一个挑战是：“这首歌10%靠运气，20%靠技巧……”模型知道答案。在“思考关闭”模式下直接给出正确答案；切换到“中等深度思考”，回答变得更冗长但依然正确。有些模型在调整思考模式时会改变答案，让我们检查一下它是否搞混了歌曲来源。

实际上，高深度思考模式下模型立刻意识到无需复杂推理。有趣的是，高深度模式的输出反而比中等模式更简洁。你可能觉得大家都会唱这首歌，但真的吗？接下来我们要将其与当前所有顶级模型进行基准测试。首先看Kimi K2.6，它知道答案是《8 Mile》；GLM也正确识别出是Eminem的作品。

DeepSeek认为歌词是关于“集中精神、清澈水源”的，答错了；Qwen 3.6则胡言乱语。大家喜欢开源时期的Qwen，但这次它猜错了。9-bit量化的Qwen再次出错；27B全精度版本认为是《Sexual Page》，也错了。MiniMax陷入循环，以为是Taylor Swift的歌；GPT OSS 120B版本则给出了错误的百分比组合。

值得注意的是，4.5-bit量化版速度为17.9 token/秒，而我们将使用的6.2-bit INF版本虽然只有11 token/秒，但其权重与BF16全精度版本的差异微乎其微。这意味着在极小的质量损失下实现了大量压缩，性价比极高。接下来我们将在这三个版本之间进行记分板对比，首先从“Flappy Bird”挑战开始。

4.5-bit版本生成了一个标准的HTML版Flappy Bird，画面精美；6.2-bit INF版本的视觉效果同样出色且可玩性良好；MLX社区量化版的文字略显怪异，但整体生成质量依然很高。这三个版本都成功通过了Flappy Bird挑战，全部获胜。

接下来我们要求生成3D版Flappy Bird。MLX社区版本虽然明显不正确，但屏幕上确实有内容显示，我给予0.5分。6.2-bit INF版本呈现出类似DeepSeek S的风格，碰撞检测失效但3D模型精美且透视合理，同样获得0.5分。4.5-bit版本速度更快，达到17 token/秒。

最终对比显示：6.2-bit INF版本速度为10.6 token/秒，而4.5-bit版本达到11.6 token/秒。尽管速度略有差异，但两者在质量上均表现出色，证明了在Mac Studio上运行如此大规模模型的可行性与高效性。

每秒17个token，所以这个版本快得多。而且这确实是个不错的版本，碰撞检测也是正确的。因此那个版本意外地赢了。我不知道它是怎么做到的。

在继续之前，我们想验证一下我们的参考代码与NVIDIA官方的一致性。所以我实际上去了NVIDIA的云平台上，让它生成一些内容。这是它为3D Flappy Bird生成的结果。禁用思考模式时是坏的，中等思考模式下也是坏的。当我们切换到高思考模式时，我们得到了一些东西。所以这很好。

看起来我们的推理代码中碰撞检测是坏的。但至少能展示出来，这是个好消息。无论如何，我们要回去看看也许3D游戏不是它的强项。我们将要求它做一个MS Word克隆版。

实际上，让我们先看看云端生成的结果。这是禁用思考模式下云版本生成的内容。它是一个非常基础的Word版本。而高思考模式下的这个，你甚至无法在屏幕上输入文字，你也读不懂它的内容。

我们将在本地系统上运行这个4.5比特量化版本。禁用思考模式下生成了32,000个token，耗时2,000秒。那是我半辈子的时间盯着屏幕看能不能运行它。希望它是好的吧。

这是什么？这是UI设计，我知道我会给它打一分的。是的，我们可以更改字体。它有很多功能特征。我要把它改成0.75分，因为在展示方面失分了。

这是最快的那个版本，每秒17个token。这是MX社区版，每秒11.7个token，生成了30,000个token。这花了2,600秒，也就是大约40分钟的时间。点击播放看看值不值得吧？这个版本没有任何功能特性，而且存在运行时错误。也许UI更好一些。

我还是要给它0.75分，因为它的UI比上一个怪物版本要好一点。至少它使用了标签页布局。但同样存在运行时错误。6.2 INF版本每秒10.5个token，只包含10,800个token。这是一种更高级的量化方式。让我们看看它能做什么吧。

我们可以看到这个版本更加美观，实际上这是最好的一个，而且没有运行时错误。所以那个得到满分。显然我见过更好的MS Word版本，期待更完美的呈现效果，但我的提示词非常基础。

也许你需要给这个模型更高级的提示，比如系统提示说你是超级设计师之类的人。我们应该尝试另一个应用吗？你知道什么吧？让我们切换一下，来做数学题。它能做数学奥林匹克题目吗？

首先6.2 INF版本说唯一的偶数酷数是n等于2。这实际上是不正确的，但它继续推理证明过程。一万token之后它说答案是2的k次方，这才是正确的答案。所以6.2版本我要给它满分，因为这些数学问题对这些模型来说相当棘手。

现在将思考模式设置为中等时，它实际上在试图找出答案。你可以看到它在推理链中进行推导。结果得出整数n等于4，这是错误的。6.2 INF版本说唯一的偶数酷数是n=2，这实际上不正确，但它继续推理证明过程。

一万token之后它说答案是2的k次方，这才是正确的答案。所以6.2版本我要给它满分，因为这些数学问题对这些模型来说相当棘手。现在将思考模式设置为中等时，它实际上在试图找出答案。

你可以看到它在推理链中进行推导过程发生了什么情况。结果得出整数n等于4，这是错误的。当思考模式设置为高时……我现在正在用触控板做运动呢。四万个token，每秒10.6个token，耗时3,700秒。

这是一小时的推理时间。我知道我设置了4万token的响应限制，那是我愿意接受的最长时间了。所以是的，它就是在遍历宇宙的奥秘来得到这个答案。如果你希望它进行推理，它就会去推理并得出结论。

显然这些token速度很慢，但正如我之前所说，它确实有一个MTP层。我们还没有实验过这个功能，但在应用后应该能够加快我们的推理速度。好的，让我们回去做一些Python风格的编程吧。

使用Q4.5量化时我们让它制作贪吃蛇游戏，它使用了turtle模块来创建。MX社区版本也是1,800个token左右，基本上相同的要求使用turtle模块。让我们对两者做个差异比较吧。

两个版本的代码几乎完全一样，只有细微差别。区别出现在切换到Q6.2 INF版本时，它会生成2,600个token。实际上它给了你两个选项：一是使用内置的Turtle模块无需安装，二是可以使用Pygame。

后者运行更快但需要执行pip install pygame命令。如果我们运行那个版本，让我们看看效果如何。显然这是一个基础版本的贪吃蛇游戏。我相信如果加入思考模式可能会稍好一些，但它能正常运行。

实际上对于所有这些版本我都会给最高分，尽管INF版得到了更好的结果是因为它提供了两个选项。因为Pygame版本显然运行更快因为它使用了专用引擎来处理游戏逻辑。

好的，让我们深入看看能否做一些高级项目吧。这是一个程序化行星生成器，它要求你执行一些详细指令来制作死星之类的东西。那么它生成了什么呢？

这不是9,000个token，我要进去看看具体情况。上下文产生了34,000个token。我分块处理是因为通常其他模型最多只能生成1万token左右，而这个版本生成了35,000个token。

这是Q4.5量化版本，所以我期待一些精彩的内容。你觉得它会做出很棒的东西吗？在评论区告诉我你的看法吧。4.5版本，好的我们要点击播放了。

是的，出现运行时错误了。我想它可能生成了太多代码导致出错了吧。

可能会把错误反馈给它，让它每秒改进10到17个词元，也就是35,000个词元。我觉得今天的演示没必要这么做，但系统确实有很多开关选项，所以这绝对是个可以随意调整的系统。MLX社区版本也生成了30,000个词元，速度是每秒11个。我们来看看这个版本的效果如何？大家觉得怎么样？

砰，又是一个运行时错误。真可惜。Q6.2 INF版本生成了44,000个词元，而不是3,000。我没有记录这个版本的耗时，因为我是分块运行的，花了很多时间。最后在这个版本里，我们看到了不同的菜单界面，背景里有星星出现，但其中一个片段着色器仍然有运行时错误。

这很遗憾，不过它提供了更完整的解决方案。我会给这个版本0.5分，其他几个我给零分，因为它们浪费了我的时间。即使禁用了思考模式，它也产生了巨量的代码。我认为智能和潜力是存在的。如果NVIDIA这家初创公司坚持下去并不断改进这个模型，他们可能会真正拥有特别的东西，尤其是它是开放权重的。

它的训练数据记录很干净。虽然许可证里说你不能直接使用，必须自己双重检查所有内容，但你知道它告诉你训练数据的来源。所以这个模型有很多潜力。这里还有其他一些测试。例如，我尝试制作WebGL照片版本的脸部图像，结果什么也没得到，甚至NVIDIA的云端也在那里出现了运行时错误。

显然还有很多改进空间，但这就是今天的现状。我们可以输入MTP层，希望下一个版本会更好。我不确定他们的基准测试为什么这么接近GLM。让我展示一下GLM能做什么，让大家看看GLM的实力。我们要做一个3D Flappy Birds游戏。

我们之前看过这个模型的表现，现在让我们试试NVIDIA的版本。这是那个NVIDIA版本生成的代码。我们要看看GLM能做出什么效果。量化，这是4.8位量化版本，生成了9,000个词元。它有声音效果，有一只漂亮的拍打翅膀的小鸟，有美丽的云朵，还有碰撞检测功能，当你穿过管道时会有声音。

这就是GLM的效果，而且这是禁用思考模式下的表现。想象一下如果启用思考模式会多好。我不确定这些图表是什么，可能是C++代码，也可能是其他编程语言。请告诉我你们的经验。也许这个模型甚至不适合编程，而是用于推理健康数据、法律数据或写故事呢？

实际上，让我们快速做个写故事的挑战吧。看看会发生什么。你觉得它会变成Elias吗？我们开始试试。可爱的4.5位版本，1,000个词元，速度是每秒17.5个。结果确实是Elias！在这个故事里他不相信鬼魂的存在。MLX版本速度是每秒12个词元，再次出现了Elias Thornne这个角色，他在故事里用秒来衡量时间。

Q6.2 INF版本中时钟在嗡嗡作响，又是Elias！他现在戴着眼镜并调整了眼镜框。至少它们都尊重了这个别名设定，看来Elias才是正确的方向。请告诉我你们对Nemotron 3 Ultra版本的看法。我认为它拥有巨大的潜力，我确信他们发布这个模型是为了销售硬件。

毕竟他们在要求中列出了价值四分之一美元以上的硬件配置才能运行这个模型。显然我们设法让它以5%的难度跑起来了。别告诉NVIDIA，如果他们知道我们可以不用他们的硬件也能运行，可能会停止支持。但显然在他们的硬件上会快一千倍之类的效果。

如果这对他们有利，如果他们能用这个模型来销售硬件，那就意味着希望他们会发布更多这样的模型。它们会越来越好。许可证很棒，训练数据也应该都摆在那里供你使用。所以请告诉我你们的想法。希望你们觉得这个视频有用并享受了节目内容。

这是由Yogi Bear制作的。Yogi Bear！32,000个词元，思考模式禁用[音乐] 思考设置为高。嘿NVIDIA，给我写封邮件发给你们的公关团队，让他们送我些硬件吧。要写得有说服力才行。黄金法则是公关团队不会给粉丝送硬件，所以我得假装我不喜欢NVIDIA。我绝不会考虑评测NVIDIA产品……