模型概况与测试背景
本次评测的对象是 NVIDIA 发布的 Nemotron 3 Ultra，这是该系列中参数规模最大的开源模型。作为一个拥有 5500 亿（550 billion）参数的大语言模型，它采用了 混合专家（Mixture of Experts, MoE） 架构，其中活跃参数为 550 亿（55 billion）。这种设计使得模型在保持庞大知识储备的同时，能够更高效地进行推理。此外，该模型采用了 混合 Mamba-Transformer 架构，这一技术选择旨在优化长上下文处理时的显存占用。与传统纯 Transformer 模型不同，混合架构使得在更长上下文中运行时，显存需求不会剧烈膨胀。同时，该模型支持高达 100 万（1 million） 的上下文长度。NVIDIA 不仅开源了模型权重，还公开了完整的训练配方（training recipe），这意味着开发者可以复现模型的整个训练过程，而不仅仅是使用预训练的权重。
基准测试与定位分析
从官方提供的基准测试数据来看，Nemotron 3 Ultra 的定位并非纯粹的代码生成巨兽。在编码能力方面，其得分 落后于 GLM-51 和 Kimiko 2.6（尽管后者参数量更大），但与 Qwen 3.5 (397B) 处于同一水平线。这意味着该模型不太适合直接生成极其复杂的代码项目，如大型 3D 游戏引擎。相反，其核心优势体现在 企业级安全使用、智能体生产力（Agent Productivity） 以及 指令遵循能力上。测试图表显示，在特定任务完成度与成本的关系中，Nemotron 3 Ultra 运行成本低于其他性能相当的可比模型，这进一步印证了其作为高效智能体模型的潜力。此外，该原生支持 MTP（Multi-Token Prediction） 技术，能够加速令牌生成速度。由于其在编码能力上与 Qwen 3.5 (397B) 相当，评测者决定沿用以往针对该量级模型的测试标准。
浏览器操作系统（WebOS）实测表现
为了验证模型的实际代码生成能力，评测者使用了“浏览器操作系统测试 V2.5”，要求模型在网页环境中构建包含两个 3D 应用（其中一个为 GTA 克隆版）及其他浏览器功能的完整操作系统界面。Nemotron 3 Ultra 成功生成了总计 2,303 行代码，这一结果令人印象深刻。在功能实现上，模型准确实现了 右键点击菜单、WebOS 3.0 Neon 内核的时间显示、工作区帧率监测以及开始菜单等核心功能。对于应用图标缺失的问题，评测者认为这虽然影响了视觉完整性，但并未阻碍核心逻辑的运行。
“What the heck? Frames per second in the browser OS? How do you knock something like this out, which is sick... I have to say, I'm already impressed.”
在应用交互测试中，模型生成的终端能够正常响应命令。评测者成功通过终端启动了 GTA 游戏和 Neofetch系统信息工具。在视觉特效方面，模型实现了 赛博朋克主题、数字雨（Matrix 风格）等效果。尽管在窗口管理上出现了一些小插曲，如全屏与最小化操作的混淆，但模型最终正确识别了导航栏操作。文件浏览器功能也正常运行，且评测者对生成的 主题风格表示喜爱。整体而言，尽管存在图标缺失等细节瑕疵，Nemotron 3 Ultra 在复杂前端代码生成和逻辑连贯性上展现了强大的能力，证明了其作为通用大模型在编程任务上的可用性。
初步调试与基础功能修复
测试者首先尝试让模型修复一个存在问题的浏览器操作系统（Browser OS）中的 3.js 游戏。在将开发者工具中发现的错误反馈给模型并切换至“计划模式”后，模型生成了一个详细的待办事项列表。尽管初期尝试的修复方案未生效，但在测试者将具体的错误日志重新粘贴给模型后，它迅速定位并解决了问题。核心修复包括为按钮图标建立与特定应用程序的正确关联，以及优化开始菜单、终端和文件管理器的显示效果。测试者确认了文件系统的基本功能，如创建新文件夹等均可正常运作。这一过程展示了模型在处理具体代码报错时的快速响应能力，尽管部分隐藏元素（如关闭按钮）仍需手动检查。
"I hate base 64. You know what? I think this model can actually handle that."
复杂场景生成的挑战与自主调试机制
随后，测试转向更具挑战性的任务：生成一个可交互的精美地铁站场景。起初，模型生成的代码虽然消除了部分语法错误，但未能正确渲染资产。测试者发现模型有时会硬编码特定的错误提示信息，导致流程受阻。在多次手动干预失败后，测试者决定让模型自主运行调试管道。这一策略旨在测试模型的长上下文处理能力及其在复杂代码库中自动发现并修复控制台日志错误的潜力。模型被指示要么自主读取 Chrome 控制台日志进行持续修复，要么在无法解决时优雅退出。这一过程极其耗时，且初期结果并不理想。这反映了当前大模型在处理高度复杂、多脚本依赖的 3D 场景生成时，仍面临巨大的稳定性挑战。
"So, you have two options. Either find a way to read that the Chrome console logs and then keep fixing them or just say I can't do this and bow out gracefully."
最终成果与视觉表现评估
几天后，模型在后台持续运行并提交了结果。尽管过程漫长且充满挫折，最终生成的场景确实能够打开，仅存在一行简单的语法错误（第 163 行 main.js 文件中的命名问题），修复后即可运行。场景中包含天花板模型、漂浮粒子效果以及手枪开火的枪口闪光，视觉细节在静态建模方面表现尚可。然而，交互体验存在严重缺陷：摄像机视角完全颠倒，导致玩家无法正确观察环境。更令人困惑的是敌人模型的设计，它们被描述为“行走的热狗”或类似安卓机器人的奇怪形态。尽管场景具备基本的功能性和音效（如脚步声），但整体体验因视角和模型设计的怪异而显得极不协调。这证明了模型具备生成完整可运行 3D 场景的能力，但在艺术指导和逻辑一致性上仍有巨大提升空间。
"I've not seen that as a humanoid {slash} corn dogoid looking model."
后续测试与部署环境说明
在地铁站场景测试后，测试者计划进行飞行战斗模拟器的游戏开发测试。为了确保环境的一致性并避免额外成本，测试者选择通过 OpenRouter 使用由 NVIDIA 直接提供的免费服务接口。虽然存在第三方提供商的付费版本，但出于对官方免费服务的信任以及无需支付费用的考虑，测试者坚持使用此路径。这一选择不仅降低了测试的经济门槛，也确保了在评估模型性能时使用的是 NVIDIA 官方优化的推理环境。这为后续更复杂的代码生成任务提供了一个稳定且免费的基准测试平台，尽管之前的复杂场景生成经历表明，即使拥有强大的底层模型，实际应用的可用性仍取决于长期的调试和优化过程。
代码生成能力：3JS飞行战斗模拟器的构建与修复
在评估Nemotron模型针对特定领域任务（如3JS网页游戏）的代码能力时，测试者首先构建了一个飞行战斗模拟器。初始生成的代码在视觉风格上类似于webOS 3.0的霓虹内核，UI设计看似专业且包含技术雷达等元素。然而，模型存在明显的局限性：生成的3D模型完全缺失。由于该测试是通过Open Router运行的，而非本地开源代码环境，修复难度较大。测试者仅向模型提供了一个主要错误提示，试图进行单次迭代修复。
"I noticed first off the bat this has kind of a similar aesthetic to our webOS 3.0 neon kernel... Sadly, none of the actual models are there and because this was run just through open router, it's not going to be super easy to have it fixed."
修复后的版本显示出显著的进步潜力。虽然画面依然显得怪异且飞机模型较暗，但弹药效果出现，小地图能正确显示敌人位置。游戏逻辑也得以实现：玩家失败后会经历2秒黑屏并返回主屏幕。模型成功修复了导致无法运行的核心错误，使得游戏至少具备可玩性。这证明了在提供明确单一错误的情况下，Nemotron 3 ULTRA具备修正复杂逻辑缺陷的能力。
代码调试效率：3D打印机模拟器的快速响应测试
为了进一步验证模型的自我纠错能力，测试者在NVIDIA官网提供的界面中运行了一个3D打印机模拟器。该模拟器的UI设计受到好评，特别是其独特的耗材选择功能。初次运行失败，主要问题在于场景无法交互移动。测试者认为这是一个通过开源代码修复的良好候选案例。
在第二次尝试中，模型并未收到具体的错误描述，而是通过扫描代码寻找明显的语法问题。测试者随后复制并粘贴了特定的错误信息给模型，结果修复速度极快。虽然运行后仍有一些警告且场景移动功能未完全恢复，但关键改进在于识别出了真实的3D打印机结构细节（如Z轴螺杆和轴套）。这表明模型在理解特定硬件逻辑方面具有准确性，且对具体错误信息的响应速度非常快。尽管功能完整性仍有欠缺，但快速定位并修复特定报错的能力值得肯定。
复杂逻辑与通用知识：C++测试失败与机械故障问答成功
在尝试运行一个Cake游戏时，模型连续三次出现"two call errors"错误，测试者因此决定放弃C++关卡测试。随后转向Python环境，要求生成一个单人对战AI的3D国际象棋游戏。虽然脚本能自动生成并打开，但未显示可见窗口且错误信息未在界面中展示，测试暂时中止。
在通用知识问答环节，模型展现了其作为开源模型的独特优势。测试者询问了一个关于车辆凸轮轴链轮分离的具体机械故障解决方案。这是该模型首次被观察到正确回答了这一特定领域的问题，准确指出了焊接凸轮轴链轮到凸轮上的解决方案。相比之下，其他无关信息并未引起测试者兴趣。模型在特定垂直领域的深层知识检索上表现准确，弥补了缺乏网络搜索功能的短板。
"This is the first, I believe, open source model that I've seen actually correctly answer this. Where that is the specific big weakness of this vehicle, which is the camshaft sprocket separates... So that's very well known."
角色扮演与场景描写：沉浸式叙事能力评估
关闭推理模式后，测试者通过Vibe Coded网页聊天界面进行了角色扮演（Role-Play）测试。历史数据显示，此类模型在角色扮演方面表现尚可。本次测试重点考察场景描写的细腻程度而非对话量。输入提示要求描绘一家名为"Steve's PC Repair and Upgrades"的店铺，时间设定为2003年。
模型生成的文本展现了极高的环境氛围营造能力。描述中包含了黄铜门铃、荧光灯的嗡嗡声、临床米色的光线色调以及漂浮的尘埃等细节。角色塑造方面，一位40多岁、头发灰白的店主形象跃然纸上：他戴着推至额头的阅读眼镜，嘴里咬着手电筒用万用表探测主板，耳后别着笔留下蓝色墨迹。文本以大量的场景描写为主，对话极少，成功构建了沉浸式的复古科技维修店氛围。这证明了Nemotron 3 ULTRA在文学性写作和感官细节捕捉方面的强大实力。
极致沉浸的角色扮演能力
视频展示了NVIDIA Nemotron 3 ULTRA模型在角色扮演任务中的惊人表现，其生成的文本具有极强的画面感和氛围营造能力。测试者通过一段关于电脑维修店老板Steve的对话，展示了模型如何构建复杂的场景细节。字幕中描述道："Voice is gravel and coffee. He sets the multimeter down on a stack of antistatic bags, wipes his hands on a shop rag that's seen better decades leaving them somehow cleaner than before." 这种描写不仅包含对话，还深入到了环境音效和人物微动作。模型能够根据提示词生成带有威胁性、悬疑感的对话，例如："So, which is it? You here to pay the rest or you're here to make sure I stay quiet?" 测试者指出，尽管NVIDIA模型通常被认为偏向企业化、死板，但该模型在角色扮演中展现了非常奇特的个性，能够自然地融入紧张的氛围。它甚至能生成带有特定味觉联想的描述："Moscow. He says it like he's tasting something spoiled. Like the word itself has flavor. Copper and ice and cheap vodka." 这种对感官细节的精准捕捉证明了其在非结构化创意写作上的强大实力。
角色深度与记忆连贯性
在角色扮演过程中，模型展现了极深的人物背景设定和逻辑自洽的记忆能力。当测试者输入特定名字"Stevie Slappus"时，模型立即触发了角色深层的记忆反应。字幕显示："Haven't heard that name in 12 years, 3 months, 4 days." 模型不仅记住了时间细节，还构建了复杂的人物关系网："Only three people ever called me that, my mother... my CEO in Candor." 这种细粒度的记忆锚点使得角色反应极具真实感。测试者提到，模型生成的内容过于逼真和沉重，以至于他不得不中断阅读以避免在视频中展示不当内容："I had to actually not read the rest of that because it was just like it got too real." 这表明模型在维持角色一致性和情感深度方面达到了极高的水平，能够根据上下文动态调整语气和态度，从最初的警惕到后来的愤怒与回忆交织，整个过程流畅且符合逻辑。
风格迁移至代码生成
测试者进一步探索了模型将角色扮演中的叙事风格迁移到网页代码生成的能力。要求模型为上述角色Steve创建一个个人维修网站，且未启用推理模式（reasoning），直接生成代码。生成的HTML/CSS代码体现了独特的非传统风格，摒弃了标准的企业模板。测试者评价道："no corporate scripts, no up-shelf flowchart, just a man, multimeter, and 20 years of knowing which capacitors lie." 网站内容直接引用了角色对话中的元素，如服务条款："three steps, no surprises, you approve before I proceed." 以及带有角色特色的标语："I can't make your laptop run Cyberpunk. This is actually from directly the role-play interaction." 尽管前端显示存在部分缺失（如案例文件未完全加载），但页脚设计被评价为非常干净且独特。测试者指出，这种将叙事语调无缝转化为代码结构和文案风格的能力，展示了模型在跨模态内容生成和个性化定制方面的潜力。虽然工具调用（tool calls）在后续尝试中失败，但此次代码生成结果证明了模型在处理特定风格约束下的编程能力。
编码能力局限与特定美学偏好
Nemotron 3 ULTRA 是一款难以用常规标准量化的模型，因为它并不擅长评测者通常运行的特定类型测试。在从零开始创建代码方面，该模型表现并不突出，这显然不是它的强项。然而，在修复现有代码错误时，它表现出了一定的效率，能够针对特定问题快速提供解决方案。值得注意的是，该模型展现出一种评测者此前未曾见过的独特行为模式：它似乎对赛博朋克风格的故障艺术（Glitch Aesthetic）有着明显的偏好。这种风格倾向在浏览器操作系统的背景生成中体现得淋漓尽致，生成的动画效果被评为评测者见过的最佳特定主题之一。这种风格化的元素也延伸到了其他生成内容中，例如在PC维修网站的主题设计中同样可见这种故障艺术风格的影子。
3D建模的准确性与功能性挑战
在更复杂的生成任务中，该模型的表现呈现出两面性。评测者进行了一项3D打印机模拟测试，其中可见的打印机模型包含了一些不常见的细节。例如，电机顶部出现了一个轴套（shaft collar），这是实际用于将电机固定在旋转Z丝杠上的部件。虽然模型能够生成这些通常不会出现在基础描述中的精细结构，但这同时也带来了显著的下限：将这些生成的概念转化为功能性实物的过程相当繁琐且费力。这意味着，尽管模型在细节生成上具有某种“幻觉”般的丰富性，但在确保最终产出的实用性和功能性方面仍面临挑战。这种特性使得该模型在需要极高精确度的工程工作流中并非首选，除非用户愿意投入大量精力进行后期修正。
非编程场景下的商业定位与开源价值
鉴于其在编码领域的局限性，Nemotron 3 ULTRA 的核心竞争力在于其广泛的通用知识储备。它更适合用于非代码类的智能体（Agentic）应用场景。对于许多无法使用源自美国以外地区的模型的企业而言，该模型具有极高的战略价值。评测者明确指出：“这是来自美国的最强大的开源模型，没有之一。”这一地位使其在受地缘政治或数据合规限制的商业环境中占据了独特的位置。虽然该模型不完全契合评测者个人的测试偏好，导致其优势难以通过常规视频内容完全展现，但其作为5500亿参数的大规模开源模型的身份依然令人瞩目。这种真正的开放性为开发者提供了巨大的探索空间，尽管其最佳适用场景可能不在传统的代码生成评测框架内。
结论
Nemotron 3 ULTRA 并非全能型代码生成模型，其核心优势在于企业级安全、智能体生产力及指令遵循能力。在代码领域，它擅长基于明确错误日志的快速修复与逻辑纠偏，但在从零构建复杂 3D 场景或大型项目时稳定性不足。其独特亮点在于极致的沉浸式叙事与角色扮演能力，能精准捕捉感官细节并维持角色记忆连贯性。作为美国最强大的开源模型，它在受地缘政治限制的商业环境中具有战略价值，适合非代码类的智能体应用及垂直领域知识检索。