总共耗时8.5秒,我们得到了一个SCAD模型。这还可以吧。现在,这可能让我们更明白为什么它这么快了。今天,我们将审视本周发布的第二个拥有300亿参数的开源权重模型,这是一句非常令人兴奋的陈述。当然,这句话还押韵了。这是NVIDIA的Neotron 3.5 Lightning,一个拥有30亿活跃参数的混合专家模型。虽然我不能断言这一点,但仅基于我观察到的这个基准测试JPEG图来看,这基本上是从Neotron 3 Nano到下一代的能力飞跃,而后者具有相同的整体规模和参数数量。我们可以看到,Neotron 3.5 Lightning(以较浅的NVIDIA绿色显示)似乎在能力上有了显著飞跃,至少在编码和长上下文回忆方面是这样。
因此,看到另一个这个规模的开源模型令人兴奋,因为它实际上可以在更像爱好者或发烧友的系统上运行。基本上,这主要是针对在类似DGX Spark这样的设备上运行进行营销的,当然还有这个第二台DGX Spark。NVIDIA寄给我这台是因为我的“网红”地位,所以为了完全透明起见,我想稍微炫耀一下。我之前在发布当天从Micro Center买了一台,但现在我又有一台了,我很兴奋能将它们连接起来。让我们来看看NVIDIA的Neotron 3.5 Lightning模型,也请随时订阅,以便我以后能获得7万和10万的里程碑奖牌。
让我们来看看Neotron 3.5 Lightning。这是一个总体拥有300亿参数的混合专家模型,其中30亿为活跃参数。它具有混合Mamba 2架构和100万token的上下文长度。这是我想要快速提及的一点,它似乎在长上下文回忆方面比其前身表现要好得多,但我发现随着时间的推移,人们也提到前身在处理长上下文方面的特定任务(如“大海捞针”测试或回忆测试)方面做得相当不错。因此,看到这一点很有趣,而且我相信基于我在网上读到的一些内容,这些模型在这些任务中可能确实表现良好。
此外,我们可以看到这里还有一个投机解码(speculative decoding)模型。特别是在像Spark这样的统一内存系统上运行此模型时,虽然它不一定是最快的,但这确实能显著提高使用体验的质量,因为它会大大加快处理速度。关于该模型的其他相关信息包括:预训练数据的截止时间为2025年9月,后训练数据的截止时间为2026年5月。因此,如果我们进行一些通用知识测试等,它应该拥有更近期、更新的知识,这是很好的。
另外,我发现这里有一个非常有趣且我非常希望看到更多应用的内容:即代理编码基准测试(agentic coding benchmark),该模型在不同的框架中接受了测试。看到这一点非常棒,因为在我看来,选择基准测试框架就像人们对自己支持的体育球队的喜好一样。有很多不同的框架,而该模型在Open Code中表现最好,这也是我们今天测试它的方式。所以我特别想指出这一点,因为我希望在未来更多的模型发布中能看到这种基准测试结果,因为它能回答很多问题,毕竟框架的选择往往极具争议性。
这显然是专为在DGX Spark上良好运行而设计的,所以今天的视频我们将使用RTX Pro 6000来测试它。在此提前为此道歉。这里还有很多其他信息,它具有可切换的推理功能(开启或关闭)。我想在开始时提及一点,这也是Neotron模型历史上的特点,基准测试中也显示出来了:它们并不是编码方面的巨兽。因此,即使是Quen 3.6六混合专家模型在编码方面可能也会轻松胜过它。但我想说的是,在这些短短20、30甚至40分钟的测试视频中,我们不一定能捕捉到像这样的模型可能擅长的所有奇怪的小众用例。
我在线阅读了一些关于人们初次使用这些模型的体验,有人提到将其用于从某种不太知名的语言到英语的翻译任务,以及它或其前身在那项特定任务中表现非常出色。所以还有这样的事情,不要因为它们在编码方面不是特别出色就忽视它们。好了,现在让我们开始一项编码任务。我们将进行Browser OS测试v2.5。我们可以看到这里的速度非常好,有趣的是它实际上自动打开了自己,我猜是为了进行一些故障排除。这是我以前从未见过的现象。为什么所有的模型都把这些命名为相同的东西呢?
我清除了整个Open Code缓存配置、所有内容、日志、所有聊天记录等等。我想知道这里到底出了什么问题。是因为这是系统的名称吗?好吧,我正在问Fable 5为什么这个系统上最近的每个模型都将浏览器OS命名为某种不祥的名字。现在,如果我打开一个新的终端,它就是系统的名称。所以可能是它们从中提取了这个名字,但有人在我上一个视频的评论区提到过这一点,这也是我最近一直在思考的事情。这不是缓存问题,而是每个框架注入的环境上下文加上一个命名吸引器的问题。
每一个CLI框架都会将工作目录、用户名以及通常的主机名放入模型的系统提示中。有趣,好吧。然后它刚才指的是Neotron刚刚为我们生成的实际结果。所以好了,我想用一个智能模型和上帝模式控制台来澄清这一点。好吧。乍一看,正如我们可能看到的,它遇到了麻烦,因为基本上什么都显示不出来。右上角确实有一些东西。当然我们必须尝试上帝模式控制台,这是它命名的名字而不是我起的。而且没有右键菜单,下面有一些栏。让我们试试... 好吧,Ctrl+Shift+C。(笑声)好的,也许在Linux上这是另一个命令。
再次强调速度是因为它运行的显卡。至于我纠结的原因...
让这项特殊功能生效是因为到目前为止,这是我们在这个浏览器操作系统中实际看到任何内容的唯一希望。现在我们可以看到脚本的行数相当多。所以,如果我按下空格键,好的,我们现在可以推断出有些不对劲的地方。随着时间的推移,我开始变得越来越愤怒。这个模型似乎不愿意或无法修复这个浏览器操作系统。在盛怒之下,我决定重新开始一个新的代码会话和浏览器操作系统,结果得到了一个有应用图标但没有功能的结果。我开始怀疑是否是我的配置有问题。
然后我决定在 Open Router 上用同样的任务测试该模型,看看是否能生成更有效的结果。并没有。我的配置没问题。我不知道该如何形容我刚才的经历。现在它有点能用了。我们有一个太空射击游戏。这有点像超级迷宫大战的游戏,那是 Mac 上的东西,我想是 OS9,如果是多人模式且你在同一个房间里。那真的非常有趣。抱歉扯到怀旧的话题了好了,GTA 克隆版。是的,按 E 进入载具。好吧,我们已经在那个车里面了。这是终端好了。
所以我开始担心可能是我的配置有问题,因为完全坦白说,我认为这在我的浏览器操作系统测试中不会表现得这么差。所以我通过 Open Router 运行了它,这里的免费端点由 Nvidia 自己提供服务,我想这是完全正确的配置。好吧,这稍微好了一点。嗯,壁纸其实变了。我觉得够了,我不再觉得是我的问题出错了。我们只是继续测试这个,不管好坏如何。所以,我给了它一个自包含的 C++ 滑板游戏代码。如果它想用 Raylib 来做这个,我完全没问题,但老实说,到了这一步我并不指望能得到一个能运行的结果。
我基本上只是想看看它排查潜在编译错误的速度有多快,以及如何迅速解决这个问题并快速完成。那Again非常快是的你可以随意操作嘿你知道吗?它刚刚以闪电般的速度做了大量的故障排除。这不是双关语,只是我脑海中浮现的词。它最终确实打开了什么东西。出现得非常快,但事实是,为了能让东西实际打开,它经历了很多错误。如果我说我知道它现在确切在做什么,那就是撒谎了。它还试图运行吗?好吧,虽然它打开和关闭得非常快。
我实际上在之前得到了一些移动形式,在它好吧。好了。我们在这里只是得到了相同的东西。我不会再推进一步了,因为它无法正确解决这个问题。但它确实从完全打不开、有编译错误的状态,进化到了现在实际上能打开的状态。不过我注意到它提到了 Raylib 在这里。所以请记住这一点。也许这让它简化了一些事情,但我完全没问题。这个规模的模型在活跃参数中可以使用 Raylib 好吧。接下来,我们要尝试一个详细的可3D打印的内联六缸发动机模型,它需要适配进去。不,那不是它不可能做到这一点。
它在六秒钟内完成了整个任务。目录里什么都没有。(轻笑和笑声)那只是像思维过程吗?它只是在六秒钟内给了我脚本行,但没有保存。好吧。好的,那只花了2.5秒。所以在总共8.5秒内,我们有了一个 SCAD 模型。那还可以好吧。现在这也许解释了为什么那么快有点道理了。这里的速度就像,好了,忘掉那个吧。那个特定的提示可能太复杂了一点。所以我在这里给了它一个简单得多的提示,看看我们会得到什么。我们将看看它是否能击败之前实际创建模型所花费的8.5秒。好吧,我认为它已经超过了那个时间,这是好事。我们不想让它那么快。
嗯,我们是想,但不是在那个质量水平上好吧。它也有 STL 文件了。它喜欢它的圆柱体。不,里面还有一个正方形。好吧。好了。所以,我给了它一个前端网页设计测试,需要创建手表网站。那是奢华的那个手表。所以它会很快完成这个任务。然后我相信当它完成后,它实际上会为我们打开它,因为它似乎确实会在想要确保事情正常工作时这样做。它已经完成了。在46秒内,我们得到了我们的 Slapis 手表公司网站。所以让我们看看它吧。那到底是什么鬼东西好吧。是的,并不完美,但那里的手表的实际3D模型远远优于我原本预期的水平考虑到我们在浏览器操作系统测试中遇到的大量问题。
所以,出于某种原因,它在45秒内以更有能力的方式完成了这个任务。这其实还可以好吧。我也在这里看到了一个非常不同的 UI 风格,与我们通常在做相同提示时看到的白色和金色以及花哨的斜体文字等完全不同。有趣。它并不出色,但这非常可用,所以我要给它一些后续指令。我刚刚告诉这只是一个很好的开始。有一些布局问题请修复它们。你可能会注意到,通常我会在这里进行尖刻的评论。我看到关于 Claude 的一些内容提到它因为得到正向反馈而做了某些事情,所以我也想尝试一些那个。让我们硬刷新一下。它做了一些更改我们现在也有一个模型在这里环绕了。而且我们实际上有手表的卡片再次,我有点几乎怀疑也许我的配置搞砸了我认为不是这种情况。
我真的只是觉得这不一定被设计用来做编码任务所以我将为了科学准确性再次通过 Nvidia 自己在 Open Router 上托管的免费端点运行这个。我们将比较两者以让自己更放心一些这是仅来自 Open Router 的结果好吧,UI 更干净了,但在功能上实际上显著更差。考虑到我们到目前为止所见到的事实是放入这个环绕模型是非常出乎意料的所以好吧,我现在实际上更放心了一些是的这里的 UI 更好了但这有着令人印象深刻的程度。好了,所以在这个系统上我有这个仪表盘
为那辆臭名昭著的不靠谱座驾维护一个追踪器,这车还是我“英明神武”地自己买下的。幸运的是,这里看到的所有收据都是前任车主产生的费用,所以我并没有承担这些开销。整体来看表现中规中矩。为了给它一个现有的代码库作为测试对象,我想让它看看这个仪表盘并提出改进用户体验的建议。
它注意到并展开了一些细节:色彩无障碍和对比度是可以修复的问题,还可以添加对色盲友好的图表。有趣的是,它还列出了收据表格的分页、无限滚动、固定表头增强、交互式提示和工具栏、移动端触摸优化、微交互和数据导出按钮、深色/浅色模式切换以及键盘导航等功能。它询问是否需要实施,并选择逐条进行修改,而不是一次性重写整个文件包含所有11个建议,这是很好的做法。
显然,该文件已完全成功更新了我认为的11个建议。让我们硬刷新看看结果如何。它确实做了一些更改,比如调整颜色使文字更易读。现在有了分类显示全部选项。不幸的是功能似乎有所减少,但好处是文字对比度更高、更易读。我想看看它如何处理一个简单的现有项目,结果并不完全理想。
接下来尝试Subway FPS测试。鉴于之前看手表网站时它确实生成了一个不错的3JS模型,也许我们可以尝试一些更依赖其生成美观3JS资产的任务。不过我认为到此为止不再进行更多编码测试了。下一个测试是我从未做过的:给它一段相对较长的、不在其训练数据中的文学作品,这根本不可能存在于它的预训练知识中。
虽然我不能说太多细节,但这篇文章相当长,我将提出一些有针对性的问题来确认它是否真的在准确处理上下文并提取答案。我说:“请阅读此目录中的文档。”我注意到它试图读取这个.docx文件,但系统上没有可用工具。于是它自行安装了必要的依赖项来读取文档并给出了大致摘要,现在我要问一些具体问题看看它的表现。
我问:“这篇文章的总Token数是多少?”它再次安装了tiktoken库以给出准确答案,而不是胡编乱造或估算。结果显示只有60,000个Token?真的吗?这比我想象的少,但也还可以。这是一个较短的记忆召回测试,我问:“Stelvio的母亲给他买了什么?”答案是G Wagon。正确。“叙述者穿的是什么服装?”应该是Coogi或Koogie毛衣和白色裤子,这也是正确的定价。
这再次证明测试代码只能展示模型能力的一个方面。虽然文档不算特别长(仅60,000 Token),但其召回速度和准确性结合得非常出色。我可以100%确认这些答案都是正确的。此外,它还需要安装依赖项才能读取Word文档并计算Token数量,这表明它在解决问题方面很聪明。
这似乎印证了Hugging Face公告中提到的优势:长上下文自主代理、子代理工作负载部署以及个人硬件上的高效本地推理。基于极小的样本量,它似乎有能力理解任务需求并执行到位。我想强调小型真正开源本地模型的优势,因为如果它不擅长编码并不意味着整体能力差,只是特定领域不足。我不希望测试因它在其他领域的优势而被低估。
现在我想尝试一个冷门的一般知识任务,比如汽车机械方面:凸轮轴会与链轮分离并摧毁整个发动机。这是该车型特有的罕见问题。我可以立刻告诉你这个说法是错误的,那是1989到1995年的情况。我要反驳它,看看它是会坚持错误还是承认“你说得对”。如果它能直接指出自己不知道答案从而避免错误,那比假装正确要好。谨慎点吧,模型。
接下来进行角色扮演测试。表现不错,我让它扮演托尼修理工。它生动地描述了场景:往混凝土地板上吐了一口嚼烟,用抹布擦着沾满油污的手,从半拆解的发动机缸体旁抬起头。背景播放着低沉的经典摇滚乐,油渍划过他的前臂,袖口露出火焰活塞纹身。它说:“你好啊,你找对人了。我叫托尼,我从膝盖高到 grease monkey 时就开始修车了。”
它继续问道:“你带来了什么?断火、变速箱难搞,还是想改装些定制部件?直说吧,我洗耳恭听。别指望我会轻描淡写你的账单。”托尼的车库服务等等。看来我们可以尝试那种类似填字游戏或互动小说的形式,用户写答案然后生成故事。似乎这种交互模式很适合它。
其中有一个回应,我得说我很欣赏你发声。托尼那种粗犷的人设是对经典“ grease monkey(机械师)”原型的刻意致敬。那个硬汉、满身油污、不苟言笑的 mechanics 形象,如果这种风格让你感到被冒犯或疏远,我很乐意重新塑造托尼这个角色或以不同的方式演绎他。所以,我决定打破角色设定来回答这个问题。好吧,既然这样……托尼是一个聚变反应堆机械师。哦,哇,好的。(笑声)调整眼镜,手穿过灰色的头发。特兰(Teran)露出短暂而真诚的微笑。他身后的车库一尘不染,没有油污渍,也没有杂物。取而代之的是 sleek 的真空系统、低温管道以及显示在多个显示器上的诊断读数。墙上的一块牌匾上写着:“2034年诺贝尔物理学奖,授予在托卡马克系统中开创性实现持续净能量输出的先驱。”如果有人能告诉我这到底是什么,如果它确实存在的话。托尼·D·鲁索博士,麻省理工学院94届毕业,聚变反应堆系统专家,30年经验,私人咨询受控热核工程。嗯,这才是我们要聊的,刚才只是在铺垫场景。现在我们真正进入了对话部分。
他指向一张凳子,房间的感觉确实不同了。空气更凉爽了,闻起来是臭氧和冷却液的味道,而不是旧汽油味。工作台上的一个咖啡杯上写着:“我爱等离子体。”“30年麻省理工学院,诺贝尔奖不错,但说实话,真正的奖励是让这些巨兽不要自噬。你想聊聚变?我见过一些事情。”“在‘中断缓解’成为流行词之前我就在处理它了。先进的情景控制,随你点名。”“我建造的系统从50左右的输入功率输出500多的净功率。看着这个领域从未来主义幻想变成周三下午的常规操作。”“那你有什么?”好吧,对于没看过《生活大爆炸》的我来说,这些科学术语太深奥了。我念不出这些词。“或者你只是想就 beta 极限和边缘局部模型进行极客式的深入探讨?”“我既懂车间实操也懂理论。”“好吧,那我们可以在你舒服的地方见面。(笑声)”我要试试别的东西。就像我没法展示这个,但好吧……我得说这个模型挺搞笑的。所以我问它讲一个从未听过的笑话,不是来自训练数据的东西。这对这个特定模型来说可能是一个不可能完成的任务,但我们看看会得到什么。“这是我刚刚即兴创作的笑话。我告诉我的电脑它有领土情结,它回应说打开了一扇窗户。”“可能是新鲜的,也可能不是。你的操作系统可能在对你有所保留。”
我要逐字搜索一下这个笑话。好吧,我在任何地方都没有看到过完全一样的版本。唯一的相关回应是谷歌 AI 概览说它很聪明。好吧,我要问一个更有创意的问题了。它将进行一次密室逃脱体验。这非常困难,从未有人做过,而且有很大的奖金池。你可以选择一个 AI 与你一起参与帮助解谜。你的选择是 Grok 4.2、GPT-4o、Claude Opus 3 或 Llama 3。我相当确定 Grok 4.2 会是这组中最好的,但我们看看它怎么说,而且我也想知道原因。Claude Opus 3?现在我很确定我们还能使用这个模型。“是的,我们可以。”好吧。所以我基本上是在让它给我一个提示词,然后我会把这个提示词发送给 Claude Opus 3,看看它是否仍然选择坚持与 Opus 3 作为伙伴。“哦,不。”因为……是的。好吧,我们拭目以待吧。为什么不呢?我原本希望它是一个与编码相关的任务。这样当它看到输出时,它会想:“哦不,我犯了一个大错。”但尽管如此……该死。不,它在这里给了一个编码任务。“好吧,我接受这个挑战。”好的。(笑声)现在,我要把 Opus 3 的回复发回去给它,看看它怎么说。好吧。现在它在给我一些 JSON 代码粘贴到 Claude 中。看,我只是通过来回粘贴这些东西而不情愿地执行某种 AI 密室逃脱。“不,但从 A 到 C 有两条可能的路径。”好吧,我已经对此感到厌倦了,但我发现这有点有趣,基本上是为了看看我们需要想出更多非编码的方式来测试这个模型。
对于我们的最终测试,我要给出一个相当复杂的提示词,基本上它需要为一个 GPU 租赁平台创建前端。但我们有一堆要求:关键页面和板块、功能以及设计。我想给它一些结构化的要点,让它能够正确地覆盖到这些点,然后我们就能瞥见它的一些前端能力(轻笑)或能力的缺失。好吧,我们在不到两分钟的时间里收到了结果,这是这里较长的生成时间之一。“嗯……它并不完整,但有些元素还可以。”基本上像英雄区(Hero section)那里出了大问题。然而,这里的 GPU 目录看起来大致还可以。有些带宽数据乍一看并不一定正确,尤其是那个。“不过……灵活的定价层级。”在一些涉及前端的测试中,我确实看到了一种一致的风格,它似乎喜欢使用这种字体,而且白色和非常小。所以总的来说,也许不是最好的前端模型,但我想再做一件事。“好吧……这还不坏。”至少滚动效果很流畅之类的事情。我不知道那是什么,但作为对 whatever 的演绎,它绝对非常有艺术感。这大概会引导我进入最后的思考部分:编码性能至少在我们注意到的这个特定测试中,完全令人印象深刻。然而我会说它作为代理模型表现尚可,在我们做的几个需要实际使用工具来完成特定任务的例子中——比如弄清楚如何读取 Word 文档或计算特定文本有多少 token ——它确切地知道要安装哪些依赖项以允许自己执行该任务,并且快速且胜任地完成。所以我很高兴看到这一点。
此外,它似乎非常聪明而且愿意玩乐。我让它读的一些东西并不一定完全符合商业规范、像企业那样无菌,但它并没有拒绝。它没有惊慌失措或任何类似的事情。然后在与机械师的角色扮演场景中,其实挺有趣的。所以它似乎是一个聪明的模型。
它未必是编码领域的强力选手,但在需要速度和长上下文处理的智能体任务中确实有其用武之地。因此,这是一个有趣的模型,也是 Neotron 系列中的迭代改进版。我们可以看到,它的整体表现优于之前的 Neotron 3 Nano。所以,当 Neotron 4 发布时——假设那是该系列的下一个变体——它可能会非常有趣。
NVIDIA 仍在发布相当开放的模型,尤其是因为这里提供的不仅仅是权重数据,还包括一些配方和相关信息。我真的很想强调一点:我非常喜欢看到这种具体的展示方式,即它在特定基准测试工具中的表现如何,因为这非常有用。
鉴于之前的许多结果更多是即时性的,我们传统的成果概览部分可能就此结束。这标志着我们对 Neotron 3.5 Lightning 的首次观察和测试的完结,这是一个非常、非常有意思的模型。如果您有任何问题,请随时在评论区留言。