让我确认一下这不是我的问题,这完全是我的错。扬声器是关闭的。哦,原来如此。今天我们将要审视一款令人兴奋的新模型,因为它对于统一内存系统(如 DGX Spark、Strix Halo 或 Mac Studio)以及拥有 128GB RAM 的 Apple Silicon 系统来说,尺寸恰到好处。这是蚂蚁(Ant)发布的 Ling 3.0 Flash 模型,他们还发布了许多其他型号。他们甚至有一个您可能熟悉的万亿参数旗舰模型。
因此,在今天的视频中,我们将审视这款模型,并查看它在一些我们熟悉其输出的测试中的表现,以便了解基于他们在此处撰写的文章、即将在 Hugging Face 上开放权重的模型会有什么预期表现。我想首先指出这一点,因为如果我们向下滚动一点,有些人提到:“好吧,这会是开源的吗?”他们回应道:“即将推出,扭摆舞可能会加速。”
因此,权重很快就会发布,这非常令人兴奋,因为对于那些统一内存系统来说,它的尺寸确实很完美。所以在深入之前,请随意订阅。此外,这期视频可能会比平时短一些。我刚刚从旧金山回来,我和 Hugging Face 的 Clem 以及其他许多开源爱好者一起参加了开放权重模型的游行。那非常有趣。
不再浪费时间,让我们来看看基准测试,然后我们将开始实际测试这款模型,目前它在 OpenRouter 上免费使用至8月3日。在查看这里的基准测试时,我不得不说,做出了一些选择,因为这也是在与 Ring 2.6万亿参数模型进行比较。由于它们拥有完全相同的标志,很难评估具体指的是哪一个,但他们确实提到它在许多场景中优于那个模型。
因此,我将假设该标志的更高基准版本就是我们今天要测试的新 Flash 模型。而且,如果不仔细审视所有这些内容,看起来它可能在理论上与 MiniMax M2.7 互有胜负,而这是一个比该模型多出近1000亿参数的模型。所以,如果这是真的,那么当它开放权重发布时,对于统一内存系统来说,这确实是一个极好的选择。
此外,他们在这里还有一些关于参数大小等的后续帖子。上下文长度为 256K,但可扩展至100万。此外,他们还讨论了参数大小,总共有 1240亿个参数,但每个令牌只有51亿个活跃参数。因此,即使在某些内存带宽受限的设备上,它也应该运行得相当快。
正如他们所说,它在 OpenRouter 上免费开放至8月3日。在此之后,希望权重能直接发布,这样我们就不必担心在哪里访问它了。但我认为在我们真正深入之前,我们应该看看它的表现如何。我所做的只是通过 OpenRouter 中的 open code 设置它。这里我们有 Browser OS 测试 V2.5,这是我们要运行的传统测试,需要制作 GTA 克隆等。
这项测试很可能已经进入了大量的训练数据中。然而,它仍然会为我们提供一个参考点,以查看该模型与我们过去六个月测试过的其他所有模型的比较情况。我们看到它从这里开始,列出了一个相当密集的待办事项清单,关于它将要做的一切。我也很感兴趣地观察它在实际创建代码过程中的表现,而不仅仅是看最终的代码结果。
好的,我喜欢看到这一点。它确实很快生成了文件,但再次强调,如果它是被他人托管的,特别是对于一款理想情况下应自托管的模型,我不太关心速度,因为我们想看看它实际上在类似这样的任务中表现如何,而不是云提供商的表现。不过,我喜欢它吐出了一个1900行的脚本,并说:“让我审查并修复我刚刚生成的文件中的问题。”
它正在寻找问题、识别错误,然后尝试修复它们。因此,在我们看到结果之前,它就主动进行了这一过程,这很好。希望我们不必在开发工具之间来回复制粘贴。好的,它现在应该为我们交付结果了。很好。而且它在理论上修复了许多它会注意到的问题。好吧,也许还不够。但我们有了 Nova OS。
有时缺少背景会让某些东西看起来比实际更糟,但时钟显示没有时间总是表明这里还有更多问题被破坏的迹象。情况确实如此。好吧,不幸的是,我们没有一个非常积极的开端,因为它基本上整个东西都坏了。所以,我描述了其中一些损坏的部分,以及开发者控制台中显示的相关错误。我们将看看它在实际修复方面表现如何。
很好。我没有看到它完成了那里的任务,但现在我们可以看到这绝对是一个改进的结果。没有右键菜单,但这没关系。时钟现在正确显示了本地时间,而且我们也有了“开始”按钮。好的。“开始”。很好。我们有搜索功能。这是我一开始就希望看到的,所以很好。考虑到这个模型的规模,这实际上是一个相当强的结果,尤其是考虑到它有多少活跃参数这么少。
再次强调,由于现在 YouTube 上到处都是抄袭者,这很可能已经进入了大量的训练集中。不过我在开玩笑。但是,无论如何,这些抄袭者在 X 上,而不是在 YouTube 上。这仍然是一项令人印象深刻的任务,因为他们仍然必须让它看起来不错。哦,好吧。我搞砸了。“文档”。我觉得这台电脑和文档可能是同一回事。“终端”。这是一个展示所有潜在命令的有趣示例。通常,我们必须输入 help 才能发生这种情况,但这不同,但我们接受它。
好的,Nova OS 1.0。我们可以创建一个新目录吗?但它没有显示为新目录。没关系。“设置”。好的,我们有一些不错的可选渐变。我认为第一个可能是最好的。我们可以更改强调颜色。
理想情况下,我们这样做时应该会弹出一个颜色十六进制选择器,但这没关系。我们可以切换虚拟桌面,这是我们的特色功能,所以我暂时先不演示这个了。计算器:51乘以9等于400?不对,是459……哎对,我也这么觉得。它怎么了?难道是在一个对它来说太难的乘法问题上真的出bug了吗?8乘以6……好的,我只是想看看是否存在一个阈值。好吧,看来它似乎对所有乘法运算都失效了。没关系,这种事时有发生。
GTA克隆版的表现对于模型大小来说 surprisingly decent(相当不错)。好的,这是7公里/小时的速度。我们可以拿起这些东西吗?它们确实可以拿起来。实际上这里有一些交互性,我们捡起这些物品会获得现金。我想那是一辆正在追捕我们的警车。调整大小功能做得怎么样?其实还不错,尤其是考虑到模型的大小。接下来是射击场……哇哦!天哪!
好吧,我们击中了其中一个目标。问题是光标没有专门锁定在窗口内,所以很容易把它移出窗外,但我确实看到其中一个目标实际上在工作了。也许我们本该……尽管如此,这与通常的太空射击游戏非常不同,所以看到这一点很好。测试那些与众不同的模型总是很有趣,它们不是现有模型的微调或其他类似的东西。好了,我们的最后一项测试是这个虚拟桌面功能。我们有一些不同的桌面,那么如果我按两下会怎样?
好吧,这看起来并不完全功能正常,但它修复了导致第一次尝试加载时出现问题的障碍。所以看到这一点非常好,这里的一些结果也足够胜任。现在我把它交给一个自包含的C++滑板游戏。这是那个带有加州海滨大道美学的版本,我没有在计划模式下启动它,因为如果我不通过延时摄影来展示,我们会看到一些与此相关的问题,比如从Open Router内部发生免费模型超时。我以前从未见过这种情况,所以我现在更专注于在这里获得真正能完成的结果,我们看看会得到什么。
很好。它没有尝试使用raylib库,所以我们不需要对其进行任何修正或处理。好的,我们有一些编译错误,这几乎是意料之中的,特别是对于这种大小的模型。现在要看的是它是否能修复这些错误。非常好,它确实修复了编译错误。现在我们看看它能否在这里打开……这看起来像是滑板上的那种洗手间标志小人,但实际上它是好的。现在让我用改进的物理效果、更清晰的技巧逻辑和更多的润色来重写这个游戏。
在此期间,我想快速瞥一眼我们目前拥有的内容,因为有时候第二轮迭代并不一定比第一轮更好。这实际上还不错。我不知道这是不是加州滑板美学,或者是加州海滨大道的美学,但空格键是豚跳(Ollie),1到4号键是技巧。嗯,豚跳逻辑有点问题,但实际上它非常独特。这比我见过的许多更大模型尝试此任务的表现都要好。
所以,我必须说,到目前为止仅在我们运行的少数测试中,我对这个模型实际上持乐观态度。哦,好的,看那里!它只是打开了另一个实例来验证自己是否正常工作。现在我们看到了NPC(非玩家角色)。我想给它一些东西,我不常运行只是为了看看性能是否保持良好。真的……好吧,它看起来像是一个滑板在“大事件”期间的样子,但除此之外,它实际上修复了很多东西。之前豚跳不太起作用……好的,4号键是540度旋转。哦,好吧,它因此给了我们分数。所以动画可能……
飞翻(Kickflip)。看看我们落地时的粒子效果。而且我们有NPC在周围移动。它种了树,还建了店面。尝试制作水域是为了赋予其海滨大道的美学。我想按G键是上栏杆进行磨板(Grind)。我们需要找到一个没有因环境震动干扰而影响我们实际找到它的栏杆。嗯,这可能是不可能的。我发誓我们刚才 snapped(吸附)到了一个栏杆上,但 yeah……好的,当我们到达中心时按G键。是的,那是栏杆吸附。我敢断言这非常……实际上这是可能的。我想吧。我不知道。如果我错了请告诉我,但对于这种大小的模型来说,因为我有一段时间没真正测试过类似的模型了,我不认为 Laguna 的 Poolside(泳池边)模型能做得这么好。实际上不,不是我觉得……我是确切知道那个模型在这个特定测试中根本没有做到这么好的表现,甚至远远不及。
所以请记住这一点作为我的最接近参考点,除了像 GPT-OSS 120B 这样的模型,它也不会做到这样。现在我们要给它进行地铁FPS(第一人称射击)测试。这一切都在一个统一的提示词中完成,我只是想看看它会输出什么。到目前为止的表现足够好,让我觉得我们可能在第一次尝试时就能得到一些可玩的东西,或者至少像浏览器OS结果那样经过简单的问题修复后就可以。
我们在这里遇到了严重的速率限制(rate limited)。当你注意到那个错误消息消失时会发现,上下文长度在这里真的增长了很多。我注意到的一个我不太喜欢的点基本上是:它会写入文件,发现其中有一些它想要修复的问题。它会尝试几次然后说:“这进展不太顺利,我干脆从头重写整个东西。”而这已经发生了几次,这也解释了为什么目前的上下文长度使用了40%。但是,它似乎最终给了我们一些可玩的东西,所以让我们看看它吧。我已经打开了扬声器。
好吧……你知道的?这并不好。太混乱了。嗯,也许如果我能使用武器就不会发生这种情况了。虽然不太好,但至少图形方面其实有一些整洁之处……[叹气] 我们有一个小地图,这似乎显示了什么……我实际上不知道它显示的是什么。当我们玩游戏时我们的弹药量并没有减少。我想给它一个改进这个结果的机会,我们看看它会怎么做。它有可能变得更好,也可能变得更糟,五五分吧。我不知道我会猜哪个。仍然无法射击,这令人沮丧。它似乎确实修复了一些……
扩展性问题,以及敌人的数量。这两点是我提出的抱怨,看起来它确实都处理好了。但不幸的是,最大的问题在于仍然无法射击。让我硬刷新一下。是的,左键点击是开火,所以很不幸这个功能没起作用,但其他一切实际上……
它表现出了基于反馈进行改进的 decent 能力,我想说的是除了我需要修复的那一点——也就是射击功能。我再给它一次机会,因为到目前为止我喜欢这个模型。另外没有音效。我们现在应该让射击和声音都正常工作了,所以射击实际上是在工作的。我知道这有点难看清,但弹药正在减少,而这之前并没有发生……
让我们看看能否真正清除掉这些敌人。好的。好吧,不错。很好。所以,现在我们遇到的唯一问题是声音没有工作。让我确认一下这不是我的问题。完全怪我。扬声器是关着的。哦,嗯。那个人肯定……通常他们被摧毁时会淡出。但这次不是这样。好吧,所以其中一些问题可能是由于……存在声音的问题。这对于这个尺寸的模型以及这么少的激活参数来说其实还可以,我对此感到满意。而且它持续修复了一些问题。我的意思是上下文用完了就在那里,256K 中的 63%,它仍然在胜任地修复问题。所以我很乐意看到这一点,我想……
现在给它进行 3D 手表网站测试,但在这里通过 Open Router 的聊天界面内部进行操作,没有让它先生成一个脚本然后说“好的,我想在这里修复一堆东西”的能力。我只是想看看当没有机会在第一个想到的结果之后进行迭代时,它实际上会给出什么。当然这是 Slap Ass 手表公司的网站。英雄区域应该有一个手表的 3D 模型,一个电影般的平移镜头拍摄,然后还有一些像豪华手表这样的静态展示。好吧,所以这是仅从 Open Router 聊天界面生成的网站结果。好的,我想这里可能发生了什么……我是否给了它一个没有明确指出这需要是手表 3D 模型的提示?是的,我给了。
好吧,那是我的错。我们还是会看看它,但我将再做一次使用正确修复提示的运行。好吧,所以我们将再试一次专门提到它需要是手表的 3D 模型。但是,它有电影般的平移镜头,并且当我们悬停时它实际上会暂停。我没有看到特定的手部运动,但刻度标记在小时的位置上大致正确。有一个日期显示。还有秒针和分针。向下滚动到传统与创新交汇之处。好的,48 位工匠?不,是艺术大师(Artisans)。然后我们有不同的手表。我们有 Sovereign 和 Horizon。Horizon 似乎在其制造方面有点问题。然后这部分是我们通常在这个提示中看到的课程的一部分。它总是像金色和白色以及优雅和高档奢华。这是相同的提示,但手表需要是 3D 模型。好吧。不幸的是,它们消失了。没有显示出来,因为这是通过 Open Router 完成的,我会给它一次修复的机会,因为我喜欢这个模型。好吧,让我们看看是否修好了它。好的,确实修好了。是的……
这里有点奇怪的地方,主要是方向问题。表带是反的,秒针和分针也是反的,但它确实生成了一个 3D 资产。它以 KeyShot 风格的方式围绕它旋转。呃,然后我们的系列仍然或多或少是 2D 的。但有趣的是它能够修复问题并实际展示它最终为我们建模的内容。酷。让我们给它一个 3D 建模任务。我给了它我通常给的那个,我需要一个小 V8 发动机模型,能够容纳一个 280 DC 电机在里面,并且需要能够通过很少或不需要支撑进行 3D 打印。好吧,它至少会尝试编写这个。我认为这对于这种规模或性能的模型来说可能有点困难,但我有兴趣看看它给我们什么结果。好吧,据说在大约 90 秒后我们有了这里的 V8 发动机模型。我只是要在 OpenSCAD 中打开它以便查看。好的,它做了一些东西。问题是我并不完全知道如何看待我们正在看的东西。它确实包含了 STL 文件,所以是上半部分和下半部分。让我们在切片程序中看看这些……
好的,我也可以告诉你那是……好吧,这是下半部分。让我们看看上半部分。好的,它是……我正在给它一些建设性的批评。因为它确实产出了两个干净的部件,就比如没有奇怪的悬垂或异常之处而言。这些零件理论上可以接合在一起。最大的问题是它绝对不是一个正确的 V8 发动机。再次,理论上是快速的。好吧,所以现在我们只有这个了。有八个单独的插销,所以我们将在 Cura 切片程序中看看这些。它做了一些更改。我不知道这是否可能理解 V8 发动机应该是什么样子,但它显示出了创建 STL 以及 OpenSCAD 模型的能力……
虽然至少没有像奇怪的悬浮伪影之类的事情,但在实际上我们想要的内容方面相当差。那看起来完全不像 V8 发动机。好吧,我现在给它 Chronos City 提示,这是我目前称之为这个的提示,它展示了城市在不同时间段的样子。我现在看到它也 trickle onto X(推特)。提示窃贼。现在,这是我历史上永远不会真正给予这个性能水平模型的任务,但它到目前为止已经足够胜任了,所以我想看看我们会得到什么。好吧,这是我们的 Chronos City 结果。我认为它做得有点快。就像 3 分 45 秒。好吧,很简单,但它实际上……它理解了任务。我们有移动的汽车。甚至有一个看起来像 1945 年的行人,基于他们的穿着。建筑物的密度以及窗户的大小让我感到某种无法准确描述的不安,但汽车在街道上移动。它们只是立方体,但是……好吧,让我们看看是否有过渡效果。还有声音,并且有一个环绕效果。我的意思是这真的……
虽然情况不太好,但从某个角度来看其实也没那么糟。有趣的是,这两个版本之间有一种类似《RuneScape》风格的游戏音效对比。现在的画面更加令人愉悦,色彩也更为丰富。人物角色都穿着橙色衣服并戴着黄色高顶礼帽,车辆的颜色也更加鲜艳生动。整个场景实际上都进行了调整,以反映20世纪60年代那种更加充满活力的调色板。整体氛围将是黑暗且带有霓虹感的,这确实是那个时代的特征。到目前为止,所有模型在表现2055年风格时基本上都采用了相同的美学设计。
他们戴墨镜了吗?我想象不出他们会戴,但实际上那看起来确实像墨镜。接下来是2005年的版本。主要是蓝色调。中间那座更高的单一建筑以前没有吗?不,有的。好吧。哦,他们要去……所有人看起来都秃得厉害,以至于阳光在他们的头上反射出光泽。让我们看看2025年的版本。非常绿。好吧,大致相同但颜色不同。人物的色彩现在完全像是自发光的效果。然后是2055年,让我们看看霓虹灯效果……是的,这确实是一个相当普遍的现象。
中间的建筑变高了吗?我真心觉得它变高了。所以再次强调,虽然没什么值得大书特书的亮点,但核心的基础元素都拼凑得相当得体,而且这是第一次尝试。画面有不错的环绕运动感,并且一直在变化。场景之间有特效过渡,还有声音效果,它也做了一定程度的时代反射处理,比如60年代的鲜艳色彩、80年代或50年代在21世纪初的霓虹色调。总的来说,表现还不错。
接下来是最后一个编码测试,我想再给它一个C++测试任务。这是我很少给任何模型出的题,因此我认为它不太可能出现在训练数据中。任务是生成一个3D赛车游戏,要求具有低多边形早期拉力赛游戏的图形美学风格。之所以选择C++,是因为考虑到整体情况它在滑板游戏项目中表现得相当不错。请记住,这种规模的模型并不多见,但近期我们与之对比的是Poolside Laguna模型。
到目前为止,在特定的编码任务上,它确实优于Laguna模型。不过要注意,Poolside Laguna模型在角色扮演和创意写作方面属于顶级水平,这一点也需要考虑。如果将这两个模型搭配在一台DGX Spark设备上使用,可能会形成一种有趣的组合:一个是创意写作专家,另一个是具备编码能力的模型。你可以利用这两台模型的配对功能,在你的本地设备上完成一些非常有创意的任务。
它们不会同时运行,而是交替切换使用。看起来游戏运行的时间比预期的要长,因为它只是在进行测试运行,所以我停止了它并给出了问题的描述。这个问题似乎一直存在,所以……好吧,它之前很自信地认为工作正常了,但现在不幸的是……好了。它迅速终止了进程,所以在帮助进行基本的系统操作方面,我想它是做得不错的。
据说它修复了我们之前遇到的黑屏问题。它表示将完全重写代码,并尝试编译,结果显示没有错误……好吧,据说是这样。请记住,这里的上下文长度利用率现在已达到75%,因为它一直遇到黑屏问题所以重写了整个代码。不幸的是,这个问题仍然存在,我决定就此打住,因为上下文长度已经相当高了,而且它在几次不同的迭代中都未能修复此问题。
我之所以想做这个测试,是因为它到目前为止表现不错,特别是在滑板游戏方面。我想确保在给它一个可能在训练数据中不太常见的任务时,它仍能表现良好。不幸的是,这次没有发生这种情况,但这也可能只是一个偶然现象。总体而言,该模型在测试中表现良好。
真的只是在其中一个任务上失败了,没能获得任何像样的结果,而且它也没有很好地改进其实际成果。而在其他许多任务中它都做到了这一点,即使是开始时的浏览器测试也是如此。当我们第一次看这个时,什么都没用,我当时心想“哦不”,这又要做成那种视频了。幸运的是我被证明错了。
地铁站第一人称射击游戏项目中,它通过迭代修复做得很好。我想我给了它三个需要修复的具体问题,它在不同程度的成功下都完成了这些任务。我们的手表网站表现尚可。至于城市时间等那些简单的项目……我认为这里的具体观察结果是,所有这些结果虽然简单,但在基础层面上实际上相当 competent(胜任/有本事),结合起来看。
这意味着这里的核心能力确实存在并且相当熟练。所以,它不会制作出像样的、经过精心打磨的城市版本,但作为一个起点,这已经相当可以接受了。而且我真心认为,将它与我们最近测试过的拥有千亿参数规模的Laguna模型配对,你将拥有一个出色的创意写作模型和一个不错的编码模型。
对于像这样的机器来说,这可能是一些有趣的东西。我想测试这一点,而且根据他们在X平台上的发帖来看,它似乎很快将以开放权重的形式发布。这将为那些系统提供一个非常有吸引力的选项。我不知道它在量化后的表现如何,但这总是需要在发布后测试的事情。
作为初步印象,我对这个模型其实挺满意的。我想做点什么……我有点累了,所以这段视频可能会比平时短一些、不那么长。但我想测试一下它,而且似乎还有更多令人兴奋的发布即将到来,那应该会很有趣。如果你有任何问题,请随时在评论区留言,感谢观看。