它制作了这些资产,并将它们全部整合在一起。 definitely 呈果冻状。今天,我们将审视新发布的 Ornith 1.5 系列模型。具体而言,在本视频中,我们要测试的是 Ornith 1.535B-A3B 的 Q4 和 Q8 量化版本。目前虽然没有 Quen 3.835B-835B-A3B,但在其最终发布之前,Ornith 及其之前的 1.0 模型(我在频道中介绍过其中一些)在能力增强方面确实非常强大,因此它可能是一个合适的替代品。
关于这些模型的一些背景信息:正如我们在此处所见,这个特定版本主要是基于 Quen 3.5 开发的。此外似乎经过训练后它们具有相当强大的能力增强效果。许多人都对能够在消费者硬件上运行的模型感兴趣,这些硬件实际上是可以合理获取的。因此,在我们深入探讨之前,请随时订阅频道以帮助我们达到 75K 的目标,这是迈向 100K 并获得奖牌的良好里程碑。
让我们先来看看这些模型的一些有趣之处。虽然我们今天专注于 35B 混合专家模型,但他们也发布了 1.5 版本(原文此处似有误写为397B,但根据上下文应为较小参数模型),据称在 Deepsw S. 上得分达到 56。如果属实,考虑到他们声称这与 Claude Opus 4.8 相匹配,那确实令人印象深刻。不过请对这些基准测试 JPEG 持保留态度,最好运行自己的测试或看到类似结果,但这似乎表明整体能力相比之前版本有了巨大飞跃。
我们要对比的模型是用于今天测试的基础 Quen 3.6 变体,即 35B-A3B。简要提及测试设置:我将使用 Pi harness 并排运行这两个模型。左侧是 Ornith 在 Hugging Face 上上传的 Q4KM 量化 GGUFS。右侧同样使用 Pi,这是 Ornith 提供的 Q8 量化 GGUF。关于测试设置和方法论,这里列出的所有建议采样参数以及需要正确实现的推理特殊功能都已就位。
不用担心后端出现错误的采样参数等问题。在硬件方面,我实际上是在同一张 6000 Pro 显卡上同时运行这两个模型。我们将开始进行浏览器 OS 测试 v2.7,这与之前的版本相同,除了现在需要包含带有动态效果的程序生成壁纸。此外还需要一个电子邮件应用,这有点像微创意写作测试,因为有时里面会包含一些有趣的小邮件。
首先冲过终点线的是 Q4 版本。正如我们在左侧窗格中所见,它们都在自主检查中运行。我们可以看到在整个过程中有相当多的思考时间,但由于这些模型在此特定设置下速度非常快,对我来说这并不是什么耐心问题。此外还出现了一些错误:它试图做出一些更改并意识到“我需要分小步进行,因为它无法一次性进行大规模更改”。于是它将任务分解,检查了几次,修复问题后得出了结果。
此时 Q8 仍在运行。我们可以看到 Q8 挂起了,简单来说就是它编写的测试虽然通过了,但错误地以“关闭标签页”结束,而应该是以“关闭浏览器”结束。因此触发成功信号的操作永远不会到来。我不得不手动停止并继续,看看它能否赶上进度。测试中止了,让我再运行一次以捕获完整输出。看来它会重复同样的问题,但这有助于确认它之前遇到的问题所在,现在它应该能正确处理了。
经过更长时间后,两个结果都出来了,Q8 完成了它进行了更多细致的 QA 检查。我们可以看到这两个特定模型设置的上下文长度相同:Q8 使用了其 262K 上下文窗口的 41%,而 Q4 仅使用了 19.12%。现在让我们看看结果,它们位于各自的文件夹中以免混淆。我想先从 Q4 开始看起。
Q4 的结果显示两者命名几乎相同,这在意料之中。总体而言还不错。我回忆起功能摘要中提到有一个语音助手,这也是一个尝试点。虽然没有右键菜单,但右下角有时间日期显示。我会暂时搁置语音助手的测试,因为那是特殊功能。开始菜单工作正常。锁屏解锁也不错。让我们先看看我们的 GTA 克隆版,这里有一个明显的错误,至少能看到报错是好事。
我们可以最小化它并重新打开吗?可以。我原本想说我们的 void runner 游戏应该能正常工作,但它不能全屏显示,只能保持固定大小。我们可以射击吗?按空格键发射会有奇怪的声音,我没看到明显的开火效果,但游戏实际上运行成功了,其中一个游戏能玩是好事。让我们检查一下邮件应用,这看起来非常像 Mac OS 风格。欢迎信息已显示。
删除功能正常。城市服务通知指出摄像头注意到在 Mega City 有热情的驾驶行为,请安全驾驶,这令人担忧。撰写邮件功能扎实。接下来是笔记应用,它会自动保存且功能正常,虽然外观不是最佳但表现良好,全屏工作也正确。进入设置界面……
我们来看看壁纸是否生效。好吧,刚才想说的先忘了。终端看起来功能正常,哦我点出去了。现在试试我们的特色功能。好的,为了测试这个功能,我得切换到Chrome浏览器,刚才用的不是它,没关系。“我是阿瑞亚,你的Nova OS语音助手。我可以打开应用、更换壁纸、锁定屏幕等等。”“我是阿瑞亚,你的Nova OS语音助手。我想你可能听到了‘应用、更换壁纸’这部分。”“我是阿瑞亚,你的Nova OS。”好吧,我现在清楚了。不过刚才打开的其实是VoidRunner。“抱歉我没听清,Open VoidRunner。”在终端输入help查看命令。
“抱歉我没……”打开邮箱?对象HTML div元素。“好,很好。”好吧,接下来我们看看Chrome里的表现。我想这是Q8的结果吧,因为它做了更复杂的故障排除。“是的。”我们可以明显看出两者之间的巨大差异。它们都生成了那个奇怪的助手界面,我先关掉它。“这里没有右键菜单,但右下角的内容明显更多。”这是一个更具风格化的结果,两者的区别显而易见。我们看看开始菜单,也有锁屏功能,因为名字和设置有些相似之处。
先试试那个GTA克隆版吧。“有点……脉冲感?我觉得挺不错的,而且画面很大。”Shift键冲刺和加速。我没按那个键会怎样?哦哇,这简直像马拉松模拟器,主意不错。“能借用车辆吗?”如果能靠近的话?回来这里。何必呢?我们比他们快,我觉得这行不通。“建筑物没有网格碰撞体。”我试着去那辆车。橙色那辆呢?好吧,反正我不喜欢那个颜色。“ definitely胶质感。”肯定更好了。接下来是Starborn,另一个结果也能运行。同样缺乏新意。“有些方面甚至更差。”
因为没看到飞船模型?银行对账单归档。真的进档案了吗?我喜欢这个,挺酷。“Marcus午餐。”哦,空格键在这里没用。好吧,Marcus会理解的。接下来是Aurora。“这是壁纸功能吗?”不,这是特色功能,先跳过。它保存为txt文件了吗?没有,保存到浏览器存储中,可以接受。“设置:水蓝、深蓝、日落、星云、海洋。”壁纸运动速度有变化吗?是的。任务栏透明度,挺酷的。“时钟格式24小时制。”这个不错。
这项测试有一段时间了,我需要改变壁纸频率,否则会很分心。“矩阵功能实现得很好。”能退出吗?智能模型应该几秒后超时。很高兴看到这点。“照片”哦哇。(笑声)最后是Aurora,讲个笑话。“如果空格键没用……我告诉CPU一个关于带宽的笑话。它没get到(理解)。”这个挺巧妙。“Q8的结果明显更好,完全诚实地说。如果可能,Q8是更好的选择。”作为ANE,如果有足够的CPU内存可以卸载部分负载,虽然慢点但质量显著提升。
接下来给两者测试Subway Simulator/FPS提示词。“我喜欢并排做这个,就像浏览器OS一样。”能明显看出能力差异且可并行运行。之后我想试试C++,这次只能一个个来。“它们需要调试,我不想混淆或过载模型。”两者都完成了,Q8使用的上下文长度显著高于Q4。“它花了更多时间确保代码100%功能正常。”让我们看看结果。哇,这里有些截图可能剧透了。“抱歉我有点生气。”
看这里的说明,我没遵守。看看Q4版本吧,已经运行了。“开启扬声器。”有探索模式和战斗模式。“我听到声音但看不到画面,有点沮丧。”试试探索站。这是Q4的结果。出于好奇我打开开发者工具控制台。“很快,似乎有一个假设的修复版。”这其实还能接受。但问题是视角无法旋转,“根本不可能”。我无法移动视角,基本是静态向前。“鼠标似乎不记录按键或点击。”
Q4的大问题是无法用鼠标移动相机,射击也没反应。“有点令人沮丧。没发现修复。”试试探索站模式?还是老样子,鼠标完全无效。“再试一次进入战斗。不行。”好吧,挺有意思的。对于Q8我追问:“兄弟怎么运行这个?”因为之前没给出令人满意的总结。“看看Q8的结果。”从文件结构就能看出。
看起来确实要复杂一些。好了,现在这是我们的 Q8 肉丸站(Meatball Station)。我不太清楚它为什么叫这个名字,但我会说[笑声]对于这种规模的模型来说,“肉丸站”相当不错。好吧,现在不幸的是出了点问题:当我按下 W 键时,整个场景基本上冻结了。而当我松开它时,我们实际上并没有移动任何地方。哦,哇。好吧,这里肯定存在一些时序问题,但功能基本存在,尽管很基础,而且不幸的是无法移动。但如果我们只是根据目前看到的场景来判断,环境中是否有弹孔?我实际上看不出来,因为我不认为……哦,好吧。这非常像那个游戏叫什么来着?红色热浪之类的?我想那是 VR 游戏,里面的东西就像那样停留在环境中。这绝对让我想起了那个游戏,仅凭我们现在能看到的这一点。好吧,所以这是好的。这些功能正常,我们实际上可以退出指针锁定去查看它们,然后再重新进入。所以最大的问题是没有任何移动功能生效,而且还有一些奇怪的时序问题,或者像弹药曳光弹那样停留在环境中而不消失的怪事,然后那些血迹飞溅显得非常不祥。
好了,现在假设我们已经修复了一些我们注意到的问题。首先我们将尝试“肉丸站”或 Q8 的结果,基本上移动功能破坏了游戏运行。非常好。而且我们注意到的另一个问题是弹药曳光弹会一直停留在环境中冻结不动。好吧,那些现在确实消失了,但我们仍然有一些奇怪的行为,比如枪口闪光永远不会消失,但这绝对是一个改进。哦,重新装填。很好。既然我实际上没有将其列为需要修复的具体问题,我会说这正确地修复了我们指出的所有问题。不过环境中没有弹孔,那将是彻底的失败……不,我开玩笑的。好吧,让我们快速探索一下这个站点,同时躲避这些个体。他们相当多。而且我们有跳跃功能。好的,酷。好了,这就是我们的 Q8 版本。它确实适当地修复了问题并使其变得更好。所以下一步,我们将逐个运行这些测试。这是自包含的 C++ Gate 游戏测试。就是那个要求他们把地图做成纽约市街区的那个。我没有包含不能使用 Ray(可能是指某种渲染或构建技术)的限制,无论他们决定使用什么来尝试构建它,我都完全接受,因为这意味着它是一个 35B(350亿参数)模型,Q4 量化下只有 30 亿激活参数。所以如果它能吐出任何功能性的东西,我会非常高兴。我逐个运行它们只是因为我不想让事情变得混乱,如果两者都试图自主启动游戏并进行测试。这里发生了一些更多的事情。
所以在滑板游戏中已经运行了很长时间,而这仅仅是 Q4KM 模型在 GPU 上运行的情况。没有其他事情发生。所以基本上,它一直在输出大量的 token(词元)。我们还可以看到上下文长度几乎快要完全满了。现在我认为,如果它不能在这个时间内完成这个任务,那么停止它是合理的,因为我不相信它会完成。时间已经够长了。现在这里是我想要做的:我会说“现在就给我文件”。我们看看它有什么内容。我实际上认为这甚至不会真的产生什么效果。作为参考,这是 Q4 产生的结果。我真是大错特错了。这比我预期这个模型能产出的要好得多。现在,是的,它有点像 Bunk(可能指某种粗糙或未完成的状态),但我们实际上有一个像样的角色模型。好吧,我坚持认为让这一切完全展示出来可能超出了视频的范围。然而事实是 Q4KM 做到了这一点,而且我只是没想到它会产出如此整齐组合的内容。当然有很多问题,但事实是考虑到人们可能从 Q4KM 混合专家模型中期望得到的结果,那里的元素令人印象深刻。现在让我们用 Q8 试试这个,看看我们会注意到什么可能不同或相同的东西。我们现在有了 Q8 的 Gate 游戏结果。这工作了,我不知道多久了,因为我睡觉去了。好吧,那实际上挺酷的。现在是的……呃,好的。
所以不幸的是没有移动功能。我只是想确保键盘插好了。是的,它确实插着。我们可以……好吧,事情是这样的。对于这种规模的模型来说,这实际上是一个非常不错的结果,特别是它工作了非常长的时间。我是说这里发生的上下文压缩量非常多。所以即使它能做出某种基础的东西,我认为也是非常令人印象深刻的。实际上我对这里看到的内容相当满意。即使没有真正的功能性游戏玩法,也有 NPC 在周围走动。有一个很酷且大胆地说很酷的喷泉效果。而且技巧在一定程度上是有效的,我们可以直接看到滑板板面。我只是尝试一些传统的技巧键,看看能不能做一个踢翻(kick flip)之类的动作。哦,C 是用于不同的摄像机视角,这确实有效。总的来说这相当令人印象深刻。我不知道刚才发生了什么。哦,R 是重置。好吧,那就是我在那里点击的东西。好了,所以摄像机按钮有效。不幸的是没有移动功能,但我们可以重置。所以我们确实有一些可玩性。至少就 OE 模拟器而言。我印象深刻。
对于下一个测试,我已经用 Q4KM 运行过这个了。有趣。“请连接 Blender(建模软件),以便我开始建模。”好吧,既然 Blender 在这个系统上,我不想让它使用那个。我想做 Q4 做过的事情,即它基本上使用了 OpenCAD(开源 CAD)。我甚至不会说它在系统上安装了。它会自己弄清楚这一点。而我还没有看过 Q4KM 对这个提示做了什么。所以,当然,我应该提到需要以适合 3D 打印的逼真方式建模的内联六缸发动机。引擎[音乐]模型完成了。不,对不起。我得让自己找点乐子,因为基本上当这些东西运行时我都在弹吉他。所以好处是我吉他技术进步了。坏处是我的手指很疼。好了,现在我们要看看两个引擎模型。让我们从较小的 Q4KM 开始。好吧,我们有一个渲染图,显示的可能类似于引擎缸体。我想我先选择在切片程序中查看整个装配体的全貌。它确实有点像发动机缸体,我猜可以这么说。
确实,我们会注意到这一点。嗯,还不完全是这样。现在这里有1、2、3、4、5、6个部件。所以,它理解这似乎有一些参考依据,好吧,这是一个六缸发动机。这里有1、2、3、4、5个这样的部件。让我们看看一些单独的零件,因为有时候我们会看到原本意想不到的细节。好吧,所以我们在打开单个气门室盖时看到的故事情节几乎是一样的。让我们试着把发动机整个打开看看。基本上是一回事,但它确实显示出它掌握了整体形状和一些信息,比如这里有六个独立的气缸。那么现在让我们看看Q8版本。我们首先只看完全组装好的切片版本。哦哇,我认为它直接构建了一个全尺寸的逼真发动机,因为那个构建板的大小就像是一台普通尺寸的3D打印机。所以这会远远超出它的范围。[轻笑] 是的。让我们单独看看这些零件,也许吧?有没有什么文字或其他东西?没有。好吧。然后这变成了某种奇怪的条纹图案,当模型太大无法放入打印机的特定构建板时就会出现这种情况。这是一个端盖。好吧。有两个这样的盖子。所以,从某种程度上说,有人可能会争辩说这实际上是一个更糟糕的结果,因为比例完全错了,与Q4KM相比。虽然Q4KM的效果也不佳,但至少它的尺度肯定更符合我们的期望。我认为这可能是一种尝试……好吧。所以这是进气口部分。接下来是油底壳。
皮带轮、涡轮增压器,并且它理解了复数形式,这台发动机确实有两个涡轮增压器。所以这也看到了这一点。这是一点相关的信息。不过它可能通过网络搜索来找出这些信息。所以我猜我们不能肯定地说这是内置知识。好吧,然后在这里我们有气门室盖,这实际上还不错。同样,比例只是大得离谱。然而1、2、3、4、5、6,这些可能是点火线圈帽之类的东西。所以看到差异很有趣。这个模型在细节深度方面确实更有层次感,它选择包含这些内容。缺点是出于某种原因,比例完全乱了。而且它还理解了N20只有20毫米x41毫米(或者是25.4毫米,即一英寸)。所以我们可以看到那里的比例确实有点不对劲。接下来我们要进行的是漂亮的腕表网站前端测试,这也必须包括一个外观精美的3D手表模型,并在网站的英雄区域有一个电影般的相机环绕镜头。这将让我们很好地对比它们的网页设计以及它们在3JS中的模型能力如何。我们的两个网站都已完成。让我们先看看Q4KM的结果。好吧,实际上还可以接受。它确实有一些问题,但我要说一些核心组件是存在的,比如表冠。手表表盘部分可见,但不幸的是,我们无法以允许我们看到更多细节的方式移动它。然后还有一个皮革表带。所以老实说,我对这个的印象比我预期的要深。在这里加载东西并不总是理所当然的。看看手表表面的反射,我们可以看到更多的细节。也许我会再等一会儿让它完成一次完整的旋转。一些数字标记的排列有点奇怪。然而,这实际上还可以。同样,这是一个存在了一段时间的测试,所以有可能这些东西出现在训练数据中。但是嘿,看那里。我们甚至看到了另一个带有金属表带的手表的可见部分,以及实际上不错的前端设计,我想这是因为重点更多地在于模型本身的表现。这就是我们的Q4KM结果。所以这是我们的Q8结果。好吧,我们基本上只需要等待一点时间让它完成一次完整的旋转。乍一看,我会注意到手表表带的大小确实更符合人们的预期。所以那里有更多的真实感,但整体颜色较暗,因此可能更难看清模型中的一些细微细节。好吧,让我们向下滚动,希望我们能更好地看看这些手表。我认为总的来说,这其实是一个更难评判的测试,因为是的,这里的卡片都在移动是很好的。然而,如果我们回头看这个,如果你让我猜哪个是哪个,我想我会很难真正分辨出哪一个是Q8,因为这种情况两种可能性都有。
所以这很有趣。同样,这是一个可能已经存在了一段时间的任务,所以有可能模型能预期到类似的情况,但在这里两者之间的视觉差异确实不那么明显。在许多结果中,情况很清楚,比如“好吧,那是Q8”。但在这种情况下并非如此。所以,对于我们的最终测试,我们将运行一个我实际上一直在用Quen 3.827B模型进行的工作。我一直用它做一个更复杂的测试,那将在未来几天内发布。希望那是一个多天的工作。所以在此期间,我给它们完全相同的测试。其中一个我一直在用那个模型运行的任务,那就是使用Blender和Godot创建街头赛车游戏(Street Eat game)。这是我们喜欢看到的传统街头赛车游戏,但他们在Blender中创建资产,然后在Godot(字幕误识别为GDAU/GDO)中制作游戏,然后我们最终玩它。我要说没有透露太多剧情的话,Quen 3.827B在这个特定任务中做得相当令人印象深刻。所以我们将看看这些模型的表现如何。这个测试我将一次运行一个,因为我想让它们各自拥有对这些工具的免费访问权限。所以Q4KM的街头赛车游戏似乎已经完成。这再次使用了Blender制作游戏资产,然后使用Godot进行实际的游戏开发。所以一旦我弄清楚如何真正玩这个游戏,我们就会看看它。好吧,我们要遇到一堆错误,而且不幸的是,我们似乎无法移动角色,但它确实使用了Blender和Godot来制作游戏。它的完成程度各不相同,老实说,我并没有指望从它那里得到一个完全可玩的游戏。但事实上它确实制作了一些东西,能够打开并向我们展示至少某种街头赛车游戏应有的样子,这对我来说已经足够了。现在进行我们的最终测试。我们将把相同的街头赛车提示词给予Q8版本。
奥尼思 35B。好了,现在我们有了 Q8 Street Eat 的结果。这实际上相当不错。与之前看到的 Q4 相比,这是一个显著的提升。“秃顶的人”这一部分确实很有意思。我要说这真的做得非常好。它构建了这些资产,并将它们整合在一起。加热功能确实有效,尽管可能略显简单,看起来也不是特别令人兴奋。我们没有其他鼠标摄像头,但每次我点击它时,视角就会突然剧烈移动(yeeting)。所以我实际上无法像这里那样平滑地移动视图。但它确实能工作。我的意思是,这真的做得很好。声音、加热的震动以及它如此多次压缩接触点的事实……我真的觉得我对这个印象很深。
我想象大家也会对 Q4 和 Q8 之间存在的巨大差异感到惊讶,而这也将引导我进入总结部分。我在过去几天里一直在录制这些内容。我认为这些都相当不错。我不确定,因为我不记得测试过基于该模型的版本——那是 Qwen 3.5 或 3.6,那个 35B A3B Qwen 混合专家模型。我不记得它具有这种深度的能力。我可能是错的,但我真的认为大家至少会对这些测试中的某些性能感到相当印象深刻。具体来说,这是以前从未做过的测试。所以这不是那种“它进入了训练数据”的情况,因此模型在其中表现良好。
这是我直到这个视频之前从未在镜头前展示过的测试。所以这非常令人兴奋。我要再次说,这种能力相当不错。在某些情况下——并非所有情况,基本上就像在手表网站和 3D 引擎模型中那样,Q4KM 可能在某种程度上做得比 Q8 更好(大于或等于)。但在像这样的任务中,或者在 C++ 滑板游戏中,我们肯定能看到 Q8 倾向于领先。所以这很有趣。我想做一个并排比较,因为虽然我喜欢在 Q8 上测试,因为它能展示更多的潜在性能,但我意识到很多人会选择 Q4KM,因为它的运行更现实。这就是为什么我想做一个并排比较的原因。
总体而言,这大概将结束我们对奥尼思 1.535B-A3B 模型的首次观看和测试。基于这一两天的测试结果,我认为它们真的相当令人印象深刻。我觉得大家可能会发现尝试这些模型是值得的。那么,我想如果我们能让网格碰撞器在需要的地方触发,我们再做一个“yeet”吧。好了。如果你们有任何问题,请随时在评论中留言。感谢观看。