(音乐声)>> 这是什么?就像富人戴着做见不得人事的遮脸面具。大家好,欢迎收看本期节目。今天我们要测试的是 Ornith(鸟鸣),它是基于 Qwen 3.5 的微调模型,号称是当今最先进的编码智能体。他们公布了一些基准测试数据,看起来非常惊人。大家看这里,他们在几乎所有方面都碾压了其他模型:包括 Qwen 本身、MiniMax,甚至 GLM 5.2。在 SWE Bench Pro 中,它的得分高于 GLM 5.2——要知道 GLM 5.2 是个非常棒的模型,之前还击败过它。但我注意到在终端基准测试中,他们刻意隐瞒了 GLM 的表现数据。实际上 GLM 得了81分。所以这里可能有些猫腻,他们在隐藏这些基准数据。
不过话说回来,它至少是个开源模型,一如既往采用非常开放的 MIT 许可证。顺便提一句,当你点击“查看许可文件”时,页面会跳转到一个空白处。如果你去查这个模型的基础架构,会发现它基于 Gemma 4 和 Qwen 3.5,而这两个都是 Apache 2.0 许可。所以我真不知道他们在搞什么名堂。另外,阿里巴巴已经好几天没发布新的 Qwen 模型了,显然他们不再开源新作了。
(笑声)>> Qwen 真的太好了。这些公司免费发布模型供你玩耍和实验,结果你只要花两分钟用它做点自己的业务策略之类的事,立马就被全网骂。总之 Ornith 已经发布了,我们来试试它吧。我们将把它与原版 Qwen 3.5 进行对比,重点测试那个“怪物级”的 397B 版本。我喜欢 397B,因为在我的 Mac Studio 上以 9-bit 量化运行完全没问题。我做过成千上万次测试,真的做了世界上所有的测试类型。我不确定是否会把所有结果都展示给你们看,但我会演示几个手头现成的案例,让大家感受一下这个模型有多强。
请记住这只是 1.0 版本,他们宣传说有一套“自我改进的训练框架”,里面堆满了各种时髦词汇。希望未来能有所提升吧。版本 2.0 会怎样?如果他们微调了世界呢?也许他们会去微调 GLM。哇哦!Qwen 3.5 97B 的一个优点是它也是视觉模型,你可以给它图片让它处理。比如我输入指令:“用单个 HTML 文件为我创建这张图像的3D体素版本。”可以看到 Qwen 成功制作了一只漂亮的小猫。
当我让 Ornith(Orpheus)执行同样任务时,尽管我禁用了思考模式,它还是自行进行了大量推理,结果陷入了失控循环,这次不算数。我本可以重新提示或更换随机种子重试,但我选择启用思考模式再跑一次。在相同理解指令下、开启思考模式的 Ornith 认真解析了图像内容,甚至写出了代码。一万 token 后完成生成,速度达到每秒24.8个token——这是个非常快的模型。在9-bit量化下,Qwen 的架构在这个尺寸上表现确实出色。
快速播放一下视频:我们得到了一个不错的计数器界面。显然需要稍微拉远视角才能看清全貌,它通过上下浮动体素来模拟动画效果,而不是真正移动尾巴。我可以追加指令:“请专门让尾巴动起来。”这次我禁用思考模式运行,看看速度如何。正如所见,即使上下文窗口超过一万token,它仍以每秒21个token的速度稳定输出。与此同时,开启思考模式的 Qwen 只生成了三千token——一万对三千,理论上后者应该更智能。让我们看看 Qwen 版本做了什么:这是一次性提示且启用思考模式,仅用三千token。
可以看到它生成了一只猫,尾巴已经独立于头部运动:头在动、身体在动、尾巴也在摆动。尽管 token 消耗更少,我认为这个结果比 Ornith 那个“巨大成果”更好——当然也可能只是随机种子碰巧运气好。让我们看看 Ornith 的表现如何。作为对比,我还用另一个开源模型 Qwen 3.7(以及另外两个微调版本 Next2 Pro)跑了相同任务。那个模型降到了每秒10个token,我可能是在调试模式下运行的,上下文窗口为1.3万token。
点击播放看看效果:(笑声)尾巴在动,但地板也在晃动!这就是 Next2 给你的结果。它的体素化风格更明显,可能不如原版精细——因为原版直接给出了干净的结果——但这里有一些奇怪的动画效果。最终 Ornith 在启用思考模式下用了3167个token,速度21 token/秒。让我们检查它是否遵循了指令:相机没有进一步后退,但尾巴确实在摇摆。不过地板存在严重的 Z-fighting(深度冲突)问题。这就是当前的情况,我们再看看其他测试案例。
接下来是一个数学题对比环节(稍后我们会进行完整提示词深度测试)。Qwen 3.5 被要求“确定所有实数解”,经过大量推理后得出答案为2K(即偶数),这是正确的。完全相同的提示给 Ornith 时,它却陷入了失控循环——生成了2.1万token!谢谢。(笑声)我设置了循环检测器阈值为9,以防它未被检测到。幸运的是没有彻底失控狂奔,但2.1万token才捕捉到循环点,说明它没能扛住压力。
也许微调数据过度拟合了数学任务?让我们启用思考模式重试:1.6万token后,它终于得到了正确答案(整数解),干得不错。理想情况下——注意即使禁用思考模式,Qwen 也用了1.4万token,两者差距并不悬殊。但启用思考模式似乎是当前最优解。接下来还有大量测试!比如一个照片级真实的 WebGL 渲染任务:这是 Qwen 3.5(Quinnie)的版本,非常基础——仅仅是一个地球仪。
我本可以用多种随机种子和空间参数反复运行来验证其真实能力,但这次只给了一次性提示。让我们看看 Ornith 版本能做出什么效果……
它确实生成了一个看起来像脸的东西,但那种感觉就像是正在旋入宇宙的边缘。所以我刚刚问它:你能让它慢下来吗?能不能让它稳定一点?现在它正在打印输出令牌,不过我也开启了思考模式运行了一次,让我们看看那会是什么样子。
这是什么?这就像是你戴的某种面具。我们正在搞那种特朗普式的派对,就是世界上会发生的那种事。你知道他们戴着一些面具在这里做一些富人常做的可疑勾当吗?
[笑声] >> 这家伙到底接触了什么?接下来是《我的世界》,我们点击播放。这是原始的 Qwen,所以我们确实有……哦,那真的很好。它实际上让《我的世界》以非常基础的版本运行起来了。我们能点击吗?不幸的是我们不能,但我们可以在这个世界里四处走动,所以它是一个很好的构建基础。你知道《我的世界》作为起步项目是很不错的,而且我们确实遇到了一个运行时错误,所以显然我可以直接复制粘贴它来修复这个错误,这挺有意思的。
使用 Ornith 我们生成了 5,500 个令牌,额外多了 1,500 个令牌,这在误差范围内。每秒 26-25 个令牌。我们点击播放,这里确实有《我的世界》,只不过它有点像充气城堡版本,也许就像是一个 51 区,孩子们去那里玩耍并把所有奇怪的视觉感受都发泄出来。你不能点击……哦,你可以点击破坏方块,但玩起来有点怪异。不过我这里有开启思考模式的重新提示词版本,它也生成了大约 5,000 个令牌左右,具体是 5,800。在这里点击播放后,它仍然喜欢弹跳移动。我喜欢让它动来动去。你可以建造方块。所以它依然不错,只是有点小故障。
有趣的是,使用 Next 2 Pro,当我要求做一个《我的世界》克隆时,它也陷入了失控循环。所以有时候当你微调模型时,你会进入这种过拟合阶段,它就会变得有点死循环。这就进入了机器学习的领域了。
3D 版《Flappy Bird》,Qwen 3.5,它只是一个非常、非常基础的生成。有趣的是,《Flappy Bird》在 Qwen 3.6 中经过训练,使得 3.6 Qwenny 能制作出漂亮版本的《Flappy Bird》。所以即使是大模型产生的结果也不如 3.6 的小版本好。因此,Qwenny 3.5 版本的《Flappy Bird》有点坏了。让我们看看 Ornith 版本能做什么。
在禁用思考模式下,生成了 3,700 个令牌,这是一个有趣的可视化效果。我得说它很好。我会说《Flappy Bird》是较难制作的游戏之一。所以这是一个不错的生成结果。它显然不是最好的,JGLM 的那个很好。这个比较基础,所以我不明白他们为什么说比 JGLM 更好。这里发生了什么?
[笑声] >> 没有碰撞检测,有点杂乱无章。有趣的是 Next 2 Pro,另一个 Qwen 的开源版本,它进入了思考循环。它就有点疯了,在生成 25,000 个令牌后我放弃了,因为制作《Flappy Bird》花太长时间了。
微软 Word,Qwenny 3.5,让我们看看它制作的版本。这是一个不错的 Microsoft Word 基础版。你能改变字体吗?你可以改字体,这很好。使用 Ornith,生成了 6,000 个令牌,我们点击播放。它看起来更好了。我觉得确实好多了。你这里有这个菜单但什么都不做,没有运行时错误。嗯,你能改变字体大小吗?让我们看看。Calibri, Joji, Jojo 我爱你 Jojo,它看起来更好了,但改变字体不起作用。他们骗了我,而且骗得很厉害。这是个幌子。
让我们看看 Next 2 Pro,另一个 Qwen 3.5 的微调版本如何。那看起来太惨了,完全不好。你退步了。他们训练它的数据使得 MS Word 克隆效果变差了。基准测试很好,但 MS Word 克隆不好。你看,有赢家就有输家,就是那种情况。
最后结束比较阶段旅程的测试。这是“10% 运气,20% 技巧”,Qwen 3.5 认为这是 Fall Out Boy。不,不是 Fall Out Boy。但开启思考模式的 Qwen 知道那是 Fort Minor。记住那个名字,做得很好。现在用我的朋友们 If(Ornith)。我们现在是朋友了吗?Spuds,它认为那是 Five for Fighting 乐队的歌。John Ondrasik,太恶心了。你们是那个家伙的粉丝吗?那首歌叫 Lucky。所以那是错的。它不知怎地知道是 Remember The Name 的歌,100% 确定是 Remember The Name,但不知道是谁创作的。开启思考模式后它确实知道了。所以如果你想处理这些通用知识用途,你需要确保为这些事情启用思考功能。
最后但同样重要的是,这是一个选择……随便那个词是什么吧。创建高保真交互式网页用于 3D 行星生成,这有点棘手。12,000 个令牌后,Qwenny 制作了这个漂亮的生成物。那挺不错的。水位不太起作用。我们能发射小行星吗?哦,我们做到了。那很酷。一颗小行星,那是个很好的环绕行星的环。所以那很漂亮。
在 If 上禁用思考模式,同样数量的令牌。哦,那看起来太美了。那是个漂亮美丽的行星生成物。你有水层,所以这一点比 Quinny 的得分高。完全相同。山体高度真的没起作用,所以那要扣分。地形细节也不是……是的,它们是幌子。菜单系统什么都不做。让我们看看至少能不能得到小行星。我们确实有小行星,我们有爆炸效果,所以那还可以。让我们看看死星看起来怎么样。嗯,那个看起来还行。那是个外观不错的死星。
让我们看看 Quinny 原始的死星。那个看起来还可以,确实很漂亮。那是个不错的生成物。现在为了加分项,我们做了很多其他测试,让我们直接进行吧,因为我做太多了。这是一个 HTML 钢琴制作《小星星》,它在运行但绝对是基础生成。我认为黑键位置不对,我不是真正的钢琴家,但我认为我知道那应该是错的,所以那是失败案例,远不如 Kimmy K 2.7s 和 GLMs。
这个更好一些,那个确实更好了,但非常基础。你见过其他模型更好的生成物。这个是在做画布动画,正在制作路上的汽车,那绝对是好的生成效果。背景很美,你看到太阳在背景中升起。车可能不会越野行驶,它在上下颠簸。所以这里有一点质量损失,但总体来说这是一个美丽的生成物。
关闭思考模式,制作一个3D程序化城市。五千个令牌之后,让我们看看它的表现。现在是夜晚,所以这没问题哦,这是一座非常幽灵般的闹鬼城市。那里的生成有点基础。建筑物有点透明,所以这是个缺点,但我们将开启思考模式再试一次。
这次多产生了两千个令牌,总共七千个令牌,看起来好多了。你可以把它变成游戏。这可能就是你们一直等待的《侠盗猎车手6》吧,只要在里面放一点NPC。如果你掷个骰子,砰,你就有了《侠盗猎车手6》。
现在我要来到我最喜欢的部分了,这是我最近最喜欢的测试点。我正在制作一个1987年《极速赛车》的游戏克隆版。让我们看看这会变成什么样,这将会是一个竞速游戏。这是反向《极速赛车》,也就是说不是你在开车,而是有汽车朝你冲来,然后它直接撞车了。但它确实有点潜力。
不过它有运行时错误。我在这里给一点提示,因为我实际上想玩这个游戏。所以我点击播放,希望它能修复这个愚蠢的问题。开启思考模式后还是老样子,我们再次点击播放看看效果如何。
这里确实有一个漂亮精美的《极速赛车》展示。海岸线,简单模式哦,这看起来不错,真的挺好看的生成效果。你知道什么吗?在我测试的所有模型中,这可能是我最喜欢的一个。虽然它坏了,但就美学而言它是我的最爱,因为它看起来非常复古哦,显然它是坏的。
我不会说它是最喜欢的,也许我要收回这句话。是的,有潜力这个视图看起来很好。我喜欢他们制作的CRT效果展示,甚至汽车看起来很漂亮。也许介绍等所有东西显然不如GLM和Kimi K2.7好,但如果你告诉它实际上要留在路上而不是消失在永恒中,那里确实有潜力。
超级马里奥让我们看看能否制作超级马里奥,关闭思考模式六千个令牌像现在这样快每秒25个令牌超快。这实际上是一个不错的生成效果,不幸的是你不能跳跃,但你确实有一个看起来像马里奥的人。
不幸的是,马里奥的整个目的是四处跳跃和收集硬币,所以你实际上不能那样做。但你可以通过其中一个死亡哦,我被击中了并且失去了某些生命。所以这里有潜力我的意思是,就像20年前做3D平面平台游戏时那样,这很惊人。
你必须使用像OpenGL所有这些间接纹理之类的东西但现在你只需提示它就会出现然后也许如果你学习编程,你可以让它变得更好。所以这很酷或者你可以通过提示到达终点那是关闭思考模式的情况让我们在这里开启思考吧。
关闭时是六千个令牌,开启时是四千个令牌所以你知道有些提示在思考模式下表现良好这里的一些提示显然关闭思考更好让我们看看开启思考那是一场灾难它有一个运行时错误。
它甚至不知道如何导入他们正在使用的3.js库我要保持思考开启看看我能否修复这个问题。这里这个来自“亚洲爸爸能量”的家伙正在为美国制作一个特殊地图,比如训练和飞行站。
屏幕上有一个地图但它也有运行时错误我让它修复它只是给了我修复代码我说“不”打印出完整代码兄弟。尽管如此,我有一个开启思考的版本我只想通过并检查代码因为我在其他模型中看到过它们字面上拥有每一条单轨列车轨道、每一个火车时刻表以及数据库中每一趟机场航班。
它们一直保留着所有这些数据其中一些甚至像Minimax M3花费了10万个令牌我不能说那个词。十万个令牌复述Amtrak火车时刻表它甚至没到写代码那一步它们只是我不得不停止它太多了Minimax达到了极限。
这家伙它的HTML只是在跳跃并没有太多数据这里的生成非常非常基础这是开启思考模式虽然用了八千个令牌所以那有一个运行时错误所以我让它重新提示它又打印出来了。
让我们点击播放看看这是否看起来不错它有潜力只是不幸的是没有在屏幕上渲染任何东西所以你确实有一个菜单搜索栏所以我输入达拉斯是的,那个搜索有效。
它有颜色它有关键字所以希望最终你能看到它能点击城市吗你不能点击城市所以在生成上太基础了不能真的给它太多分数也许就做了点什么给四分之一的分。
详细描述一下视觉模型所以它说那是一只猫那是主题它有大的圆形发光的绿色眼睛砰,那是正确的。它的口鼻和下巴颜色较浅是的它是这样光线看起来自然且漫射图像传达出平静、温暖和魅力。
所以这是一个非常好的形容词可以喂进你的小说中除了你自己没人会读因为AI正在吞噬世界但你知道每个人都在为你的孩子写儿童故事你知道这很棒。
至少你的观众是个人化的也许那是未来也许而不是这个分布式计算机哦,也许是不会发生。我本来想说也许在未来我们不会再在Reddit上嗡嗡作响你知道只是试图获得另一边潜在人类的快乐。
也许我们会知道一切都是AI,所以我们可能会在周围当地寻求联系但是的我只是说如果你有一些欣赏你的小人类也许你可以在这个智能的帮助下为他们写一些小书。
那可能是某种潜力个人联系可以得到辅助直到他们更好地了解世界并开始看Netflix然后讨厌你的生活无论如何我们回到这里确定所有偶数我们知道它在数学上挣扎。
再给一个孩子你有八个橙子四个孩子和一把刀均匀分配它们所以我看不到它失控的潜力哦让我们就说给。>> [哼] >> 所以“给”仍然是好的我们在GLM 5.2中看到第三受欢迎的令牌是切。
当你选择那个令牌时它说切掉孩子们所以是的那是前三寻求的令牌只有3%但它在列表上是第三这个家伙这里你看给。
那里没有像样的剪辑,所以这很好。给……不,没有任何删减。每当我看到它在思考是否要删除某些内容时,情况就变得有点危险了,所以这次我们运气不错。
离我家五十米远的洗车店,它说你应该步行去,除非你开启了“思考”模式。然后在一千个令牌之后,它又改口说你需要开车去。
关于那个谜题:“外科医生是男孩的父亲。”不开思考模式时,它知道“外科医生就是男孩的父亲”。开启思考模式后,它依然知道“外科医生是男孩的父亲”。令人惊讶的是,有些模型不知道如果外科医生是男孩的父亲这一事实。它们会认为孩子的父母一定是母亲,因为那是原版谜题的套路。这把它们搞糊涂了。
当你在谈论特斯拉时,它不知道什么是“纳粹”,所以在禁用思考模式的情况下失败了。当时它陷入了循环回复的状态,简直无法承受这种压力。这根本不可能嘛。“埃隆·马斯克是我们的救世主”——开启思考模式后,它认为这是一个“老爸笑话”,但它没能具体阐述出这个笑话到底是什么。
现在,为了结束这期节目,我要做一个有趣的小挑战。看看它在C++方面有多厉害。我想知道哪个更快:快速排序还是冒泡排序?所以我让它可视化这个过程,并打印出代码。
结果它直接在这里输出了所有HTML内容,我们可以立即运行看看。看,代码就在那里。这是我们的C++冒泡排序和快速排序实现。看起来很基础,我不打算深入审问代码细节。也许你们可以告诉我这是否正确与否。你可以点击运行冒泡排序,确切地看到冒泡排序中正在发生什么。
你能看到每个元素都在向末尾“冒”上去,而快速排序呢?砰!它在少得多的步骤内就完成了。所以这绝对是一次华丽的生成过程。
开启思考模式后,在四千个令牌之后,我们实际上得到了C++参考代码。所以我特别要求它提供HTML以及两者的参考C++代码。在禁用思考模式时,参考代码包含在HTML内部;而在开启思考模式时,参考代码则在HTML外部。所以这只是需要留意的一点:当你提示它时,输出位置有点随机。
在这里,它被设计成一场竞赛,所以两者同时运行。速度……砰!沙卡拉卡(拟声词),你可以拥有大量的元素数量。所以,让我们再启动一次。砰!就像在演奏管弦乐一样。我们其实应该做这件事,加上钢琴伴奏,在互联网上搞点花哨的东西。
但正如你所见,所有Neef(可能指某个团队或模型系列)都在这个领域抢风头。随着Qwen 3.5的出现,它们正在接管主导权。另外也看看Next N2 Pro吧。他们也微调了Qwen 3.5。同样,我不认为那些基准测试太可信,因为虽然它们不是GLM(智谱模型),但它们是基于Qwen 3.5构建的。你知道,Qwen 3.5起步时并不如GLM那么强,而且它仍然是开源的。
它们还获得了独特的人格魅力。所以看看这个。“Aloha”(阿罗哈/你好)。我不知道它们是不是夏威夷人,但我也回你一句Aloha。希望你们觉得这个视频有用并享受了这期节目。
[音乐] 这是什么?这是那种你戴上去做富人常做的事情的面具吗?