Ornith-1.5模型背景与基准测试表现

本期视频重点评测 Ornith-1.5 模型,该版本基于 Qwen 3.5 进行后训练优化。当前测试的是 397B 最大版本,其官方基准数据显示在 SWE Bench 上得分达到 86分,这一成绩甚至超过了最新的 Qwen 3.8 Max 版本。虽然模型声称在性能上优于 GLM 5.2,但实际表现如何仍需通过具体测试验证。该模型支持多模态推理,例如能准确识别图片中的 橙色虎斑猫(orange tabby cat),展示了其视觉理解能力。

数学与逻辑测试中的幽默失误

在 IMO(国际数学奥林匹克) 历史真题测试中,模型表现稳健。关闭思考模式时消耗 3,000 tokens 得出正确答案;开启思考模式后,尽管该模型不支持 Qwen 3.8 的“超高级别”思考选项,但消耗 11,000 tokens 后依然正确解题。然而,在经典的“8个橙子、4个孩子和1把刀”分配逻辑题中,模型出现了令人捧腹的 过度解读。它未区分“物品”与“生物”,将总数算作13项(8橙子+4孩子+1刀),并得出每人分得 3.25项 的结论,甚至建议用刀切割孩子和刀本身。

"The trick is the word 'them'... It doesn't just want you to cut the oranges. It wants you to cut the children." 这种 黑色幽默 式的逻辑错误虽然荒谬,但展示了模型在特定语境下的创造性(或灾难性)联想能力。

文化常识与3D生成代码质量评估

在 B-selector(英国体育节目梗)测试中,模型未直接回答“rewind”(倒带),而是建议观众要求节目组提供该选项,虽不完全准确但体现了对文化背景的模糊认知。在 3D体素猫 生成测试中,关闭思考模式生成的模型存在方向颠倒问题;开启 Thinking Mode 后消耗 18,000 tokens,生成效果有所改善但仍显粗糙。在 3D太阳系 测试中,模型消耗 5,000 tokens,内存占用达 424 GiB。虽然生成的行星可交互且光照正常,但整体完成度略逊于 Kimmy K3 模型。在后续添加 飞船控制 的代码编辑测试中,生成的飞船移动逻辑存在反向错误(鼠标右移导致左移),暗示量化过程或模型本身可能存在细微缺陷。

3D飞行模拟器的生成质量与上下文消耗

在测试 Ornith-1.5 的创意编码能力时,生成一个 3D飞行模拟器 的过程揭示了模型在思维模式切换下的表现差异。首次运行启用了 thinking(思考)功能,虽然最终生成了代码,但存在声音按钮缺失的 bug。修复该问题时关闭了思考功能,仅消耗 4,000 tokens 便成功解决。生成的视觉效果被描述为“像飞进复古渲染画作中”,云层带有闪烁效果,尽管存在某些看似 bug 的视觉现象(如脚下的程序化世界),但整体氛围被评价为具有“心灵的宁静感”。

"It's like I'm flying inside one of those rendered paintings back in the day."

面部渲染缺陷与MoE模型的本地部署特性

在生成 程序化写实人脸 时,模型表现出现显著差异。关闭思考功能后上下文窗口为 13,000 tokens,而启用思考模式则高达 69,000 tokens。尽管这是一个 MoE(混合专家)模型,但在本地运行时,若正确设置采样参数,其编码性能优于云端服务。然而,启用思考模式导致模型无法正确渲染面部特征,最终生成的头部 没有眼睛和嘴巴,仅有一个鼻子的凸起。作者指出这可能是模型在后台训练数据上的遗留问题,尽管存在缺陷,但面部轮廓显示出潜在的可能性。

"Unfortunately, I've done it and this is the best version of a head I can get out of it."

3D人体解剖与弹道系统的物理交互测试

在 3D人体解剖 生成中,关闭思考模式仅消耗 9,000 tokens。生成的模型包含肋骨、肩部肌肉(被戏称为“布洛克·莱斯纳式”)、腹肌以及跳动的心脏。虽然循环系统未完整呈现,但心脏的搏动动画被评价为“相当不错”。在 弹道系统(Ballista) 测试中,消耗 5,000 tokens 生成了类似《帝国时代》的投石车,具备基础物理效果。这些测试表明模型在生物结构和简单机械模拟上具有不错的生成质量,尽管交互性(如点击肌肉)存在限制。

"This is probably one of the better generations that I've seen for this model."

GTA风格城市模拟:从基础驾驶到完整游戏循环

在 《侠盗猎车手》(GTA) 风格生成中,关闭思考模式消耗 9,500 tokens 生成了“Los Santos Neon City”。场景中包含 AI 驾驶员、道路中间的树木(被调侃为城市规划失误)以及可交互的车辆。启用思考模式后,单次提示词消耗 40,000 tokens 生成了包含过场动画的完整游戏,无需错误修正即可运行。该版本支持上下车、碰撞检测以及昼夜交替(尽管城市灯光未点亮)。作者强调,相比其他模型需要反复修正代码的繁琐过程,Ornith-1.5 在启用思考模式下能一次性生成更完整、更少 bug 的游戏逻辑,展现了其在复杂游戏开发中的潜力。

Red Dead Redemption Remake: Functional AI and Town Dynamics

在生成《荒野大镖客》重制版时,模型上下文窗口消耗至 49,000 tokens。尽管开场存在角色直接漂浮升空的Bug,但生成的城镇展现了真实的动态交互能力:行人会四处走动,持枪敌人能识别并射击玩家。虽然人群在枪声中未表现出逃跑逻辑,且存在碰撞与移动异常,但整体已具备游戏骨架。正如创作者所言:

"You got AI there. You got a town. You got pedestrians." 这种基础逻辑的完整性证明了模型在复杂场景生成上的潜力,尽管仍需优化人群行为算法。

Super Mario and Outrun: Visuals vs. Gameplay Logic

在禁用思考模式(Thinking Disabled)下,生成3D平台游戏《超级马里奥》仅消耗 10,000 tokens。修复初始不可见Bug后,角色能正常奔跑跳跃,虽无双跳功能但体验流畅。相比之下,《Outrun》赛车游戏消耗 8,600 tokens,虽拥有华丽的图形和碰撞检测,但赛道逻辑破碎导致无法真正前进。创作者指出:

"It's definitely gorgeous graphics, but the actual racing doesn't actually happen." 这表明模型在视觉渲染与核心玩法逻辑之间存在显著断层,前者表现优异而后者往往缺失。

Productivity Apps and Logical Reasoning Anomalies

生成类似Microsoft Word的生产力应用仅用 4,600 tokens,字体调整功能正常但菜单系统失效。这反映了模型在UI生成上的局限性:界面美观度高于可用性。视频最后探讨了模型的逻辑推理特性,面对“8个橘子、4个孩子和一把刀如何平均分配”的问题,模型给出了极端且荒谬的答案。它坚持“一切必须被平等对待”,因此建议用刀切割橘子、孩子甚至刀本身。这一案例揭示了模型在严格执行指令字面意义时的逻辑盲区。

结论

Ornith-1.5在复杂代码生成与游戏逻辑构建上展现出显著优势,尤其在启用思考模式后能一次性产出具备完整交互、AI行为及物理效果的GTA与荒野大镖客风格场景,且本地部署性能优于云端。然而其短板同样明显:视觉渲染与核心玩法逻辑存在断层,如Outrun图形华丽但无法行驶;且模型在字面指令执行上缺乏常识判断,出现切割孩子等荒谬逻辑错误。该模型适用于追求高完成度创意编码的场景,但在严谨数学推理与基础物理交互的精确性上仍有缺陷。