Or Niff 基准测试与开源许可的疑点

本期节目重点评测基于 Qwen 3.5 微调的新模型 Or Niff，其官方基准测试显示性能超越 GLM 5.2、MiniMax 及 Qwen，但在 Terminal Bench Pro 中刻意隐藏了 GLM 5.2 高达 81分的数据，引发对数据完整性的质疑。尽管该模型宣称采用 MIT 开源协议，但点击许可文件无实际内容，且其底层基于 Apache 2.0 协议的 Gemma 4 和 Qwen 3.5，这种许可声明与实际代码来源的矛盾令人困惑。此外，阿里巴巴近期未发布新的 Qwen 模型，暗示其可能不再积极开源新架构。

"I noticed that in terminal bends they have omitted GLM's performance. So GLM actually got 81."

Qwen 397B 视觉生成与推理性能对比

测试选用 Qwen 3.5 的 397B 版本，该模型支持视觉输入且可在 Mac Studio 上以 9-bit 量化高效运行，生成速度达到 24.8 tokens/秒。在“创建 3D 体素猫”任务中，Or Niff 即使关闭思考模式仍陷入死循环；启用思考后消耗 10,000 tokens 生成动画，但仅通过上下浮动模拟动作。相比之下，Qwen 3.5 启用思考模式后仅需 3,000 tokens，却实现了头部、身体和尾巴的独立自然动画，证明其单位 token 的智能密度更高。另一对比模型 Next Two Pro 在 13,000 tokens 上下文中以 21 tokens/秒生成，但出现地板 Z-fighting（闪烁）问题。

"10,000 versus 3,000, hopefully you're going to get more intelligence there."

数学推理能力与训练过拟合迹象

在确定所有实数解的复杂数学题中，Qwen 3.5 关闭思考模式时消耗 14,000 tokens 得出正确答案，而 Or Niff 关闭思考模式时陷入死循环直至 21,000 tokens，暴露其微调数据可能针对特定任务过拟合。启用思考模式后 Or Niff 消耗 16,000 tokens 才得出正确整数解，表明思考模式是其有效解决复杂推理的关键。尽管 Or Niff 宣称拥有“自我改进训练框架”，但当前版本在基础推理稳定性上不及基座模型，后续将测试其 photorealistic WebGL 渲染能力以全面评估。

"Maybe the fine-tuning... might have overfit somehow to pass the bunch of stuff to do math."

Minecraft克隆与运行时错误修复

在Minecraft生成测试中，Qwen 3.5生成了基础版本但无法点击交互。Ornith模型在启用思考模式下生成约5,800个token，虽然能破坏方块但存在“弹跳”般的视觉bug。值得注意的是，Next 2 Pro在生成Minecraft时陷入了失控循环。作者指出，模型微调有时会导致过拟合阶段出现这种逻辑死锁现象。尽管Ornith的Minecraft体验略显怪异，但其代码量与Qwen 3.5相当（约5,000至5,800 token），且能通过复制粘贴错误信息来修复运行时异常，展现了不错的调试潜力。

Flappy Bird与微软Word克隆对比

在Flappy Bird测试中，Qwen 3.5的生成结果较为破碎。Ornith在禁用思考模式下仅用3,700个token生成了功能正常的游戏，但存在碰撞检测缺失的问题。相比之下，Next 2 Pro陷入了长达25,000个token的思考死循环。在微软Word克隆测试中，Qwen 3.5生成了可改字体的基础版。Ornith生成约6,000个token，界面更美观但字体更改功能失效。Next 2 Pro的表现则被评价为“pathetic”（糟糕透顶），表明其在特定任务上的训练数据存在缺陷，尽管基准测试分数可能较高。

3D行星生成与杂项代码能力

在“10% Luck”歌曲识别中，Qwen 3.5误认为是Fall Out Boy，启用思考后正确识别为Fort Minor。Ornith在禁用思考时误认为是Five for Fighting，启用思考后才正确识别为Remember The Name。这证明通用知识问答必须依赖思考模式。在3D行星生成测试中，Qwen 3.5用12,000个token生成了美观但水位控制失效的页面。Ornith在禁用思考下生成效果极佳，拥有真实水体但地形细节菜单无效。此外，Ornith生成的HTML钢琴《小星星》黑键位置错误，表现不及GLM；但其Canvas汽车动画背景优美，仅存在轻微质量损失。

3D程序化城市生成：思考模式对视觉质感的决定性影响

在测试关闭“思维”功能时，模型生成了一个夜间3D程序化城市。尽管耗时5,000个token，但生成的建筑呈现半透明状态，整体观感较为基础且带有“鬼城”般的阴森氛围。随后启用思维模式，额外消耗2,000个token（总计7,000），生成的城市质量显著提升，视觉效果更加逼真。评论者指出，若在此基础上添加NPC角色，该生成物甚至具备成为类似《侠盗猎车手6》（GTA 6）游戏的潜力，证明了思维模式在复杂场景构建中的关键作用。

"This could be the Grand Theft Auto 6 you guys have been waiting for. just put a bit of NPCs in the situation..."

Out Run赛车游戏克隆：复古美学与逻辑缺陷的并存

测试重点转向制作1987年《Out Run》赛车游戏克隆版。初始生成出现运行时错误，且车辆会直接撞毁或消失。经过提示词修正并启用思维模式后，游戏成功运行，呈现出海岸线场景与复古CRT屏幕效果。尽管车辆会脱离道路“消失到永恒”这一逻辑缺陷依然存在，且整体完成度不及GLM 5.2或Kimi K 2.7，但其复古美学风格被评价为所有测试模型中最具吸引力。这种视觉上的“破碎感”反而强化了怀旧氛围，展示了模型在特定风格化任务中的独特潜力。

"This is probably Out of all the models I tested, this is probably my favorite... It's broken. But it's my favorite aesthetic looks wise"

超级玛丽与数学逻辑测试：基础能力对比GLM的显著差距

在《超级马里奥》生成中，关闭思维模式耗时6,000 token（25 tokens/秒），生成了可移动但无法跳跃的角色，仅能死亡扣命；启用思维模式后耗时4,000 token却出现运行时错误，甚至无法正确导入3.js库。这表明该模型在代码生成稳定性上存在波动。此外，在数学逻辑测试中（如“8个橙子分给4个孩子”），模型未出现GLM 5.2中曾发生的“切掉孩子”的幻觉错误，直接输出正确分配方案。虽然其基础数学逻辑优于GLM 5.2的特定幻觉案例，但在代码执行与复杂数据调用（如美国地图生成）上仍显粗糙，仅能实现基础搜索功能而无法交互点击城市。

逻辑陷阱与思维链的稳定性测试

在基础逻辑推理环节，模型表现呈现出对“思考模式”（Thinking Enabled）的依赖。测试中涉及一个关于洗车距离的场景，模型在关闭思考模式时建议步行前往50米外的地点，但开启思考后经过1,000个token的推理才建议驾车。在经典的“外科医生是男孩父亲”谜题中，开启思考模式能正确识别父子关系，而部分模型因受原题“母亲”预设干扰会出错。此外，在涉及特斯拉与纳粹的敏感话题测试中，关闭思考模式导致模型陷入循环响应失败；开启后虽识别出这是“爸爸笑话”（Dad Joke），但未能清晰阐述其内涵。作者指出，当模型开始思考“切断”逻辑时往往存在风险，此次测试中未出现中断属于幸运。

"Surgeon is the boy's father with thinking enabled still knows a surgeon is the boy's father." "It just couldn't handle the heat. It couldn't be possible."

结论

Ornith在复古美学生成（如Out Run）及特定视觉任务上展现出独特吸引力，但其核心短板在于对“思考模式”的过度依赖及微调过拟合。在3D体素猫、数学推理等任务中，Ornith常陷入死循环或消耗远超基座Qwen 3.5的Token数，导致效率低下且稳定性不足。虽然其基础逻辑优于GLM 5.2的特定幻觉案例，但在代码执行稳定性、交互功能完整性（如Word字体修改失效）及复杂场景构建上，表现不及Qwen 3.5。该模型目前仅适合对视觉风格有特定需求且能容忍逻辑缺陷的场景，作为通用开源替代方案尚不成熟。