Sakana Fugu Hands-On Test – Does THIS Really Beat Fable 5?

Fugu的本质：智能路由而非单一模型

Sakana Fugu并非传统意义上的单一AI模型，而是一个智能路由系统。它通过专有算法，动态调用Opus 4.8、Gemini 3.1 Pro和GPT55等前沿模型来处理任务。这种架构的核心在于任务编排，即根据用户请求智能分配工作负载。正如官方论文所述：

"Given a user query, a Fugu model constructs an agent scaffold over a pool of Frontier LLM workers deciding which workers to involve, what instructions or roles to assign..."

这意味着用户交互时感觉像是在调用一个单一模型，但内部系统实际上在路由、委托和协调多个专用代理。这种设计使得Fugu具备了对现有最强模型进行协同优化的能力，而非仅仅依赖单一模型的参数规模。

版本差异与定价策略

Fugu提供两个版本：Fugu和Fugu Ultra。后者通过更深层的编排和更大的工作池优先保证答案质量，但代价是更高的延迟。Fugu Ultra基于"Conductor"论文，增加了适应长视界函数调用和多代理工作流的自适应代理记忆功能。

在定价方面，Fugu采用按量付费模式：

值得注意的是，当上下文超过272K时，价格会发生变化。测试者发现，仅发送两次"hello"就消耗了4美分，显示出潜在的较高使用成本。此外，还有类似ChatGPT的订阅计划可选。

基准测试预期与实际测试环境

Sakana声称Fugu在Swebench Pro（代码基准测试）中表现卓越，除Fable 5外超越所有其他模型，甚至在某些指标上略胜Fable 5。为了验证这一说法，测试者选择了Ubuntu终端环境，通过命令行接口进行测试，而非官方推荐的OpenAI Code CLI。

测试首先进行了基础的浏览器OS测试，要求生成GTA克隆并截图。Fugu在6分钟内完成了任务并提供了截图结果。测试者特别关注了计费细节，确认了基础版本（非Ultra）的实际运行成本。尽管测试者仅发送过简单的问候消息，但高昂的令牌价格表明，复杂任务的执行成本可能显著高于预期。

Fugu OS 基础功能与成本评估

本次测试首先对 Fugu OS 的基础版本进行了体验，该版本在 UI 设计上明显借鉴了 GPT-5.x 系列模型 的美学风格，包括背景渐变等视觉元素。测试过程中，作者特别关注了 API 的使用成本，记录显示在开始测试前费用为 4 美分，测试结束后总费用为 9 美分，这意味着 整个基础测试仅花费了 5 美分。作者表示将在整个测试期间持续监控账单使用情况，以确保成本可控。

"If we click on pay as you go, I was at 4 cents of usage prior to starting this and now our total is 9 cents. So that entire result cost 5 just to keep in mind and we will be monitoring our billing usage throughout the duration of this test."

在功能验证方面，Fugu OS 包含多个内置应用。作者测试了 记事本应用，发现其并未将内容保存为文本文件，而是可能存储于持久化存储中。终端应用表现符合预期，提供了标准的帮助信息。此外，壁纸实验室（Wallpaper Lab） 功能允许用户选择文件、自定义颜色或生成程序化渐变壁纸，但作者注意到上传文件后背景并未立即更新，这是一个值得注意的小缺陷。尽管存在这些小问题，整体界面流畅度尚可，被视为一个 可玩性尚可的基础系统。

游戏性能与特殊功能实测

在应用测试中，作者重点体验了两款游戏及一项特殊功能。第一款游戏 包含驾驶元素，画面中出现了车辆、月亮以及跟随玩家的警车，还有漂浮的现金收集机制。虽然建筑拥有透明的网格碰撞体（Mesh Colliders），但玩家 无法从车内退出，这限制了交互深度。作者评价其表现 "可以接受"，但并非最佳体验。

第二款游戏 Nebula Run 3D 则暴露出更明显的控制缺陷。作者指出，该游戏 缺少右键点击功能，导致操作受限，并调侃道如果经过基准测试优化，理应包含此功能以解决用户痛点。此外，时间胶囊（Time Capsule） 功能表现良好：作者打开多个窗口后保存状态，关闭所有应用后点击恢复，所有窗口成功重新弹出，证明该功能 运行正常且有效。

"Overall this was definitely a solid result. Significantly better than the open router disaster with the fusion function. So I'm happy to see that. But this does just look very, very heavily inspired by GPT55."

综合来看，Fugu OS 的基础版本虽然 ** heavily inspired by GPT-5.5**，但在功能完整性和成本控制上表现稳健，优于之前的 OpenRouter 融合模型测试。

Fugu Ultra High 模式下的场景生成测试

为了测试更高阶的性能，作者切换至 Fugu Ultra High 模式，这是一个更昂贵且复杂的配置。根据基准测试数据，该模式在特定编码测试中 仅次于 Fable 模型，表现优异。测试目标是生成一个 细节丰富的地铁站场景，而非直接生成游戏。然而，生成过程遭遇技术障碍：模型在尝试通过 Chrome 截图以验证输出时陷入循环，导致生成时间大幅延长。

尽管存在截图失败的问题，最终生成的场景在 元素布局上显得整洁有序。场景中包含了地铁车厢、交通锥、垃圾桶、长椅、照明设施以及墙上的指示牌。作者指出，虽然 视觉精致度未达到预期，但元素摆放符合现实逻辑，系统地图也提供了基本的方向指引。然而，楼梯的网格碰撞体检测不佳，且按键操作存在 反向映射 的问题，影响了交互体验。作者认为，虽然材质贴图（如瓷砖）不如其他模型精美，但整体结构依然 强劲有力。

成本飙升与后续游戏化改造计划

Fugu Ultra High 模式的测试带来了显著的成本增加。由于模型在截图验证环节反复失败，导致运行时间过长，最终费用从之前的 9 美分飙升至 3.54 美元。作者分析指出，这部分费用中相当一部分是由于 试图获取截图而导致的无效计算和资源浪费。这一数据对比揭示了当前 AI 生成视频/应用在自我验证机制上的效率瓶颈。

鉴于场景生成的成功，作者计划进行下一步测试：将该地铁站场景转化为第一人称射击游戏（FPS）。由于之前的会话因强制结束而中断，且恢复功能默认调用 OpenAI 模型，作者选择 开启新的代码会话，并在同一目录下运行后续脚本。新脚本的目标是添加 僵尸类人敌人 等游戏元素。作者警告，如果模型再次陷入截图验证的死循环，为了控制成本和节省时间，可能会 提前终止测试。这一阶段将重点观察模型在 复杂逻辑添加和游戏机制整合 方面的能力。

2.5D 转 3D 的初步测试与键盘翻转问题

在首次尝试将 2.5D 图像转换为 3D 模型时，Sakana Fugu 模型虽然成功实现了转换，但保留了部分房间元素，且键盘方向出现倒置问题。然而，通过合上盖子再打开的操作，模型能够正确识别并调整键盘方向，显示出一定的空间理解能力。测试者认为，尽管存在瑕疵，但 Fugu 在 2.5D 到 3D 的转置表现上优于之前测试过的 Miniax 等其他模型，能够正确完成从 2.5D 到 3D 的转置，这是一个积极的信号。

"It did definitely turn this into 3D. Interesting that it kept some of the room elements."

前端设计测试：Slapis 手表公司网站

为了进行更严格的对比，测试者设计了一个前端设计任务：为 Slapis 手表公司创建一个高端网站，包含一个带有动画镜头环绕手表的 Hero 区域。由于没有现成素材，模型需要自行创建 3D 手表模型、所有资产，并渲染相机环绕动画，效果需接近 Keyshot 渲染级别。为了公平对比，测试者同时使用 GPT-5.5（High 模式）、Claude Opus 4.8（High 模式）和 Gemini 3.1 Pro（Extended Thinking 模式）执行相同提示词，形成四组结果的平行对比。

各模型表现详细对比

Gemini 3.1 Pro 提供了 A/B 测试选项。选项一表盘对齐较好，有玻璃反射，但产品卡片为低分辨率 SVG；选项二表盘方向错误，但提供了可接受的 3D 模型和反射。Fugu Ultra 的表现令人失望，尽管头部类似 GPT-5.x，底部类似 Claude，但核心问题在于它仅生成了 2.5D 照片级真实图像，未遵循 3D 提示，这是第二次独立测试中出现相同问题。尽管秒针移动正常，但缺乏真正的 3D 结构。

GPT-5.5 与 Claude Opus 4.8 的深度评估

GPT-5.5 的表现远超其他三款模型。虽然初始视图中文字遮挡了手表细节，但滚动至产品卡片区域后，可见极高的完成度：皮革表带包含真实缝线，另一端有固定孔，且生成了钢带版本的变体。唯一可挑剔的是表盘方向需逆时针旋转 90 度，但这与整体强大的能力相比微不足道。测试者强调，这是通过 Web 聊天界面直接完成的，无需 Codec 即可展现出极强的潜力。

"This was by far significantly better than the previous three results."

Claude Opus 4.8 则表现不一。主要问题在于手表呈现半透明悬浮状态，且周围有光环，无法移动相机视角。然而，单独观察表盘细节，其复杂度和表带弯曲度表现良好，产品卡片中的手表设计也非常精美。尽管整体呈现方式令人失望，但其单个元素的设计细节仍具高水平，只是整体整合能力不如 GPT-5.5。

核心结论：独立模型表现优于 Fugu 编排

本次测试的最终评估表明，Sakana Fugu Ultra 模型的整体表现并未超越其底层调用的独立大模型。在多个测试环节中，作者发现直接使用 GPT-5.5 或 Opus 4.8 等单一模型，往往能产生显著更强且更具风格化的结果，同时成本更低。这种体验贯穿了今天的整个测试过程，使得作者怀疑 Fugu 是否在进行某种“隐形测试”，或者其编排逻辑并未带来预期的增益。

"One would have been better off just running this prompt through either GPT55 or opus 4.8 independently of using the Fugu Ultra model. It likely would have been cheaper and also it produced a significantly stronger result."

作者指出，即便是在 Web 聊天界面这种非专业 Harness 环境下，这些独立模型依然能展现出一定的代理能力。因此，Fugu 的复杂性并未转化为性能优势，反而增加了用户的使用门槛和成本。对于大多数任务而言，直接调用底层最强模型是更优解。

飞行战斗模拟器测试：缺乏灵魂与细节

在飞行战斗模拟器测试中，作者对 Fugu Ultra 模型的表现并不满意。尽管结果中有一些可取之处，但与独立模型生成的结果相比，差距明显。即使是较旧的 Gemini 3.1 Pro 模型，在独立运行时也可能比 Fugu 做得更好。这一测试进一步印证了之前的观点：Fugu 生成的代码虽然功能完整，但缺乏“灵魂”和风格。

以 Subwaysurfers 和 C++ 滑板游戏为例，生成的代码结构干净且布局合理，但缺乏视觉上的吸引力。例如，在射击测试中，环境中没有出现弹孔，这是作者期望看到的细节，也是当前模型能力范围内可以实现的特性。作者认为，Opus 4.7 在类似的 C++ 自包含测试中表现更好，而 Fugu 的结果虽然胜任（competent），但并未体现出超越独立模型的优势。

成本分析与最终总结

为了提供直观的对比，作者记录了测试过程中的具体花费。初始加载了 $40 用于测试，最终所有测试（除首次浏览器 OS 测试外）均使用了 Fugu Ultra 模型，仅首次浏览器测试使用了普通 Fugu 模型。总测试成本为 $21.57。这一数据表明，虽然单次测试成本看似可控，但考虑到其性能并未超越独立模型，性价比极低。

"Everything aside from that which was basically a deep research benchmark. And for a quick results overview our browser OS was solid. This looked very heavily influenced by GPT55 in my opinion."

综上所述，Sakana Fugu 在编排系统上确实比 OpenRouter Fusion 等有进步，但在实际任务中，它并未证明能超越独立运行的顶级模型。作者建议用户在没有特定需求的情况下，优先考虑直接使用底层模型，以获得更好的结果和更低的成本。