StepFun AI模型定位与基准测试表现

本期视频主要评测StepFun AI推出的Step 3.7 Flash模型。该模型具备原生多模态理解与行动能力，支持图像输入。StepFun在宣传中声称该模型在性能上全面超越DeepSeek V4 Flash。特别是在Claw Eval基准测试中，Step 3.7 Flash的表现极具竞争力，不仅击败了DeepSeek、Gemini和ChatGPT，其得分甚至接近Claude Opus。这种显著的性能提升是本次评测的核心关注点。

"They're saying they're destroying deep seek V4 flash boom. And most importantly, this is why I'm wearing red today, is in claw eval it is destroying everyone."

需要注意的是，在搜索该模型时需格外小心。由于名称相似，用户容易误搜到名为“Step Up 3D”的内容，那实际上是一部关于叛逆青少年的电影，而非AI模型。因此，准确获取Step 3.7 Flash的权重文件是进行本地部署的前提。

硬件配置与Flappy Bird生成测试

为了验证模型的实际表现，视频展示了在本地运行该模型的硬件需求。Step 3.7 Flash采用Q9量化版本，需要245GB的显存。测试项目包括3D版Flappy Bird游戏生成，模型提供低、中、高及关闭四种推理模式。在禁用思考模式（Off）下，生成速度达到35 tokens/秒，但生成的游戏画面较为简陋，仅呈现复古等距视角效果。若改用Q4量化版本，虽然可能引入随机性误差，但速度预计可提升50%至100%，从而大幅降低延迟。

"It's at Q9 quant. And we made the Flappy Bird challenge here... 245 gigs of memory."

不同推理模式下的生成质量对比

在开启低阶思考（Low Thinking）时，模型生成了约35,000个token，耗时较长且出现运行时错误。切换至中阶思考（Medium Thinking）后，生成约34,246个token，耗时1,200秒（约20分钟）。此次生成的3D Flappy Bird质量显著提升，具备完整的管道碰撞逻辑和视觉特效，尽管地面滚动方向存在轻微瑕疵。在高阶思考（High Thinking）模式下，token数略降至33,000个，同样耗时约20分钟。生成的游戏在视觉上更加精致，鸟的朝向和碰撞检测机制得到优化，整体完成度较高。相比之下，官方云端版本虽然响应迅速且免费，但生成的代码质量不及本地高思考模式下的结果。

"This is a good one. This is if you case you missed out, we went from low to medium... That looks good."

TiddlyWiki 生成与低思考模式的效率跃升

演示者首先展示了基于 TiddlyWiki 的本地 Wiki 应用，该工具不依赖文件存储而是存在于浏览器缓存中。在测试生成新条目时，模型从 无思考模式 切换至 低思考模式，Token 消耗量显著增加。具体数据显示，无思考模式下仅生成约 4,000 tokens，而低思考模式则扩展至 21,000 tokens。尽管 Token 量激增，但生成速度保持在约 31 tokens/秒 的稳定水平。演示者指出，低思考模式生成的代码质量极高，不仅包含了完整的标签系统，还成功实现了文档页面的导入导出功能。这种生成结果被评价为“beautiful generation”，证明了该模式在代码结构完整性上的优势，甚至优于更高强度的思考配置。

"So, from no thinking to low thinking, it went from 4,000 tokens to 21,000 tokens."

SVG 动画生成与数学推理的极端耗时对比

在图形生成测试中，模型被要求创建展示花朵四季变化的 SVG 图像。无思考模式将其解释为动画并输出了包含太阳雨等元素的动态效果，而 低思考模式 则严格遵循指令生成了单张合成图像。随后进入数学领域测试，一道 DeepSeek 曾轻松解决的奥数题在此处引发了极端性能表现。无思考模式下，模型以 29.5 tokens/秒 的速度生成了 23,800 tokens，但答案错误。切换至低思考模式后，生成过程持续了 3.5 小时，最终输出了惊人的 198,471 tokens。尽管应用设置了循环检测器以防止无限死循环，且温度参数设为 0 以确保最高准确性，模型仍未能得出正确答案。这一案例揭示了该模型在复杂数学推理上的局限性：它倾向于通过海量 Token 的暴力推演来“碰运气”，而非高效解题。

"198,471 tokens. This took 3 and 1/2 hours to generate at low thinking mode and it didn't even get the right answer."

3D 城市场景生成的稳定性与运行时错误分析

最后进行的测试是生成一个 3D 城市场景。在无思考模式下，模型成功构建了一个包含滑块交互的精美场景，且未出现运行时错误。虽然存在白天灯光不关闭的逻辑瑕疵，但整体运行稳定被视为良好结果。然而，当切换至 低思考模式 时情况发生逆转：该模式下生成了约 13,000 tokens，但点击播放按钮后立即触发了运行时错误。这与之前 Flappy Bird 3D 测试中低思考模式优于高思考模式的结论形成对比，表明该模型在图形渲染任务上的表现具有不稳定性。演示者总结认为，虽然低思考模式在某些代码生成中表现出色，但在涉及复杂图形逻辑时可能引入缺陷，用户需根据具体任务类型谨慎选择思考强度。

"Unfortunately, there is a runtime error."

Step 3.7 Flash 的自我修复与推理模式切换

在代码调试环节，Step 3.7 Flash 展现了自我修复能力。当遇到运行时错误时，模型识别出用户再次报错的情况，并自信地表示“代码修复应该是这样”，随后输出了具体的修正方案。然而，由于初始测试中关闭了思维模式（Thinking Disabled）以节省时间，模型未能彻底解决底层逻辑问题。尽管花费了三个半小时调试，最终仍出现运行时错误。这一结果促使测试者重新启用中等推理模式（Medium Reasoning Mode），但随后的尝试依然失败。这表明该模型在复杂逻辑闭环上表现不稳定（hit and miss），需要更精细的推理配置才能确保代码一次性通过。

人脸生成测试与 DeepSeek V4 的视觉对比

在“人类面孔”（Human Face）生成测试中，Step 3.7 Flash 的表现优于 DeepSeek。虽然两者都生成了带有头发和眼睛的图像，但 Step 3.7 Flash 成功绘制出了嘴巴和鼻子等关键面部特征，而 DeepSeek 生成的图像缺失这些细节。尽管 Step 3.7 Flash 的生成结果中出现了类似天线或眼镜遮挡眼睛的怪异元素，被戏称为“AI 眼中的未来人类”，但其基础解剖结构的完整性更高。此次生成仅消耗了 4,500 个 token，速度约为每秒两个 token。测试者指出，尽管推理模式切换多次失败，但这一视觉生成质量证明了其作为 DeepSeek V4 竞争者的潜力。

OpenClaw 工具调用与隐私沙箱机制验证

为了验证模型在 OpenClaw（一种代理框架）中的实际表现，测试者启用了工具调用功能。模型成功执行了互联网请求（curl request）以获取巴黎天气，并返回了 17 摄氏度的结果及表情符号。这一过程揭示了应用的隐私沙箱机制：操作系统通过防火墙监控所有网络连接，若模型试图访问容器文件夹（位于 Library 目录）之外的未授权文件，系统会直接拦截。测试者强调，这种操作系统级别的隔离确保了安全性。最终，该模型在 OpenClaw 中实现了 28.8 tokens/秒的生成速度，并在 Claw Eval 基准测试中取得了与 Claude Opus 相当的高分表现。

结论

Step 3.7 Flash在代码生成与视觉任务上展现出超越DeepSeek V4的潜力，尤其在低思考模式下能产出高质量、结构完整的代码（如TiddlyWiki应用）及更完整的人脸特征，且在Claw Eval基准中得分接近Claude Opus。然而，该模型存在显著短板：复杂数学推理能力极弱，曾耗时3.5小时生成近20万token仍答错；图形渲染任务表现不稳定，低思考模式反而引发运行时错误。其自我修复能力在复杂逻辑闭环中不可靠。

综上，该模型适用于对代码结构完整性要求高且能容忍调试成本的场景，但不适合高精度数学计算或需一次性通过的复杂图形逻辑。用户需谨慎选择推理模式，并依赖外部沙箱机制保障安全。