Step-5 Preview 的排名表现与背景

StepFun AI 推出的最新模型 Step Five 目前处于榜单前列。尽管这仅是预览版本,尚未正式发布,但其表现已超越 Kimi K3(2.8 万亿参数模型),并紧随 Grok 和 GLM 之后,在智能指数上仅落后一点。该模型由 阿里巴巴 资助,StepFun AI 曾获得中国最大规模的 AI 融资轮次之一。值得注意的是,预览版模型在 Pareto 前沿上的推进可能得益于其训练数据或评估策略,使其以更小的规模实现了高性能。

"Step Five, the preview version... it is ahead of Kimi K3 at 2.8 trillion parameter model"

Q4 量化下的本地运行与多模态能力测试

为了在本地运行该模型,视频创作者主要使用 Q4 量化版本,此时内存占用约为 315 GiB。模型支持低、中、高三种思考模式,以及禁用思考的模式。在生成太阳系图像时,虽然效果基础但并非最差;而在处理猫的图片描述及 3JS 代码生成时,模型表现良好。例如,将猫的图像转化为 4,500 个 token 的代码耗时约 227 秒。尽管官方声称发布的是 BF16,但实际下载文件为 32-bit,这可能导致了早期版本的撤回。

"We're using 315 gibs of memory when you're running at Q4"

FPS 游戏生成与高量化版本的性能对比

在尝试从图像生成分身射击(FPS)游戏时,Q4 版本多次出现运行时错误。随后创作者切换至 Q5 INF 量化版本,该版本在生成包含走廊、敌人和射击机制的游戏时表现更稳定。此次生成使用了 高思考模式,一次性输出了 23,000 个 token,且无报错。该过程消耗了 413 GiB 内存。虽然碰撞代码在屏幕共享中表现不佳,但模型成功将图像转化为可运行的游戏逻辑。此外,创作者还尝试在代码中模拟热核炸弹以测试极限能力。

"It produced 23,000 tokens at high thinking mode... and that used up 413 gibs of memory"

Q4量化模型在代码修改与3D人脸生成中的表现

本片段首先展示了Step-5模型的安全限制,当用户尝试让其输出制造核武器的代码时,系统直接返回“生成失败”或提示输入无效。随后测试转向代码修改能力,作者让基于Q4量化(BF16除以四)的模型在现有代码基础上添加飞船激光武器功能。尽管是重度量化版本,生成的可执行代码保持了良好的可读性。运行结果显示飞船模型外观精美且能发射激光,成功摧毁了太阳和行星。虽然碰撞检测存在瑕疵导致无法完美击毁地球并引发运行时错误,但整体演示效果令人印象深刻。接着测试了3D人脸生成任务,模型生成了约6000个token的代码。Q4版本成功渲染出具有微笑表情和特定发型的人脸,并支持随机化面部特征。虽然调整鼻部参数时出现了类似“鼻涕”的视觉bug,且官方Studio在高精度模式下出现生成失败,但Q4量化版在本地运行中达到了接近未量化的视觉效果。

"So, what is good is this is the Q4 version... And it's kept the code as it is, so you can still use it."

"So we're going to be trying doing how good it is at 3D anatomy... So, can it help with medical stuff?"

Q4与Q6量化在复杂场景生成中的稳定性对比

测试进一步深入3D解剖结构准确性。开启X光模式后,模型生成的肺部形态良好,但心脏位置错误地显示在右侧(除非视角为背面),这构成了潜在的医疗误导风险。作者强调不能信任Q4量化版本在解剖学上的准确性,尽管其支持悬停查看躯干、头部等部位的功能。随后场景切换至FPS恐怖游戏与GTA风格开放世界。在Q4量化下,生成的森林场景氛围阴森但敌人AI存在卡位bug。而在尝试生成GTA风格城市时,作者发现Q4版本生成质量极差且伴随大量运行时错误(如Red Dead Redemption案例中的10,000 token代码报错)。因此,作者升级至Q6量化版本(INF)进行重试。该版本成功生成了约18,000个token的代码,实现了无运行时错误的稳定运行。虽然城市道路穿入建筑、场景重复度高且缺乏碰撞检测,但Q6版本在复杂开放世界生成中的稳定性显著优于Q4。

Q4量化下的生成质量与思维模式控制

在Q4量化精度下,模型生成的文本存在重叠现象,且部分场景仅显示黑屏或胶囊状人物,视觉表现力受限。尽管存在这些缺陷,模型在“高思维模式”下仍能产出包含人物行走等元素的画面。主持人质疑该版本如何超越竞品Kimi K3,指出当前预览版在基础生成上似乎不如后者。然而,通过引入思维限制机制,如强制结束思考或设置最大token数(约5000 tokens),有效避免了类似GLM 5.3那样长达15万token的冗长推理过程,提升了本地运行的可行性与效率。

"I think Kimiko 3 can do a better job than this and this is the preview version, but let's just see what's going on."

交互式应用与游戏原型的实际表现

在Q4量化下,飞行模拟器生成了包含天空、地面及速度控制的可用原型,虽云层细节略显粗糙但整体氛围宁静。赛车游戏在“高思维模式”下表现糟糕,甚至不如之前被批评的GTA低思维版本。然而,程序化星球生成器成功展示了地球模型及水位调节功能,尽管存在按钮显示bug。3D城市演示则构建了包含CBD、公园及时间切换功能的场景,车辆驾驶逻辑混乱但核心交互如角色接管功能正常运作。

"This is the best you can get at Q4 quant and it's horrible."

基础Canvas动画与复杂3D能力的边界对比

模型在制作交互式天气预报组件时表现优异,阳光、雨、雪动画流畅且可交互。Canvas汽车漂移演示生成了具有未来感车辆及优美云层的场景,但存在道路逻辑错误(如在人行道行驶)和树木形状过于三角形的问题。这表明模型在基础2D Canvas代码生成上具备较强能力,但在复杂3D架构及物理逻辑处理上仍面临挑战。由于官方未发布最新推理代码,团队基于旧版代码进行适配以维持功能运行。

"Making maybe website codes it is very good at basic canvas. Maybe when you get to the more advanced stuff, the 3D stuff, that's where it gets a bit more challenged."

从文档生成到应用构建:iMovie与Blender的本地化演示

视频展示了Step-5模型在代理式生产力应用生成方面的能力,重点突破在于不再局限于文本或静态文档。演示者强调:“We're not just making words... We're now making iMovie. And I'm going to stop with this. We're making Blender.” 在Blender演示中,模型成功生成了可交互的3D场景,用户能够移动和旋转立方体并添加城市模型。尽管存在无法直接移动已生成模型的局限,但其生成的界面被评价为“gorgeous”,展示了构建自定义CMS应用或游戏编辑器的潜力。在iMovie演示中,模型生成了包含时间轴的视频编辑应用,支持添加标题、调整透明度及播放时的闪烁效果。虽然无法导入外部媒体文件,但时间轴编辑功能的完整实现表明该模型已具备生成复杂多媒体应用架构的能力,而不仅仅是简单的代码片段。

生产力工具深度测试:Photoshop与Word的功能验证

演示进一步深入至专业软件模拟,展示了模型在图形处理与文档编辑领域的生成质量。在Photoshop演示中,模型生成了支持图层管理的应用程序,用户成功添加了笑脸、眼睛及头发图层,并通过切换图层可见性验证了渲染逻辑的正确性。在Word演示中,模型生成的界面外观逼真,支持字体大小调整和加粗功能,但在将文本转换为标题样式时出现交互错误。尽管存在部分功能缺陷,演示者指出这仅是预览版本,预计下月发布的正式版将更为完善。这些测试证实了模型在生成具有实际交互逻辑的生产力工具方面的显著进步,为自定义业务应用开发提供了新的可能性。

逻辑推理与编程能力评估:从谜题到代码的实测表现

视频后半部分通过一系列逻辑谜题和编程测试评估模型的推理深度。在低思考模式下,模型准确回答了“8个橙子分给4个孩子”的问题(每人2个),并正确识别了“洗车需驾车前往”及“外科医生是男孩父亲”等反直觉逻辑题,未出现常见的性别刻板印象错误。然而,在编程测试中表现不一:WinRT代码生成失败,Swift字符串计数函数存在UTF-16编码陷阱风险,而C++标准向量迭代逻辑正确。在数学问题上,低思考模式导致模型输出30,000个token却未给出答案;切换至高思考模式后,模型最终正确推导出“所有实数中能被每个正整数整除的数为0”这一结论。尽管存在特定领域的短板,模型在复杂逻辑推理和代码生成上的表现仍显示出极高的智能水平。

性能预期与发布展望:内存占用与生态支持分析

视频最后讨论了Step-5模型的硬件需求与市场定位。演示者指出,基于Q4量化版本的观察,模型内存占用约为“300 and something gibs”,若正式版智能水平对标Grok 4.6和Kimi K3,其性能表现将极具吸引力。目前该模型尚未在Hugging Face上线下载通道,官方计划下月正式发布。演示者呼吁观众支持StepFun团队(Quinn的开发者),并强调该模型作为开源AI新标杆的潜力。尽管当前版本存在部分功能限制,但其展现出的应用生成能力和逻辑推理深度已足以引发行业关注。观众被鼓励保持期待,等待正式版本的发布以验证其完整性能表现。

结论

Step-5预览版在本地运行中展现出显著的应用生成优势,能稳定构建iMovie、Blender等复杂交互原型及基础Canvas动画。然而其短板明显:Q4量化下代码可读性虽好但存在逻辑错误,3D解剖准确性存疑且复杂场景易报错。高量化版本(Q5/Q6)虽提升了稳定性,但内存占用高达413 GiB。该模型目前仅适合具备大显存硬件的用户进行原型开发,正式版性能仍需等待官方发布验证。