基准测试数据:Agent能力大幅跃升
DeepSeek 并未停止其模型迭代步伐,刚刚发布了 V4 Pro 的生产构建版本(0813),其在 Agent(智能体)基准测试中的表现出现了显著增长。根据官方数据,Terminal Bench 2.1 的得分从之前的 72 分飙升至 88 分,而 Cyber Gym 的得分则从 53 分提升至 83 分。与此同时,Coding(编程)和 Agentic(智能体)领域的竞争正在迅速升温。除了 DeepSeek 的动态,其他模型如 Qwen 3.8 Max(2.4 万亿参数版本)也已登陆 Hugging Face。博主 Fahaz Maha 在本期视频中将对 DeepSeek V4 Pro 的新更新进行详细测试,并涵盖当天发布的其他重要 AI 动态。
"Deepseek is not stopping. They have just released the production build of their V4 Pro model and the Agentic benchmarks they have jumped hard."
为了直观展示这一提升,博主引用了 DeepSeek 官方发布的基准测试对比图。V4 Pro 0813 版本在 Terminal Bench 上几乎与 Fable 5 并驾齐驱,且明显领先于 Opus 4.8。更令人印象深刻的是其成本效益:它在保持顶尖性能的同时,费用仅为前沿闭源模型的一小部分。尽管博主预测 DeepSeek 可能会大幅涨价,导致这一性价比优势难以长期维持,但目前的表格数据依然极具竞争力。以下是博主提到的关键基准测试对比数据:
| 模型/版本 | Terminal Bench (2.1) | Cyber Gym | 备注 |
|---|---|---|---|
| DeepSeek V4 Pro (旧版 Preview) | 72 | 53 | 基准对比起点 |
| DeepSeek V4 Pro (0813 Production) | 88 | 83 | 显著提升 |
| Fable 5 | - | - | V4 Pro 0813 与其并驾齐驱 |
| Opus 4.8 | - | - | V4 Pro 0813 明显领先 |
| GLM 5.2 | - | - | V4 Pro 与其互有胜负 |
| Kimi K3 | - | - | V4 Pro 与其互有胜负 |
实战测试一:修复复杂的全栈应用 Bug
博主决定使用 Hermes Agent 配合 DeepSeek V4 Pro,执行一个极具挑战性的真实世界任务:修复一个存在严重 Bug 的全栈应用程序。该应用是一个报告生成系统,架构包含后端(FastAPI)、前端、以及一个基于 Redis Pub/Sub 的 Worker 和 SQLite 存储。用户提交报告后,任务会被放入队列,由 Worker 处理。
在测试开始时,博主故意展示了一个故障状态:用户提交作业后,Worker 虽然接收到了任务,但处理过程出错,导致作业永远处于“待定”(pending)状态。博主将包含后端、Worker 和前端代码的整个项目交给 Hermes Agent,并赋予其修复目标,不提供任何提示或辅助(without any hint, without any handh holding)。博主强调,这不仅是代码修复测试,更是对模型理解复杂系统交互能力的考验。
"I'm going to give it this goal without any hint, without any handh holding. So let's wait for it to come back."
在等待模型处理期间,博主再次强调了性能图表的细节。将 V4 Pro 与旧版 Preview 构建在所有 Agent 任务上进行对比,这不仅仅是一个小幅度的提升(nudge),而是几乎每一行都出现了飞跃式的进步。在与 GLM 5.2、Kimi K3、Opus 4.8 和 Fable 5 的横向对比中,V4 Pro 在某些任务上领先,而在知识密集型任务上稍逊一筹。博主提醒观众,这些是官方报告的数据,最终效果需通过终端的实际表现来验证。
实战结果:端到端流水线修复成功
经过一段时间的处理,Hermes Agent 返回了结果。博主在浏览器中进行硬刷新(hard refresh),发现销售报告已经成功生成。为了进一步验证,博主选择另一个“库存”(inventory)数据源生成报告。系统再次进入待定状态,但很快显示处理完成且没有报错。博主总结道:整个端到端的流水线被迅速修复,这是一个彻底的胜利(clean sweep)。
值得注意的是,博主指出模型在完成任务时消耗的 Token 数量较少。DeepSeek 声称其 Agent 现在更加高效和智能,从实际结果来看,这一说法似乎是成立的。博主对模型在极短时间内解决复杂全栈问题的能力印象深刻,认为这证明了 V4 Pro 0813 版本相比七月版本的 Preview 构建有了质的飞跃。
创意编码测试:单文件 HTML 动画挑战
为了进一步挖掘模型潜力,博主进行了第二项测试:创意编码。任务要求非常具体:使用单个提示(one prompt, one shot),让模型生成一个自包含的 HTML 文件。该文件需通过原生 Canvas 和 JavaScript(无外部库、无构建工具)实现以下功能: 1. 动画效果:一只烤羊在旋转叉上转动,背景有闪烁的火焰。 2. 交互控制:包含可工作的旋钮、拨盘和按钮,用于调味(如撒香料)和调整基底。 3. 物理模拟:火焰的闪烁、肉类的旋转以及烹饪过程中的褐变效果。
"What makes this hard is that there is no library to lean on. everything, the fire, the rotation, the browning as it cooks, the particle effect has to be handbuilt in raw canvas and JavaScript all in one file with no build set."
这项测试的难度在于,模型必须在脑海中完整构建整个交互场景的物理和时序逻辑。博主指出,几个月前该模型的 Preview 版本在处理此类任务时会遇到困难,但最近的更新显著提升了其 Agent 和编码评分。从模型生成 HTML 的思维链(Chain of Thought)来看,它现在能更自信地构建单文件应用。博主认为,过去由昂贵闭源模型垄断的领域,现在开源权重模型(即将开放)正以极低的成本与之正面抗衡。即使无法本地安装,通过 API 调用的费用也远低于其他大型厂商。
最终验证:动画效果与交互细节审查
经过约 16 分钟的生成和测试,模型返回了结果。博主首先查看了生成的预览图,随后在浏览器中打开该 HTML 文件进行实时测试。
测试结果令人印象深刻: - 旋转机制:烤羊正在正常旋转,虽然博主认为转速控制可以更平滑,但基本功能完好。 - 火焰效果:通过右侧的旋钮可以控制火焰大小,火焰动画逼真。当增加转速时,烤羊被炙烤的速度加快,模拟了旋转烤肉架(rotisserie)的真实物理反馈。 - 交互功能:博主测试了撒香料和挤柠檬汁的功能,粒子效果正常触发。 - 细节反馈:当转速过高时,烤羊的一侧确实出现了“烧焦”(charred)的效果,这证明了模型对烹饪状态与时间/温度关系的逻辑理解。博主特别指出,右侧旋钮的旋转动画不仅美观,还直观地反映了内部转速的变化。
"And when I increase it the speed increases a bit. just like in on a rot rotissery and look at it is searing it is moving and then just goes through the whole loop."
尽管博主坦言,考虑到 DeepSeek 以往的高标准,他原本期待更完美的表现("maybe we are spoiled now with Deep Seek"),但整体效果依然相当不错。博主建议观众尝试此版本,认为它已经是一个与早期预览版截然不同的模型。最后,博主预告将覆盖更多新发布的模型,并感谢观众的支持。