国产模型沉寂后的重磅回归与生态冲击
近期中国实验室因国庆假期保持低调,但DeepSeek迅速推出当前最强的开源模型 DeepSeek 4.1 Flash (版本标识为 October 17th),并同步开源了其推理引擎 Deep Infer。这一举动不仅展示了其在大规模AI模型运行背后的技术秘密,更被视为对封闭前沿实验室(Closed Frontier Labs)的一种强力回应。该模型专为 Agentic Coding 和长周期任务设计,能够处理多文件操作并持续运行数小时以达成目标。为了充分挖掘其潜力,视频作者并未局限于传统的基准测试,而是采用官方提供的 DeepSseek harness 进行实际场景压测。该工具支持多项目并行处理,类似于Codeex或Cloud Code等代理框架,旨在验证其在复杂工作流中的真实能力。
长周期多工具协作:生成极简风格科普视频
作者首先测试了模型在 22分钟 的长周期任务中,结合多种外部工具生成Motion Graphics解释视频的能力。提示词要求制作一个关于“埃拉托斯特尼测量地球周长”的极简黑白风格视频,需包含数学原理解释和图表。由于模型本身不支持语音生成,作者指示其调用 Gemini TTS 文档来合成旁白。DeepSeek成功规划了场景,并选择开源工具 Hyperframes 制作动画。最终生成的视频清晰地展示了利用影子角度计算地球周长的过程,内容深度与质量甚至可与Claude和GPT等前沿模型媲美。从资源消耗来看,该任务使用了约 22 million tokens 的上下文窗口。
复杂3D游戏开发:代理自我批判与迭代局限
在更具挑战性的 Unreal Engine 3D游戏开发测试中,作者要求模型创建一个程序化生成的古代中国帝国背景第三人称动作游戏。任务涉及从SketchFab下载3D模型、在Mixamo平台自动检索并应用动画(如冲刺和跳跃)、利用Blender MCP服务器生成资产,并在虚幻引擎中渲染。为了提升质量,作者引入了一个 Critic Agent(模拟AAA艺术总监),要求其对游戏画面进行0-10分的自我评分,目标分数需超过8.5分才算AAA级品质。若未达标,Builder Agent将接收问题列表并重新生成,最多迭代4轮。
性能数据与最终评估结论
尽管模型成功渲染了角色和建筑变体,并实现了基本的移动、冲刺和跳跃功能,但迭代过程超出了预设的4轮限制,实际运行了 16 rounds。Critic Agent给出的最高评分仅为 5.5分,远低于AAA标准(8.5+)甚至良好独立游戏的标准(7分)。作者暂停了任务并使用了最佳轮次的结果。数据显示,该模型的 Cache Hit Rate(缓存命中率)高达99%,表明其在长任务中有效复用了大量上下文。尽管功能实现完整,但经过16轮迭代后的视觉质量仍明显逊色于前沿闭源模型,未能达到AAA级游戏的审美标准。
| 测试指标/参数 | DeepSeek 4.1 Flash (DeepSseek Harness) |
|---|---|
| 视频生成任务耗时 | 36 minutes (规划+语音合成+动画制作) |
| 视频生成Token消耗 | ~22 million tokens |
| 缓存命中率 (Cache Hit Rate) | 99% |
| 3D游戏开发迭代轮数 | 16 rounds (超出预设的4轮上限) |
| 3D游戏Critic Agent最高评分 | 5.5 / 10 |
| AAA品质目标分数阈值 | > 8.5 |
前沿模型在3D应用中的智能水平评估
当前,包括Opus 5.5、GPT6 Astra在内的前沿模型在3D游戏领域的智能程度尚未完全达到顶尖水平,作者认为其仅达到了约80%的水平。在针对3D应用的测试中,DeepSeek展现了使用不同应用程序和工具的卓越能力。例如,它成功演示了如何操作Blender和Unreal Engine等复杂软件。使用统计数据显示,该次测试消耗了3.75亿个token(tokens),缓存命中率高达99.5%。这些数据表明,尽管在纯游戏逻辑上仍有提升空间,但在工具链的整合与执行能力方面,Open模型已经具备了相当高的实用价值。
音乐创作任务中的迭代优化与音色对比
为了测试DeepSeek在创意领域的潜力,作者向其下达了制作一首欧洲电子舞曲(Europ EDM)的指令,要求其在Waveform DAW中自行决定乐器、下载样本并添加效果器如上升音和史诗级Drop。第一轮生成的音频被评价为声音浑浊且平衡性不佳,缺乏足够的“耳糖”(ear candy)和自动化处理。经过第二轮提示词优化后,生成的音乐在节奏感和氛围营造上有了显著提升。作者指出:“有趣的是,我用同样的提示词测试了所有其他前沿闭源和开源模型,DeepSeek生成的旋律与其余模型非常相似。”虽然整体听感不如GPT6 Astra或Opus出色,作者仍认为其达到了80%到90%的水平,对于一款开源模型而言表现相当不错。
基于图片重建3D室内场景的空间理解局限
在更具挑战性的测试中,作者要求DeepSeek根据Airbnb房源页面的一张照片,使用Blender重建整个建筑内部并制作虚拟游览视频。这一任务耗时1小时37分钟,但结果并不理想。重建场景存在大量错误:床的形态不正确,天花板灯光位置偏差,客厅枕头穿透沙发,椅子与餐桌发生碰撞。作者批评道:“整体而言并不忠实于原图。”虽然模型在一定程度上理解了空间布局,但无法处理如泳池倾斜墙壁等复杂几何结构。这一结果再次印证了开源模型在空间一致性和细节还原上仍落后于GPT和Opus等闭源前沿模型,尽管它们已能完成此类基础重建任务。
极端细节识别:寻找隐藏青蛙的视觉突破
在最后的“找青蛙”测试中,DeepSeek展现了惊人的细粒度图像分析能力。作者上传了一张包含隐藏青蛙的图片,并未直接告知模型目标的存在,仅要求识别并圈出任何动物。DeepSeek通过复杂的思维链进行了深度处理:它将图像分割成多个部分,放大查看特定区域,调整对比度和饱和度以增强细节,甚至尝试提取EXIF元数据(尽管被作者移除)。经过长时间的推理和局部放大分析,模型最终成功定位并圈出了那只微小的青蛙。作者强调:“这是我遇到的唯一一个能真正找到这只青蛙的模型,甚至连Opus和GPT6都未能做到。”这一案例证明了DeepSeek在细微视觉特征检测方面的突破性能力。
医学影像诊断能力的局限性测试
视频首先通过上传六张包含不同类型脑肿瘤的脑部扫描图像,对模型进行癌症识别能力的测试。要求模型逐一指出每张图像中存在的肿瘤类型或确认无肿瘤。测试结果呈现出完全失败的局面,六张图像的识别结果全部错误。具体而言,左上角图像被误判为胶样囊肿(实际并非如此),第二张漏诊了存在的肿瘤,第三张被错误标记为“mining”(疑似识别错误或乱码),第四、五、六张也均出现漏诊或误判。
"So it got six out of six wrong which is actually not surprising. So even the best models out there could only get like one out of six correct."
这一结果表明,尽管该模型在多项任务中表现优异,但在高精度的医学影像诊断领域仍存在显著短板。值得注意的是,即使是目前市面上最顶尖的模型,在此类测试中通常也只能正确识别出六分之一的内容。这揭示了当前AI在复杂医疗影像分析上的普遍瓶颈,并非该模型独有。
深度医学研究的综合表现评估
随后测试转向复杂的深度学习研究任务,提示词要求分析阿尔茨海默病中淀粉样蛋白β(Amyloid beta)和Tau蛋白的传播机制,对比抗体疗法,并批判性评估近期III期临床试验的认知及影像学结果。模型在20分钟内完成了一份自包含的HTML报告。该报告展现了极高的详尽程度与逻辑结构,涵盖了引言、两种蛋白质的详细生理机制(包括产生、种子形成、扩散、清除失败及毒性)、治疗意义,以及抗体作用机制的详细图表和III期证据分析。
"I really like how thorough yet concise it is in terms of doing like deep research, synthesizing data, and information."
报告不仅内容详实,还包含了正确的参考文献引用和对比表格。作者评价其在深度研究、数据综合与信息整合方面表现卓越,与GPT-6 Astra和Opus 5.5相当或更优,特别是优于被认为在医学研究中较为“懒惰”和缺乏深度的Opus 5.5。这份报告证明了模型在处理长文本、多源信息整合及生成结构化学术内容方面的强大能力。
创新思维与工业应用提案测试
第三项测试旨在评估模型的创造力及解决现实问题的能力,要求提出三个利用现有技术/AI改善工厂化养殖动物生活质量的创新想法。约束条件包括:必须显著提升生活质量、可大规模扩展、低操作成本且对运营商而言易于实施。模型经过10分钟的思考,提出了三个具体方案:气候自动控制系统(Climate Autopilot)、觅食自动系统(Forage Autopilot)以及第三个详细方案。
"The highest impact isn't a dashboard, it's a control loop."
第一个方案通过自动调节气候减少热应激、改善空气质量及垫料干燥度,适用于所有动物,旨在降低死亡率和能源消耗。第二个方案针对肉鸡,通过自动化觅食减少无聊和缺乏活动,改善腿部健康和垫料状况,从而节省劳动力并降低足底病变发生率。报告结构严谨,先阐述问题重要性及解决方案的可行性,再深入细节。整个测试会话的成本仅为6美元(初始充值50美元后余额44美元),显示出极高的性价比。
模型架构与基准测试数据对比
最后,视频详细解析了DeepSeek R1 Flash(版本4.1 Flash 1017)的技术规格及基准表现。该模型采用混合专家(MoE)架构,拥有520亿骨干参数,但在推理时仅激活160亿参数,这种架构设计使其具备极高的效率。与前一版本相比,新版本在代理编程、通用知识自动化等基准测试中均有显著提升。
"It also beats the other leading open models out there, GLM 5.3 and Kim K3 across all these benchmarks."
在性能对标上,该模型的表现与GPT-4o相当(作者体验认为其智力水平接近GPT-5或Claude Opus),虽略逊于GPT-6 Astra,但作为可本地下载运行的开源模型,其性价比极具竞争力。在DeepSuite 1.1基准测试中得分77分;在Kernel Bench(GPU底层代码编写)测试中,其CUDA代码生成能力排名第三,优于Gemini Flash、GPT-4o及Claude Opus。整体而言,该模型在智能与成本效率之间取得了极佳的平衡。
开源大模型参数规模与量化版本
DeepSeek最新发布的旗舰级语言模型拥有超过 500 billion parameters(5000亿参数),整体文件大小约为 510 GB。尽管体积庞大,但得益于开源社区的快速响应,出现了多种压缩和量化版本。例如,Unsloth发布了多个GGUF格式的版本,其中 最极端的1-bit量化版本仅占233 GB。虽然运行此类模型仍需高端GPU支持,但开源模式使得用户能够以较低门槛获取这一级别的智能能力。用户可以通过Hugging Face或Model Scope链接下载模型,实现本地离线运行。
DeepInfer推理引擎的经济效益与缓存机制
除了模型本身,DeepSeek还开源了其数据中心级的推理引擎 DeepInfer。该引擎展示了如何在数千张GPU上优化代码以处理数百万用户请求。官方披露的数据显示,单个集群每天可处理高达 155 trillion tokens(1.55万亿token)。在财务表现上,DeepSeek报告每GPU小时的收入为 $38,估算毛利率高达 80%(即计算成本仅占20%)。此外,系统实现了 96% 的输入缓存命中率,意味着大部分计算可复用而非重新执行。这种极高的效率解释了其高吞吐量和高利润率的来源。
打破技术壁垒与华为昇腾芯片适配
绝大多数前沿实验室将推理优化视为核心机密和商业护城河,而DeepSeek选择 免费公开这些底层软件,允许任何人研究或商业使用。虽然未发布完整的负载均衡和缓存基础设施,无法完全复制其经济模型,但已公开信息极具价值。更重要的是,DeepInfer不仅支持Nvidia芯片,还兼容 华为昇腾(Huawei Ascend)芯片。这为受出口管制影响的中国企业提供了替代方案,降低了对Nvidia生态的依赖。对于全球AI公司而言,这种多硬件支持有助于缓解供应链短缺和定价压力。
开源价值与行业影响总结
DeepSeek此次发布不仅包含大模型,还附带了极具商业价值的优化软件。据估算,这些智能能力与优化技术的组合价值可能高达 数十亿美元,但DeepSeek选择免费开放。这一举动打破了封闭实验室的技术垄断,引发了行业震动。My hat off again to the Deepseek team(再次向DeepSeek团队致敬)。这种开放策略不仅提升了技术透明度,也为其他AI公司提供了摆脱单一供应商依赖的可能性。
"Here's another important detail. Deepseek reports a 96% input cache hit rate."(另一个重要细节是,DeepSeek报告的输入缓存命中率为96%。)
"Pretty much all the frontier labs out there keep these inference optimizations top secret."(几乎所有前沿实验室都将这些推理优化视为最高机密。)
"Deepseek revealed some crazy numbers. So here it says that a single cluster can process a whopping 155 trillion tokens per day."(DeepSeek揭示了一些惊人的数字。这里提到单个集群每天可以处理高达1.55万亿个token。)
结论
DeepSeek 4.1 Flash在长周期代理编程、复杂工具链整合及深度研究方面展现出接近前沿闭源模型的实力,尤其在细粒度视觉识别与代码生成上具有突破性优势。其高缓存命中率证明了高效的上下文复用能力,且开源架构具备极高的性价比与硬件兼容性。
然而,该模型在3D空间一致性、高精度医学影像诊断等需要严格几何或专业逻辑的任务中仍存在明显短板,视觉审美与细节还原不及顶级闭源模型。总体而言,它是一款在通用智能、编程辅助及创意迭代上极具实用价值的开源方案,但在对精度要求极高的垂直领域仍需人工介入或结合更专业的专用模型。