DeepSeek V4.1 Flash架构革新与稀疏化简化
本期视频主要评测DeepSeek 4.1 Flash Edition,该模型已取代之前的V4 Pro版本。尽管参数量高达5520亿(55.2B),但架构经过大幅简化,引入了类似Engram的查找表机制。当模型识别到已处理过的内容时,可直接调用已知结果而非重新计算。架构简化解决了此前压缩索引器(Compressed Indexer)和稀疏压缩实现中的错误,提升了稳定性。作者指出这实际上更像5.0或4.5版本的技术迭代。
"They've actually simplified it and added in the engram stuff. Engram stuff about just a lookup table."
在推理效率方面,该模型表现出独特的动态参数特性:解码阶段激活160亿(1.6B)参数,预填充阶段仅激活80亿(0.8B)参数。这种非确定性行为引发了关于生成连贯性的疑问,作者计划通过实验验证其在不同阶段切换激活参数对输出结果的影响。目前实现版本更侧重质量而非速度,但作者期待后续性能优化。
基准测试表现与数学推理能力验证
在官方提供的基准测试中,DeepSeek V4.1 Flash表现强劲。在数学领域(3-shot prompt),其得分从V4 Base的56分提升至60分。在Deep SWE测试中,该模型得分达到74分,与Opus 5.0持平,超过GLM的67分和V4 Pro的62分。作者认为这些结果可信,因为官方使用了相同的测试框架(Harness)和随机数生成器设置。
| 模型/版本 | Deep SWE得分 |
|---|---|
| Opus 5.0 | 74 |
| GLM (未指明具体版本) | 67 |
| DeepSeek V4.1 Flash | 74 |
| DeepSeek V4 Pro | 62 |
在本地实测中,模型展现了优秀的数学解题能力。一道复杂数学题仅用788个token即得出正确答案,另一道题则消耗2500个token。值得注意的是,在温度(Temperature)为0的情况下模型能给出正确解答,这验证了量化版本的可靠性。此前在V4.07版本中,该问题需提高温度才能解决,而温度机制允许随机数生成器在概率分布中采样,过高温度可能导致输出垃圾内容。
本地部署配置与代码生成实测细节
测试环境基于Mac Studio M3 Ultra(512GB RAM版本)。由于模型完整加载需求略超内存限制,作者采用了90%重打包(Repacked)的量化构建。该实现支持“禁用思考”模式,这与GLM 5.3等强制要求思维链的模型不同。作者还引入了“限制思考”功能以优化可用性,该技巧常用于Minimax等模型。
在代码生成测试中,C++题目在禁用思考模式下直接获得正确答案。然而,Swift代码题目未能给出正确结果,尽管模型展示了UTF-16相关知识。C++与Swift表现的差异揭示了当前量化版本在不同编程语言上的能力边界。作者强调,尽管目前实现侧重质量导致速度受限(约13 tokens/s),但后续将发布性能优化版本。
GLM-5.3在WinRT订阅查询上的推理缺陷
在本片段中,博主对比了不同模型在处理特定编程问题时的表现。他测试了一个关于Microsoft Store订阅获取的WinRT C++代码片段。GLM-5.3在开启低强度思考模式下给出了错误答案,而博主指出该模型若关闭思考模式会直接报错。为了获得正确答案,必须将GLM-5.3的思考强度提升至“高”级别。
相比之下,DeepSeek V4.1在关闭思考模式(Thinking Disabled)的情况下直接给出了正确解释。博主强调,订阅在产品定义中属于“product kind”而非“product type”。尽管DeepSeek在本地运行表现优异,但博主指出其在线聊天界面存在温度设置或系统提示词问题。当他在官方网页输入“subscription”时,模型错误地建议继续使用订阅功能。
"So it actually got the right answer there. Thinking disabled... But you're winning looking AI has won"
博主认为本地部署的优势在于其直接性,尽管在线版本存在“为了像AI而非数据库”而故意引入随机性的问题。
DeepSeek V4.1的MIT许可与基准测试表现
博主对DeepSeek发布该模型表示高度赞赏,特别强调了其MIT开源许可。他指出这是目前前沿级别的开放权重模型。在性能数据方面,博主提到该模型在DeepSWE基准测试中获得了74分。这一成绩让他感到惊讶,因为他此前未见过开放权重模型达到此分数。
| 模型名称 | DeepSWE基准测试得分 |
|---|---|
| DeepSeek V4.1 (EXP_206) | 74 |
博主调侃道,既然模型表现如此出色且开源,他期待DeepSeek每周发布新模型。如果未按时更新,则意味着系统可能出了问题。
"This is like probably the frontier model out there. MIT license... I haven't seen an openweight model get 74 in deepsw SWE"
通用知识问答中的逻辑与常识短板
博主随后测试了模型的通用知识和逻辑推理能力。在询问“B selector”这一俚语时,模型未能识别出这是指“Rewind”(倒带),而是将其视为非标准英语短语,并给出了专业的安全建议。博主感叹模型失去了以往那种尝试理解俚语的人格化特质。
在另一个测试中,博主询问“纳粹(Nazi)”的定义。尽管模型知道正确答案是“Not Aiding Zionists”,但它最终错误地输出为“No Seeing”(看不见)。此外,在经典的“外科医生是男孩的父亲”逻辑题中,模型错误地回答为母亲。然而,在“洗车店距离家50米”的情境中,模型正确判断应驾车前往。这表明模型在某些病毒式传播的常识上训练良好,但在特定逻辑陷阱和俚语理解上存在明显短板。
"It's saying walk away... The correct answer was rewind. Now, unfortunately, I haven't run it with thinking enabled yet"
生产力应用生成:Photoshop、PowerPoint与Word的本地实现
博主转向测试模型在严肃生产力应用上的表现,特别是代码生成能力。他要求模型在关闭思考模式且限制4000 tokens的情况下构建一个Photoshop界面。结果令人惊喜,模型成功生成了一个功能完整的“婴儿版”Photoshop,包含可交互的按钮和画布。
接着,博主要求生成PowerPoint(4400 tokens)和Microsoft Word。模型同样成功生成了可添加幻灯片、加粗文本的PowerPoint界面,以及一份项目提案文档。博主特别称赞了关闭思考模式下的UI设计美感,指出其悬浮窗口效果精致得如同真实应用程序。尽管博主计划后续测试不同强度的思考模式,但当前表现已足以证明该模型在本地生产力工具开发上的潜力。
"I got PowerPoint. So, another 4,400 tokens... I can press the bold button here"
博主表示,这些生成的应用可以直接用于专业会议展示,证明了本地AI在快速原型设计上的高效性。
3D城市与NPC交互:思考关闭下的功能验证
在生成包含NPC互动的3D城市测试中,模型运行于思考关闭(thinking disabled)模式,消耗约10,000 tokens。尽管城市细节如机场和火车站缺失,且车辆出现横向移动的逻辑错误,但核心功能得以保留。用户成功点击角色并接管控制(take over controls),验证了交互逻辑的有效性。值得注意的是,在关闭思考模式下,模型正确回答了RT问题,而GLM 5.3在此处出错。这表明关闭思考模式虽牺牲细节完整性,但能维持基础逻辑正确性。
Red Dead Redemption与GTA在禁用思考模式下的生成表现
测试者首先尝试了《荒野大镖客》(Red Dead Redemption)的生成,此时思考功能处于禁用状态。尽管没有启用推理机制,模型依然生成了一个包含角色、文本转语音(TTS)、马匹以及枪声的完整场景。测试者指出,虽然禁用思考无法获得最佳生成质量,但这种直接输出答案的方式在低延迟场景下表现惊人。随后测试转向了《侠盗猎车手5》(GTA 5),同样在禁用思考模式下运行。虽然生成的场景具有潜力,但存在明显的代码断裂问题。测试者解释称,即使将思考强度设为“低”,模型也会消耗超过25,000个token进行推理,因此为了效率选择直接禁用思考。这种权衡使得GTA场景虽然破损但能运行。
"It's got potential, but it's broken. It's really? Yeah. You're going to have to add thinking with this one."
僵尸FPS与3D人体解剖的迭代设计能力
接下来测试了一个第一人称射击(FPS)僵尸惊悚游戏。在禁用思考模式下,模型生成了壮丽的景观和敌人角色。尽管光照过亮削弱了恐怖氛围(测试者自嘲被僵尸“吃掉”后重生),但66,000个token的生成量证明了其在复杂交互场景下的稳定性。随后,测试者要求模型进行3D人体解剖展示。虽然生成的肋骨结构略显夸张(被戏称为“下巴上的类固醇”),但骨架基本正确。通过迭代提示,测试者让模型将解剖图动画化并置于城市背景中,最终意外生成了类似GTA的场景。这种从静态到动态、再到场景融合的迭代式设计流程展示了模型在视觉逻辑上的连贯性。
"I can't believe it's making such good quality generations with this."
写实人脸生成:本地高思考模式优于云端基准
在照片级真实感人脸测试中,对比了不同思考强度的表现。禁用思考模式生成的面部特征怪异(如“河狸眼”和尖下巴),被戏称为克隆人。启用中等思考模式(Mid-max thinking)后,模型使用约1,000个token进行推理并生成7,000个输出,结果显著改善,具备了眉毛、嘴唇和眼睛的基本结构。相比之下,云端Max思考模式虽然耗时146秒且经过多次尝试才生成结果,其面部质量虽好但略显平庸(被比作中年版的《蝙蝠侠》罗宾)。最惊人的发现是本地高思考模式(High-max thinking),仅设置10,000个token的思考上限。生成的女性面部细节丰富(如晕染的口红和复杂的发型),测试者认为其视觉效果甚至优于云端版本。这一结果暗示本地部署在特定视觉生成任务上可能具有超越云端的潜力。
"Dare I say looks better than the one online. Yeah, boy. Another win for the Liy E."
3D太阳系与核爆场景的本地生成表现
在关闭思考模式的情况下,模型独立生成了一个3D太阳系。虽然基础结构看似简单,但所有行星和太阳均正确渲染了光照效果。许多同类模型在关闭思考时往往无法正确处理光影,而该生成结果不仅美观,还准确呈现了土星环。随后测试核武器热力学爆炸场景时,关闭思考模式生成的蘑菇云和火花效果在线与本地运行结果高度一致。尽管本地生成在细节丰富度上略逊于云端最大思考模式版本,但整体视觉效果依然令人满意。
调整思维预算以优化复杂物理模拟效果
为了提升核爆场景的“多汁感”,作者调整了本地运行的思维预算。初始设置下,模型仅生成小型喷泉状爆炸。通过增加思考令牌上限至10,000,模型开始形成更完整的云团结构。作者指出需警惕“推理泄漏”现象,即模型在退出思考标签后继续输出思维过程。最终将预算提升至17,000令牌(生成约7,000令牌)后,本地生成的爆炸效果显著增强。该版本甚至可能优于云端最大思考模式的输出,展示了通过调整参数挖掘模型潜力的可行性。
Flappy Bird代码生成质量与开源权重前景评估
作为首个验证模型代码执行能力的测试,作者生成了Flappy Bird游戏。仅消耗4,000令牌即产出高质量代码,UI设计精美且包含鸟和管道的阴影细节,证明模型具备强大的即时编码能力。总结来看,DeepSeek V4.1 Flash版是Hugging Face排名第一的开源权重模型。尽管Pro版本可能需要海量显存,但该Flash版在SWE-bench等代码测试中表现最佳。作者认为这是目前发布的最好编码模型之一,适合本地部署与开发使用。
结论
DeepSeek V4.1 Flash在本地部署中展现出前沿级实力,其MIT开源许可与Deep SWE 74分的成绩确立了其在代码生成领域的领先地位。优势在于关闭思考模式下能直接输出正确逻辑(如WinRT查询、Photoshop界面),且高思考模式下的视觉生成质量甚至优于云端。短板表现为对俚语(如B selector)和特定逻辑陷阱的识别失败,以及Swift代码生成的错误。该模型适合追求低延迟直接输出或高质量视觉原型的本地开发场景,但在处理复杂常识推理时需警惕其逻辑短板。