从V4到V4.1 Flash：架构的激进进化

几个月前，DeepSeek通过重新设计整个V4模型架构，让百万token上下文变得极其廉价，这一成就曾让我们惊叹不已。然而几周后发布的DeepSeek V4.1 Flash带来了更疯狂的架构革新。该模型参数量从V4 Flash的2840亿激增至5520亿，规模接近翻倍。更令人震惊的是其新架构通过消除KV缓存的冗余存储方式，将KV缓存进一步压缩了四倍。回顾过去九个月，DeepSeek已将每个token的KV缓存大小压缩了54倍。这种优化并非为了追求基准测试的最高分，而是专注于实际运行大语言模型时的效率与成本。

"DeepSeek并没有追逐基准测试的顶尖地位，而是对实际运行LLM进行了极致的优化。"

这种策略在商业上极具吸引力：如果模型能以40倍更低的成本提供90%的质量，企业必然倾向于选择此方案。在Terminal Bench 2.1测试中，V4.1 Flash的成本仅为OPUS 5的5%、GT 5 Soul的8%以及Kim K3的8%，同时性能超越了这三者。这种基于优化的边缘优势比单纯的基准测试最大化更难被竞争对手复制。

KV缓存：大模型扩展的核心瓶颈

随着LLM在代理（Agentic）任务中的广泛应用，工作负载通常涉及反复读取包含大量工具输出和代码库的超长历史。这导致注意力机制（Attention）变得极其昂贵，而KV缓存的大小成为新的瓶颈。当模型生成token时，每个注意力层都需要之前所有token的键（Key）和值（Value）。Keys用于识别相关信息，Values包含实际检索内容。重新计算这些表示是巨大的浪费，因此模型将其保存为KV缓存。

在百万token级别，延迟和KV缓存的成本超过了计算速度本身。模型需要一次性处理比注意力机制最初设计多10到100倍的token，这要求预填充计算、高带宽内存（HBM）、SSD和带宽都必须适应这种需求。在V4中，DeepSeek已通过CSA（压缩稀疏注意力）将多个token压缩为更少的KV条目，并使用稀疏索引器决定读取哪些内存。然而，V4.1 Flash指出，KV缓存不仅随上下文长度增长，还随模型深度（层数）线性增加。从12层增加到120层，即使上下文压缩得当，剩余的KV状态仍会乘以网络深度，导致存储量激增约十倍。

CSA2架构：跨层压缩的创新方案

针对上述问题，V4.1 Flash提出了CSA2（Compressed Sparse Attention 2）架构。其核心洞察是：如果某一层已经建立了有用的全局内存表示，下一层是否真的需要从头构建全新的表示？答案是否定的。CSA2不仅在token维度上压缩，还在层（Layer）维度上进行压缩。它将注意力层分为三种模式：Full、Reindex和Reuse。

  • Full（全量）模式：正常生成全局KV、索引器Key，运行稀疏索引器并选择自己的Top K内存条目。这是标准的注意力计算流程。
  • Reindex（重索引）模式：复用上一层创建的全局KV，但生成自己的Query并重新选择Top K。这允许模型在保留全局信息的同时调整关注点。
  • Reuse（复用）模式：完全复用上一层的全局KV、Top K索引，甚至不再运行索引器。模型直接在上一轮选定的内存条目上进行注意力计算。

"如果一层已经创建了有用的全局记忆表示，下一层真的需要从头开始构建全新的吗？DeepSeek发现对于某些层来说，答案是否定的。"

这种跨层的复用机制大幅减少了需要存储和传输的KV数据量，使得在增加模型规模的同时保持极低的内存足迹成为可能。

移除混合注意力机制，简化全局分支结构

在V4.1 Flash版本中，DeepSeek对CSA 2进行了重构，并彻底移除了V4版本中SWA与HCA或CSA交错的混合注意力机制。这一改动的主要特征是完全去除了HCA，使得全局分支变为纯粹的CSA 2结构。这种调整导致整体架构简化为一种更简单的CSA与SWA混合模式。尽管CSA 2已经大幅减少了跨层需要存储的KV数量，但模型在预填充阶段仍存在巨大的效率瓶颈。无论注意力机制如何压缩，所有输入令牌仍必须通过网络处理才能生成第一个输出令牌。例如，若向40层Transformer模型输入1百万个令牌的提示词，这100万个令牌仍需逐层穿过从第1层到第40层的网络。对于智能体操作而言，这种重复计算极其痛苦，因为模型需要不断调用工具、读取文件并重新注入上下文。

CSA2 机制下的全局 KV 共享与局部滑动窗口隔离

DeepSeek V4.1 的核心优化之一在于 CSA2 (Cross-Stage Attention Sharing)，它允许解码器层在生成 KV 缓存后，后续层级无需重复生成副本。这种机制与编码器表示直接结合，使得 V4.1 的架构比前代更为激进。然而，V4.1 的结构远比简单的 KV 共享复杂：每个解码器层实际上维护着两种不同的内存，一种是通过 CSA2 共享的、源自编码器表示的全局记忆（Global Memory），另一种是来自解码器层自身隐藏状态的局部近期记忆。必须澄清的是，CSA2 的 KV 共享仅适用于全局注意力分支，并不意味着滑动窗口注意力（SWA）的 KV 会在层间共享。每一层仍保留其独立的局部 SWA KV，因为这部分记忆由该层的实际隐藏状态产生。即使有 5 个 CSA2 层共享相同的全局 KV，它们依然可以拥有 五个不同的滑动窗口 KV 缓存。这种设计确保了局部依赖关系的独立性，避免了全局共享对局部上下文精度的干扰。

SWA 有界重放（Bounded Replay）打破深度依赖链

滑动窗口注意力仅保留最近的 128 个 token，这与随上下文增长的全局 KV 不同，运行时 SWA 缓存保持在固定窗口内。但由于其未压缩且层特定，若跨会话持久化仍消耗资源。SWA 状态存在深层依赖链：第 40 层的 SWAT 状态依赖于第 39 层，进而依赖更早的局部窗口。DeepSeek 通过 SWA Bounded Replay 切断这一链条，仅在每个解码器层替换最后的 128 个 token。这意味着在处理百万 token 上下文时，前 20 层处理完整提示词，后 20 层仅重放 128 个 token。> "Instead of running 1 million tokens through all 40 layers, you run 1 million through the first 20 and only 128 through the remaining 20." 这种策略使得预填充成本大致减半，且由于重放 token 数量极少，对模型质量的影响微乎其微。尽管重建状态是近似的，但 DeepSeek 声称其质量影响极小。这一机制不仅降低了计算开销，还改变了 SWA KV 作为长期记忆的定位。

持久化存储优化：移除 SWA KV 与全局 KV 压缩

在 V4.1 中，DeepSeek 彻底将 SWA KV 从长期持久化缓存（如 SSD）中移除，转而将其临时存储在较小的主机内存池中。一旦过期或驱逐，便通过有界重放重新构建最后的 128 个 token。相比之下，全局 KV 仍可保留在 SSD 等持久存储中，因其可能在数小时或数天后被重用。这一改变带来了巨大的持久化 KV 存储缩减。在 V4 中，持久化 KV 足迹的一半来自 SWA，另一半来自全局 KV。V4.1 通过 CSA2 和 FP4 压缩，将全局 KV 降至 V4 大小的约四分之一。具体而言，全局 KV 的存储开销降低至 890 bytes per token，实现了 HBM 存储 75% 的节省。若进一步从持久化存储中移除 SWA KV，则可实现 SSD 存储 87.5% 的节省。这种不对称性使得尽管模型参数总量增加，但主要输入读取部分的激活参数量极小。在预填充阶段，仅激活约 80 亿参数（经过编码器），而在生成新 token 时，需同时通过编码器和解码器，激活参数量升至 160 亿。尽管模型总参数接近 V4 Flash 的两倍，但处理大量输入 token 的核心部分依然极小，这对需要读取数十万 token 仅生成数千 token 的 Agent 场景极为有利。

MHC 单遍图像编码与 Engram 稀疏条件记忆模块的引入

除了核心的 KV 优化，V4.1 还改进了其他组件以节省内存、带宽和计算资源。首先是 MHC (Multi-Head Cross Attention) 的单遍图像编码（Single Pass Image C）实现，它消除了迫使 GPU 多次访问残差流的依赖关系，将内存流量减少约一半。其次，DeepSeek 首次在模型中实现了 Engram（此前仅作为概念提出）。Engram 旨在分离需要记忆的信息与昂贵的 Transformer 计算。V4.1 引入了包含 1960 亿参数的 Engram，分布在两个模块中。因此，模型总参数量达到 5520 亿 + 1960 亿 = 7480 亿。然而，这额外的 1960 亿参数并非密集激活，而是通过哈希 Engram 查找表以稀疏访问的条件记忆形式存在。这意味着并非每个 token 都会激活这额外的密集参数，从而在扩展模型容量的同时保持了推理效率。这种架构调整使得从 4000 token 扩展到 100 万 token 上下文，仅使单 token 解码计算量从约 20 GFLOPs 增至 25 GFLOPs，尽管上下文容量增加了 256 倍。这些优化表明，百万 token 上下文已不再是 V4.1 的主要瓶颈，模型正转向解决其他内存和计算浪费问题。

核心架构组件与多模态原生支持

V4.1 Flash在保留Engram大幅提升记忆容量的基础上，优化了每token的计算效率。其解码加速通过Spark实现，无需将草稿模型预训练进主干网络即可提升速度。在多模态方面，V4.1实现了原生多模态支持（Native Multimodal）。DeepSeek从头训练了视觉编码器DeepSync VIT，并通过3x3像素压缩与洗牌技术处理视觉特征。这一创新将视觉Token数量减少了九倍（9x reduction），同时仍支持约1,344x1,344分辨率的图像输入。这种架构重组不仅限于文本处理，而是从根本上改变了模型对视觉信息的理解与整合方式。

编码器层：滑动窗口与KV压缩机制

模型底部接收文本和图像输入并合并为嵌入向量，随后进入纯滑动窗口注意力（Sliding Window Attention）层。该部分包含20层的因果编码器组件，其中核心机制为CSA 2 Fold和Reuse。具体而言，大约每两个Token被压缩为一个主KV条目（1:2 ratio compression），且每个CSA 2层都伴随滑动窗口注意力。这种设计使得编码器能够高效处理来自Engram的记忆信息，同时保持全局上下文的连贯性。CSA 2中的数字“2”代表了每两个Token压缩为一个主KV条目的激进策略，旨在降低计算负载而不显著损失信息密度。

解码器层：层级稀疏索引与上下文扩展

解码器部分由20层组成，首层为CSA 2 Fold，随后是四层CSA 2 Reuse into One。在Reuse阶段，数字“1”表示无Token维度压缩的主KV保留全分辨率解析度。为应对百万级上下文带来的搜索成本，DeepSeek引入了层级稀疏索引器（Hierarchical Coarse Sparse Indexer）。第一层全量扫描并构建约16,00个位置的候选池，后续层级仅在该池中搜索Top 512。这种机制避免了在百万Token语境中重复昂贵的全量扫描，使得模型能够在64,000至1,000,000的上下文窗口中高效运行。预填充阶段仅需激活因果编码器，而解码则需两者协同，分别激活80亿和160亿参数。

训练策略：从零开始的稀疏注意力与数据驱动

V4.1 Flash的训练范式发生了根本性转变。模型直接从零开始训练稀疏注意力，而非先训练稠密模型再转换。预训练在64,000上下文窗口下进行，直至34万亿Token后扩展至1百万，最终在45万亿多模态Token上完成预训练。这种从零构建稀疏注意力的成功，证明了该注意力机制的稳定性和潜力（stable and promising）。在后训练阶段，DeepSeek强调数据规模优于新算法发明。他们利用超过40个垂直领域的教师模型进行大规模在线策略蒸馏（On-Policy Distillation），并采用批量不变性（Batch Invariance）使RL过程更可预测。此外，通过模型合并技术整合不同优化路径的检查点，进一步提升了最终性能。

推理努力度：连续曲线取代离散模式

在推理控制方面，V4.1引入了连续的“努力度”（Reasoning Effort）值域，范围从1到100。不同于V4的离散模式（如Think High/Max），新机制通过较低努力度施加更强Token惩罚，较高努力度允许更多计算资源。公开提供的Low、High和Max设置分别对应50、75和100的努力度值。这种平滑的成本-质量曲线使得模型能更灵活地平衡响应速度与推理深度。尽管技术报告中有51页细节（如去缩放、多模态MoE平衡等）未在此详述，但核心突破在于通过数据规模和架构创新而非新RL目标函数来提升性能（Garbage in, garbage out）。

优化学习路径与新增测验系统

本次更新的核心在于调整内容呈现方式，旨在降低理解门槛。作者强调不再使用晦涩的数学公式轰炸读者，而是优先确保受众掌握更高层级的逻辑框架。这种策略旨在让后续接触到的技术细节变得合理且易于理解。为了巩固学习效果，平台近期引入了全新的测验系统。该系统会在每一章结束后测试读者的理解程度，并配套了每周排行榜机制。这一设计旨在通过引入一定的竞争元素，使学习过程变得更加生动和具有挑战性。

前沿概念解析：线性注意力机制

在课程内容方面，团队刚刚发布了一个关于分解线性注意力（Linear Attention）的新章节。这一概念被认为是当前大语言模型领域的前沿话题，因为它是 Kimi K3 和 Qwen（通义千问）等最新模型所依赖的基础架构之一。对于正在工作中使用大语言模型、计划转型进入该领域或希望投身于 LLM 研究的人员来说，这一章节提供了至关重要的理论支撑。作者建议通过描述中的链接访问课程，并使用限时优惠码 "back to school" 享受年度会员 50% 的折扣。

社区支持与致谢

最后，视频对支持创作者的个人和机构表达了感谢。特别提到了 Spam Match、Chris Loo、Degan、Robert Zaviasa、Proof and Enu 以及 DX Research Group 等 Patreon 或 YouTube 支持者。作者还呼吁尚未关注的观众在 Twitter（现 X）上关注自己，并预告将在下一期视频中再见。这一部分体现了创作者与社区之间的紧密联系，也展示了内容背后的支持网络。

"Rather than bombarding you with intimidating math, so we want to make sure you fully understand the higher level logic first."

"We recently added a new quiz system that tests your understanding after every chapter along with a weekly leaderboard."

"We also just published a new chapter on breaking down linear attention intuitively, tackling one of the latest frontier concepts that Kimik3 and Quinn models are based on."

结论

DeepSeek V4.1 Flash通过CSA2跨层压缩与SWA有界重放等架构创新，在参数量翻倍至7480亿的情况下，将KV缓存压缩54倍并降低预填充成本。其核心优势在于以极低边际成本支持百万级上下文，在Terminal Bench 2.1中以5%-8%的成本超越OPUS、GT及Kimi K3，且推理计算量随上下文扩展仅增25%。该模型专为长文本Agent场景优化，牺牲部分基准测试极致得分换取实际运行效率与成本效益。尽管质量影响极小且训练稳定，但其性能优势高度依赖于特定工作负载，并非通用基准下的最优解。