Kimi AI's Huge LLM Breakthrough Is Fascinating [Attention Residuals]

2026年大模型架构突破：从RL到直觉化设计

在2026年的前三个月，我们见证了近年来最重大的大语言模型（LLM）架构突破。回顾2025年，行业主要精力集中在将强化学习（RL）应用于LLM，导致出现了大量令人困惑的缩写术语。相比之下，Kimi（月之暗面）发布的Attention Residuals（注意力残差）研究不仅概念清晰直观，而且已在实际模型中进行了大规模测试，展现出极高的应用前景。这一研究由一位仅16岁的高中生参与关键工作，其简洁性使其可能成为今年定义性的关键论文。

"I am so glad that my videos this year is not going to be spending 10 minutes explaining an acronym that might not even be applied at practice."

这种架构的突破性在于它摆脱了以往复杂术语的堆砌，回归到更本质的模型结构优化。研究团队通过扩展残差连接的概念，解决了深层网络中的信息丢失问题，为后续章节的详细技术分析奠定了基调。

Transformer深度堆叠的固有缺陷：预归一化稀释问题

在典型的Transformer架构中，模型由多个重复层堆叠而成。虽然通常认为层数越多越好，但这种堆叠存在明显的上限。随着层数增加，信息会无过滤地层层叠加，导致早期信息被不断压缩和稀释。这类似于一个极端的笔记总结过程：每次课后将之前的所有笔记和新笔记混合，再由AI总结成单一文档。随着课程进行，早期讲座的细节逐渐消失，最终只剩下被高度压缩的摘要，原始细微差别完全丢失。

在Transformer中，这种预归一化稀释问题（Pre-norm Dilution Problem）表现为：随着模型变深，所有先前层的输出被反复压缩为单一表示，早期信息无法恢复或选择性访问。由于所有信号以相等权重相加，后续层必须产生幅度更大的输出才能被注意到，导致早期信息被稀释而后期层不成比例地增长。这种不平衡使得表示虽然变大，但精度并未提升。这与循环神经网络（RNN）在序列维度上压缩所有先前信息导致性能下降的问题类似，但此前该问题未能在深度维度上得到解决。

Attention Residuals：将深度转化为选择性检索机制

为了解决上述问题，Kimi团队提出了Attention Residuals，其核心理念是让每一层能够直接查看之前的输出，并根据当前输入分配不同的权重。这将深度从盲目的累积过程转变为选择性检索机制，信息不再通过重复压缩而丢失，而是保持可访问性并在需要时复用。简单来说，这就是对网络的深度应用注意力机制，相当于将注意力旋转90度。

传统的Transformer注意力仅在序列维度（从左到右的Token之间）工作，而Attention Residuals引入了垂直方向的注意力，允许模型从其自身的计算历史中选择性检索信息。在底层实现上，这通过构建从每个先前层直接连接到当前层的连接来实现，类似于残差路径。但不同于传统Transformer中局部的残差连接（仅在同一层内），Kimi的方法将这一概念扩展到整个网络深度，使当前层接收来自每一个先前层的直接路径，而非单一的残差连接。

"This turns depth from a blind accumulation process into a selective retrieval mechanism where information isn't lost through repeated compression, but remains accessible and can be reused when needed."

这种设计让模型能够像检索外部知识一样检索内部深层特征，有效缓解了信息稀释，提升了深层网络的表达能力和训练稳定性。

动态路由取代固定跳跃连接

传统残差连接将前一层的输出直接加到当前层，形成固定的线性叠加路径。而注意力残差（Attention Residuals）彻底改变了这一机制，模型不再继承混合后的单一表示，而是独立访问所有之前的中间状态。具体而言，当前层会生成查询向量，并与所有早期层的输出进行比较，生成一组分数。经过归一化后，这些分数转化为权重，最终输出是这些历史表示的加权组合。这意味着残差路径不再是固定的，模型可以像注意力机制选择性关注Token一样，动态地放大某些层、忽略其他层，根据输入内容调整行为。这种机制将简单的加法捷径转变为可训练的、输入依赖的深度路由机制，极大地提升了信息流动的灵活性。

块注意力残差：效率与精度的权衡

然而，全注意力残差面临严重的二次方扩展问题。若模型有128层，每一层都需要在内存中保持128个向量并进行注意力计算，最后一层可能涉及约8,000次注意力操作。为解决此问题，论文提出了块注意力残差（Block Attention Residuals）。该方案将层分组为块（例如每块12层），块内层正常交互，但块结束时，其输出被合并为单个摘要表示。跨块时，模型仅关注这些摘要而非所有独立层。这种设计将内存和计算复杂度从随总层数扩展降低为随块数量扩展。虽然牺牲了部分粒度，但实验表明这种权衡非常微小。在验证损失与计算量的对比中，块注意力残差曲线几乎与全注意力残差重叠，证明其在大幅降低计算成本的同时，几乎保留了全部性能优势。

理论优势与基准测试表现

从理论上看，注意力残差通过保持早期层的独立可访问性，改善了信息保留，避免了信号在反复混合中丢失。同时，它解决了标准残差中的幅度问题：在标准设置中，后续层需产生更大输出以影响最终表示，导致向量幅度呈指数增长；而注意力残差通过相关性竞争而非幅度竞争，使向量幅度保持稳定。在480亿参数、1.44万亿token训练的模型上，该机制在所有评估任务中均有所提升，尤其在多步推理（如GPQA Diamond和数学任务）中表现显著，因为后续层能选择性检索早期表示。相比基线，块注意力残差在仅增加4%训练开销的情况下，实现了约1.25倍（25%）的计算量节省，且性能持平。

与MHC机制的正交性与结合潜力

注意力残差与多头残差连接（MHC）虽都旨在解决标准残差信息坍缩问题，但方向不同。MHC在层内保持多个并行流，相当于拓宽网络宽度，使每层拥有更丰富的表示；而注意力残差作用于层间，改变深度方向的连接方式，允许每层回溯并选择性提取历史信息。两者在理论上正交，可结合使用以同时获得丰富表示和精准信息检索。然而，实践中这种结合可能面临收益递减，因为两者解决的是同一瓶颈的不同侧面。此外，注意力残差的核心吸引力在于其效率优势，论文显示其能以更少的内存和计算开销匹配或超越MHC性能。若强行结合，将丧失其简洁性和效率优势，因此目前更倾向于单独使用注意力残差以优化资源利用率。

理论优雅性与工程实现的权衡

尽管在理论层面，注意力残差（Attention Residuals）并非完全冗余，但Kimi团队的研究框架表明，相较于MHC方案，注意力残差提供了一种更为简洁且优雅的解决方案。这种设计在大规模模型训练中依然有效，团队将其直接嵌入最新的KI线性架构中，而未对模型其余部分进行改动。实验结果显示，这种架构调整在训练过程中的损失函数下降以及下游基准测试中均带来了一致的性能增益。这表明，理论上的简洁性在实际工程落地中同样具备强大的竞争力，能够转化为可量化的模型能力提升。

分布式训练中的效率挑战与优化

将注意力残差引入实践的核心难点在于效率问题。传统架构中，层与层之间仅传递一个隐藏状态，而引入注意力残差后，系统需要保持多个表示状态存活，并确保它们能随时被注意力机制访问。这一变化在大型分布式训练环境中引发了显著的内存压力和通信开销。据论文披露，超过三分之二的篇幅专门用于探讨如何实现这一机制的高效运行。为了缓解这一压力，团队设计了“Dear Block”注意力残差结构，该设计在存储需求上已比完整版本有所减少，进一步降低了资源消耗。

性能开销控制与最终成果

通过结合两阶段计算策略（two-phase computation strategy）以及跨流水线阶段的缓存技术（caching across pipeline stages），Kimi团队成功将训练开销控制在极低水平。以下是具体的性能优化数据对比：

这些数据显示，工程优化使得注意力残差的引入几乎不带来额外的性能惩罚。Frontier Labs不仅需要在架构上取得突破，更需通过大规模工程实现来验证其有效性。值得注意的是，该论文的第一作者年仅16岁，这一成就反映了当前AI研究领域的激烈竞争与技术迭代速度。