Transformer的核心：注意力机制的数学重构

Transformer之所以能支撑各类应用，核心在于其包含Attention Layer（注意力层）。与多层感知机不同，该层级通过Query和Key的乘积计算Softmax值，进而对前一层级的Embedding进行加权重排。经过多次迭代后，模型能够精准预测下一个Token。这种机制赋予了Transformer强大的上下文处理能力。为了深入理解这一“魔法”，演讲者引入了两篇关键论文：2023年欧洲会议接收的《Scan and Snap》以及同年ICLR接收的后续研究《JoMA》，旨在从数学层面解构Transformer的动力学行为。

单层设置下的模型简化与重参数化

研究首先从简化的单层Transformer架构入手，以厘清多层复杂结构的基础逻辑。输入包含上下文Token序列及一个Query Token，经过自注意力计算生成概率分布，再经归一化、解码层及Softmax输出预测结果。原始公式涉及WQ、WK和U等多个参数，直接计算梯度极为繁琐。为此，研究者采用了关键的重参数化技巧：将众多变量转化为两个独立变量Y和Z。其中，Y代表顶层解码器权重，而Z则定义为自注意力矩阵的成对Logits。这一转换使得动力学分析变得可行，为后续推导奠定了数学基础。

关键假设与数据分布特性

为了得出明确结论，《Scan and Snap》论文设定了若干严格前提。首先，模型不包含位置编码（Positional Encoding），因为即使没有它也能获得合理性能；其次，假设序列长度趋于无穷大。第三点至关重要：解码器Y的学习率显著高于自注意力层Z的学习率，这种速率差异驱动了不同的优化动态。在数据分布上，假设存在K个序列类别，Token分为两类：Distinct Tokens（仅在一个类中出现的独特Token）和Common Tokens（在多个类中共现的通用Token）。这种分类为分析注意力分数的演化提供了清晰的边界条件。

动态结论：注意力的“扫描”与“快照”效应

研究的核心发现揭示了注意力机制如何像可学习的TF-IDF（词频-逆文档频率）一样运作。定义统计量C为共现概率与注意力矩阵指数项的乘积。对于Common Tokens，由于其跨类出现，梯度作用导致其对应的Z值随时间递减（dZ/dt < 0），即注意力分数被压制。相反，对于Distinct Tokens，其对应的Z值随时间增长（dZ/dt > 0），导致最终统计量C上升。这种机制使得模型能够自动聚焦于具有区分度的Token，从而实现高效的模式识别。

基于逆文档频率的注意力权重分配机制

在大型语言模型中，逆文档频率（Inverse Document Frequency, IDF） 是决定词元重要性的核心指标。模型首先通过IDF筛选出对特定分类至关重要的词汇，同时抑制那些在多个文档或所有文章中过于常见且缺乏信息量的通用词元。这种机制确保了在进行决策或文档分类时，无关的常见词汇被有效过滤。相反，对于特定类别具有高度特异性的词元（例如在体育类文本中，“messy”一词与运动类别的强关联），模型会给予更高的关注度，从而提升分类准确性。

进一步地，我们可以量化注意力得分的增长率。自注意力矩阵中的元素 $Z_{ml}$ 随时间变化，其增长速率与给定序列类别的条件概率正相关。定理表明，不同词元的增长比率取决于其与查询（query）的共现概率。当某个独特词元与查询具有极高的共现率时，其注意力得分的增长速度将远超那些仅偶然共现的词元。这种差异在训练过程中表现为显著的跳跃式增长，体现了条件概率对注意力动态的驱动作用。

训练动力学中的正交性假设验证

研究团队通过实验进一步验证了关于模型层间关系的正交性假设。在展示的训练动力学图表中，横轴代表训练过程中的小批量（minibatches），纵轴表示余弦相似度。该相似度的取值范围在 0 到 1 之间，其中 1 代表完美对齐，而 0 则意味着相互正交。实验数据显示，随着训练的推进，余弦相似度并没有显著增加，而是稳定在 0.03 左右。这一数值极低，表明即使在不同层之间，特征向量也几乎保持相互正交的状态。图中每一条曲线对应不同的网络层级，并通过颜色进行区分。这一结果证实了正交性假设在近似意义上是成立的。尽管嵌入（embedding）的动态变化尚未被深入分析，这将是后续研究的方向，但基于当前假设，研究者能够进一步推导Transformer内部的联合动态机制。

JoMA模型与Scan/Snap的理论对比框架

为了回答学生提出的疑问，研究引入了 JoMA（Joint dynamics of MLP and Attention） 模型，并将其与之前的 Scan 和 Snap 理论进行对比。JoMA的核心思想是利用下层 MLP 权重的幅度来计算自注意力机制，从而将自注意力和MLP下层的动态统一到一个方程中。这种简化方法不再需要假设“解码器层比自注意力层训练得快得多”这一前提。在统一的一般性公式中，两个理论共享一些常见假设：首先，下层权重 W 和自注意力层权重 Z 均被视为可训练参数；其次，嵌入 U 在列方向上保持固定的正交性；最后，输入 token 向量被假设为独热编码（one-hot）列向量。然而，JoMA 与 Scan/Snap 的设置存在显著差异。Scan 和 Snap 通常包含额外的 L2 归一化并假设激活函数为线性，且要求 ZW 的变化远快于 Z。相比之下，JoMA 没有归一化，激活函数可以是线性或非线性的（phi 可为恒等映射）。这种更广泛的设置使得 JoMA 能够处理 Scan/Snap 无法覆盖的情况。

线性与非非线性激活下的注意力稀疏性差异

JoMA 模型在理论预测上展现出的最大优势在于其对非线性激活函数行为的解释能力。当将 JoMA 应用于线性激活设置时，其预测结果与 Scan/Snap 高度一致：注意力机制会随着训练变得稀疏，且具有最高 token 判别共现项的组件会最快达到饱和。然而，当扩展到非线性激活函数时，情况发生了根本变化。理论推导表明，在非线性情况下，注意力机制的行为呈现出先稀疏后密集的趋势：它首先会像线性情况一样变得更稀疏，但在后续的迭代中又会重新变得更密集。这与线性激活下注意力持续变稀疏直至饱和的单一趋势截然不同。> "It actually tell you that the attention will first become sparser... but at the same time it will become denser later in the later iterations." 这一发现揭示了非线性激活在 Transformer 训练后期对注意力分布的复杂影响，是先前线性理论无法捕捉到的关键动态。

真实数据集实验验证与理论一致性

为了检验 JoMA 理论的准确性，研究团队在两个真实的文本数据集 WikiText2 和 WikiText103 上训练了多层 Transformer 模型，并观察到了与理论预测完全吻合的实验结果。特别是在使用非线性激活函数的单层 Transformer 训练中，注意力权重的变化曲线首先出现下降（变稀疏），随后又回升（变密集）。> "you're going to see exactly the same curve as predicted by the theory"。这种“先降后升”的趋势与理论推导的曲线高度相似。在多层模型的训练中，尤其是顶层网络中，研究者同样观察到了类似的下降后回升现象。这一实验证据强有力地支持了 JoMA 模型在非线性环境下的有效性，证明了该联合动态方程能够准确描述 Transformer 在实际训练过程中注意力机制的复杂演化规律。

注意力熵的动态变化与稀疏性机制

在大语言模型的训练过程中，观察到的行为往往缺乏直观解释。特别是在单层模型中，理论上似乎只需“一次性”学习所有特征即可，但实际现象显示，模型会先捕捉显著特征，随后才关注非显著特征。这种行为的根源在于机制导致的稀疏性。正如演讲者所述：> "And then attention will go up, and other attention does not change or even go down. Then that's why you see the attention entropy goes down to very low numbers." 当与查询共同出现的令牌（tokens）被大量选中时，注意力集中度急剧上升，导致注意力熵降至极低水平。然而，随着训练进行，模型开始拾取那些虽然不显著但在时间维度上仍具合理相关性的特征，导致注意力熵再次上升。这一过程并非在第一步就发生，因为单位是千个迷你批次（kilo minibatches），需要经历从第一个1000个迷你批次的下降，随后再回升。这种先降后升的U型曲线揭示了模型从关注高频共现到逐步扩展特征覆盖范围的动态过程。

层级数据表示与潜在变量假设

单层模型无需这种复杂的动态特性，因为它可以一次性学习所有特征；但这种机制在多层Transformer中至关重要，其核心在于层级数据表示（hierarchical data representation）的学习。在深层结构中，我们只能观察到顶层的最终标签和底层的原始令牌，中间过程由未知的潜在变量（latent variables）控制数据生成。演讲者提出假设：Transformer之所以表现出注意力的跳跃式上升，是因为它正在自动学习数据中的潜在表示。为了验证这一点，理论指出：如果两个令牌在层级结构中距离很近，它们的共现概率几乎为1；反之，若距离很远（如$l'$和$m$），则共现概率接近0。这一行为由共同潜在祖先的高度（height of the common latent ancestor）决定：高度越小，共现概率越高；高度越大（接近层级总高$L$），共现概率越低。这一属性源于分层生成模型的本质，与Transformer架构本身无关，但为理解其学习机制提供了理论基础。

浅层与深层分布的自适应学习能力

Transformer的学习策略巧妙地适应了数据的内部结构。对于深潜在分布（deep latent distributions），模型首先学习高频共现的令牌对（如$m$与$l$），同时隐式构建层级结构，避免直接学习弱相关的组合（如$m$与$l'$），因为这些可以通过层级间接推导。演讲者指出：> "So because they first learn the two, then you automatically implicitly build a hierarchy that can be later combined again in the top layers." 这种机制使得模型无需显式知道数据分布，即可自动适应。对于浅层潜在分布（shallow latent distributions），由于层级结构不明显，模型先学习高频共现，随后也会捕捉到较弱的共现关系（如$m$与$l'$），尽管这种关联较弱。关键在于，注意力机制能够同时处理深浅两种分布。在多层Transformer中，下层网络负责学习高频共现并“解释掉”（explained away）弱相关性的需求，因此下层不会出现注意力的反弹；而顶层则保留这种反弹特性（bouncing back properties），以处理更复杂的层级组合。这解释了为何深层模型的下层曲线单调下降，而顶层仍呈现动态波动。

层级特征学习与因果关联的初步证据

演讲者提出了一种关于Transformer内部机制的理论，指出模型在不同层级中逐步学习潜在的变量结构。为了验证这一假设，研究团队进行了合成数据的实验，结果显示Transformer的隐藏层与潜在变量之间存在极高的相关性。特别是在前几层中这种关联尤为显著，几乎达到100%的相关性。然而，演讲者强调目前仅观察到相关性而非因果关系。 > "First of all, the causality here is not related... we only have correlations. There's no causalities." 这种强相关性可能暗示了因果关系的存在，因为如果两个标记频繁共同出现，它们之间可能存在真实的关联。在浅层Transformer中训练时，观察到了明显的"反弹"现象；而在深层网络中，一旦下层特征下降便不再回升。这是因为上层已经解释了弱相关的特征，导致下层无需再学习这些内容，从而形成了单向下降的趋势。

解冻策略与不同学习率的影响

针对下层网络在训练过程中的动态变化，演讲者探讨了如果在一层或多层后解冻参数会发生什么。他推测下层可能会经历"反弹"随后再次下降的过程，并在某些配置中观察到了类似的曲线。此外，通过链接不同的学习率进行实验，发现展现出"反弹"特性的训练曲线往往能获得最高的验证准确率。这表明这种学习模式可能更接近数据学习的正确方式，尽管这些实验细节尚未在论文中完全展示。关于因果性的定义也引发了讨论：如果因果关系是非对称的（即A导致B，但B不必然导致A），那么可能需要设计属性来强制注意力矩阵具备相同的特性。演讲者认为这是一个非常有价值的问题，值得进一步探索。

YZ参数化与嵌入矩阵的效率困境

在尝试将理论中的Y和Z参数应用于实际模型时，研究发现虽然三层网络可以训练，但多层结构的效果不佳。核心问题在于嵌入矩阵的表示能力。在YZ Transformer中，没有独立的嵌入层，所有信息都压缩在一个巨大的词汇表对词汇表的Z矩阵中。 > "The Z is huge. It's a vocabulary size by the vocabulary size." 在实际训练中，这个巨大的矩阵难以被有效训练。因此，实践中通常采用独立的嵌入层和权重来模拟这种大型注意力矩阵，这种方法在效率上更优。目前的理论尚未完全解释嵌入矩阵的动态行为，未来需要将其分解并逐一分析。

从极端假设到连续谱系的理论演进

早期的Scan and Snap论文依赖于极端的假设，即标记要么属于多个类别，要么只属于一个。然而现实情况往往处于两者之间（例如90%在一类，20%在另一类）。JoMA公式的优势在于它引入了一个连续谱系的概念。 > "Now we have a continuous spectrum covering all the tokens." 通过量化标记的显著性，可以自然地区分独特标记（高幅值）和常见标记（接近零），无需特殊处理。这种 formulation 自然地包含了共现性和判别性，取代了之前需要单独处理的假设。演讲者总结道，这两篇论文主要覆盖了理论部分，接下来的时间将转向更多实证工作。未来的重点将是嵌入向量的分析，因为当前理论假设嵌入是固定且正交的，而实际上嵌入应在训练中学习。尽管实证结果显示这一假设大致成立，但这仍是一个理想化的简化，后续研究将致力于解决嵌入动态变化的问题。

潜在概念学习与模式叠加的理论分析

在大型语言模型的基础理论探讨中，除了位置编码（positional encoding）之外，潜在概念学习的动态过程也是一个极具挑战性的研究领域。尽管在多层的模型设置中，我们可以给出关于概念如何学习的大致描述，但目前缺乏具体的定理来解释潜在向量随时间是如何被学习的。这一过程非常棘手且难以处理。与此同时，研究还揭示了JoMA理论预测的一个有趣属性：模式叠加（pattern superposition）。这意味着MLP层中的一个向量能够编码多种不同的模式。

"This is actually being observed by many empirical works and also being highlighted by one of the paper from anisotropic."

虽然这一现象已被许多实证工作观察到并由Anisotropic的论文强调，但JoMA进一步从理论上分析并证明：如果遵循训练动态从头开始训练，这种模式叠加确实是可能的。尽管这部分理论分析较为复杂且暂时跳过详细推导，但它为理解模型内部机制提供了重要的理论基础。

基于注意力稀疏性的推理加速：Deja Vu方案

在应用层面，利用注意力的稀疏性（attention sparsity）来加速推理成为研究热点。实证结果显示，在每次前向传播中，大量的注意力头（heads）和MLP层激活并未被使用。这意味着相应的权重加载是无效的，造成了计算资源的浪费。为了解决这个问题，提出了Deja Vu方案。该方案的核心在于预测哪些头在推理过程中不会被激活。例如，某些头（如第43号头）在所有token上给出均匀分布，而其他头则表现出清晰的聚焦模式。

"So we actually learn a very simple kind of predictor per layer, and also per head... to predict this contextual sparsity."

Deja Vu通过为每层、每个头以及激活状态学习简单的预测器，来预测上下文稀疏性。其核心逻辑是：如果已知MLP层中只有特定激活会被使用，则只需加载对应的权重行和列。由于GPU内存加载到缓存的速度极慢（需数百个周期，而计算仅需几个周期），减少权重加载量能显著提升前向传播速度。实验表明，Deja Vu在延迟上优于HuggingFace和Fast Transformers等基准方案，且兼容量化技术，特别适用于小批量（lower batch size）场景。

H2O算法与注意力重头（Heavy-Hitters）分析

针对自注意力的$N^2$计算复杂度，H2O（Heavy-Hitter Oracle）算法提出无需关注所有先前token。通过分析注意力分数分布，发现其与共现频率高度相关。更重要的是，移除高注意力的token会导致下游任务性能大幅下降。这些具有高注意力分数的token被称为“重头（heavy hitters）”。H2O采用局部贪心算法，在每一步解码时累加先前token的注意力分数，并丢弃累积分数最低的token，仅保留预算内的KV cache token。

"If you only keep one for local tokens, it actually drops a lot. But if you keep only heavy hitter tokens..."

实证数据显示，仅保留20%的KV cache token（即重头token）时，模型在多个基准测试中几乎保持了相同的性能。只有当丢弃超过80%的KV cache时，性能才会显著下降。这种方法不仅节省了内存并加速了推理，还可能通过移除限制创造力的token而提升模型的创造性。进一步分析发现，许多重头实际上是Transformer中的前几个token。

注意力汇聚现象与位置的重要性

在大型语言模型中，Softmax规则导致多个极强的注意力分数汇聚到初始的几个令牌上。这种现象使得模型必须将这些早期令牌的注意力总和维持在1，从而形成了一种“注意力汇聚”（Attention Sinks）机制。研究发现，这些初始令牌的具体内容并不关键，重要的是它们的位置。如果将前几个令牌替换为任意字符（如“return”），模型仍能保持相似的能力；但若完全移除这些初始令牌，模型的困惑度（Perplexity）会急剧上升至5,000左右，导致输出变成毫无意义的乱码。这一发现揭示了早期令牌在维持模型稳定性中的核心作用，即它们充当了注意力分布的“锚点”，确保后续生成的连贯性。

StreamingLLM的核心机制与无限对话能力

基于上述发现，StreamingLLM提出了一种固定长度的KV缓存预算策略。当生成的令牌数量超过该预算时，系统会丢弃中间的旧令牌，但始终保留初始的几个令牌和最近的令牌，并维持它们在缓存中的原始注意力位置。这种机制赋予了模型无限的对话能力，因为无论上下文多长，内存占用始终保持恒定。与直接截断所有历史令牌导致模型崩溃不同，StreamingLLM通过保留关键位置信息，在节省内存的同时保持了稳定的困惑度。这意味着用户可以在不增加显存负担的情况下，与大型模型进行无限制的长对话，且输出内容依然具有可读性和逻辑性。

可学习令牌与视觉Transformer的验证

进一步实验表明，将初始的几个令牌设为“Sink Tokens”（汇聚令牌）并使其可学习或保持零嵌入，能进一步提升模型性能。这种专门设计的Sink Token机制使得模型的上下文处理能力更加稳定。值得注意的是，Meta的研究团队也发现了类似现象，并在视觉Transformer中验证了类似的“Registers”结构。这表明注意力汇聚并非语言模型独有，而是多模态架构中的一种普遍特性。然而，StreamingLLM主要解决的是长上下文下的内存和稳定性问题，它并不支持精确的信息检索。如果答案所在的令牌被丢弃，模型可能无法给出正确答案，尽管它仍能保持合理的生成流畅度。

结合H2O与位置编码扩展的改进方向

为了克服StreamingLLM在信息检索上的局限，研究者提出了结合H2O（Highway Attention）方法的StreamingH2O。由于StreamingLLM仅保留初始令牌，而H2O根据注意力分数选择重要令牌，两者的结合能在保持无限对话能力的同时提升性能。此外，针对通过预训练扩展上下文窗口的需求，有研究提出仅调整位置编码的缩放比例即可高效微调。例如，将LLaMA模型的上下文从2K扩展到4K时，只需将位置编码索引除以2。这种方法避免了昂贵的全量微调资源消耗，通过简单的参数缩放实现上下文窗口的线性扩展，为长文本处理提供了更高效的解决方案。

位置编码的外推困境与插值优势

在大型语言模型的训练中，研究人员发现如果仅使用几百个样本进行训练并修改Transformer结构，模型往往能表现出极佳的性能。这一现象背后的核心原因在于注意力函数（attention function）本身存在“病态”行为。具体而言，当模型处理训练数据范围内的插值（interpolation）任务时，表现良好；然而，一旦涉及超出训练范围位置的外推（extrapolation）任务，模型的性能就会急剧下降，给出极差的评分。因此，从理论层面来看，应当优先采用插值策略而非外推策略。这种对位置编码机制的深入理解，揭示了传统方法在处理长上下文时的根本缺陷。

基于插值的长上下文高效微调方案

针对上述问题，演讲者团队提出了一种改进方法，通过改变位置编码的插值方式，实现了高效的长上下文扩展。实验数据显示，该方法仅需不到1,000步（steps）的微调即可将模型的有效上下文窗口扩展至原始长度的8倍。相比之下，如果不改变模型结构而直接进行硬微调（hard fine-tuning），效率则低得多。例如，在将上下文窗口从2K扩展至8K、16K或32K的任务中，仅需200步即可达成目标。而传统的硬微调方法即使使用1,000步，通常也只能将窗口扩展至2K或2.5K。这种基于插值的方法在保持基准测试性能基本不变的前提下，显著提升了训练效率。

位置编码（RoPE）的技术细节与问答互动

在观众提问环节，演讲者详细解释了插值与外推在具体技术实现上的含义。以当前广泛使用的RoPE（旋转位置编码）为例，当上下文窗口为2K时，每个token会被分配从0到1999的位置索引。计算位置编码的过程涉及将两个位置的索引相减，得到差值 $m-n$，然后将其代入特定的方程中计算注意力权重。通过这种方式，位置信息被编码进模型。插值即在训练范围内的索引计算中保持这种数学关系的一致性，而外推则试图将这一关系延伸至未训练过的更大索引范围，从而导致性能崩溃。这种技术细节的澄清有助于理解为何修改位置编码的计算逻辑能解决长上下文问题。

从第一性原理到缩放定律的理论桥梁

针对观众关于如何将理论研究与缩放定律（scaling laws）及涌现能力相结合的问题，演讲者指出目前存在两条不同的研究路径。一条是经验主义系列（empirical series），如缩放定律和涌现行为研究，它们主要总结现象并预测模型规模扩大后的性能曲线；另一条则是基于第一性原理的理论系列（first principles series），从公式出发推导后果。虽然后者在应用到实际场景时难度较大，但其潜力巨大。演讲者认为，未来的方向可能是从第一性原理出发模拟大规模数据下的行为，从而推导出比现有经验缩放定律更普适的规律。

理论研究的演进路径与个人心得

演讲者分享了从2017年开始从事理论研究的心路历程，指出早期研究往往面临证明过程痛苦且结果看似无用的困境。但随着经验积累，研究者能够形成对理论框架的粗略图景。关键在于先写出“大致正确”的错误定理，再通过添加约束条件和实证验证逐步修正，最终得到既逻辑严密又具实用价值的论证。例如在DRAM论文中，核心思想“联合嵌入”仅用几天便提出。这种从粗糙到精确的迭代过程，是连接基础理论与实际工程应用（如缩放定律）的重要桥梁。正如演讲者所言：

"You start from the formulation. And then think about what is the consequence that will be achieved by the formulation?"

这种从第一性原理出发的探索，虽然艰难，但有望在未来带来更强大的理论指导。

社区反响与后续影响

该研究成果发布后，迅速引发了学术界的广泛关注。演讲者提到，在论文发布的两天内，Reddit上就出现了更优的改进方案，显示出该领域竞争的激烈程度。同时，许多后续论文开始沿着这一方向展开研究。这表明基于插值的位置编码优化不仅解决了具体的技术问题，更为整个大模型长上下文处理领域提供了重要的理论启发和实践范式。

"After the paper got released two days, you get something better in the Reddit. That's how intense competition is."

演讲者希望这些洞察能为社区带来益处，并结束了本次讲座。

理论推导与实证工作的辩证关系

在大型语言模型的研究中，理论推导并非唯一的驱动力，而是需要与大量的实验工作相辅相成。研究者往往需要先通过实证尝试来发现规律，当初步假设被证伪时，再回到理论层面调整前提条件。这个过程本质上是在符号结构与现实世界结构之间反复迭代。研究者从真实世界中提取假设，进入符号系统进行逻辑推演，判断该假设在数学上是否简化了问题或具有理论意义，然后再回到实践中验证其有效性。只有当假设既在符号层面有趣又在现实世界中相关时，研究才能收敛并产生实质性的成果。这种理论与实践的来回转换能力是研究人员需要培养的核心素养，通过不断的尝试和修正，逐渐掌握如何在两者之间找到平衡点。

渐近假设与特征动态性的权衡

在具体的数学建模中，为了捕捉问题的本质并简化推导过程，研究者常采用极限假设（t趋向于无穷大）。虽然有限时间步长下的置信界更为精确，但在初期探索阶段，忽略最大细节而关注渐近行为有助于快速构建理论框架。然而，这种简化必须谨慎使用，因为特征固定化的假设会破坏物理图景的完整性。如果为了数学上的便利而强行设定特征不变，虽然能简化计算，但却扼杀了模型对动态环境的适应能力。因此，研究的关键在于保持假设的合理性边界。研究者需要在数学处理的简便性与物理意义的真实性之间寻找平衡，确保所采用的假设不会导致模型脱离实际应用场景。这种对假设边界的严格把控是确保理论推导具有现实指导意义的前提。

层次化表示的长期探索与突破

对于层次化结构（Hierarchical Structures）的研究是作者长期的学术追求，早在硕士论文中便已涉及视觉模型的层次化表示。然而，由于符号系统过于复杂，早期的相关论文屡遭拒稿。CNS（Convolutional Neural Networks）虽然具备层次化结构，但Transformer通过嵌入机制实现了更高效的表示。作者指出，视觉研究者对层次化的执着源于其对特征提取的有效性，而Transformer的优势在于其嵌入向量（Embeddings）的高维正交特性。在高维空间中，可以容纳指数级数量的近似正交向量（$2^d$），这意味着在有限的空间内可以编码海量的概念对象。相比之下，CNN往往依赖类似独热表示（One-hot Representation）的方式，若要实现概念间的正交性，则需要极高的维度。这种高维空间的高效编码能力是Transformer区别于传统CNN的核心优势之一。

嵌入表示的解耦与推理能力

Transformer的高效性还体现在其对复杂属性的解耦处理能力。嵌入向量可以将一个概念（如字母'A'）分解为多个独立的属性向量，例如“字符本身”、“大小写状态”等。这种属性的解耦表示（Decoupled Representation）使得Transformer能够在计算过程中独立处理这些不同维度的属性。例如，一个向量可能代表字符的身份，另一个向量代表其语法或形态特征。这种机制不仅提高了表示的效率，还增强了模型的推理能力。研究者认为，Transformer之所以能执行复杂的推理任务，很大程度上得益于这种嵌入表示的结构化特性。未来的分析重点将集中在如何进一步解析这些解耦属性在Transformer计算中的具体作用机制，以揭示其强大的泛化与推理能力的底层逻辑。

结论

理论层面，JoMA模型证实注意力机制具自适应稀疏性：线性下持续变稀，非线性下呈先降后升的U型动态。实验验证了该趋势与真实数据一致，且深层网络通过层级表示自动学习潜在结构。应用层面，基于注意力稀疏性的Deja Vu和H2O方案显著加速推理并节省显存；StreamingLLM通过保留初始“汇聚令牌”实现无限长对话，结合插值位置编码可高效扩展上下文窗口。尽管理论假设嵌入正交且未完全确立因果关系，但实证结果强有力地支持了现有优化策略的有效性。