从MVFP4到计算精度的本质

随着Nvidia即将推出的Vera Rubin GPU架构，MVFP4（多精度浮点4位）这一术语在业界被频繁提及。许多宣传材料声称该架构能在MVFP4精度下实现50 petaflops（千万亿次浮点运算）的计算能力。然而，对于绝大多数投资者而言，这些充满专业术语的数字背后究竟意味着什么并不清晰。精度在计算机中指的是存储一个数字所使用的位数，这是理解后续所有技术演进的基础。常见的精度格式包括使用32位的FP32、16位的BF16和8位的FP8，而更低的精度如FP4仅使用4位。位数越少，移动、存储和计算的成本就越低。在AI领域，训练和推理本质上是反复进行大量数字的乘法运算，因此使用更少的内存来表示一个自然能节省更多显存。但精度降低也带来了信息承载量的减少，这迫使工程师在位分配上做出更精细的设计决策。

浮点数结构：指数与尾数的权衡

要理解不同精度格式的差异，必须深入剖析浮点数的内部结构。一个标准的浮点数由三部分组成：符号位（Sign）、指数（Exponent）和尾数（Mantissa）。符号位仅表示正负，而指数决定数值的大小范围（Scale），尾数则决定在该范围内的细节精度。以数字6,250为例，计算机将其存储为 $6.25 \times 10^3$。其中指数“3”决定了数量级为千位，而尾数“6.25”提供了具体的细节。如果减少尾数的位数，例如只能存储到小数点后一位，数字就会变成 $6.2 \times 10^3 = 6,200$，误差为50；若尾数精度进一步降低至整数位，则变为 $6 \times 10^3 = 6,000$，误差扩大至250。这说明尾数控制着数值在选定尺度内的精确度。相反，如果减少指数位数，则无法表示大数量级的数字。这种精度与范围之间的权衡（Trade-off）是浮点数设计的核心矛盾。

FP16与BF16：AI训练中的动态范围需求

在16位精度中，FP16（半精度浮点）和BF16（脑浮点数）代表了两种不同的设计哲学。FP16分配给尾数的位数较多，因此能更细致地表示相近的值，但其指数位较少，导致数值范围较小。相比之下，BF16由Google Brain团队设计，其名称中的“Brain”暗示了其专为机器学习优化的特性。BF16保持了与FP32相同的指数大小，从而拥有更宽的动态范围（Dynamic Range），但牺牲了尾数的细节精度。这种设计使得BF16在AI训练中广受欢迎，因为神经网络训练过程中涉及梯度、激活值和权重的流动，这些数值可能跨越极大的尺度。保持大的动态范围可以防止梯度爆炸、消失或溢出，这对于维持学习信号的准确性至关重要。然而，当精度进一步降低到FP8和FP4时，由于可用位数极少，每个部分对舍入误差都变得极其敏感。权重可能丢失有用信息，注意力机制因激活值被四舍五入而变得不准确，梯度也可能完全消失。这些误差在数十亿次运算中会不断累积。

MVFP4与MXFP4：通过缩放实现低精度推理

鉴于训练对精度的严苛要求，降低位数的做法主要应用于推理阶段。在推理中，模型已经训练完毕，目标是廉价地运行前向传播并尽可能保留模型行为，因此对误差的容忍度更高。Nvidia推出的MVFP4旨在使FP4在推理中变得实用。在此之前，其前身是MXFP4（微缩放浮点4位）。MXFP4的核心创新在于引入了共享比例因子（Shared Scale Factor）的概念。它不再单独处理每个4位数值，而是将一组值划分为块（Block），并为整个块分配一个统一的比例因子。例如，若某块的缩放系数为100，那么原本微小的4位数值“6”即可代表实际值600。这种机制使得极低的比特数能够映射到更广泛的实数值区间，从而在保持低内存占用的同时最大化地保留模型的行为特征。这是Nvidia押注MVFP4以推动大语言模型（LLM）前沿部署的关键技术路径。

MVFP4格式的核心架构革新

NVIDIA的MVFP4旨在解决MXF4在量化过程中因尺度因子覆盖范围过大而导致的精度丢失问题。MXFP4使用一个共享的缩放因子来覆盖每32个值，且仅支持2的幂次方尺度（如64或128），这导致在数值分布不均时，要么小值无法准确表示，要么大值被截断。MVFP4通过三项关键改进重构了这一基础：首先将块大小从32值缩减至16值，使缩放因子能更局部地观察张量；其次用E4M3格式的FP8作为块尺度，取代了粗糙的2的幂次方缩放。> "This means the scale factor has both exponent and mantissa bits, so it can represent more precise scaling values instead of only jumping between powers of two." 这种设计让尺度因子拥有指数和尾数位，从而能表示更精确的缩放值。最后，MVFP4在FP8块尺度之上增加了一个全局FP32张量尺度。由于E4M3的精度提升限制了其动态范围，全局FP32尺度负责处理大范围数值，而局部FP8尺度则微调小范围差异。这种分层结构虽然算法复杂，但显著提升了量化对数据分布的适应能力。

训练稳定性与敏感层保护策略

仅拥有更精细的数字表示并不足以让FP4用于模型训练，因为前向传播、反向传播和梯度更新必须在数万亿token中保持稳定。NVIDIA制定了一套完整的训练配方，首要措施是保持敏感层的高精度。研究表明，若将所有线性层量化为FP4，训练将发散。特别是网络末尾的15%层级对动态范围和精度要求极高，因此必须保留较高精度。> "The final layers are especially sensitive because they need more dynamic range and precision." 这种分层精度策略确保了模型在关键决策阶段不会因量化噪声而失效。此外，针对权重矩阵在正向和反向传播中方向不同的特性（前向使用原矩阵，后向使用转置矩阵），NVIDIA引入了2D块缩放机制。若仅沿单一方向（如1x16）分组，正向和反向看到的量化版本可能不同，导致梯度计算基于不精确的操作。为此，权重采用16x16块缩放。虽然这使每个尺度因子需覆盖256个值而非16个，导致粒度变粗，但NVIDIA认为可训练的权重比激活值或梯度更能容忍这种粗糙度，因为模型有时间适应FP4的表示。

应对异常值与舍入误差的技术手段

为了解决量化前的极端数值问题，NVIDIA采用了随机哈达玛变换（Random Hadamard Transforms）。当块中存在极大异常值时，它会主导整个块的尺度因子，导致其他小值精度受损。哈达玛变换通过混合向量中的数值来重新分布信息，虽然结果看起来与原始数据不同，但向量的模长保持不变。> "The information has only been redistributed while lowering the scale needed for the entire vector." 在矩阵乘法中，只要点积结果一致，坐标系的变换是可以接受的。这种预处理有效降低了量化所需的尺度范围。此外，针对低精度下确定性舍入导致的小梯度消失问题（如0.3被强制舍入为0），NVIDIA引入了梯度的随机舍入（Stochastic Rounding）。在FP4只能表示0或1的尺度下，确定性舍入会抹杀微小梯度。随机舍入则根据概率进行取舍：> "It rounds to one with 30% probability and zero with 70%." 这种机制确保了微小信号不会在训练中永久丢失，从而维持了学习过程的稳定性。

MVFP4混合精度训练的稳定性和可扩展性验证

NVIDIA在120亿参数的混合Mamba Transformer模型训练中，采用了MVFP4格式处理大部分权重，同时保留敏感部分的高精度。在10万亿token的训练过程中，MVFP4模型的验证损失与BF16基线紧密追踪。在大多数稳定训练阶段，相对损失差距保持在1%以下。尽管在学习率衰减的末期差距略有扩大，但模型依然保持稳定。下游基准测试结果显示性能几乎一致，仅编码任务略逊一筹且损失差距未完全消失。随后在Neotron 3系列中，随着模型规模增大，量化损失反而缩小。对于拥有约30亿活跃参数的Neotron 3 Nano，MVFP4训练损失差距保持在1%以内；而当测试80亿活跃参数的大模型时，该差距降至0.6%以下。这表明大模型具备足够的冗余和容量来吸收FP4引入的噪声，使得MVFP4在更大规模下更具经济性。

5500亿参数超大模型的训练实证与精度恢复测试

2026年6月，NVIDIA推出了基于MVFP4预训练的5500亿参数Mixture of Experts模型Neotron 3 Ultra，每token活跃参数为550亿。该训练在20万亿token上进行，保留了网络最后15%（共16层）及MTP、嵌入等关键层的较高精度。消融研究表明，在5万亿至16万亿token的检查点中，训练运行非常顺利。为了验证MVFP4是否损害了模型潜力，研究人员将检查点中的张量切换回BF16并继续训练740亿token。结果显示，相对训练损失差距平均保持在0.4%以下。即使在BF16继续训练的初期和后期，最大差距仅为0.33%-0.34%，而从16万亿token的检查点开始甚至降至0.03%。这一结果有力支持了之前的扩展性主张，证明MVFP4作为一种算法在保持精度的同时极具潜力。正如原文所述：“The precision itself or at this point kind of like an algorithm is really promising.” 这种低精度训练并未造成不可逆的精度损伤，反而展现了极高的稳定性。

Blackwell与Rubin架构下的FP4硬件吞吐量优势分析

NVIDIA新显卡宣传中强调的FP4性能提升，源于其专门的硬件设计。在Blackwell GB300上，FP8的吞吐量约为BF16的两倍，而FP4则高达六倍。这一超越位宽理论值（四倍）的提升，得益于更宽的FP4数据路径和每个块中执行的更多乘加运算。随后的Rubin架构进一步放大了这一优势，据SemiAnalysis分析，Rubin的密集FP4性能比GB200快3.5倍。这是通过增加1.4倍的SM计算块、将每个块内的FP4张量核心宽度翻倍以及提升25%时钟速度实现的。相比之下，BF16和TF32仅提升了约1.6倍。所谓的50P FLOPS峰值并非所有密集FP4 GEMM都能达到，而是基于Transformer引擎自适应压缩后的有效推理峰值，取决于工作负载中零值的可压缩性。原文指出：“50p flops is not the same as every dense FP4 gem runs at 50p flops.” 这意味着实际性能高度依赖于数据稀疏性和压缩效率。

不同架构下的理论加速比与未来趋势展望

通过简单的估算可以对比各代硬件在混合精度设置下的表现。假设85%的参数使用FP4，15%保持高精度：在GB200上，由于FP4吞吐量是BF16的四倍，整体时间约为纯BF16的36.25%，实现约2.8倍的加速。在GB300上，FP4吞吐量是BF16的六倍，时间降至29%，加速比约为3.45倍。而在Rubin上，FP4操作速度是GB200的14倍，BF16仅提升1.6倍，整体时间约为GB200的15.5%，相比同配置的GB200快约2.3倍。最新的消融研究显示，在Llama 8B和405B模型上，MVFP4相比FP8可获得1.3至1.73倍的加速且几乎无精度损失。随着DeepSeek等机构在训练中引入FP4适配阶段以优化推理准确性，MVFP4格式将在未来大语言模型中扮演核心角色。尽管实施层面仍有挑战，但其结合硬件加速与算法优化的路径已清晰可见。

课程核心定位与直觉化教学法

本视频片段主要介绍了作者新发布的关于大型语言模型（LLM）架构的深度课程内容，其核心目标是从零开始构建对 LLM 的全面理解。课程覆盖范围极广，从基础的语言模型架构原理一直延伸到混合专家（Mixture of Experts, MoE）等高级主题，并深入探讨了相关的优化技术。与许多充斥着复杂数学公式的技术教程不同，该课程特别强调通过直觉化方式帮助学习者掌握核心概念。作者明确表示不希望通过“疯狂的数学”轰炸读者，而是专注于确保用户完全理解更高层级的逻辑。这种教学设计旨在降低认知门槛，使学习者能够透过复杂的表象看清本质。

"Our main focus is to help you understand the key ideas intuitively, which means we don't bombard you with crazy looking maths and focuses on making sure you understand the higher level logic fully."

这种以直觉为导向的教学方法，特别适用于那些希望在工作中应用 LLM、正在转型进入该领域或渴望投身于语言模型研究的专业人士。通过剥离繁琐的数学推导，课程让学习者能够更专注于架构设计的内在逻辑与工程实现的可行性。这种策略不仅提升了学习效率，也确保了知识在实际应用场景中的可迁移性。对于初学者而言，建立正确的直觉比记忆复杂的公式更为关键。这种教学理念贯穿了整个课程的设计始终。

前沿技术解析：线性注意力机制

在课程内容更新方面，作者特别提到刚刚发布了一个新章节，专门用于直观地拆解线性注意力机制（Linear Attention）。这一技术代表了当前语言模型研究的前沿领域，是 Kimi K3 和 Quinn 等最新一代模型所依赖的核心基础概念之一。线性注意力机制旨在解决传统 Transformer 架构中自注意力机制计算复杂度随序列长度平方增长的问题，通过近似或重构注意力计算过程来实现线性复杂度的提升。这一章节的发布标志着课程内容紧跟技术前沿，及时覆盖了行业内的最新突破。

"We also just published a new chapter on breaking down linear attention intuitively, tackling one of the latest frontier concepts that Kim K3 and Quinn models are based on."

对于从业者来说，理解线性注意力机制不仅有助于掌握最新模型的底层逻辑，还能为优化长文本处理能力提供理论支持。Kimi K3 和 Quinn 模型的成功应用证明了这一技术路线的可行性与优越性。通过直观拆解，学习者可以更容易地理解如何在保持性能的同时大幅降低计算资源消耗。这一章节的加入，使得整个课程体系更加完整，涵盖了从基础到前沿的全方位知识图谱。对于希望深入理解最新模型架构的研究人员而言，这部分内容是不可或缺的关键拼图。它连接了传统注意力机制与现代高效模型之间的技术鸿沟。

社区支持与持续学习资源

视频的最后部分，作者向支持其 Patreon 和 YouTube 频道的观众表达了感谢，并推广了相关的学习资源。作者列举了一系列支持者名单，包括 Spam Match、Chris Ladoo、Degan 等个人以及 DX Research Group 等机构，强调了社区支持对内容持续产出的重要性。同时，作者提供了限时优惠代码 "back to school"，用于年度会员订阅的 50% 折扣。这一举措不仅降低了学习门槛，也鼓励更多专业人士加入深度学习社区。作者还呼吁观众关注其 Twitter 账号以获取最新动态，并预告了下一期视频的内容。

"And thank you guys for watching. A big shout out to Spam Match, Chris Ladoo... and many others that support me through Patreon or YouTube."

这种互动模式体现了知识创作者与受众之间的良性循环关系。通过提供高质量的内容和优惠的学习机会，作者不仅巩固了现有粉丝群体，也吸引了更多潜在学习者。对于希望系统学习 LLM 知识的人来说，加入此类社区不仅能获取最新的技术资讯，还能获得同行交流的机会。作者提到的 "back to school" 优惠代码是一个具体的行动号召，旨在激励读者立即采取行动。这种将内容推广与社区建设相结合的方式，为技术教育内容的可持续发展提供了有益参考。通过持续的互动与支持，知识传播的效率和质量得到了显著提升。

结论

MVFP4通过分层缩放、哈达玛变换及随机舍入等算法优化，成功在120B至5500亿参数模型训练中实现了与BF16基线几乎一致的精度（损失差距<1%），且大模型规模越大量化噪声影响越小。硬件层面，Blackwell及Rubin架构凭借专用数据路径实现FP4吞吐量数倍于BF16，带来显著加速。然而，该精度目前主要适用于推理及混合训练中的非敏感层，全FP4训练仍会导致发散。50P FLOPS峰值依赖数据稀疏性压缩，实际性能受工作负载影响。总体而言，MVFP4是平衡算力效率与模型精度的可行路径，但需配合严格的精度保护策略。