AI内存认知的误区与任务差异

大众对AI内存的刻板印象往往局限于HBM，认为只要堆足高带宽内存就能解决所有问题。然而，真正卡住AI脖子的是推理阶段的解码环节。伯恩斯坦（Bernstein）分析师指出，不同AI任务对内存的需求截然不同。训练阶段虽然计算密度最高、带宽需求极大，但其核心在于打通从HBM到系统DRAM、本地SSD乃至网络存储的全层级数据调度，以应对海量数据集加载和长期训练中的检查点保存。<训练绝非只靠HBM就能跑通，而是全层级内存的协同运作。> 相比之下，推理分为预填充和解码两个阶段。预填充处理用户提示词生成首个Token，属于计算绑定场景，内存压力较小；而解码阶段采用自回归方式逐个生成Token，KV缓存（键值对）的大小随Token数量线性增长且每个用户独立占用。在大规模部署中，KV缓存占用的内存可能超过模型权重本身，直接决定服务器并发能力和上下文窗口大小。<“KV缓存吃掉的内存可能比模型权重本身还多”> 因此，解码阶段的TPOT（每个输出Token耗时）成为关键指标，文字聊天需控制在50毫秒以内，高要求场景则需压至10毫秒以下。

复杂工作负载下的内存逻辑演变

除了基础训练与推理，检索增强生成（RAG）和智能体工作流带来了更复杂的内存挑战。RAG流程分为离线生成向量和在线搜索两部分。向量数据库的索引构建主要依赖系统DRAM，而搜索结果合并回提示词后仍走推理流程。智能体工作流则因多步迭代、工具调用及状态管理，产生大量传统CPU和常规内存需求。更关键的是多智能体并发时，预填充、解码与KV缓存的需求层层叠加，内存压力远超单轮推理。为理清这些需求，伯恩斯坦构建了从G0到G4的系统架构层级框架。该框架结合英伟达、Solidigm定义及HBF、CXL等新技术，将内存按位置和作用分层。G0为处理器内SRAM缓存；G1是HBM，通过CoWoS封装与加速器连接，存储最热数据。G2为系统DDR内存；G2.5是CXL共享池，整合CPU与加速器内存资源。这一架构视角有助于明确每项新技术在系统中的具体定位。

系统架构层级：从G0到G4的技术映射

在伯恩斯坦的架构框架中，每一层都对应特定的技术形态与解决方案。G2.5层级引入CXL内存扩展，最初由英特尔推动，现支持CPU访问加速器HBM及反向操作。若NAND优化接近DRAM特性并搭配缓存，也可纳入CXL池。G2.6层级为英伟达主导的Storage Next项目，旨在让NAND具备DRAM般的低延迟和小粒度访问能力。铠侠GP系列SSD采用SLC NAND颗粒，主打超高IOPS，位于DDR与本地SSD之间。G3层级为基于PCIe/NVMe的本地SSD，由CPU管理但部分加速器可直接访问。G3.5层级新增CMX内存（原ICMS），专为KV缓存设计，符合标准的SSD部署在数据节点供集群共享。英伟达通过STX架构整合兼容方案，利用Spectrum-X交换芯片和BlueField-4 DPU实现GPU直连存储。G4层级为共享存储（SSD/HDD），用于长期非关键数据。这一分层体系清晰展示了从CPU中心向GPU中心转移的趋势，以及存储介质在延迟与容量间的权衡。

硬件介质创新：SRAM、DRAM与封装演进

从硬件介质看，SRAM速度最快但面积大，主要用于G0级缓存及LPU等低延迟场景。英伟达授权Groq的LP30 LPU利用片上SRAM，下一代LP40计划采用混合键合堆叠以提升容量。DRAM是行业利润主力，HBM本质也是DRAM。其演进依赖EUV光刻，长鑫存储正研发4F² DRAM缩小单元面积。围绕HBM的创新路线各异：三星zHBM尝试3D堆叠于XPU上方，面临散热与良率挑战；英伟达主导NVHBM将内存控制器移至基底芯片，降低成本并推动开放标准。英特尔XBM利用后道工艺集成DRAM单元；ZAM通过90度旋转芯片改善散热，预计2029年实用化。高通HBC采用传统封装与LPDDR降低功耗，预计2027年出货。模块形态上，SOCAMM2已标准化为JEDEC标准，支持128位总线与LPDDR颗粒，改善服务器风道并提升带宽。这些创新表明产业链正通过封装与结构变革突破物理极限。

存储级内存（SCM）与NAND技术分化

介于DRAM与NAND之间的存储级内存（SCM）涵盖MRAM、PCM及增强型N。英特尔3D XPoint属PCM技术，但量产规模有限。另一类是增强型NAND如Z-NAMD和XL-FLASH，通过SLC/MLP颗粒或DRAM缓存逼近DRAM性能。NAND颗粒特性差异显著：SLC速度寿命最优但成本高；TLC为主流平衡点；QLC容量大性能弱。铠侠XL-FLASH采用SLC/MLP，GP系列SSD达千万级IOPS；三星Z-NAND主打超低延迟。美光XTR SSD利用pSLC模式（TLC当SLC用）兼顾规模效应与性能。NAND在AI推理中分工明确：XL-FLASH对应Storage Next G2.6；TLC对应CMX G3.5；QLC对应G4大容量存储。此外，闪迪与SK海力士主导的高带宽闪存（HBF）试图用NAND实现接近HBM的带宽，定位G1.5层级；三星zNAND-O则面向端侧AI，采用TLC堆叠与先进封装。这些技术分化反映了不同场景对成本、容量与速度的极致追求。

产业格局：HDD/磁带复苏与公司评级

随着KV缓存规模扩大，非关键数据向下沉淀带动HDD需求增长。全球数据存储暴涨导致NAND与HDD产能不足，连磁带归档存储的需求也出现回升。在硬件层级最底端，HDD与Tape继续承担冷数据存储角色。伯恩斯坦报告对主要存储公司给出了评级，跑赢大盘定义为未来12个月预期超越市场指数15个百分点以上。具体评级如下：三星电子（跑赢大盘，目标价44万韩元）、SK海力士（跑赢大盘，330万韩元）、美光（跑赢大盘，1300美元）、闪迪（跑赢大盘，3000美元）、希捷（跑赢大盘，1350美元）、西部数据（跑赢大盘，770美元）；铠侠评级为跑输大盘（目标价4万日元）。这些预测数据反映了分析师对各家技术路线与市场地位的研判，但需注意以上仅为产业研究参考，不构成投资建议。存储行业正处于过去二十年最热闹的时期，技术边界模糊化与架构重构正在重塑产业格局。

结论

AI内存技术并非单一维度的军备竞赛，而是系统架构与硬件介质双重演进的结果。推理阶段KV缓存的爆炸式增长已成为比训练更严峻的性能瓶颈，迫使行业从单纯追求HBM带宽转向构建多层级、异构化的存储体系。伯恩斯坦的G0-G4架构框架清晰地揭示了从CPU中心向GPU/加速器中心的权力转移，以及CXL、CMX等新技术在填补内存墙缺口中的关键作用。同时，DRAM、NAND与SRAM的边界正在模糊，通过封装创新（如3D堆叠、混合键合）和介质增强（如pSLC、Storage Next），产业链正试图在成本与性能间寻找新平衡。尽管技术路线纷繁复杂，但数据流动的效率最终决定了AI模型的部署规模与商业天花板。