大家好，这里是最佳拍档，我是大飞。大多数人聊AI内存，第一反应就是HBM，好像HBM就是AI内存的全部。只要堆够了HBM，什么问题都能解决？但你可能不知道的是，真正把AI内存卡到死的，其实不在于训练阶段，而是推理里的解码阶段。KV缓存的膨胀速度远超大多数人的预期。

每天行业都有新名词冒出来，比如说HBF、Z-NAND、CXL、CMX、ZAM、HBC等等。产业链一边造技术，一边造缩写，速度快到很多从业者都跟不上。最近，伯恩斯坦（Bernstein）的四位分析师联合撰写了一份最新的AI内存入门报告，把所有这些新技术归到两个框架里给讲透了。

一个是从系统架构出发的层级，一个是从硬件介质出发的层级。今天这期内容，我们就顺着这个框架，把AI内存的全貌梳理清楚。先从最基础的说起：不同阶段的AI任务对内存的要求完全不是一回事，不能一概而论。很多人一上来就只聊HBM，这其实是把问题想简单了。

训练虽然是整个AI流程里计算密度最高的阶段，但是内存带宽同样关键。带宽直接决定了你能跑的模型上限和训练速度。HBM如今在训练里的核心地位不用多说，但是训练绝不是只靠HBM就能跑起来的。你想想：海量的训练数据集要提前准备好，存在更慢也更便宜的存储介质里；

训练过程中数据要经过多层缓存逐步调度，最后才进HBM。而且训练动辄跑几个月，中间还要频繁存检查点，防止软硬件故障导致从头再来。说白了，训练要把从HBM到系统DRAM、本地SSD、网络存储的全层级内存都跑通，缺了哪一环都不行。

推理就更有意思了：它分成两个完全不同的阶段——预填充和解码，两者的瓶颈完全不一样。预填充阶段处理用户输入的提示词，生成第一个token。这个阶段以矩阵运算为主，GPU利用率很高，是典型的计算绑定场景；数据搬运的时间远低于计算时间。

内存压力相对小，HBM的作用更突出。这个阶段的核心指标叫首token时间，也就是TTFT（Time To First Token）。普通聊天场景0.5秒以内是理想状态，1秒基本可以接受；超过2秒用户很容易就失去耐心了。如果是处理上百页文档这类重任务，容忍度会高一些；配合一个“思考中”的提示，用户还能接受。

但是解码阶段的逻辑就完全不同了：token是逐个生成的，学术上叫自回归生成。每生成一个新token，都要用到之前所有token的信息。为了避免重复计算，现在的大模型都会把之前token的键值对存下来，也就是KV缓存。

KV缓存的大小和token数量是线性增长的。这里有一个很关键的区别：模型权重是只读的，可以给所有用户共享；但是KV缓存却是每个用户一份。并发用户数越多，总占用量就越高。两者叠加之后，解码阶段就变成了典型的内存绑定场景。

很多人可能没意识到的是：在大规模部署里，KV缓存吃掉的内存可能比模型权重本身还多。它直接决定了一台服务器能同时服务多少用户、能支持多大的上下文窗口。换句话说，KV缓存的处理效率直接影响一个AI模型的部署规模和收入天花板。

解码阶段的核心指标是每个输出token的耗时，也就是TPOT（Time Per Output Token）。文字聊天大概50毫秒以内就能接受；如果是实时语音、编程、智能体这类高要求场景，要压到10毫秒以内。除了训练和推理，检索增强生成（RAG）的内存需求又是另一套逻辑。

RAG就是给模型接外部数据库，用私有数据或者最新信息补充模型的知识，同时也能减少幻觉。整个流程分“数据库生成”和“搜索”两部分：

生成阶段要把海量的PDF、代码、网页这类非结构化数据，处理成可检索的向量数据库。首先要有大容量存原始数据：固态硬盘（SSD）比机械硬盘（HDD）更能降低访问延迟。生成向量和索引主要靠系统DRAM，HBM用得不多；这部分工作是离线完成的，和用户数、token数都没关系，属于一次性投入。

搜索阶段先把用户查询转成向量：这步用HBM处理很快，大部分时间都花在向量数据库里找最匹配的结果。这步主要靠系统DRAM。检索到结果之后，合并到用户提示里：还是走推理的预填充和解码流程。内存需求和前面说的一致。

再往上走，智能体工作流的内存压力会再上一个台阶：它不是单次的“提示到输出”，而是自主的多步迭代。自己拆解目标、调用工具、评估结果；出错了还要回退修正。整个流程需要额外的计算和内存来管控状态、存储中间结果，以及和外部工具交互。

这会产生大量传统CPU和常规内存的需求。更关键的是，一个智能体的输出会变成下一个智能体的输入：多智能体并发的时候，预填充、解码、KV缓存的需求会层层叠加。内存压力比单轮推理大得多。

讲完了不同工作负载的需求差异，我们再从系统架构的视角看看内存是怎么分层的。伯恩斯坦把AI系统里的内存按架构位置和作用，分成了从G0到G4的完整层级。这个划分没有官方标准，是结合了英伟达、Solidigm的定义，再把HBF、CXL、Storage Next这些新技术都插进去形成的一个完整框架。

看完你就能明白每个新技术到底在系统里的哪个位置、解决什么问题：G0是处理器内部的内存，一般是静态随机存取存储器（SRAM）。延迟极低，容量非常小，用来做即时计算的缓存。和加速器的逻辑芯片在同一块晶圆上生产。

G1是HBM，也就是高带宽内存：用CoWoS先进封装把堆叠的动态随机存取存储器（DRAM）芯片和加速器封装在一起。带宽高、延迟低，模型权重、KV缓存这些最热、访问最频繁的关键数据都存在这一层。

G2是系统内存，就是常见的DDR DRAM：容量比HBM大，延迟也更高。通常布置在CPU旁边；英伟达和AMD的GPU都可以绕过CPU，直接访问这部分内存。

G2.5是计算快速链接（CXL）内存：这项技术最初由英特尔推动，现在已经得到全行业的支持。它的核心是把物理上分开的内存整合成一个逻辑共享池，避免资源浪费。通过CXL，CPU可以访问加速器的HBM；加速器也可以访问CPU管理的系统内存；连PCIe接口的内存扩展器也能纳入共享池。

后来CXL也扩展支持NAND：前提是NAND产品要优化得更接近DRAM的特性，通常是搭配DRAM或SRAM做缓存来掩盖NAND的高延迟。三星的CMM-H就是DRAM和NAND混合的CXL模块。

再往下是G2.6，叫Storage Next内存：这是英伟达主导的生态项目，几乎所有主流存储厂商都参与了。它有两个核心方向：一是把内存管理从CPU中心转向GPU中心；二是让NAND变得更像DRAM。既能享受NAND的低成本和大容量，又能做到接近DRAM的延迟和小粒度数据访问。

它的位置就在DDR DRAM和本地SSD之间，产品大多是DRAM和NAND的混合体。很多会采用单层单元（SLC）NAND颗粒：铠侠的GP系列SSD就是这类产品的代表，主打超高IOPS（每秒输入输出操作数）。

G3是本地SSD：基于PCIe硬件标准和NVMe协议标准，位于主板边缘。属于单个计算节点内部（也叫“计算SSD”），这一层把容量扩展到DRAM之外，但不能跨节点共享。通常由CPU管理，部分加速器可以直接访问。

G3.5是CMX内存和STX架构：CMX全称是内容存储内存（Content Memory eXtension），之前叫ICMS，也就是推理上下文内存存储。这是英伟达专门为KV缓存新增的层级：符合CMX标准的SSD部署在数据节点里，可以被整个集群的多个计算节点访问。

适合多智能体场景下共享的动态内容：计算节点和数据节点之间用以太网连接，中间通过Spectrum-X交换芯片转发。两边都搭配BlueField-4 DPU：GPU可以直接访问存储，不需要CPU参与。

STX是英伟达推出的参考架构，用来整合各家存储和ODM厂商的方案：保证产品之间的兼容性。

最下面一层是G4，共享存储：可以是SSD也可以是HDD，通过PCIe或者网络连接。用来存长期的、非关键路径的数据：只要网络和软件支持，GPU也可以直接访问这一层存储。

讲完了架构层级，我们再从硬件介质的角度来看技术创新：这是另一个维度的划分——按存储单元的结构和工作原理来分，再叠加各种封装和模块技术。两个维度交叉组合，产业链就能搭配出满足不同需求的解决方案：

SRAM是整个硬件层级里速度最快的。它的单元结构是6晶体管，比DRAM的1T1C结构（也就是一个晶体管加一个电容）占更多硅面积。两者都是易失性存储，断电数据就没了；DRAM需要不断刷新电容，SRAM不需要刷新电路。

现在绝大多数SRAM都是嵌入在逻辑芯片内部：单独封装的只在小众场景存在。对应架构里的G0层级，用来做各级缓存：L1缓存最靠近计算单元（容量最小），L2、L3缓存容量更大，延迟也稍高一点。

AI也催生了SRAM的新用法：比如LPU（语言处理单元）。Groq的LPU现在的版本叫LP30，英伟达也有授权。它用片上SRAM来满足推理中对延迟最敏感的部分；下一代LP40据说会用混合键合技术，把SRAM芯片堆叠在逻辑处理器芯片上面。

延迟只有小幅增加，容量能做得更大，成本也更可控：这种用法大概对应架构里的G2层级。还有嵌入式DRAM（eDRAM），也是做在逻辑芯片里，和嵌入式SRAM竞争大容量缓存场景：比如L4缓存。

IBM的POWER处理器和索尼的PlayStation里就在用，不过目前整体市场份额很小：DRAM是整个存储行业收入和利润的绝对主力。比NAND的体量要大，HBM本质上也是DRAM：和传统DRAM用一样的晶圆产能。

对应架构里的G1和G2层级；CXL内存扩展里也会用到：很多NAND产品会用DRAM做缓存来预取数据，掩盖NAND的高延迟（不过用量不大）。

DRAM的技术演进到现在还是主要靠摩尔定律：这意味着极紫外（EUV）光刻是必须的。没有EUV的厂商，长期来看在DRAM领域会逐步失去竞争力：具体到中国来说，长鑫存储作为国内主要的DRAM厂商正在研发4F² DRAM来应对。

传统的1T1C DRAM单元面积是6F²：4F²通过把外围电路从电容旁边移到电容下方，甚至移到另一块晶圆上，来缩小单元面积。不过4F²带来的提升是一次性的：就像逻辑芯片里的FinFET，之后再往前发展还是要靠横向微缩。

国内也在研发3D DRAM：类似3D NAND的思路，把存储单元垂直堆叠起来。平均单元面积能做到比4F²还小，而且有持续微缩的潜力：只是3D DRAM的技术难度大得多，离商业化还有很长的路要走。

围绕HBM，各家厂商也在做不同方向的创新：这里面的技术路线非常多，我们一个个说。三星的zHBM想把封装从2.5D推进到3D：现在的HBM堆叠在XPU旁边，通过中介层连接；zHBM要把HBM堆叠直接放在XPU的上面。

进一步缩短通信距离，提升带宽：问题也很明显——下面的XPU发热量很大，上面的DRAM芯片能不能在高温下稳定工作是个很大的疑问。三星打算用晶圆对晶圆的混合键合：芯片之间没有缝隙，散热会好一些。

但混合键合的良率和成本能不能支撑大规模量产？现在还不好说：NVHBM是英伟达主导的定制化HBM。它的基底芯片由英伟达设计、台积电生产：把内存控制器从XPU移到HBM的基底芯片上。

可以减小XPU的芯片面积，降低成本；或者省出面积放更多计算单元：同时还能提升带宽、降低功耗。英伟达在推动NVHBM走向开放：一方面标准化实现方式，让多家存储厂商都能供货；另一方面通过NVLink Fusion让其他厂商的加速器也能使用。

亚马逊的安纳普尔纳实验室（Annapurna Labs）已经宣布合作：和标准HBM相比，NVHBM会压缩存储厂商的价值空间。原来由存储厂商设计的基底芯片现在变成英伟达设计、晶圆厂代工；存储厂商的差异化空间会被收窄。

英特尔也有两个DRAM相关的技术路线：XBM和ZAM。XBM全称是交叉批次内存（Cross-Batch Memory）：根据专利披露，它用后端工艺——也就是后道光刻和薄膜晶体管来做DRAM单元。

传统DRAM的单元在前道工艺制作，后道只做金属连线：XBM把存储单元做在后道的金属层之间。这样DRAM单元和逻辑电路可以集成在同一块硅片上，也让它成为内存内计算的潜在候选：目前公开的细节还不多，还很难判断这项技术的量产前景以及谁更适合生产。

ZAM全称是Z角内存（Z-Angle Memory）：这是封装层面的创新，把堆叠里的DRAM芯片旋转90度横向排列。芯片之间的垂直缝隙可以提升散热效率：英特尔的合作伙伴、软银的全资子公司SAIMEMORY表示，DRAM芯片还是向存储厂商采购。

他们主要做独特的封装和基底设计：旋转之后，芯片和基底的物理连接难度很高；如何实现数据传输是核心挑战。预计2029财年实现实用化：高通的高带宽计算（HBC）走的是性价比路线。

它不用CoWoS先进封装，改用传统封装：性能上做一些妥协，但是省去了中介层和2.5D有机基板的高昂成本。同时采用LPDDR来降低功耗：第一代产品预计2027财年出货，第二代2028年推出。

除了芯片和封装，DRAM的模块形态也在创新：MRDIMM、SOCAMM2、LPCAMM2都是这方面的代表。

MRDIMM和传统服务器用的RDIMM物理尺寸一致：只是在模块上增加了更多接口芯片，来提升带宽。

SOCAMM2的改动更大：模块的外形和尺寸都和传统DIMM不同；它支持LPDDR颗粒，数据总线宽度从64位翻倍到128位。高度更低：既能降低功耗、提升单模块带宽，还能改善服务器内部的风道和散热。

这里补充一下：第一代SOCAMM是英伟达的专有试验版本；SOCAMM2已经由JEDEC正式发布为行业标准。它最先由英伟达的Vera CPU采用，AMD的Verano CPU也会跟进支持。

LPCAMM2是面向AI笔记本的对应版本：同样由JEDEC标准化。早期的LPCAMM原型是三星主导的；这三类模块都对应架构里的G2层级。

还有内存内计算（PIM），有时候也叫存算一体/近存计算（CIM）：它的思路是把逻辑电路和内存电路做在同一块芯片里，直接在内存内部完成计算。从根源上解决数据搬运的瓶颈：这个思路和经典的冯·诺依曼（John von Neumann）架构完全相反。

冯·诺依曼体系是计算和存储分离；PIM是把两者融合在一起：存储厂商已经研究了很多年，也提出了不少实现方式。比如三星就在HBM里加入可编程计算单元：但实际落地非常有限，因为它需要处理器、软件、网络整个系统全部重新设计才能发挥出全部潜力。

而且现在的产业链已经形成了逻辑和存储分开制造的格局，各自都有极大的规模和极高的效率：全链条改造的成本太高。

接下来是存储级内存（SCM）：它不是特指某一种技术，而是所有性能介于DRAM和NAND之间的技术的统称。大概对应架构里G2层级低端到G3层级高端的范围：

一类是原理完全不同的新兴存储，比如磁阻存储器（MRAM）、相变存储器（PCM）、阻变存储器（RRAM）：英特尔之前推出的3D XPoint就属于PCM技术。这类技术的存储原理和DRAM、NAND有本质区别：不过目前量产规模都不大。

另一类是增强型NAND，比如Z-NAND、XL-FLASH：通过搭配DRAM或者SRAM缓存，或者采用SLC、MLC颗粒，让NAND的延迟、IOPS更接近DRAM的水平。

这里稍微解释一下NAND颗粒的区别：SLC（单层单元）每个单元存1比特，速度最快、寿命最长；但容量最小、成本最高。MLC（多层单元）每个单元存2比特，各方面比较均衡；TLC（三层单元）每个单元存3比特，是目前的主流：容量和成本平衡得最好。

QLC（四层单元）每个单元存4比特，容量最大、成本最低；但速度和寿命差一些：铠侠的XL-FLASH采用SLC和MLC颗粒，其GP系列SSD目前能做到千万级IOPS。

明年目标是上亿级：三星的Z-NAND做成Z-SSD产品，主打超低延迟。还有厂商用伪SLC（也就是pSLC模式）：就是把TLC颗粒当SLC用，牺牲容量换取更高的性能和寿命。

因为TLC是目前量产规模最大、经济性最好的工艺：用pSLC模式可以享受规模效应的同时获得接近SLC的性能。美光的XTR SSD就是这种方案：铠侠自己有一个很清晰的产品划分，不同的NAND技术对应AI推理的不同场景。

XL-FLASH对应Storage Next的G2.6层级；TLC颗粒对应CMX的G3.5层级；QLC颗粒对应G4层级的大容量存储。

NAND领域还有两个值得注意的方向：一个是高带宽闪存（HBF），由闪迪和SK海力士主导。目标是用NAND做到接近HBM的带宽，同时拥有更低的成本和更大的容量：如果放到架构层级里，大概可以算作G1.5层级。

NAND本来比DRAM低一到两个层级：要直接放到HBM旁边作为补充，要求极高。

技术跨度非常大，门槛很高。另一个是zNAND-O，这是三星面向端侧AI推出的技术。它采用TLC颗粒来保证大容量，封装方式类似HBM：先把NAND芯片堆叠起来，再用先进封装技术和处理器紧密连接。

硬件层级的最下面两层是HDD和磁带。HDD适合存储冷数据，也就是大容量、低成本、访问频率低的数据，对应架构里的G4层级。现在KV缓存的规模越来越大，非关键数据逐步在向下沉淀，HDD的需求也在增长。

磁带本来只用于数据归档，处在硬件层级的最底端。但是现在全球数据存储需求暴涨，NAND和HDD的产能都跟不上，所以连磁带的需求都出现了增长。

最后，伯恩斯坦在这份报告里对全球主要存储公司给出了评级和目标价。这里说明一下，伯恩斯坦的评级体系里，“跑赢大盘”也就是Outperform的定义是未来12个月预期超越对应市场指数15个百分点以上；“跑输大盘”也就是Underperform，则是落后指数15个百分点以上。

具体来看，三星电子评级为跑赢大盘，目标价44万韩元；SK海力士也是跑赢大盘，目标价330万韩元。美光跑赢大盘，目标价1300美元；铠侠评级为跑输大盘，目标价4万日元。闪迪跑赢大盘，目标价3000美元；希捷跑赢大盘，目标价1350美元。西部数据跑赢大盘，目标价770美元。

这里提醒一下，以上均为伯恩斯坦的预测数据，仅作产业研究参考，不构成任何投资建议。

总的来说呢，AI内存的技术混战还在继续，新的技术路线还在不断冒出来。从架构层级看，整个存储体系正在从以CPU为中心转向以GPU为中心，每一层都在被重新定义。

从硬件介质看，DRAM、NAND、SRAM各自的边界也在变得模糊，大家都在往中间地带渗透。对从业者来说，这可能是存储行业过去二十年最热闹的时期。

至于哪条路线最终能跑出来，现在下结论还为时过早。感谢收看，我们下期再见。