I Ran DeepSeek V4.1, Qwen & GLM on an Old M1 Laptop... It Worked! 🤯

M1 Max 运行全量 DeepSeek V4.1 Flash

视频首先展示了在五年前的 M1 Max MacBook Pro 上运行 DeepSeek V4.1 Flash Edition 的过程。该模型为未量化的全精度版本，体积超过 500 GB，而测试机仅配备 64 GB 内存。通过启用 Engram Streaming（记忆流式加载） 和 Expert Streaming（专家模块流式加载），系统实现了约 1.6 tokens/秒 的生成速度。这一性能相比此前使用的层流式（Layer Streaming）技术有显著提升，后者仅能达到 2 tokens/分钟。尽管速度看似缓慢，但这是在旧硬件上运行当前顶级开源权重模型（Top of the Charts）的可行方案，证明了在有限内存下通过流式技术运行大模型的可能性。

"We're going 1.6 tokens a second right now... previously the previous technique we were using was layer streaming. And that one would take two tokens a minute."

M5 Max 性能对比与内存管理策略

随后，测试转移至配备 128 GB 统一内存的 M5 Max MacBook Pro。在运行同一模型处理约 482 tokens 提示词时，初始速度达到 5-7 tokens/秒。活动监视器显示此时仅使用了约 88 GB RAM，表明内存预算设置较为保守。当模型遇到需要频繁切换专家模块的复杂序列时速度会降至 5 tokens/秒 左右，而在连续使用相同专家模块时可稳定在 7-8 tokens/秒。整体平均生成速度约为 6.5 tokens/秒，相比 M1 Max 有数量级的提升。作者指出，虽然 SSD 读取对硬件损耗较小，但频繁的专家模块换入换出（Thrashing）仍是限制速度的主要瓶颈。

"We can see that we have used only 88 gigabytes of RAM for this situation... on average, we're going between six or dropped to 5.66 78."

Qwen3 Flash Next 不同量化版本的实测表现

接着，视频测试了 Qwen 3.8 Flash Next 模型的不同量化版本。在 M5 Max 上，未启用多 Token预测（MTP）时，Q9 版本的初始速度达到 20 tokens/秒，随后在生成代码等需要不同专家模块的场景中降至 12-15 tokens/秒。作为对比，此前在相同 128 GB 系统上测试的 Q6 版本速度为 30 tokens/秒。数据表明，增加量化位数（从 Q6 到 Q9）虽然提升了模型精度潜力，但由于需要更多内存带宽和导致更频繁的模块换页，实际生成速度反而下降。作者还提到即将发布带有“SE”后缀的流式专家优化版本，以进一步改善此类性能瓶颈。

M1 Mac上启用MTP带来的速度飞跃

在旧款M1笔记本电脑的测试中，模型量化精度对生成速度的影响显著。当使用Q6量化时速度约为30 tokens/s，而切换到更高质量的Q9量化后，在禁用MTP（多Token预测）的情况下速度降至15.5 tokens/s。然而，一旦启用MTP功能，生成速度瞬间飙升至接近30 tokens/s，稳定在25至26 tokens/s区间。这种近乎翻倍的性能提升被描述为“insanely fast”（快得离谱）。尽管系统总内存为128GB，其中92GB被占用用于从存储流式加载专家模块并构建RAM池，但平均速度仍达到了22.9 tokens/s。这种流式加载机制使得在有限内存下运行大模型成为可能，但速度仍受限于存储读取。

"Now with MTP enables, we shot up to almost 30 tokens a second."

GPU性能瓶颈与SSD等待分析

深入观察GPU利用率发现，在Q9量化且启用MTP的场景下，虽然理论峰值可达50 tokens/s（对比未流式加载时的30 tokens/s），但实际平均速度仅约为50%。造成这一性能折损的核心原因是GPU空闲等待。数据显示，约40%的时间GPU处于闲置状态，正在等待SSD将模型层（layers）流式传输到内存中。这种I/O瓶颈限制了计算单元的满载运行。作者指出，虽然当前速度已具备可用性（usable speeds），但通过优化预取机制（prefetching），有望进一步减少等待时间并提升整体吞吐量。这一发现揭示了在本地大模型部署中，存储带宽与内存管理对最终体验的关键制约作用。

"40 or so% of the time it was just waiting for the SSD to stream the layers in."

Mac Studio上DeepSeek V4.1的流式与非流式对比

在配备512GB内存的Mac Studio上，测试了DeepSeek V4.1 Flash模型。非流式版本（Non-streaming）加载约280GB内存，平均生成速度稳定在15至16 tokens/s。作者指出，若允许模型进行长思维链（如10万tokens思考），生成时间将长达一小时，但对于短答案或过夜运行任务，该速度完全可用。随后测试了专家流式版本（SE Edition），其基础模型仅占约20-30GB内存。初始因流式预算限制在1%（约15GB），速度仅为6 tokens/s。解除内存限制后，随着专家模块从存储加载至RAM（内存占用攀升至156GB），速度提升至7.5 tokens/s起步，峰值超过11 tokens/s。对比显示，非流式加载全模型可得约15 tokens/s，而受限于存储读取的流式版本峰值约为11-12 tokens/s。

"Without streaming, we got around 15.5 to 15... if you stream it, the maximum you can get is 11."

Qwen3-235B-A22B在Mac Studio上的量化性能表现

最后测试了Qwen模型的SE（专家流式）版本，具体为9-bit量化版。与非DeepSeek模型不同，Qwen在推理前需要完整加载整个模型到内存中，这一过程耗时约10秒。一旦加载完成并进入推理阶段，其性能表现令人印象深刻：在禁用MTP的情况下，生成速度达到约30 tokens/s。若启用MTP功能，速度进一步提升至50 tokens/s。这一数据表明，在拥有充足内存（Mac Studio 512GB）且模型能完整驻留RAM的情况下，Qwen的9-bit量化版本在Mac Studio上实现了极高的推理效率。作者感叹这种优化过程如同三十年前数据库开发时的体验，旨在尽可能加快大模型的本地运行速度。

流式专家加载机制与内存缓存策略

在运行模型的流式版本（streaming edition）时，由于基础模型体积极小，初始加载速度非常快。然而，系统需要动态流式传输专家模块（experts），这导致初始生成速度较慢。观察显示，起始速率仅为 6 到 7 tokens/s，但随着系统开始复用已加载的专家模块，速度逐渐提升。在仅占用 80 GB 内存的情况下，速率提升至约 9 tokens/s。若重启推理进程以利用缓存的专家模块，起始速度可立即达到 15 tokens/s。尽管存在这种性能损失，但流式版本的核心价值在于其内存效率。如果系统拥有足够的物理内存（如 128 GB），直接使用标准的 9S edition 是更优选择；流式版本专为内存受限的小型系统设计，通过动态换入换出专家模块来确保模型可运行。

"So that loaded very fast. But now it's going to be streaming in the experts... So right now we're going around nine tokens a second and we've only used 80 GB of the model into our memory."

DeepSeek V4.1 在老旧 M1 笔记本上的实测表现

视频展示了在一台 5 年历史的旧款 MacBook（M1 Max，64 GB）上成功运行当前 AI 分析领域排名第一的开源权重模型 DeepSeek V4.1 的过程。尽管硬件老旧，该配置仍实现了约 2 tokens/s 的生成速度，证明了大模型在消费级旧硬件上的可行性。作为对比，同环境下运行的 Qwen 9-bit 版本达到了 22 tokens/s。作者指出，虽然当前速度较慢（甚至曾出现每分钟仅 1 token 的情况），但若能优化至每秒 1-2 tokens，对于 3 万亿参数的模型而言已属前沿水平。作者呼吁观众预测该模型在 M1 Max 64 GB、M1 Max 128 GB 以及配备 512 GB 内存的 Mac Studio 上的具体 tokens/s 表现。

"We managed to run these models. Deepseek, the number one openweight model at the moment... right to run it two tokens a second on this 5-year-old laptop."

GLM-4.6 Flash 的内存挑战与多模型生成对比

除了 DeepSeek，团队还尝试运行了 GLM-4.6 Flash edition。该模型体积超过 300 GB，在 128 GB 系统上运行时速度极慢，仅为约 0.5 tokens/s（原文口误为 2,000 a second，结合上下文及后续“需要优化”推断实际极慢或为笔误，此处保留原文语境下的低效描述），但成功生成了 2,400 tokens 的完整输出。相比之下，DeepSeek V4.1 Flash Streaming Edition 在 86 GB 内存占用下，平均生成速度约为 5.7 tokens/s。两种模型均成功生成了完整的 3D Cube 视觉内容，验证了流式技术在极端内存限制下的有效性。尽管 GLM-4.6 的速度仍需优化，但其能在远小于模型体积的内存中运行并产出完整结果，展示了流式架构在旧硬件上的巨大潜力。

结论

视频证明流式加载技术使旧硬件运行顶级大模型成为可能，但性能受内存与存储带宽严格制约。在M1 Max上虽能运行DeepSeek V4.1，但速度仅约2 tokens/s；M5 Max通过优化内存管理将平均速度提升至6.5-7 tokens/s，Qwen模型在充足内存下可达30-50 tokens/s。主要短板是SSD I/O瓶颈导致GPU约40%时间闲置，且高量化版本因换页频繁反而降低速度。该方案适用于内存受限场景下的可行性验证，但在追求高吞吐的生产环境中仍显不足，需依赖预取机制优化及更大内存支持。