Qwen 3.8 Flash 存储流式加载机制与内存优化

本视频旨在探索从存储设备直接流式传输“记忆体”（Engrams）的可行性，以解决大模型在低内存环境下的运行难题。此前测试中，DeepSeek V41 需要超过 500 GB 的内存支持，但通过流式加载技术成功将实际占用降至 280 GB 并保持流畅运行。本次实验对象为基于 Qwen 4 EXP 架构的 Qwen 3.8 Flash，旨在对比不同量化版本在本地运行时的表现。通过从存储流式加载记忆体数据，用户可以在不增加物理内存负担的前提下使用高质量量化模型，从而在本地硬件上获得接近云端模型的生成质量与速度。

"we managed to get it down to only using 280 cuz the rest of it was being strained from storage"

Q4、Q6 与 MTP 加速下的性能对比数据

在 MacBook Pro 平台上，测试了 Q4、Q6 量化版本及 MTP（多 Token预测）开启/关闭的状态。数据显示，Q4 量化在禁用 MTP 时速度为 51 tokens/s，内存占用 98.9 GB；开启 MTP 后速度提升至 73.6 tokens/s，内存微增至 99.8 GB。Q6 版本采用 9-bit Engrams 并引入部分 BF16 层以提升质量，虽然基础速度降至 32.5 tokens/s，但得益于 Q6S 流式版本将 Engram 表从存储加载的特性，其内存占用反而降至 97.1 GB（低于 Q4）。开启 MTP 后，Q6S 速度达到 47.5 tokens/s，虽略低于 Q4+MTP，但质量更高且内存更省。在 Studio 机器上，标准 Q4 占用 195 GB 内存，而流式 Q9S 版本将其压缩至 142 GB。

Q6与Q9量化下的赛车生成质量对比

在内存预算为 70吉字节 的情况下，系统通过部分层未量化实现了约30吉字节的内存节省。当启用 9位Engrams 设置时，生成质量相比Q4版本有显著提升。随后测试 Q6量化，尽管速度降至每秒51个token（因更高比特率导致内存交换增加），但生成的3D赛车场景依然完整，包含高速公路、车辆及障碍躲避机制。作者指出 Q9版本 虽然仅比Q6多生成约1500个token（总计9,500），但画面细节更丰富，碰撞反馈更具物理感。然而受限于MacBook Pro性能，Q9无法稳定运行，作者推测未来通过 专家流式传输 技术可能解决此问题。

"It's definitely an improved version of the quality we saw with Q4."

量化精度对Token选择确定性的影响机制

作者深入解释了 树状概率结构：每个token都有替代选项，低量化精度会增加模型在相似语义间（如“racing”与“playable”）混淆的概率。若需 最确定性的输出 以准确回答问题，必须使用最高质量量化；而高温度设置则会导致随机token生成。在 Q6直升机 测试中，模型生成了可组装、动画播放及X光透视的3D直升机，但存在背部未连接的错误。对比 Kimi K 3.1 和即将发布的Qwen 4，作者认为若后者保持ESP架构并支持流式传输，将极具竞争力。

"The more quantization you have the more chances that these tokens are going to get mixed up"

高思维模式下的火山场景与内存压力测试

在 额外高思维（Extra High Thinking）模式下，token生成量激增导致量化误差风险加大。火山场景测试中，系统生成了 22,000个token 的初始代码，经多轮错误修正后总消耗达 76,000个token。虽然火山外观精美，但岩浆呈现管状且无法触发真实爆炸。随着上下文窗口扩大至 20,000 tokens，推理速度骤降至每秒19个token。作者指出 MacBook Pro 在AI任务中性能受限，建议改用桌面级设备如Mac Studio以获得更稳定的高负载运行体验。

macOS推理稳定性与处理强度调节

在MacBook Pro上进行模型推理时，风扇噪音往往极大。演讲者发现将处理强度（Processing Intensity）降至90或75%，虽然牺牲了瞬间爆发力，但能避免系统过载，从而在长期运行中保持更稳定的性能。这种策略特别适合需要长时间标准推理的场景，而非短促的高负载任务。

"I tend to set the processing intensity, I drop it down to 90 and 75. And I actually find that sometimes when I drop the processing intensity down because it doesn't overwhelm the system, it actually runs more stable."

Q6量化模型的性能与内存表现

测试显示，Q4版本在30,000 token上下文下运行稳定，而Q6量化模型（包含9-bit engrams和部分BF16层）在更大的上下文窗口下表现更佳。尽管Q4版本曾出现错误，但Q6版本通过每提示生成更多token弥补了差距。在内存方面，系统占用约103.6 GB，未超出128 GB物理内存限制。值得注意的是，Q6版本在生成火山爆发场景时，不仅粒子效果更细腻、逻辑更完整（如引入Intro Scene），且推理速度达到35 tokens/s，优于Q4版本的20 tokens/s。

"Memory wise, look, 103.6 jibs of memory. We're still running on my 128 GB system... It's smashing it."

SSD流式加载与M系列芯片缓存机制

Q6模型之所以能在低内存下高效运行，关键在于Engram表极小，可直接从SSD流式加载而无需经过多层GPU循环。演讲者指出，尽管M5 Max的SSD速度是M3 Ultra的两倍，但实际运行速度差异不明显。这是因为M3 Ultra拥有更大内存，操作系统会将数据缓存于RAM中；而128 GB系统因内存紧张，必须依赖SSD流式读取。这表明只要SSD速度足够快，硬件差异对最终体验影响有限。

"Lucky the engram tables are tiny. Doesn't need to go through layers and layers of layers of GPU cycles... Maybe actually, because my M3 Ultra has so much memory, maybe the operating system is caching it in its memory."

Q9模型与上下文注意力机制的权衡

Q9版本在150,000 token上下文中运行，生成速度降至22 tokens/s。该模型采用稀疏注意力机制（Sparse Attention），通过分桶策略仅将最小数量的bucket送入引擎推理。然而测试发现，启用上下文注意力（Context Attention）后，原本需要150,000 token才能稳定运行的任务，仅需55,000 tokens且无运行时错误。虽然Q9在火山爆发等复杂场景的视觉质量（如熔岩流动、房屋破坏）显著优于Q4，但演讲者建议：若追求最高质量并减少幻觉（Hallucinations），应禁用默认的稀疏注意力机制，改为密集使用整个上下文窗口。

Q9精度下的火山爆发与直升机交互演示

在Q9量化下，模型生成了包含55,000 tokens的火山爆发场景。作者指出虽然运行速度变慢是既定事实，但视觉效果惊人："I think I've pressed that button too much time... The craters the everything's gone white." 整个城镇视图被摧毁，呈现出极致的破坏力。随后测试重点转向直升机生成任务，作者使用了127,000 tokens的上下文窗口并禁用了上下文注意力机制。首次生成时直升机不可见，经提示修复后，模型生成了具有未来感的可交互3D直升机。用户不仅能点击部件查看线索，还能通过油门控制起飞、降落及左右移动，甚至能触发爆炸视图和X光透视模式。作者评价这种生成质量极佳，并认为通过提示词微调可能达到类似效果。

Q6与Q4量化下的性能对比及错误率分析

为了评估质量损失，作者测试了Q6和Q4量化版本。在Q6模式下，上下文窗口扩展至211,000 tokens，日志显示出现两次连续错误。尽管直升机脚部略显不稳，但模型成功生成了可交互的拆解视图（Disassemble），用户能点击部件查看标签，并体验重新组装过程。作者认为Q6的生成质量依然良好，甚至能作为学习机械结构的参考指南。接着测试Q4量化，上下文窗口为177,000 tokens，同样记录了两次错误。虽然Q4生成的直升机存在透明化问题且部分旋转逻辑混乱（如特斯拉自动驾驶部件的异常），但其成功实现了起飞和降落动画。作者幽默地评价其着陆姿态甚至优于SpaceX的“筷子”着陆，认为Q4在低资源下仍提供了令人惊喜的生成结果。

温度参数对代码生成的影响及死循环案例

最后，作者尝试基于图片生成《古墓丽影》劳拉·克劳馥的3D模型，并启用了额外高思考模式。然而生成过程陷入了死循环。作者借此解释了为何在代码生成中坚持使用温度0（Temperature 0）：尽管社区常争论是否应提高温度以增加创造性，但在编写代码时，语法正确性至关重要。作者强调："I like doing temperature zero... you're always picking the top token." 避免随机数生成器导致变量名重复或编译错误，确保模型选择最准确的token而非创造性但错误的选项。这一案例展示了在低内存量化环境下，参数设置对避免逻辑死循环的关键作用。

Q6与Q9模型在低内存下的生成稳定性对比

在本次测试中，除了当前这一轮外，其他所有生成过程均未出现循环错误。这可能是由于结合了图像、多模态预测（MTP）等多种技术导致的单一异常，但总体表现稳定。具体数据显示，Q6模型生成了12,000个token并消耗了103吉字节内存，而另一组测试中则生成了28,000个token并伴随循环现象，同样消耗102吉字节内存。在Q6的测试中，系统达到了每秒31个token的处理速度。这种稳定性表明在低内存配置下，Q6版本能够维持较长的生成序列而不陷入死循环。

"Now Q6, we did not get a loop. We got 12,000 tokens and 103 jibs of memory."

《古墓丽影》游戏生成案例与Q9模型表现评估

在具体的应用测试中，系统成功生成了《古墓丽影》游戏场景。角色劳拉（Lara）能够正常行走和奔跑，虽然无法射击且关卡设计为“Baron”显得缺乏创意，但整体视觉和动作表现令人满意。作者认为尽管目前并非完美，但考虑到模型规模限制，这一结果已属优秀。Q9模型在生成过程中保持了10,000个token且无运行时错误，其生成的角色展现出更强的自信感（“cockiness”），腿部动作也更为饱满。然而，Q9模型存在一个严重的安全合规问题：角色将枪口对准自己的颈部区域，导致射击时实际上是自杀行为。这提示用户在使用高质量模型时需警惕潜在的安全漏洞或逻辑错误。

"She's holding her guns to her never regions. So when you actually shoot, you are shooting yourself."

内存优化策略与硬件环境限制分析

通过对比Q4、Q6S和Q9的流式传输版本，系统总共节省了30吉字节的内存。目前已有Q6版本可以在120GB的系统上运行，且无需额外优化即可开箱即用。作者计划进一步尝试INF技术以在现有Q6内存带宽下获得更高质量的结果。需要注意的是，该测试运行在Mac系统的统一内存架构上，无法像其他系统那样将数据从主存流式传输到显存进行优化，而是直接从存储设备读取。这种硬件限制使得当前的流式传输方案在Mac上具有独特的挑战与价值，建议观众参考DeepSeek V41的流式传输视频以了解类似技术在其他模型上的应用。

结论

Qwen 3.8 Flash通过SSD流式加载Engrams，成功在低内存环境下运行高质量量化模型。Q6版本凭借9-bit Engrams与部分BF16层，在保持低于Q4内存占用的同时提升了生成质量；MTP加速显著提速但增加少量内存。优势在于Q9/Q6能提供更丰富的视觉细节与更稳定的逻辑，且通过调节处理强度可平衡性能。短板是Q9在MacBook Pro上受限于内存与算力，高上下文下速度骤降且存在安全逻辑错误（如自杀行为）。该方案适用于追求本地高质量生成的场景，但需依赖高速SSD与统一内存架构，且无法完全替代云端模型的稳定性。