硬件平台与测试目标

本次评测的核心在于探索本地运行的大语言模型在多大程度上能与云端最先进的闭源模型相抗衡。博主获得了一台由华硕（ASUS）赞助的ROG Astral RTX 5090工作站，该系统配备了强大的硬件基础。测试的主要对象包括两款模型：一是Qwen 3.8 27B，采用Q4_K_M量化版本在DeepSeek Harness中运行；二是备受关注的Strata技术，它允许在显存不足以容纳全模型的情况下，高效运行Qwen 3.8 Next（即MoE架构的预览版）。博主指出，Strata技术使得在显存受限的系统上运行大型混合专家模型成为可能，且目前Qwen 3.8 Next在测试中的生成速度约为170 tokens/秒。华硕还随主机赠送了定制PCB尺等周边，博主对其包装和整机质感表示赞赏，并计划将RGB灯光调整为偏蓝紫色的色调。

"I am fortunate enough to have some influencer status in the case where ASUS has sent me a pretty cool beefy system... told me to just go wild testing some local AI."

系统配置与显存管理细节

为了准确评估模型性能，必须明确硬件的资源分配情况。测试使用的显卡为ASUS ROG Astral 5090，这是一张拥有32GB显存的旗舰级显卡。博主在NVTop监控工具下观察到，该卡未进行功耗限制，峰值功率接近600瓦。对于Qwen 3.8（27B参数，Q4量化）模型而言，其下载文件大小约为17-18 GB。然而，系统分配的显存远超此数值，这是因为上下文长度（Context Length）被设置为最大值262K+。博主强调，这种高显存占用主要源于长上下文缓存的需求；如果将上下文长度缩减至32K，该模型甚至可以在显存小于32GB的显卡上运行，例如在常见的24GB显卡上也能流畅部署。此外，博主特别指出高显存带宽对于密集模型（Dense Model）性能的关键作用，RTX 5090等Blackwell架构显卡的高带宽优势明显优于如DGX Spark等设备，后者即使能容纳模型，其Token生成速度也会显著下降。

"Having a high memory bandwidth... will allow a model like this to be very, very speedy, as opposed to systems... that have significantly lower memory bandwidth."

游戏开发案例测试：F1赛车游戏构建

为了验证本地模型的实用能力，博主设定了一个具体的编程任务：使用Blender和Godot引擎开发一款简单的F1风格赛车游戏。提示词（Prompt）要求包含以下静态元素：带有细节的简单赛道、车辆与车手选择功能、至少6个AI对手、第一人称驾驶视角及第三人称追逐视角，以及音效和趣味性体验。测试结果显示，模型成功生成了基础代码并运行至菜单界面。在车手选择环节，模型生成的选项包含了具体的速度数值属性（如"High speed, low acceleration"）。然而，在车辆选择环节出现了逻辑断层或界面简化问题。博主承认，由于模型尚未完全利用其全部上下文能力，且当前运行的Qwen 3.8并非最强版本，因此结果略显粗糙。他提到需要给予模型更多辅助才能推进到更复杂的阶段，并计划后续对比更强模型的生成效果。这一案例表明，虽然本地模型能完成基础架构搭建，但在复杂逻辑和完整体验生成上仍有提升空间。

"This is definitely >> [laughter] >> It's a lot simpler than I would expect. However, again, we've not seen anything beyond this menu screen..."

总结与后续展望

本次测试初步展示了在顶级消费级硬件上运行本地大模型的可行性。通过RTX 5090的高带宽优势，即使是量化后的27B参数模型也能保持较高的响应速度。Strata技术的引入进一步扩展了MoE架构在本地部署的灵活性，解决了显存瓶颈问题。尽管在游戏开发的具体案例中，模型生成的完整度和逻辑连贯性尚不及云端最强闭源模型（如Opus 4.6），但其基础代码生成能力和对复杂Prompt的理解已具备一定实用价值。博主表示，后续将引入更强大的模型进行对比测试，以进一步量化本地AI与云端SOTA模型的差距。同时，华硕的硬件赞助也为这类高算力需求测试提供了坚实的物理基础。

"The angle I'd like to take with this is essentially to what degree are models that can be run locally reasonably actually able to compete with cloud powerful state-of-the-art closed-source models."

本地模型能力跃升与局限性分析

视频首先回顾了使用 RTX 5090 运行 Qwen 3.8 Flash Next 4-bit 量化版本的实际表现。这一结果在一年前足以媲美当时的前沿闭源云模型，展示了本地开源模型的显著进步。作者利用该模型结合 Blender 创建资产、使用 Godot 构建游戏，最终生成了一个包含功能小地图、计圈器以及移动 AI 对手的可运行赛车游戏雏形。尽管作者指出模型生成的最高时速约为 85 km/h，略低于真实 F1 赛车的速度，且存在少量逻辑混乱需要人工介入引导的情况，但核心结论是：该模型能够卸载至少一部分工作负载。

"It used Blender to create the assets. It used Godot to actually build the game."

作者强调，尽管当前本地模型与顶级云前沿模型之间仍存在巨大的能力差距，不能替代后者，但其价值在于无需联网即可在本地系统上运行并执行操作。这种 4-bit 量化密集模型能够适配单张显卡，证明了本地 AI 在保持可用性的同时正在快速提升能力。

Strata 架构与硬件资源调度机制

接下来，视频引入了备受关注的 GitHub 项目 Strata，其核心目标是让拥有游戏显卡的普通 PC 也能运行包含 1250 亿参数的大型 AI 模型（如 Qwen 3.8 Flash Next）。Strata 的创新之处在于其架构设计，它不再单纯依赖 GPU 显存（VRAM），而是能够充分利用 系统内存（RAM）甚至硬盘存储。这种混合资源调度方式解决了大模型在消费级硬件上部署的显存瓶颈问题。

"Basically because of the model that this is using Qwen 3.8 Flash next as well as its architecture, this allows it to run on a system with utilizing a lot of system RAM instead of the GPU..."

Strata 的架构允许模型同时利用 GPU、系统 CPU RAM 和磁盘，从而在拥有 12GB GPU 显存和 64GB 系统内存的配置下实现极高的运行速度。这种对硬件资源的全面调动，使得原本需要昂贵服务器集群才能运行的模型得以在本地高效运行。作者指出，虽然具体技术细节复杂且涉及新架构，但这种多组件协同工作模式是本地 AI 未来的重要发展方向。

Strata vs Q4KM：性能对比与实测结果

为了验证 Strata 的性能，作者将之前使用 Qwen 3.8-27B (Q4KM) 模型进行的 BMX 游戏生成任务复现，并对比了 Strata (IQ3S, 3-bit 量化) 的表现。测试配置为 32GB GPU 和 64GB 系统内存，总计 96GB 可用内存以适配 IQ3S 量化版本。之前的 Q4KM 模型生成速度约为 170 tokens/秒，而 Strata 的推理过程被描述为 “非常快”。

"The speed is very, very, very fast."

实测结果显示，Strata 生成的赛车游戏画面更加完整，甚至包含了移动的汽车模型。尽管之前的测试中 BMX 角色曾出现生成在空中导致不断坠落的技术瑕疵，但 Strata 在本次测试中展现了更稳定的输出质量。作者通过对比强调，Strata 不仅在生成速度上极具优势，而且在保持模型复杂度的同时，实现了更流畅的开发辅助体验，证明了其在本地 AI 开发工作流中的实用潜力。

本地Strata模型的初步生成与缺陷修复

评测者使用搭载RTX 5090的本地系统运行Strata模型，尝试生成一个包含背景SVG动画、车辆选择及赛车功能的Blender场景。尽管初始阶段在点击“驾驶员和车辆”选项时遭遇了蓝屏错误，但模型展现了强大的自主修复能力。Strata采用了3-bit量化（quant）这一较为激进的技术，却依然能从头构建出包含现代F1元素（如Halo保护系统）、维修区、看台及广告牌的场景。模型在生成过程中保持了极高的速度，达到了165 tokens/秒。评测者指出，这种自主测试和修复机制虽然不如完整的Agentic编码工具复杂，但足以应对当前的故障。

“This is frustrating because we're seeing some pretty bullish things right here.”

在蓝屏问题修复后，模型成功加载了车辆选择界面。评测者观察到，模型的运行速度依然保持在160 tokens/秒左右。这种在本地环境中实现的高效生成与自我纠错能力，让评测者认为其整体表现足以匹敌一年前的前沿模型。尽管初期生成的轮胎旋转轴存在错误，但Strata在重新加载项目后迅速识别并修复了该问题，证明了其自主测试与迭代的能力。这种无需人工干预即可重现错误路径并修复Bug的过程，展示了本地AI在复杂任务中的潜力。

功能完善与驾驶体验验证

随着轮胎旋转问题的修复，评测者进一步测试了游戏的操控性。虽然初期发现转向逻辑是反的（左行右、右行左），但模型随后修正了这一缺陷。在最终测试中，评测者选择了法拉利和迈凯伦车队及真实F1车手名称，难度设为“简单”，圈数为3圈。游戏界面中出现了小地图（尽管赛道形状略有扭曲，但车辆以彩色圆点表示）以及屏幕上的赛事解说弹窗。赛车顺利冲过方格旗，并显示了比赛结果。

评测者特别提到，模型内部内置了真实的F1车手知识，这增加了生成的真实感。尽管小地图的赛道绘制存在瑕疵，且初期轮胎和转向问题需要修正，但最终生成的游戏具备完整的驾驶逻辑、UI界面及比赛流程。评测者认为，这种完整的功能实现和流畅的交互体验，在本地AI生成复杂交互式应用的领域内是一个显著的成果。即使存在细微的视觉瑕疵（如轮胎轴心），其核心逻辑的正确性已远超预期。

与云端前沿模型的成本及性能对比实验

为了验证本地Strata模型的竞争力，评测者计划将同样的任务提交给云端的前沿模型Claude Opus 4.6进行对比。选择Opus 4.6的原因是它发布于2026年2月，评测者认为其性能大致相当于一年前的前沿水平，且当前Strata的表现与之相当。然而，云端模型的成本结构截然不同：Opus 4.6通过Open Router API调用时，输入价格为$5/百万token，输出价格为$25/百万token。评测者强调这是未经补贴的原始API成本，意味着复制同样的结果将产生高昂费用。

评测者展示了本地系统的硬件配置：RTX 5090显卡、Intel Core Ultra 270K处理器及62GB DDR5系统内存。Strata界面提供了类似GGX Spark的监控仪表盘，实时显示VRAM中的专家数量、GPU温度及MCP服务器连接状态等指标。相比之下，云端模型虽然可能提供更强的推理能力（评测者使用中等推理强度），但其高昂的Token消耗成本成为了主要劣势。这一对比旨在揭示本地AI在长期运行和复杂生成任务中，相对于云端前沿模型在成本效益和资源独立性方面的潜在优势。

基准测试：Opus 4.6 vs Strata Qwen 3.8

视频进行了一项关键的性能对比，测试对象是8个月前发布的旗舰模型 Opus 4.6与运行在 Strata 推理系统上的 Qwen 3.8B Q3K量化模型。Opus 4.6在“中等推理努力”设置下运行，最终成本为 $2，作者原本预期费用会更高。然而，在Blender和Godot的任务测试中，本地量化模型的表现显著优于云端旗舰。作者指出：“a local model at a Q3 quant just put out such a significantly better result than this.” 尽管运行本地模型需要电力和硬件成本，但Strata系统专为最大化速度设计，其Q3量化版本在特定任务中超越了曾经被视为“怪物级”飞跃的Opus 4.6。这一结果令人惊讶，显示了本地AI能力的快速进步。

结论

本次测试证实，在RTX 5090等高带宽硬件配合Strata架构下，本地运行的Qwen 3.8量化模型在特定游戏开发任务中展现出超越云端旗舰Opus 4.6的实用价值。Strata通过混合调度GPU、RAM及磁盘资源，成功解决了显存瓶颈，使1250亿参数模型在本地实现约165-170 tokens/秒的高速推理，并具备自主修复代码缺陷的能力。尽管本地模型在复杂逻辑连贯性上仍逊于云端最强闭源模型，但其单次任务成本远低于Opus 4.6的API费用（$2），且无需联网。这表明在追求成本效益与资源独立性的本地AI工作流中，经过优化的量化模型已具备替代部分云端SOTA模型的潜力。