真是乱来一番，哦，那招太酷了。一些本地AI标尺，这些相当棒。我个人就很喜欢这类东西。今天我们要折腾一下本地AI模型，但首先，我们会看看具体要用哪台机器来做这件事。我很幸运地拥有某种“网红”身份，因为华硕给我寄来了一套相当强悍的系统，你们可能在我身后能看到它，并让我放手去测试各种本地AI。所以我这次的角度主要是：能在本地运行的模型在多大程度上能真正与云端强大的最先进闭源模型相竞争。
对于今天的视频，我们当然会测试目前在性能与性价比方面平衡得最好的模型——Qwen 3.8 27B，它正在DeepSeek Harness中以Q4KM量化格式运行。此外，我们还将关注最近大家非常热烈讨论的一个话题——Strata技术。这是一种允许我们在显存不足以容纳整个模型的情况下，快速运行Qwen 3.8 Next（即其Flash变体）的技术。如果你熟悉它，就知道这是一个大型混合专家模型（MoE），也是Qwen 4架构的预览版。
Strata允许它在没有足够GPU显存的系统上非常快速地运行。我们可以看到，Qwen 3.8 Next目前的运行速度约为每秒170个token，这相当令人兴奋。我们也将对此进行一些观察和试玩。现在，在深入之前，有几件事要说一下。首先感谢华硕对频道的支持以及赠送的硬件。我想在这里提一件事，如果我们回到这里并点击暂停，他们正在进行抽奖活动。链接会在视频描述和置顶评论中提供。
这很酷的原因在于，这套特定的系统是我刚刚组装的。所以挺有趣的，我们可以看到它在我身后。不过我可能会把它改成全蓝色的LED灯光，因为我更喜欢蓝紫色调，就像这样。所以链接也会在描述和置顶评论中提供，你也许能赢得这样的东西，我可以作证这真的很酷。但你得有力气才能搬动它，这可是个野兽。好了，下一步我们大概要进入PC组装环节，然后开始本地AI测试。
好吧，我不想在这段装机视频中配乐，因为你知道的，我有时候不喜欢那样。所以我只是做一个随意的旁白。我必须说最让我印象深刻的一点（虽然指出这点可能有点傻），就是这个系统的包装，特别是它装在那个小小的标签袋里。电源和机箱也是如此。这东西绝对是个野兽。我得说，我通常不太喜欢前后侧都是玻璃的机箱。但这个不知为何并不让我反感。
你可能会想：“哦，是因为他们寄给你的。”我真的不这么认为。哈，懂我意思吗？而且，我就是真心喜欢这东西的外观。我是RGB灯效之类的粉丝，但我最终还是会想把它改成全蓝或紫色的色调，因为我确实喜欢这种配色方案。但这真的是一次非常有趣的装机体验，随大显卡盒子附赠的小GPU以及那个PCB标尺都相当棒。我个人就很喜欢这类东西。
是的，这是一次非常、非常有趣的装机过程，我花了很多时间，因为我不想赶工，我在组装过程中真的很享受。所以我们要做的第一件事是看看我们能用Qwen游戏的Q4量化版本在Blender和Godot中推进到什么程度。对于这个特定的提示词，我们要它为我们制作一个简单的F1风格赛车游戏，包含以下静态元素：一个带有细节的简单赛道、选择车辆和驾驶员的能力、至少六个AI对手进行比赛。
还有第一人称视角摄像机，让你能看到自己握着方向盘；以及第三人称追逐摄像机、音效和有趣的体验。我们来看看表现如何。请记住，这是一个目前甚至没有用完这张32GB显存卡全部VRAM的模型。这个特定模型的下载文件大小大约在17到18GB左右，我们在这里分配了完整的缓存。所以上下文长度设置为最大的262K以上，这意味着除了大约18GB的文件大小或VRAM之外，额外的分配只是为了上下文长度。
所以如果你将其缩小到32K，你可以让这个模型适配于一张小于32GB的卡。因此你很可能可以在一张24GB的卡上运行它，尽管上下文长度会小得多。只是为了给这个模型实际能在什么硬件上运行的一个参考点。现在我们可以看到，当然我们使用的是5090，ROG Astral，这是一张相当强悍的卡。我会在下面放一些东西来指代它。
所以我们要从这里开始做一个简单的测试，以确保上下文限制没有设置得任意低。现在这个问题已经解决了，让我们快速瞥一眼实际运行此模型的硬件。在右上角，我们看到我打开了NVTop，这是一个用于Linux的GPU监控工具，它向我们展示了卡上的资源利用率。这是华硕ROG Astral 5090，正如我们在组装系统时所见的那样，我没有限制它的功率。
所以它现在基本上消耗接近600瓦的电力。此外，对于这种架构的模型（这是一个密集模型），拥有高内存带宽（这张卡具备）——任何5090或其他Blackwell系列显卡都有很好的内存带宽——这将允许像这样的模型非常快速，相比之下，即使是DGX Spark这样的系统拥有显著较低的内存带宽。它可以容纳并运行这个模型，但token速度会慢得多。
好吧，我们在这里有一个游戏结果。这已经运行了很长时间，我不得不借助更智能的模型给予一点帮助。不过我们可能会在看完这个之后再讨论这一点。我还没有看到超出这个菜单屏幕的内容，但让我们看看……好吧，酷。所以这是选择驾驶员的界面。有趣的是，驾驶员有特定的速度值。好的，我想我就选……高速、低加速吧。我可能会选择这个，因为它的加速度最大。
好吧，现在我们应该……好的。我们本应该能够选择一辆车，我想是的……好吧，这绝对是（笑声）。它比我预期的要简单得多。然而再次说明，我们
需要记住的是，这是本地模型的4比特量化版本。这种模型可能很快就会被Qwen 4系列模型所取代，毕竟一年前这还算是前沿水平的成果，堪比最先进的云端闭源专有模型。如果是一年前，大家可能会觉得“嗯，这相当不错”。它使用Blender创建资产，用Godot构建游戏。似乎有一个功能性的迷你地图和圈数计数器。此外，AI对手实际上在移动。
哦，电影般的镜头？不，我认为那只是第一人称视角和那个画面之间的过渡。我觉得85公里/小时可能比F1赛车通常的速度慢一点，但我们要追上队伍了。其实重点就是随便玩玩这些本地AI，看看能做出什么来。好吧，这真是不凡的成果。我们可以回到菜单了。刚才那个结果大概有95%是由这个模型完成的。
在观察它的思维链时，我发现有几个实例它似乎比能自行解决的情况更困惑一些。然后我会引入像GPT-61这样的前沿模型来提供一点指导。然而，重点在于这个模型至少可以卸载一部分工作。再次强调，就其当前状态而言，它不会取代前沿云端模型。能力差距非常巨大，我不想误导人们认为这个模型可以完全替代云端的顶尖先进模型。
但重点是，考虑到一年前那些模型显著更大、使用成本极高时，这个模型本可以给出最先进的结果。这表明像这样的本地开源模型正在进步，即使它们目前落后于绝对顶级模型的能力。事实是你可以把它放在本地系统上运行。我可以永远拔掉这个设备的网络，仍然可以与它互动并在我的系统上执行操作。
所以本地AI绝对变得更好了。这是一个相当沉重的模型，它是密集型本地模型的4比特量化版本。这意味着它可以适应单张显卡，同时还能正确使用Blender和Godot制作游戏。接下来我们要看的是在本地AI领域受到大量关注的东西，那就是这个名为Strata的GitHub仓库。
其核心在于你可以运行一个1250亿参数的AI模型，即Qwen 3.8 Flash Next模型。它可以在拥有游戏显卡的游戏PC或普通PC上运行，无需担心模型是否适合GPU的显存。基本上因为使用了Qwen 3.8 Flash Next及其架构，它允许系统在利用大量系统内存而非GPU的情况下运行，甚至也利用磁盘。
由于这是Qwen 4系列模型的下一代架构，看到Strata这样的东西非常令人兴奋且充满希望。从这次体验中得出的最大收获之一，也是让它如此激动人心的原因，就是速度。人们在使用Strata在他们的本地系统上运行该模型时看到了非常令人印象深刻的速度。
除了高速之外，它还允许你运行它。这里展示了如果你有12GB的GPU和64GB的系统内存，你可以以相当不错的速度运行它。这个模型再次采用了奇怪的架构和较新的技术，所以在这样的休闲视频中很难解释清楚。但酷之处在于它可以利用GPU、系统CPU内存以及磁盘这三者。
这张图表虽然简化了所有技术细节，但确实展示了它将如何利用我们运行它系统上的几乎所有组件。你可能看过我关于Qwen 3.8 Flash Next的视频，我在其中既使用了云端来查看其绝对最大性能，也进行了4比特量化测试。即使在4比特量化下，它仍然非常强大。
我们今天使用的具体变体是表格底部的IQ3S版本，因为我们有一张32GB的显卡和64GB的系统内存，总共96GB的内存，正好符合这个单元格的要求。感兴趣的人可以在GitHub仓库中找到更详细的运作原理Markdown文件以及一些链接的论文，它们提供了更多的技术见解。
不过今天主要感兴趣的是实际玩一下这个模型。我已经测试过它了，让它制作了一个简单的BMX游戏。有点令人担忧的是，我们在半空中生成然后每次都会掉落并撞击地面。我应该展示给你看。这就是它制作的样子，我们在半空中开始然后向地面坠落。
与此同时，你可以看到它制作了相当详细的自行车轮子和辐条等部件。然后它将我们重新生成在半空中，我们再次坠落。这有点让人不舒服，但重点在于Strata非常酷，我们现在要运行它并玩一下，看看它在与Qwen 3.8-27B模型的Q4KM版本相同的任务上的表现，因为这是3比特量化，所以量化程度更高。
然而这是一个完全不同的模型，我们要看到的最大亮点也是速度。那次BMX运行大约每秒170个令牌，相当快。所以我想看看在游戏测试过程中我们能得到什么结果。我已经移除了之前Qwen 27B的结果，现在将完全相同的提示发送给Strata Qwen 3.8-FlashNext。我总是搞混措辞，是的好的，FlashNext。
我们要看看起步的情况。它正在思考速度非常非常快。现在如果我们稍微向下移动，我们可以在右上角读取当前的每秒令牌数。好了，我们的Strata结果已经完成，我们可以从这里的启动画面初步看到这是一个更令人印象深刻的成果。我们甚至有小汽车在这里四处移动。
有一些背景动画，看起来像是SVG格式的。那么，让我们选择我们的驱动程序和汽车。好吧。（笑声）就在我说“这太棒了”的时候，我们就注意到这里有点问题。好的，所以这就是它令人沮丧的地方，因为我们看到了一些相当乐观的情况。现在，当我们选择汽车和驾驶员时，不幸的是出现了一个蓝屏。这是Blender场景，我刚刚打开它看看实际创建了什么东西。事实是，它在Blender中从头开始创建了这个场景。再次使用Strata在3位量化下运行。所以，这是对该模型相当激进的量化。我认为它做得很好。如果我们回去看车辆一开始的位置，比如盒子或者你想叫它的任何东西……老实说，这是一个相当可接受的F1赛车模型。它有一些现代的设计元素，比如保护驾驶员的Halo装置。这是最近才添加的东西。甚至树木、广告牌也有，这里有一个较大的地方供解说员等站立的地方。有一条维修通道（Pit Lane），实际上是一条正规的维修通道，还有看台。虽然看起来看台上没有多少人观看，但忽略这一点，这绝对是一个更令人印象深刻的结果。
所以我只是告诉它我只在按下驾驶员和汽车选择时看到一个浅蓝色的屏幕。所以这将不得不重新加载，而且目前它工作方式之一比较简单。所以这不像是一个完整的代理编码工具，但它有足够的理解能力来查看之前做了什么，然后尝试修复这个问题。再次强调，我们的速度在这里非常巨大，每秒大约165个token。它不是百分之百完美。哦，很好。看到了吗？它就在那里打开了，我们第一次看到汽车选择屏幕，看起来相当不错。所以现在它正在自主地进行操作。我实际上没有做任何事情，所以它只是试图重现导致故障点的用户路径。它仍在自主测试这一点，但我只想快速检查一下。这与我们之前看到的Q4量化设备相比是一个显著的改进。好的。
好吧，除了我在应该说话之前就错误地说了话之外……请记住，它可能会在屏幕上闪烁一些东西，因为它实际上仍在运行并试图修复我们遇到的问题，而它确实修复了。我是说，看看这个。对于一个正在运行的模型……它现在仍在运行。我们在右上角看到大约每秒160个token的速度，在这个系统上。这真的相当令人印象深刻。这项工作真的很酷。而且我认为这里的东西会给大约一年前的前沿模型带来挑战，就整体结果而言。完全在本地运行的东西。我原本计划展示使用前沿模型来增强这个结果，使其变得更好一些，修复像车轮沿着错误的轴移动之类的问题。但是，我不一定认为我们甚至需要那样做，因为这可能自己就能修复那个问题。
此外，还有不同的摄像机视角。这真的很……那只是很酷。就像是一个驾驶舱后面的摄像头。除了轮胎沿着错误的轴旋转之外，这真的很好。我想停下来告诉它现在已经修好了，但需要修复轮胎。我们将看看它是否能够修复这一点，我想象它会做到的。好吧，所以它在刚才重新启动了项目，并且可能尝试一些自主测试。但暂时而言，我们可以快速查看一下它是否修复了轮胎问题。是的，它做到了。我们看到转向起作用了。现在，我注意到的另一个问题是转向是反向的，所以向左变成向右，向右变成向左。然而，我们肯定有一些改进。让我们现在真正来看看这个。
我会保持Blender打开状态，这让我觉得我参与其中了。法拉利、迈凯伦、法拉利、迈凯伦。它甚至使用了F1车手的真实名字，所以它具有这种内置知识，这很有趣。难度：简单。比赛距离：三圈没问题。我们有小地图。小地图本身，比如赛道，看起来有点奇怪混乱。然而，小车由彩色点表示。我将其设置为简单难度，因为每辆车在那个弯道都开出了赛道。它甚至在屏幕上弹出像比赛解说员一样的东西。好吧，方格旗。我们看到了一些建筑物的内部。我想它必须等到所有赛车完成……好的，比赛结果。那相当不错。
现在，这就是我想做的。我想比较一下大约一年前的前沿模型会对完全相同的测试做什么，与现在的结果相比。现在，为了做到这一点，我实际上可能需要支付相当不错的价格。我将通过Open Router运行一些东西，可能是Pi Coding Agent。我们将给前沿模型完全相同的测试，让我们看看这需要花费多少钱以及它与我们刚刚从本地使用Strata获得的结果相比如何。另外，为了对Strata有一个更简单的指南，它有一些相当酷的东西在这里关于这个特定系统。所以……我们可以看到我们有5090显卡，Intel Core Ultra 270K处理器和62GB的DDR5系统内存。此外，这里有一个监控仪表板，只是给你一些正在发生的事情的见解。也许是更多技术性的东西，比如VRAM中有多少专家（MoE架构中的Experts）。然后我们有GPU温度统计、连接的MCP服务器，以及这里的许多其他指标。这几乎让我想起了GGX Spark仪表板之类的东西，在这里拥有它确实很酷。
所以接下来，我们将使用Claude Opus 4.6运行完全相同的任务，它一开始就说：“这是一个大项目。”现在我在中等推理努力模式下使用这个，你可能会想，“Bijan，你为什么使用Opus 4.6？”正如我们在这里看到的，它于2026年2月发布。现在选择这个进行比较的原因是，我认为我们刚刚收到的F1结果与大约一年前的前沿模型产生的结果是可比的。这是8个月前的前沿模型，我认为足够接近了，我们将以中等努力运行它。现在这里的大问题是这是每百万输入5美元和每百万输出25美元。这不是补贴的，所以我们将为此模型支付原始API成本，我们会看到实际复制这个结果需要花费相当多的钱，但让我们看看我们的Strata本地结果表现如何。
在这张5090上运行，其性能足以匹敌仅8个月前的前沿模型。因此，Opus 4.6完成了这一任务。请记住，我们是在中等推理强度下运行的，并非绝对最高级别，但速度其实相当快，且成本仅为2美元。我不得不承认，原本预期这会花费更多。现在，我们还没有看到任何在此处公开的结果。让我们按下回车键开始测试吧。
好的，我们在车辆选择屏幕上确实看到了一些差异。不过……嗯，请稍等一下，因为我按下回车键选择了午夜公牛车，但它似乎卡住了。好吧，我想这就是成本开始累积的地方了。目前它正在运行并检查调试输出以查看问题是否已修复，但出现了同样的问题。这有点令人沮丧。有趣的是，最近模型变得如此出色，以至于我们有时会对它们相比8个月前取得的巨大进步习以为常。
现在似乎它找到了一些导致问题的原因，所以我们将看看重新启动时的表现。好吧，我们可以看到它刚刚自行打开了。哦，好的，抱歉。那是我的错。我本想按前进箭头，但它却关闭了。所以我认为现在的要点是……好的，我们接近4.5美元的成本，这不算巨大数额，但肯定也会累积。然而，除此之外，这一结果更符合我们之前看到的Qwen 27B Q4K M的结果，而不是Strata Qwen 3.8 Next的结果。所以这真的很有趣。
我的意思是，这是8个月前的前沿模型最先进水平。是的，它是中等强度运行的，但我们也在将其结果与在Q3量化推理系统中完成的结果进行比较，该系统基本上是为了给我们提供最大速度而设计的，也就是Strata。所以我们现在卡住了。就像有一个无形的网格碰撞器一样。我实际上对这种情况相比我的预期要糟糕得多感到相当惊讶。
Opus 4.6发布时感觉像是能力上的绝对巨大飞跃，确实如此，但看到模型进步如此之快令人震惊。我的意思是，说实话，一个本地Q3量化模型竟然输出了比这显著更好的结果。考虑到电费成本，当然运行它的系统也不是 negligible 的成本，但尽管如此……好吧，现在它完成了。我不太确定该如何评价这个结果。不过，拥有这样一个参考点还是很有趣的。
最后我们要看的是华硕的一项功能，对于那些拥有兼容华硕系统的用户来说，这被称为Zenny Claw（注：音译或特定名称），目前处于测试阶段。我们将在屏幕上看到一些展示内容，这基本上是一个本地AI代理应用程序。有趣的是你可以使用本地模型。所以如果你有这样的系统——我们身后的这台野兽级5090系统，你也可以直接使用这个代理系统运行本地模型。这样没有任何数据会离开你的系统，这也符合“本地AI”的主题精神。
它可以帮助你完成一些特定的任务。所以在这里我们将看到它在运行Gemma 4 26B模型，它基本上会为我们总结一些笔记和一些生产力工作。我们可以看到它在执行工具调用，并处理其他与工作相关的事情。但主要的收获当然是这是一个本地代理系统。现在，如果你熟悉这个频道……谢谢，你可能对这些产品非常熟悉，但看到另一个允许使用本地模型的工具还是很酷的。
你不需要打补丁或做任何事情来获得兼容性，它开箱即用就能做到这一点，看到这样的东西真不错。所以这将结束今天的视频，基本上我们组装了一台非常酷的、也出现在赠品页面上的游戏电脑。再次说明，描述和置顶评论中会有链接，你可以参与抽奖赢得这台设备以及相关内容，我可以证明它真的很酷。
它非常强大。我要说的是组装这个过程，即使是包装之类的东西……它是随附了一个像这样的GPU配件。我觉得那是回车键的键帽，但我只是随机地对着它吹气。你们可以自行解读。所以再次感谢华硕赞助今天的视频，玩弄这个系统非常有趣。这套系统绝对是一头野兽，我的意思是，从现在起你们会在视频背景中看到它。这确实证明了其美学价值。
另外我必须说，作为一个结论，在Strata上运行的Qwen 3.8B Flash Next实际上在我们进行的与Opus 4.6的比较测试中表现出色。这真的很了不起。那是8个月前的前沿模型，而我们让一个本地IQ3量化版本在使用Blender和Godot时实际上超越了它。说实话，我并没有预料到会看到如此程度的表现。
所以，看到能够在类似系统上实际运行的本地AI能力现在能够匹配或超越一年前的前沿模型性能，这非常有趣。这相当惊人，我也期待看到未来即将推出的、同样能适配此类硬件的本地模型的进展。所以这将结束今天的视频。如果你有任何问题，请随时在评论区留言。再次感谢华硕支持频道，使我能够以快速节奏继续制作视频。谢谢观看。