大家好，欢迎收看今天的节目。今天我们要评测的是华硕的新一代产品——第三代版本。这是一款为人工智能超级强化过的NAS（网络附加存储）设备，大家来看看它的配置：它不仅仅只有一个10 GBE端口，而是配备了两个10 GBE端口，甚至还有另外两个5 GBE端口。这意味着当你通过网络传输时，总带宽可达30 GBE，这几乎接近雷电4的速度。

因此，如果你想存储所有的模型——你知道那些动辄几TB的文件——都可以放在这台设备里。它内部还装有SSD固态硬盘，并配备了16GB内存。这正是我们想在这套系统上实现的功能之一。我已经将它安装在这里，并且实际上正在这台“猛兽”本机上运行本地AI模型以及本地AI智能体。

在这期视频中，我将向大家展示如果你想在本地运行AI模型（而不仅仅是用于存储和文件传输）所能获得的性能表现。此外，我还会演示如何在该设备上运行智能体，如何在沙箱环境中更安全地执行这些操作，并带大家简单了解一下它的性能表现。如果你也想自己搭建这样的系统，我会告诉你如何设置。

这里展示的是第四代产品的规格表。正如我刚才所说，它拥有10 GBE端口和5 GBE端口，还配备了40 GBPS的USB 4.0端口。这意味着你可以插入各种设备，它们都能以极快的速度运行。不过，让我先给大家展示一下它的操作系统本身。

你看，这里有大量的应用程序，还有一个“应用中心”，里面甚至提供了更多可供安装的应用程序。这里列出了热门应用，但你可以进入“最新应用”或“所有应用”页面查看。你会发现上面有海量供你折腾的应用程序，包括虚拟机和下载中心等。

我最近在这里安装的是Docker，我还安装了另一个叫Portainer的工具。它有点像Docker的管理器——你不需要在命令行中输入指令，而是可以直接使用图形用户界面（GUI）。我将用它来运行这些本地AI模型以及本地AI智能体。

此外，我还额外安装了一个叫“Shell in a Box”的工具（这是我的专属实例）。你可以直接登录并通过SSH远程查看系统状态，而无需实际启动终端。所有操作都在网页中进行。我正是利用这个工具设置了我目前运行的一些Docker实例的。

首先，我想向大家展示它在处理大型语言模型时的性能表现。我这里打开了Portainer，并有一个本地设置的“堆栈”（Stack）。在这个堆栈中，我实际上安装了Llama.cpp以及OpenClaw。这样我们可以同时运行它们，看看它们的性能如何。

首先，我将进入Llama.cpp服务器界面，并在这里开始一个新的对话。我的系统上安装了几个模型。如果我现在进入文件管理器里的“models”文件夹，可以看到我有GPT-OSS 20B模型。当然也有Llama系列（毕竟这是Llama.cpp嘛）。我还有Gemma 12B以及E4B版本。

这款设备内部标配了16GB内存，这是我目前的硬件限制所在；不过如果你愿意升级，可以扩展到64GB。目前我选择的是Gemma 4（E4B版本）。这款模型的一个优点是，它不仅能处理文本推理，还能进行图像推理。

如果我输入“你好，最近怎么样？”，大家看，它正在实时立即做出响应。目前速度大约在每秒10个token左右。好吧，虽然这不是最快的，但我们确实能收到一些回复。比如我让它“写个故事”，它回答：“我很乐意写一个故事，你能给我一点灵感吗？比如你想让我做什么？”

但我真正喜欢这款模型的特殊之处在于：你可以附加图片。所以，我将在这里附加一张图像。让我看看是不是这张图——这是我上课时做的一个模型训练练习，展示的是一个过拟合（overfitting）的模型。

基本上，当你训练一个模型时，你给它提供的数据越多，它在反向传播过程中就可以调整权重。但如果调整得过多，且并未真正朝着最终目标优化，那么当你用验证数据测试时，就会发现巨大的偏差。

具体来说：在训练损失（training loss）方面，模型变得越来越“聪明”，因为它正在调整权重以在你提供的数据集上获得完美结果。然而，在验证阶段——当我们用模型未曾训练过的数据进行测试时——你可以看到这里出现了巨大的偏差。

那么，让我们看看Gemma 4怎么看这张图吧，“我的朋友”？你看，它正在处理模型和图像。由于这是一张全分辨率图片，所以它是从头开始处理的。我可以打开这边的活动监视器（Activity Monitor），确切地查看正在发生什么。

我看到CPU使用率大约在50%左右。在内存方面，我们只占用了一小部分内存，所以还有大量的空闲RAM可用。现在它正在处理长序列部分并给出响应——Gemma 4正在生成回复。

它说：“该图表展示了训练集和验证集的损失函数，共100个轮次（epochs），并且它实际上理解了这张图像。”所以那里的epoch数是100，损失值从0到100%变化。模型显示出中度过拟合的迹象——不过我会说，当你看到如此大的偏差时，这其实是极度过拟合。

但看这里，我们确实获得了一些智能响应！这个模型正在以每秒9.3个token的速度输出500个token的内容，一切都在顺利进行。这一切完全在设备本地运行。

那么，当我们使用更大的模型时性能如何呢？显然我喜欢这个能理解图像的Gemma 4版本。让我们看看更大的模型表现——它的速度会慢一半左右（因为参数量更大）。

我将进入我的AI堆栈，点击这里的编辑器。我要把模型从Gemma 4切换掉——我会注释掉那条命令，然后将其切换到Gemma 12。让我们看看那个模型的运行表现如何？

我点击“更新”（Update），它应该会自动开始刷新。你看右上角有个刷新标志。如果我们查看活动监视器，可以看到CPU不再进行推理了——它正在加载那个新模型。

所以我刷新一下这个页面，你看Llama.cpp正在加载中。这不应该花太长时间，毕竟这只是个120亿参数的模型。不过，如果你进入堆栈的AI日志页面，实际上可以看到运行记录。

你可以看到它当前正在做什么——目前只是在加载模型阶段（on load model）。如果你也想……

你甚至可以直接进入控制台，利用该操作系统自带的应用程序通过 SSH 连接到 Docker。这一点相当不错，因为它提供了这些功能集，无需你安装任何额外软件或在终端中运行命令。我知道对某些人来说在终端里操作总是有点麻烦，对我来说也是如此。不过确实如此。你可以看到 Llama.cpp 正在启动，现在它已经显示在我们的屏幕上了。

目前我们使用的是 Gemma 4 by 12B 模型，因此它的速度会比之前运行的稍慢一些，因为体积是之前的三倍。但让我们试试看。你好。正在处理中。我们仍然保持着每秒五个令牌的速度，大约是之前速度的一半。让我们尝试写一个故事。目前依然维持在每秒五左右个令牌的速度。

这项技术的酷之处在于，你可以利用稍微高级一点的模型（如 120 亿参数版本或甚至 200 亿的 GPT-OSS）来执行后台任务。只要给予其访问权限，它就能对你的实际文件数据进行基本的推理分析。默认情况下，我在 Docker 内部运行这些内容，因此它并不拥有系统级的访问权限，只能访问容器所在的文件夹。这对安全性很有利。

如果你对 Llama.cpp 的 API 调用并不熟悉，你可以选择性地针对特定区域进行推理。当我们稍后展示 OpenClaw 时你会看到这一点。目前我们大约达到每秒四个令牌的速度，这是针对 Gemma 12B 的测试。这是一款刚从谷歌发布的全新模型，据说非常聪明。这就是它的运行情况。

我将再次切换一次设置。我会进入 AI 界面，点击编辑器并切换到 Sheeple TOS 20B。这个模型大约在去年发布，但至今仍是一款非常成功的模型。我将再次点击更新堆栈，它会在后台重置 Llama.cpp 并继续运行。有趣的是，尽管系统正在执行这些操作，我仍然可以像平常一样使用这台 NAS 设备。

我没有感觉到任何明显的速度下降。在加载该模型期间，有一些关于此操作系统需要注意的事项。这里有存储管理器，你可以设置驱动器并配置 RAID 阵列。默认情况下它使用 BTRFS 文件系统，这包括快照功能。如果你想在更改前安全地备份数据，BTRFS 能非常高效地完成这一任务。

我最喜欢的功能当然是磁盘医生（Disk Doctor）。通过它，你可以设置坏块扫描或 SMART 扫描。我通常设置为每天甚至每周进行一次快速的 SMART 扫描，然后每月执行一次完整扫描。你可以让它在后台自动运行这些任务，以确保在硬盘出现严重问题导致数据丢失之前及时发现并更换。

设置中还有标准选项，你可以更新固件、创建新用户账户以及配置在线连接功能。我禁用了在线访问功能，因为虽然开启端口能让你随时随地从世界任何地方访问设备很酷，但也可能让他人有机会黑客攻击你的系统。因此我尽量避免启用该功能。

当然，你可以安装防火墙以仅允许特定区域访问。例如，如果你住在新加坡，可能不希望新加坡以外的人能访问它。这样可以保持本地设置更加安全。你还可以设置常规共享文件夹，比如我的家庭、Docker 和公共文件夹。

如果我在 Mac 的网络中找到器中查看，可以看到名为 AS680 的设备（这是我给它的命名）。我能看到所有文件夹。进入家庭文件夹后，我可以添加一些文件和新文件夹，例如命名为“你好”。在 Mac 的访达中进入家庭目录时，可以看到该文件夹已立即添加成功。

让我们回到 Llama.cpp 界面并开启新对话，刷新页面以定位到 GPT-OSS。它就在那里。这是一个非常快速的模型，但需要更多内存。之前我们升级到 12B 版本，现在我们要尝试 20B 版本。让我们输入“写一个故事”。这个模型实际上应该非常迅速。

你可以看到在活动监视器中，我们开始使用一些内存了。这意味着模型已被转移到内存中。当我回到这里时，它立即开始了推理过程。它具有不同级别的思考能力，这一点很酷。正如你所见，我们达到了每秒 11 个令牌的速度。

虽然它比 Gemma 12B 更大，但由于其激活参数更少，运行速度要快得多。当然，如果你想要进行图像推理，该功能目前被禁用，因为此模型不支持。就像我之前说的，我更喜欢 Gemma 4s 系列，那个表现相当不错。

我们可以看到我们运行了 GPT-OSS、Gemma 4 12B 以及 Gemma 4 E4B。它还支持音频推理，这是一项非常有趣的功能。目前我使用图像推理解插件运行它，但你也可以使用 MTP 插件。虽然我还未测试过后者，但有许多不同的功能和特性可供探索。

你可以运行不同量化版本以获得最佳性价比。但我可能最喜欢使用的是 E4B 版本，它在该系统上超级快速并支持图像推理。我们之前看到当模型过拟合时它能实际识别出来，这是其中一项亮点功能。

此外这里还有许多应用程序可用，但我仍将使用 Portainer，因为我要进入 OpenClaw 进行演示。OpenClaw 已经设置完毕。在 OpenClaw 中，我实际上将其指向了我的 Mac 系统。

如果你进入这里的设置页面，可以看到我选择的模型是 Qwen 3.6 27B MLX，并在其上方添加了 MTP 层。这里运行着推理器（Inferencer），并且服务器已启用并启动。我们可以看到系统上所有可用的模型列表，包括 Gemma 4、Llama 和 Qwen 3.6。

我将进入新会话，工作正常以确认其仍在运行。我们可以看到它正在将查询发送到推理器。我们可以进入任务视图查看，目前只是提示词处理阶段。

首先，由于我启用了主系统提示缓存，响应应该只需几秒钟。目前我们正以每秒20个令牌的速度处理数据，现在就应该能收到回复了。“嘿，我刚上线。全新的开始，新的记忆，空白状态。”它完全正常工作了。

这里真正酷的地方在于我们使用的是Qwen 27B模型。这个模型最近才发布，很多人说它甚至能和Claude相媲美。作为一个如此小的模型，我不知道它是如何做到的，但它确实能生成非常高质量的内容。这个模型真的非常出色。

让我们看看它能否做些特别的事情，比如查询天气。“巴黎的天气怎么样？”它正在调用工具获取气象技能，这里有一份文档。这只是关于如何从不同网站获取天气的基本描述。它使用了兼容OpenClaw的wtr.in技能文件，这些文件提供了如何解读世界信息。它知道巴黎现在是晴天。

接下来我想用OpenClaw测试一个研究型提示：“为什么FIFA使用VAR取消了埃及的进球，却没有对阿根廷在萨拉赫身上的犯规进行判罚？”前几天有一场埃及对阵阿根廷的比赛。埃及队表现出色，却被一个可疑的判罚抢走了胜利。大家普遍认为他们被抢劫了。

裁判对一个进球使用了VAR，但当另一名球员在禁区内被撞倒时却从未使用过。但事情就是这样吧。我想，如果梅西能赚钱的话，根据OpenClaw的线索，那个判罚必须通过。它已经访问了Fox Sports、ESPN、《独立报》和《每日星报》，正在寻找所有研究资料。我们需要弄清楚FIFA为何做出如此糟糕的决定。

你可以看到，本地AI完全运行在这个漂亮的小盒子上，而它实际上是一个NAS。如果你愿意，可以安装更多硬盘。目前我只有一块可用驱动器，内部甚至还有SSD插槽。它具备30GB的网络潜力。你可以组建RAID系统，为AI解决方案获得一些非常可观的存储空间，同时在该设备上运行模型。

你们觉得这款Assistant Dockstar 4第三代怎么样？如果对此感兴趣，请告诉我，我甚至可以制作一个专门教程来讲解如何设置这些内容。希望你们觉得这个视频有用并享受了节目。