ZimaBoard 2 硬件规格与接口概览

本期视频主要测试 ZimaBoard 2（售价399美元）在本地运行 AI 模型时的性能表现，并对比 Ollama 与 Llama.cpp 的效率。该设备定位为高性能单板服务器，官方宣称其速度是上一代产品的 三倍，配备 16GB LPDDR4 内存（频率 4800 MHz）。硬件接口丰富，包括 PCIe 插槽、双以太网口、USB-C 以及显示器输出接口。此外，机身侧面设有 SATA 接口并附带硬盘笼，支持组建 RAID 阵列；底部预留风扇插口，允许用户自行安装散热风扇。> "It's made for DIYers and tinkerers. You can actually unscrew it, install fan." 这种设计专为 DIY 爱好者打造，允许用户通过拆解安装风扇来优化散热。

Ollama 性能瓶颈与卸载清理

在 ZimaBoard 2 上运行 Llama 3.2B 模型时，Ollama 的表现令人失望。虽然最终生成了回复并显示 7 tokens/秒，但等待生成开始的过程长达几分钟。此时系统内存占用高达 77%，且每次重新运行命令都需要漫长的加载时间，导致实际使用体验极差。鉴于 Ollama 在文本推理上的低效性，作者决定停止该服务并彻底卸载。通过执行 sudo docker stop ollama、删除容器及卷，系统恢复了整洁状态。

然而，卸载后存储问题依然严峻。Ollama 下载的模型以 SHA256 哈希值命名，导致用户无法直观识别文件内容。尽管容器已移除，这些模型文件仍占据大量存储空间。作者强调必须进入“Files”应用将残留数据移至回收站，以释放宝贵的存储资源。这一操作揭示了 Ollama 在模型管理上的不便性：其打包方式让用户难以追踪具体下载了哪些模型，增加了维护难度。

"I don't know what the O in Ollama is doing, but it's not doing too good of a job."

"The way Ollama likes to package its models is you can't really know what the model is. It's just a bunch of SHA256s."

GPT-OSS-20B模型加载与内存占用分析

在测试完基础性能后，视频引入了OpenAI开源的GPT-OSS模型。尽管该模型发布已近一年，但在特定领域如法律建议方面仍保持顶尖水平。由于GPT-OSS-20B模型文件体积高达11GB，加载过程相对缓慢。在ZimaBoard 2的16GB内存系统中，该模型仅占用了65%的RAM，这意味着系统仍保留约40%的自由内存空间。这种高效的内存管理使得用户可以在运行大型AI模型的同时，继续部署其他Docker容器或应用程序。视频指出，虽然这是针对16GB内存而言的“巨大”模型，但其资源占用并未导致系统崩溃或不可用。

"So, that's why it's a little bit slow to load, but you can see the RAM is loaded and we've only used up 65% of our memory."

推理速度对比与CPU负载表现

在关闭MCP服务器以优化提示词处理速度的前提下，视频测试了GPT-OSS-20B的生成能力。尽管该模型参数量大于之前的Gemma 4，但其活跃参数更少，因此在ZimaBoard 2上实现了更快的推理速度。实测数据显示，该模型达到了约8.7至8.8 tokens/秒的生成速率。与此同时，ZimaOS监控界面显示CPU使用率攀升至68%，而RAM占用维持在较高水平。值得注意的是，尽管推理过程占用了99%的CPU资源，但操作系统界面（如图库、下载、文档等）在刷新和导航时并未出现明显的卡顿或延迟，证明了该硬件在多任务负载下的稳定性。

"So, even though it's a bigger model than the Gemma 4, it actually runs faster because it actually has less active parameters."

散热策略与存储扩展性建议

视频强调了环境温度对设备性能的影响。由于拍摄时处于澳大利亚冬季，手持测试未出现过热现象；但在夏季高温环境下，安装散热风扇是防止热节流（thermal throttling）的关键。此外，视频展示了ZimaBoard 2的存储扩展能力，特别是其可拆卸笼式结构允许用户插入两块硬盘。这种设计不仅增加了存储容量，还通过物理间隔有助于热量扩散。视频最后总结指出，ZimaBoard 2在保持优雅外观的同时提供了足够的本地AI算力，能够流畅运行Gemma 4 E4B和GPT-OSS-20B等模型，并支持Peer Drop文件传输功能。

"So, if you're in the summer, definitely you probably want to install this fan so you can make sure it runs cool and doesn't get too hot"

结论

ZimaBoard 2在本地AI推理领域展现出明确的可行性与局限性。其核心优势在于16GB内存能高效承载GPT-OSS-20B等大型模型，仅占用65% RAM并维持8.7 tokens/秒的稳定生成速率，且高负载下系统界面依然流畅。然而短板显著：Ollama存在严重的加载延迟与管理混乱问题，需彻底卸载；且设备在夏季高温下必须依赖手动安装风扇以防止热节流。该硬件适合对散热有主动干预能力、追求特定模型运行效率的DIY用户，但不适合作为免维护的高性能通用服务器。