这是第一台 RTX Spark 笔记本电脑 [音乐] 出现在我的门口。哇，MSI Prestige N16 Flip AI [音乐] Plus。快速开箱。你知道 DJX Spark 吧？那个卖得如火如荼、价格却不断上涨的小盒子。嗯，[音乐] RTX Spark 据说就像它一样，几乎相同。拥有相同的 128 GB 内存，只不过是在笔记本电脑里。[音乐] MSI 表示这将运行万亿参数模型。当然，我会去验证这一点。他们还声称它在没有 [音乐] 热节流的情况下保持峰值性能。我也会对此进行检查。此外，这有点酷。你可以把这个东西一直弯回去。[笑声] 这是你每天都不一定能看到的东西。他们肯定贴了贴纸，对吧？在接下来的几周里，我将测试 RTX Spark 的性能，但如果所有关于构建软件和运行本地 AI 的说法都属实，这种形态 [音乐] 可能是集大成者。这取决于你在做什么。尽管这是一款翻盖笔记本电脑，但整体感觉非常坚固。我更关心键盘。按键声很清脆。不知为何我们仍然保留了 Copilot 键。没有数字小键盘，我很欣赏这一点。我知道我会在评论中遭到抨击。有些人喜欢他们的数字小键盘。而我恰恰相反。
现在，我要坦诚地说，从 MacBook 过来后，我对触控板有某些期待。这是一个不错的大的触控板，反应相当灵敏，但我希望它是触觉反馈触控板，而不是较旧的跳水 [音乐] 板设计。这里有一个带有快门摄像头的网络摄像头。它配有指纹阅读器和前置扬声器。[音乐] 两个 USB 4 端口，HDMI，耳机插孔，SD 卡读卡器以及两个 USB A 端口。我仍然很感激包含的 USB A 端口，因为现在我不必为鼠标使用转接器了。我得说，我原本以为充电器会大得多。这个东西相当小巧。它输出功率为 140 W。作为参考，这是 DJX Spark 适配器。我完全不介意随身携带其中一个。而我 [音乐] 真正感兴趣的是，插上电源是否会影响性能。16 英寸 4K 串联 OLED，120 Hz，并且是触摸屏。触摸它简直是一种遗憾。把我的指纹都弄上去。如果 B-roll 上有指纹，你可以在评论里骂我。这是什么？哦！>> [笑声] >> 好吧。我得承认一件事。我不使用翻盖笔记本电脑，但现在这很有道理了。我会用那个吗？可能不会。但让我们深入探讨一下性能吧。我得看看任务管理器，因为魔法就在那里发生。CPU 是新的 N1X 芯片。所以与 DGX Spark 略有不同。这就是我们的 20 核 CPU。在内存方面，我们有 128 GB LPDDR5。这是一颗基于 ARM 的 CPU。所以它运行的是 Windows on ARM。
为什么我对说“Windows on ARM”感到兴奋？因为微软在过去几年里一直在投资 Windows on ARM。自从 Visual Studio 在 ARM 上发布以及高通的芯片问世以来，我已经报道了几年。我首先想知道的是我的东西是否能在它上面运行。顺便说一句，根据过去在 Windows on ARM 上运行的经验，是的，我的东西通常都能运行。但我想向你证明这一点。首先，你可以查看 works on WOA 网站。为了在 Windows on ARM 上获得支持，人们付出了巨大的努力。除了少数边缘情况外，大多数开发工具基本上都可以使用。Adobe 产品现在也主要是原生的了。Premiere Pro 仍在模拟中运行。Photoshop，如果我没猜错的话 [音乐] 从我的缩略图中就能看出来，我经常使用 Photoshop。Creative Cloud，ARM64，Adobe ARM64，Photoshop ARM64。别管它使用了 3 GB 内存了，是的，它是原生运行的。此刻这台机器上运行着超过 250 个不同的服务和进程，其中只有四个是 X64。Visual Studio、VS Code、Zed、Python、Node，我运行的所有这些东西都是原生的。它能运行，但速度快吗？>> [音乐] >> 我通常喜欢先测试单核性能。砰！Speedometer 3.1。这项测试浏览器中的一堆 JavaScript 应用程序。所以它告诉你系统在 JavaScript 性能方面会有多灵敏。35.2，还不错。我跑了四次，每次都在 35 到 37 之间。但单核只是故事的一部分。我真正关心的是使用所有 20 个核心。因为你的构建和编译就是这样的。所以我使用 PowerShell 中的 measure 命令来测量它的速度有多快。这是 Mandelbrot 测试。砰！它正在运行。我喜欢这个测试的原因是看这里。看看那个 CPU 使用率。嗯？看看吧。每一个核心都在被使用。这让我可以同时测试几件事。首先是这台机器与其他机器的性能比较，它的噪音大小以及温度，我稍后会详细介绍。至于音量，我能听到风扇的声音。这次运行用了 22 秒。我实际上跑了很多次。平均下来，我得到了 22 秒的结果。
但我不满足于仅在 Windows 上运行它。因为我在机器上做的大量工作流程都与 Python 和 Node 有关，我喜欢在 WSL（Windows Subsystem for Linux）中运行它们。有些东西在 Windows 上跑得更快，而有些则在 WSL 上跑得更快。这是其中之一。我看向这边是因为我有图表在这里。我运行了相同的 Mandelbrot 算法，该算法由著名数学家 Benoit Mandelbrot 开发。他发现了整个分形现象。这里插一句题外话。所以，WSL 做得快得多。我说，是的，这相当不错。WSL 基本上是在 VM（虚拟机）中在 Windows 内运行的 Linux。我可以打开终端，直接启动 Ubuntu，这里有一个完全不同的文件系统，拥有我所有的 Linux 工具，如果你不熟悉的话。如果你是老手，那我抱歉重复了，好吗？但有些人并不熟悉。现在我也好奇它在 DGX Spark 上的表现如何，因为我感觉很多人会将 Spark、DGX Spark 和 RTX Spark 笔记本电脑进行比较。所以我在 DGX Spark 上运行了相同的东西，16 秒。基本上，这台机器在 Windows 内运行虚拟机的速度与在 Spark 上运行专用 Linux 的速度对于此测试来说是一样的。我第一个想法是，嗯，Windows 没有使用所有核心吗？但它确实使用了。它在 Linux、Windows 和 WSL 中都使用了全部 20 个核心。所以我把 Python 排除在外，在 JavaScript 中在一个核心上运行了相同的数学运算。Windows 上是 1.24 秒，Linux 上也是 1.24 秒。所以在 Windows 下芯片的速度完全一样。这里的减速来自于 Python。这归结为使用正确的工具做正确的事，这也是我常说的。
如果你在这台设备上做大量的 Python 工作，请在 WSL（Windows Subsystem for Linux）中运行。我还想知道这台设备在拔掉电源后的表现如何？你猜怎么着？Windows 下需要 22 秒。这在以前的 Windows PC 上一直是个痛点，让我们看看发生了什么。其实我已经知道结果了，但当你看到这张图表时，你会亲自发现真相：23.2 秒。是的，只是稍微慢了一点。无论是在插电还是未插电状态下，我都将其设置为“最佳性能”模式。
MSI Center 允许你在性能增强、平衡或节能模式之间切换。顺便说一句，节能模式是静音的。所以，是的，你会牺牲一些性能，但这将是一台安静的机器。但在加载任何大型语言模型（LLM）之前，我想要另一个数据：内存带宽。生成 LLM 类内容主要有两部分：一是读取和处理提示词，二是生成令牌（tokens）。而生成令牌主要取决于你移动内存的速度有多快。
我编写了一个小脚本来测试 GPU 内存，它在 GPU 上复制和读取多千兆字节的数据块。哇！在复制 8 GB 数据时，这台笔记本电脑的速度达到了每秒 143 GB，而 DGX Spark 仅为 113。在读取方面，笔记本是每秒 309 GB，而 Spark 为 234。所以这应该能带来更快的令牌生成速度。
至于 GPU 部分本身，那是负责计算、繁重工作、并行处理和提示词处理的部分。好吧，我什么时候才能说完？我想我已经说得够多了。GPU 本身的水平基本相当：笔记本电脑得分为 101，而 Spark 为 97。这是在测量我之前提到的数字运算——矩阵乘法。这不是理论值，而是我实际测量的结果。因此，我们在提示词处理上应该大致持平，而在令牌生成方面则稍快一些。
[音乐] 我相信你可以像我现在这样，将本地 AI 模型连接到你的代码编辑器中。事实上，这很可能是这类笔记本电脑的首要用例之一。正如他们所说，1200 亿参数的模型毫无问题。它正在 Zed 的代理（Agent）内部运行。你可以使用 VS Code，或者做任何你想做的事。它将在本地运行，不会离开这台机器。
但我想要进一步测试，看看能否超越营销辞令。我要告诉你的是，这里的营销策略有点保守，因为我们可以用这台机器做更多的事情。所以下一个问题就是：我们能运行什么样的模型？速度有多快？这套设置的一个酷之处在于，你不需要在 Linux 和 Windows 之间做出选择，因为你可以通过我之前提到的 WSL在这台机器上同时使用两者。
这是 NVIDIA SMI 显示通过每个进程分配给 GPU 的完整容量，>> [音乐] >> 98 GB。那么在这台设备上运行模型是什么样子的呢？我决定先从一个小型稠密（dense）模型开始。64 GB 的内存将能够运行 Qwen 3.8 27B，这是一个稠密模型。该模型大小约为 22 GB，可以轻松放入这台 MSI Prestige（64 GB）中。
它的速度为每秒 13.4 个令牌，这是因为它是一个如此稠密的模型。这意味着每个参数都在每一个令牌中得到使用。我在上面列出的接下来两个是混合专家（Mixture of Experts, MoE）模型。MSI 和许多其他人总是提到 GPT-OSS-120B，因为众所周知，这是一个较旧的模型。然而，它得到了非常广泛的支持，这就是为什么每个人都使用这个数字的原因。
所以我也把它包含在内了。它也在各处运行，并且速度很快，因为它是混合专家模型。该模型加载时间为 28 秒，占用了 96 GB 中的 61 GB。在我的腿上、可能在飞机上、或者在会议上，或者是任何地方，都有 1200 亿参数。我是说你可以把它带到任何地方，但那样你就不能插电了。你知道情况的：笔记本电脑就是笔记本电
脑。对于 GPT-OSS-120B，速度达到了每秒 65 个令牌。还记得我之前提到的内存带宽数据吗？这是同一模型在相同版本的 llama.cpp 上的表现，我也获得了 DGX Spark 的数据。我打赌你会感到惊讶。这实际上是一个很大的差异：这里的 Spark 达到每秒 50.6，而笔记本电脑为每秒 65.4。WSL？大约相同，为每秒 65.1。
当然，这是空上下文的情况。随着我们越来越多地使用它，上下文会填满，所以你可以看到 WSL 的数据稍微差一些，但总的来说，所有数字都会下降，对吧？但是 Windows 的数字保持高位并持续获胜。哦，对了，我答应过要展示一下未插电时的样子。好吧，>> [笑声] >> 我也跑了那个测试，在未插电状态下，它达到了每秒 65.9。所以在电池供电下进行 GPU 工作时，速度并没有减慢。
我想我应该多看看图表。它在 WSL 中稍微减速了一点，但在 Windows 中没有减速。无论如何，差别足够小。我们并没有出现巨大的性能跳水（nose dive）。既然这里有 CUDA 支持，我们就有能力运行 vLLM。vLLM 不能在 Windows 上构建，但可以在 Linux 上构建。所以它在 WSL 中也能运行，这意味着你现在可以在拥有大量内存的笔记本电脑上运行 vLLM。
以前我们从未做到过这一点。你为什么要关心 vLLM，Alex？很多专业数据中心使用 vLLM 来提供服务模型，它具有与 llama.cpp 等工具非常不同的特性。顺便说一句，如果你使用 Ollama 或 LM Studio 之类的工具，它们在底层会使用 llama.cpp。那么使用 vLLM 是什么样子的呢？首先对于提示词处理，Windows 和 WSL 中的 llama.cpp 大约能达到每秒 1,800 个令牌。而 vLLM？哇！达到每秒 4,681 个令牌。
是的，我测量了几次，别担心。速度快了大约两倍半，但 vLLM 也并非完美无缺。为单个用户生成内容时（例如，如果你现在是唯一使用这台设备的人），并且你在飞机上聊天，那可能是使用 vLLM 的最坏情况场景。看这里：vLLM 在 GPT-OSS-120B 上仅能达到每秒 35 个令牌，而 Windows 和 WSL 上的 llama.cpp 都能达到每秒 65。
这是因为 vLLM 是为群体设计的。把它想象成一辆公交车，而 llama.cpp 像是一辆汽车。当只有一个乘客时，汽车会先到目的地。vLLM 需要停靠几个站点。也许这个比喻不太好，但请想象一下 vLLM 配合代理（Agents）使用的情况，即多个代理同时使用它时，我们就能表现出色。让我展示给你看。我会再多谈谈公交车的概念，请见谅。
当填满这辆车时，速度几乎不会下降。同时有八个用户时，我们获得了每秒 127.5 个令牌。注意这种改进：随着用户数量的增加，性能也在提升。这些“用户”可以是使用你笔记本电脑的人，也可以是多个同时运行的代理。MSI 声称支持 1200 亿参数模型，但我得到了一个新的、拥有 1250 亿参数的模型。这个新模型非常相关，因为它是下一代
架构方面，Qwen 3.8 Flash Next 启动仅需 36 秒。它占用了 96GB 内存中的 81GB，这意味着我们确实将其推向了极限。在一台轻薄笔记本上，它的运行速度达到了每秒 33.7 个 token，这简直太疯狂了。除了常见的 Windows“怪癖”，比如文件名过长的问题——喂，这里真的太长吗？不，并没有。这真是令人捧腹。除此之外，正如你所见，Windows 的表现实际上非常好。当然，你需要在 Windows 中启用长文件路径功能。为什么这不能成为默认设置呢？我一直说你可以使用高达 96GB 的专用 GPU 内存。实际上，你可以在这里的 NVIDIA 应用程序中调整这一设置。你可以分配任意数量的显存，我只是恰好喜欢最大值。嘿，你知道的，为了 AI 嘛。
但如果你不使用大型模型，你也可以选择不同的显存分配比例。例如，当你使用较小的模型时——这完全有可能，并且你希望将更多内存用于系统任务。比如当你运行重型智能体时就是这样。那么，当这台设备连续高负载运行 20 分钟时会发生什么？有时电脑会热得不得不降低自身速度，也就是降频处理器。这就是所谓的“节流”现象。因此，我让这台设备连续运行了 20 分钟，期间模型在 GPU 上生成数据，同时所有 20 个 CPU 核心也处于忙碌状态。在前 5 分钟内，模型的速度约为每秒 50 个 token；在最后 5 分钟内，速度为每秒 52 个 token。所以，图表基本持平——虽然并非完全水平，但你明白我的意思。20 分钟过去了，性能依然保持稳定。
CPU 的情况也是如此。“Matter brought past”这一测试在开始时耗时 26.3 秒，结束时也是 26.3 秒。当然，50 这个数值低于之前的 65，这是因为两项任务同时在运行。单独测试时，模型能达到每秒 68 个 token；而当所有 20 个核心都在旁边忙碌时，速度降到了每秒 50。但这从开始就是这样，并非因为减速或节流。不过，它确实运行得很热。芯片平均温度约为 93°C，峰值达到约 98.6°C。“Predator”可能会以为它是人类——部分观众能get到这个梗。基本上，没有任何报告出现热节流现象。
那么，这是不是最好的选择？如果你想要一台既能运行开发工具又能处理 1200 亿参数模型（或者是 1250 亿）的设备，并且希望随时随地使用它——无论是在飞机上还是在公园里——那么是的，这台机器可以做到。但如果你需要全天候运行智能体，且设备始终插在服务器机房或书桌的电源上，那么 DGX Spark 是更好的选择。微星有几款不同的版本。正如我所说的，这是 128GB 的版本；此外还有 64GB 和 32GB 版本。如果你附近有一家 Micro Center，他们会有这两款产品，你可以去现场亲自体验一下。查看下方的链接，我还有更多 RTX Spark 机器即将评测，所以请订阅以免错过那些视频。感谢观看，我们下次见。