大约一个月前，英伟达寄给我一台DGX Spark，它是我桌上一个漂亮的金色小盒子，里面装有GB10芯片。我还有一台深度学习PC，内部配有RTX 4090 GPU，过去两年左右我一直用它进行本地AI开发、客户工作以及为我们初创公司构建模型等。我想看看DGX Spark能否与RTX 4090抗衡，因此自然而然地几乎每天都在使用它，但我希望用一些真实的数据来支撑我的观点。

虽然我通过直播已经大致了解了它的性能表现，但这些基准测试展示了它在几种不同用例下的直接对比。我主要关注现代机器学习和AI工作负载中的实际应用场景，看看两者在这些方面如何相互竞争。在CUDA核心数量上，DGX Spark拥有大约这么多核心，而RTX 4090则更多。因此，在代表计算处理能力的原始CUDA核心数量上，RTX 4090胜出。

内存带宽是另一个重要指标。如果你想了解计算能力如何帮助现代大语言模型（LLM），以及它与内存带宽的区别，我强烈推荐Exol Labs发布的一篇博客文章或近期案例研究。基本上，对于预填充阶段你需要高计算能力，而对于解码阶段则需要高内存带宽。RTX 4090拥有更多的CUDA核心和更高的内存带宽，但DGX Spark总共有128GB的内存。

相比之下，RTX 4090只有24GB显存。这意味着在实际应用中，虽然DGX Spark运行较小的模型速度较慢，但它有能力运行大得多的模型，例如GPT-oss 120B，这根本无法在RTX 4090上运行。简而言之，稍后我会详细列出具体数据。所有代码都在GitHub上，链接会在下方提供供你查看和检查数字。

RTX 4090就像一辆法拉利，速度快但空间有限；24GB显存足以运行大多数8B参数以下的模型，以及像Neutrify使用的约2亿参数的编码器视觉模型。而DGX Spark更像是一辆小型货车，拥有128GB内存带来的充足空间，但在原始计算速度方面并不快。

除了计算速度，如果谈论占用空间和即插即用性，DGX Spark无可匹敌。我把它放在桌上Mac Mini旁边。在我的设置视频中可以看到，插上电源后大约半小时我就开始运行深度学习任务和AI模型了。从开箱到使用DGX Spark启动AI模型大约只需一小时，而RTX 4090则需要围绕它构建整个PC。

你需要CPU、内存、存储、机箱和电源，这通常需要几个小时。我的朋友Michael帮我组装了硬件，非常感谢他，这部分耗时约3到4小时。在软件方面，DGX Spark开箱即用，预装了现代AI和机器学习所需的一切基本环境。它运行Ubuntu系统；而我的深度学习PC在软件设置上花了2到3小时，之前我使用Windows加WSL 2导致了很多麻烦。

最近我将深度学习PC重装为纯Ubuntu系统，体验好得多。如果你打算自建PC，为了获得最可靠的选项，建议直接运行Ubuntu。接下来进行基准测试概览：我们使用Llama.cpp和VLLM两种推理引擎对LLM和视觉语言模型（VLM）进行推理；使用Transformers或Diffusers进行图像生成模型推理；以及使用Hugging Face Transformers和TRL对LLM进行微调，还有目标检测模型的微调。

这些基准测试共包含两个推理任务和两个微调任务，全部专注于速度而非模型质量。我关注的是输入输出的每秒令牌数（tokens per second）以及微调任务的总体训练时间。让我们先看LLM和VLM的推理结果，如果以VLLM作为推理引擎开始测试。

如果你只看硬件原始规格，这些指标会直接反映在基准测试结果中：RTX 4090在输入和输出的每秒令牌数上比DGX Spark快3到4倍，这归因于其更多的CUDA核心和更高的内存带宽。当然，由于24GB显存限制，RTX 4090无法运行某些模型（如GPT-oss 120B或Neotron V3），因为它们无法装入显存。

虽然DGX Spark在纸面数据上每秒令牌数较慢，但如果在本地聊天窗口中使用Llama CPP服务器与模型交互，它仍然完全可用。DGX Spark的真正优势在于能够运行这些大型模型。在过去几年使用深度学习PC时，如果新发布的模型超过8B参数，我通常会忽略它们，因为我知道本地内存不足以运行。

因此，过去几年我的首选模型都在8B参数及以下。如果你将DGX Spark用于生成合成数据或在数据集上运行更大的模型，即使每秒令牌数较低也没关系。你可以让它整夜运行大型推理任务，然后获取更大模型产生的更高质量标签，并用这些标签来微调较小的模型以复现结果。

在图像生成方面情况类似：RTX 4090在我测试的两个流行模型上快了3到4倍。这两个模型分别是Hugging Face上的Flux Klein 4B（Apache 2.0许可，号称速度很快）和9B参数的Z Image Turbo。RTX 4090在这两项测试中表现明显更快。

每秒处理的图像数量，不过再次强调，DGX Spark 可以运行大得多的模型，比如 Flux 2 Dev。但我将把这项测试留待未来的基准测试中进行。那么，让我们继续来看大语言模型的微调。这来自我最近的一个视频/直播节目，在那里我们使用 Hugging Face Transformers 和 TRL（Transformer Reinforcement Learning）通过监督微调来微调大语言模型。这是一个小型语言模型，Gemma 3270M（注：原文为 Gemma 3270 mil，通常指 2.7B 或类似规格，此处按原文数字直译），我真的很喜欢小型语言模型领域。如今，即使是小型语言模型也能取得非常好的效果。

就原始训练时间而言，情况与刚才看到的类似。这是一个较小的模型，拥有 2.7 亿参数。因此，RTX 4090 在训练这个模型时表现得非常出色。总体而言，其速度比 DGX Spark 快 3 到 4 倍。但这一点值得注意：作为一名机器学习工程师，我通常并不太担心原始训练速度。我的重点不在于构建庞大的极端基础模型，而是专注于为特定任务构建专用模型。

例如在 Neutrify 的案例中，我构建了用于设备端部署的专用计算机视觉模型。对于最近服务的一个客户，我正在构建在离线环境中运行的专用目标检测模型。我花费大量时间用于制作数据集。因此，我只需让训练过夜运行，第二天再来查看结果即可。在这种情况下，虽然 RTX 4090 在原始训练速度上更快，但如果你是在过夜或几天内运行且不需要与计算机进行交互，那么“极快”的原始训练速度优势就不那么重要了。

接着我们来看目标检测微调，在原始计算速度方面，情况与之前类似：RTX 4090 确实胜出。这是一个相对较小的数据集，包含一千张图像和十个 epoch（轮次），但如果你拥有高质量的数据和良好的基础模型，仅凭一千个数据样本就能获得很好的结果。这一点适用于图像、文本和大语言模型的现代工作流程：高质量的数据配合良好的基础模型就能取得优异效果。

如果我们要总结一下，你会问应该选哪一个？ personally（就我个人而言），如果我从零开始拥有电脑，我可能会倾向于 DGX Spark，因为我喜欢即插即用并立即运行 AI 模型的能力。是的，训练时间会受到影响；推理时间也会有些许损失。但在易用性方面，DGX Spark 确实胜出。而且能够运行当今发布的参数量从 300 亿到 1200 亿的更大模型，这非常酷。

但是，如果你追求的是原始训练速度，并且不需要运行最新的 300 亿参数模型，满足于八亿及以下参数的模型，那么 RTX 4090 可能是你的选择。但请记住，你需要围绕它构建一台完整的 PC，因为它只是一张显卡，不像 DGX Spark 那样是一个完整系统。此外还有价格因素：DGX Spark 售价 3,999 美元，而 RTX 4090 是这个价格（我会将其显示在屏幕上）。

由于我只知道澳元汇率，我会去查一下确切的价格。但你还需要添加所有外设。因此，如果你想组装一台相当快的深度学习 PC，两者的总成本可能大致相同。然而，它们的工作流程是互补的。例如在我的个人工作流程中，我使用大型模型（如 Qwen 3VL-32B Apache 2.0 开源模型）来标注大型图像数据集。然后，我将这些标签用于在 RTX 4090 上训练较小的模型。

这样我可以同时运行两者：DGX Spark 仅用于标注推理，因为它可以运行更大的模型。然后我将所有已标记的样本传递给 RTX 4090，以微调我们最终希望在 Neutrify App 中本地部署的较小模型。我在 GitHub 仓库中留下了一些笔记，记录了不同的基准测试、其他测试以及我本可以尝试的不同途径。当然，这些内容偏向于我所拥有的两块显卡和我所使用的工作流程。

因此，如果你希望未来看到任何内容，请留言评论。或者如果你在检查基准测试时发现“Daniel，你可以切换这个开关来加快速度”，也请告诉我，我很乐意听取你的建议。否则，祝机器学习愉快，我们下次见。