硬件规格与核心定位：法拉利 vs. 小货车

作者将NVIDIA DGX Spark（内置GB10芯片）与传统的RTX 4090深度学习PC进行对比，两者在硬件特性上呈现出截然不同的设计哲学。从原始计算能力来看，RTX 4090拥有更多的CUDA核心和更高的内存带宽。作者指出，“对于预填充（prefill），你需要强大的计算能力；而对于解码（decoding），则需要高内存带宽”，因此RTX 4090在这两项指标上均占优。然而，DGX Spark拥有128 GB的总内存容量，远超RTX 4090的24 GB显存。这种差异决定了它们的应用场景：RTX 4090像是一辆“法拉利，速度快但空间小”，适合运行8B参数以下的模型；而DGX Spark则像一辆“小货车，空间大但速度不快”，能够容纳如GPT-OSS 120B这样无法在RTX 4090上运行的超大模型。

部署体验与时间成本：开箱即用 vs. 组装折腾

在物理形态和软件生态方面，DGX Spark展现了极高的便利性。作者描述其为一个“漂亮的金色小盒子”，即插即用，从开箱到运行深度学习任务仅需约一小时。相比之下，构建一台RTX 4090 PC需要组装CPU、内存、存储和电源等硬件，耗时约3-4小时。在软件层面，“DGX Spark开箱即包含现代AI和机器学习所需的一切，运行Ubuntu系统”；而作者之前的Windows + WSL 2环境曾带来诸多麻烦，最终不得不重装为纯Ubuntu系统以确稳定。这种“即插即用”的特性使得DGX Spark在快速启动AI项目时具有不可替代的优势，无需复杂的硬件搭建和漫长的环境配置过程。

基准测试概览：推理速度与模型容量权衡

为了量化性能差异，作者进行了多项基准测试，涵盖LLM/VLM推理（使用Llama.cpp和vLLM）、图像生成模型推理以及微调任务。测试重点在于原始速度（如每秒令牌数）和训练时间，而非模型质量。在VLM推理引擎的测试中，“RTX 4090在输入和输出的原始令牌每秒速度上比DGX Spark快3到4倍”，这直接归因于其更强的计算核心和带宽。然而，RTX 4090受限于24GB显存，“无法运行GPT-OSS 120B或Neotron V3等模型，因为它们根本装不下”。虽然DGX Spark在纯速度上较慢，但在本地聊天窗口等交互场景中仍具可用性。作者强调，“如果你想在本地运行超过80亿参数的新模型，过去只能忽略它们，但现在DGX Spark让你能够运行这些大型模型”。

实际应用场景：合成数据生成与长期任务优化

基于上述性能差异，作者提出了具体的使用建议。对于需要过夜运行的大型推理任务或合成数据生成，DGX Spark的价值在于其容量而非速度。作者解释道，“如果你整晚运行大型推理作业，原始令牌每秒的速度并不那么重要”。“你可以利用大模型生成更高质量的标签数据，然后微调一个较小的模型来复现这些标签”。在图像生成测试中，“RTX 4090在Flux Klein 4B和Z Image Turbo两个模型上同样快3到4倍”。这表明，对于追求极致生成速度的日常小规模任务，RTX 4090仍是首选；但对于需要处理大规模模型、生成复杂数据或受限于显存无法加载大模型的场景，DGX Spark提供了唯一可行的本地解决方案。

LLM微调速度与工作流重心的权衡

在大型语言模型（LLM）的微调测试中，作者使用了Hugging Face Transformers库和TRL进行监督微调（SFT），模型选用的是参数量较小的Gemma 3B。尽管RTX 4090在原始训练速度上比DGX Spark快3到4倍，但作者指出，对于机器学习工程师而言，原始训练速度并非唯一考量因素。在实际工作中，许多场景并不需要构建极端的基座模型，而是专注于为特定任务打造专用模型。例如，作者提到的Neutrify项目旨在部署设备端的计算机视觉模型，而另一客户案例则是构建离线环境下的专用目标检测模型。在这些场景中，数据集的打磨往往占据了大部分时间。因此，训练过程通常安排在夜间运行，次日检查结果即可。在这种非交互式的长周期训练中，RTX 4090的极速优势被时间维度所稀释。如果训练可以在过夜或数天内完成，极致的原始速度变得不那么重要。

"My focus is I'm not building large extreme foundation models. I'm more focused on building specialized models for specialized tasks."

小样本微调与高质量数据的重要性

在对象微调（Object Fine-tuning）环节，测试使用了包含1000张图像的较小数据集进行10个epoch的训练。结果显示，RTX 4090在原始计算速度上依然胜出。然而，作者强调了一个关键结论：高质量的数据配合良好的基座模型，仅需少量样本即可取得优异效果。这一规律不仅适用于图像领域，也广泛存在于文本和LLM的现代工作流中。这意味着，数据质量比单纯的算力堆砌更具决定性。对于希望快速迭代且拥有良好基础模型的用户来说，小样本微调足以满足需求，从而降低了对极端硬件性能的依赖。这种工作流模式进一步削弱了RTX 4090在速度上的绝对优势，因为瓶颈往往在于数据准备而非计算本身。

选购建议：易用性与规模 vs. 原始性能与成本

如果从零开始构建AI环境，作者倾向于推荐DGX Spark，主要因其即插即用（Plug and Play）的易用性。虽然它在训练和推理速度上会有所损失，但它能够运行从30B到120B参数的更大模型，这是其核心优势。相反，如果用户追求极致的原始训练速度且不运行30B以上的大模型（满足于8B及以下参数），则RTX 4090是更佳选择。但需注意，RTX 4090仅是显卡组件，用户需自行组装PC并购买外设。在价格方面，DGX Spark售价为$3,999，而RTX 4090加上周边设备的总成本与之大致相当。因此，两者在整体拥有成本上趋于平衡。作者建议根据具体需求选择：重视大模型推理和易用性选DGX Spark，追求极致训练速度且愿意自行搭建系统则选RTX 4090。

"Personally, if I was starting from no computers, I'd probably lean towards a DGX Spark because I love the ability to just plug and play... But if you are after just raw training speed... then the RTX 4090 is something you might want to opt for."

互补工作流：两者协同的最佳实践

作者分享了一种将DGX Spark与RTX 4090结合使用的互补工作流。在个人项目中，他使用DGX Spark运行大型模型（如Qwen2.5-VL-32B-AWQ）来标注大规模图像数据集，利用其运行大模型的能力进行高效推理。随后，将这些标注好的数据传递给RTX 4090，用于微调较小的模型以便最终部署到Neutrify应用中实现本地运行。这种分工使得DGX Spark专注于推理标注，而RTX 4090专注于快速微调。两者并行工作，充分发挥了各自的优势。作者表示已将详细的基准测试笔记和实验细节上传至GitHub仓库，并欢迎观众提出优化建议或未来想看到的测试方向。这种混合使用模式为资源有限的个人开发者提供了高效的解决方案。

"I'm using a large model... to label a large image data set. I'll then take that labels from that to train a smaller model on the RTX490... The DJX Spark just does inference for labeling because it can run u larger model."

结论

DGX Spark与RTX 4090并非简单的性能替代关系，而是基于不同设计哲学的互补工具。RTX 4090凭借高算力与带宽，在8B以下小模型的推理、图像生成及微调速度上领先3-4倍，适合追求极致效率且具备硬件组装能力的用户。然而，其24GB显存限制了大模型运行能力。

DGX Spark以128GB内存为核心优势，虽原始速度较慢且成本较高（$3,999），但能本地运行120B级超大模型，且具备开箱即用的便利性。对于需处理大规模数据标注、过夜长周期训练或受限于显存无法加载大模型的场景，DGX Spark提供了唯一可行的本地解决方案。最佳实践是将两者结合：利用Spark进行大模型推理标注，再用RTX 4090快速微调小模型部署。