测试背景与基准设定
本期视频的核心目标是验证Mac Studio在AI推理任务中，通过启用批处理（Batching）技术能提升多大的性能。博主选择使用Qwen 3的235B版本作为测试模型，这一选择主要基于两个原因：首先，博主的妻子非常喜欢该模型的输出质量；其次，YouTube创作者Alex此前使用两张RTX 6000显卡运行Ollama和Qwen 3，并实现了每秒68个token（tokens per second）的生成速度。博主旨在通过对比，探究Mac Studio能否在单台设备上超越这一基准。
"So, we're going to be comparing that speed with our Mac Studio to find out how much faster it can be."
初始加载与单线程性能对比
测试首先从模型加载时间开始。博主手动计时发现，Mac Studio加载Qwen 3 Q6版本耗时约12秒，而Alex在RTX 6000上的加载时间为18.75秒。尽管Mac Studio在加载速度上占优，但在单线程推理方面，Q6版本仅达到每秒24个token。博主随后意识到自己加载了错误的量化版本，遂切换至Alex使用的Q4版本。重新测试后，Mac Studio的单线程速度提升至每秒31个token（随后稳定在30左右）。虽然这一数字仍远低于RTX 6000的每秒68个token，但博主指出这并非批处理测试的重点。
"So, we're getting 31 tokens a second... But that's not the feature we want to test out."
批处理机制与多窗口并发测试
博主解释了批处理的原理：它并非加速单个token的生成，而是将多个请求分组同时推理。为了测试这一机制，博主在Inferencer软件中启用了批处理功能，并打开了多个聊天窗口同时发送“写一个故事”的提示词。随着并发请求的增加，单个窗口的生成速度下降，但总吞吐量显著上升：
| 并发窗口数 | 单窗口速度 (tokens/s) | 总吞吐量估算 (tokens/s) |
|---|---|---|
| 1个窗口 | ~30-32 | ~30-32 |
| 2个窗口 | 23 | 46 |
| 3个窗口 | 18 | 54 |
| 4个窗口 | ~15 | 60 |
数据显示，从单窗口的32 tokens/s提升至4个窗口时的60 tokens/s总吞吐量。博主指出，虽然单任务速度减半，但整体处理能力翻倍。
"So with batching, what you have to do is you have to run multiple prompts at the same time."
六路并发突破RTX 6000基准
为了挑战Alex的每秒68个token记录，博主决定同时运行六个推理窗口。由于Mac Studio配备了512GB统一内存（相比RTX 6000的单卡96GB），博主无需担心上下文窗口过大导致的内存溢出问题。在六路并发下，每个窗口的速度降至11.5至12 tokens/s。根据计算（约11.75 × 6），总吞吐量达到每秒72个token。这一结果正式超越了双RTX 6000的基准。博主强调，这仅是一台Mac Studio的表现；若未来实现水平分布式计算（使用两台设备），速度还将进一步提升。
"So officially, okay... we officially beat the RTX 6000, two of them."
其他模型兼容性与未来功能展望
博主进一步测试了该批处理机制在其他模型上的表现。使用GPT OSS 120B版本时，单窗口速度约为75 tokens/s。当同时运行两个请求（一个Python函数，一个C++函数）时，单窗口速度降至约30-40 tokens/s，但总吞吐量提升至每秒60个token以上。博主指出GPT OSS尚未针对此场景优化，未来性能潜力更大。此外，博主展示了批处理在“提示词编程”中的应用：通过同时强制模型回答“Yes”和“No”，可以观察模型的自我修正逻辑，从而解决大语言模型在是非题上摇摆不定的问题。这一功能预计将集成到Inferencer 1.8版本中。
"So, we go around 70 tokens a second... That's almost twice as fast as it was going."
结论
本视频证明了Mac Studio通过批处理技术，在AI推理的总吞吐量上可以超越双RTX 6000显卡。具体而言，在运行Qwen 3 235B模型时，单台Mac Studio通过六路并发实现了约72 tokens/s的总速度，超过了RTX 6000组合的68 tokens/s。这一优势主要归功于Mac Studio的大容量统一内存（512GB），使其能容纳更多并发上下文而不受显存限制。虽然单任务延迟（Latency）高于专用GPU，但在高并发、多客户端场景下，Mac Studio展现了极高的性价比和扩展潜力。