大家好，欢迎收看本期节目。今天我们要看看能让我们的 Mac Studio 这台大家伙在 AI 推理方面快多少倍，这要归功于一种叫做“批处理”的技术。
同时有很多个我在运行中。（音乐）我们将使用 Quinn 3 的 235B 版本来测试这一点。选择 Quinn 3 的原因有两个：第一，我妻子非常喜欢它。我一直想让她转到 DeepSeek，但她总是说：“不，不，我就喜欢 Quinn 3。”第二是 YouTube 上那位很酷的大神 Alex。他搞了两张 RTX 6000 显卡，用 Ollama 运行了 Quinn 3。
看看那个数据：235B 模型，他达到了每秒 68 个 token。所以我们要把这个速度与我们的 Mac Studio 进行对比，看看能快多少。让我们直接开始吧。我使用的是 Inferencer v1.8，你们很快就会明白为什么选它。我们先加载和他一样的频道提示词：他写的是“Write a story”（写个故事），现在正在加载。
1、2、3……大约 10、11，大概 12 秒左右。这其实很不错，因为看他的版本，他花了 18.75 秒。所以，砰！按我数手指头算的，是 12 秒。我不确定这有多准确，但在加载速度上我们赢了。不过每秒 token 数方面，Mac Studio Max 目前只有大约 24 tokens/s。为什么不能更快？希望 M5 芯片能带来提升吧。
但我发现我犯了一个错误：我之前加载的是 Quinn 3 的 Q6 版本。我要停掉它，切换到 Q4 版本，因为那是 Alex 运行的量化等级（6-bit vs 4-bit）。这次应该会更快。让我们再跑一次，数一下：1、2……10、11、12。是的，连续两次都更快了。嘿 RTX 6000，加载速度没那么快吧？反正你也没用到这个功能。
现在我们的速度是每秒 31 tokens，但这还不是我们要测试的重点——我们想测的是批处理（Batching）。哦等等，速度其实掉到 30.x tokens/s 了。我在生成约 600 tokens 后停止，进入聊天设置启用批处理功能。让我们看看开启后会怎样？是变快还是变慢？跑完我就告诉你答案。
现在运行中……看！我们达到了接近每秒 32 tokens，比之前快了约半个 token/s。但这离 RTX 6000 的每秒 68 tokens 还差得远。然而，这才是批处理的关键所在：它不是加速单个 token 的生成，而是将多个请求分组并行推理。
要实现批处理效果，你必须同时运行多个提示词！Boom shaka laka~ 我把窗口缩小一下。看，我准备好了六个待命窗口！我们将同时运行多个推理任务，看看能否追上那每秒 68 tokens。
第一个“写个故事”开始生成 token……加入第二个窗口后，每个降到 23 tokens/s。两个并行就是每秒 46 tokens！加上第三个窗口，平均每个降到 18 tokens/s，总计约每秒 54 tokens。再放第四个窗口进来……每个降到 14-15 tokens/s，我取整算作 15。四个窗口 × 15 = 每秒 60 tokens！
我们从单窗口的 31-32 tokens/s，通过批处理直接跃升到合计每秒 60 tokens！现在我要加第五个窗口。等这个完成后，我会再跑六个试试。如果开太多会耗尽内存（上下文窗口变得巨大），但我们没这个问题——因为我用的是 512GB 统一内存版的 Studio！
Alex，你在你的 Pro 6000（每张仅 96GB）上能做到这点吗？做不到吧！512GB 啊兄弟。虽然用得越多内存消耗越大，强行塞太多会变慢，但好处是你可以继续并行推理。我经常收到大企业邮件说他们想让多个客户端同时在服务器上推理却遇到瓶颈，现在这个方案正好解决他们的痛点。
让我们再跑一次完整测试：之前四个窗口是最佳平衡点（15×4=60 tokens/s）。现在我们要挑战极限——同时跑全部六个窗口，看能否突破 68！我手动逐个点击播放（不用 AI agent，老派鼠标操作）。Boom! Boom! 正式达成六个并行推理！
当前每个窗口约 11-12 tokens/s。根据我的数学计算：12×6=72 tokens/s！官方确认……好吧可能是 11.5-11.75，有点紧张得手心冒汗。但我们正式击败了双 RTX 6000！仅用一台 Mac Studio 就做到了。
想象一下如果横向分布式计算支持两台这样的机器，速度还能提升多少？非常有趣的时刻！这只是 Inferencer v1.8 即将推出的批处理支持功能的预览。如果有特定模型想测试，请告诉我。Quinn 3 表现真的很棒。（开玩笑的）
让我们看看所有 token 生成完毕后的结果。这种场景的好处是所有生成的内容都是独特的：这里有“禁忌之塔”、“低语森林”、“炼金术士学徒的勇气试炼”、“第五把钥匙”和“迷雾守护者”。如果你想头脑风暴创意，有个很酷的功能我想加入：有时我问 LLM 一个问题得到奇怪答案时……
我会同时启动两个相同提示词，一个强制回答“是”，另一个强制回答“否”。例如问：“智能指针能否被引用复制？”一个窗口会说“是，可以”，另一个先说“否”但随后自我纠正。当你强制它选择立场时……
要么加倍确认，说“是的，你可以做到”，或者回答“不”；如果你直接否定它，它就会跟着说：“不行，你做不到。”但如果你只是正常地提问，它的回答有时就会摇摆不定。这些正是我打算在这里整合进去的功能。类似提示词编程的技术即将很快上线。
好的，但如果你用的不是 Qwen 3 呢？假设你用的是 GPT OSS。这套方法在其他模型上也能用吗？
我来试着让它写一个很长的 Python 函数，然后又说：“再给我写个 C++ 函数。”C++、C++。目前它的速度大约是每秒 75 个 token，这是 GPT 的 120B 版本。哦，它说“boom”，立刻就开始在这里运行了。
我们现在的速度大约是每秒 70 个 token，那是每秒 60 个。这比之前的速度几乎快了一倍，单独一个实例就能达到每秒 70 个 token。GPT 甚至还没有针对这个进行优化，未来只会变得更快。
总之，希望各位觉得这期视频有用并看得开心。哦天哪，有那么多“我”同时在运行！哇！
有这么多“我”在[音乐]同时跑。天哪，太震撼了。