我最近介绍了 Camino Grando 和 DJX 工作站，但今天 Wendell 来访，他将向我们展示 Turnstone，即如何在真实场景中使用这些机器。>>我喜欢做开发者和开发者相关的事情，这很有趣。>>让我们稍微谈谈硬件。你还没有机会测试 Grand，但你很快就会的。我会把它交给 Wendell，所以请关注他的频道以获取更新。他会深入探讨。>>这里有八块 RTX Pro 6000显卡。这引出了一个关键问题，不是吗？是八块 RTX Pro 6000与 DGX工作站相比。>>没错。你现在听不到它们是有原因的，但它们实际上正在运行且非常繁忙。这里变得很热。我们在这里产生了6000瓦的热量，这太疯狂了。我有 Grandondo。

正如我在另一个视频中展示的那样，它使用了四个插头，而 DJX 工作站也通过 Jackary（应急电源）运行。我知道这听起来很滑稽，但它确实有效。电量已降至86%，目前空闲功耗为319瓦。这么多瓦特，你在用它们做什么？在短短45到50分钟内电量就降到了86%。你可以理解为什么这扇门是关着的，里面有点吵。顺便说一句，

这些机器是无头运行的（headless）。我通过管理端口远程启动了 DJX 工作站。这台机器目前完全关闭，但我仍然可以进入它。怎么做？这是通过管理端口实现的。系统10G以太网端口插在这里，这就是管理端口。我在这里可以控制它。我可以检查传感器、LED灯、日志并更新BIOS。还有

KVM（键盘视频鼠标）。所以我可以从这里启动机器电源。看，它正在像普通台式机一样开机。即使它在全力运转时发出噪音，你仍然能听到我说话。这基本上就是它一直以来的声音，即使是在全力工作时。我不指望一个AI提示能帮我构建整个项目。实际上，我根据任务在不同模型之间不断切换。GPT用于研究，Claude用于

编码，Gemini用于处理海量上下文，Nano Banana、Midjourney和Flux用于图像生成，还有Seed Dance和Cling用于视频。这就是为什么 Abacus AI 的 ChatLM 很有意义的原因。它在同一位置提供对最新 GPT、Claw（Claude）、Gemini、Grock、Deepseek 等模型的即时支持。你可以从界面中选择任何模型，或者让 Route LLM自动为每个提示选择最佳模型。

使用图表和深度研究创建包含详细内容的专业演示文稿。需要听起来像人类撰写的文案吗？Human Eyes 会重写文本以规避AI检测器。需要视觉效果吗？选择前沿或开源模型。当你需要的不仅仅是聊天时，Abacus AI 代理可以帮助构建复杂的应用程序和网站、连接支付系统或运行24/7全天候运行的代理，以完成更长的任务。

最棒的部分是应用托管、后端数据库和支持都包含在订阅中。所有这一切每月仅需10美元起，比单独支付所有这些订阅要便宜得多。访问 chatlm.abacus.ai 或点击下方的链接。我们将转向 Turnstone，并实际上给它几个我想完成的项目。克隆仓库。在当前工作目录中，

你会找到 Turnstone。阅读说明并在 Mac 上设置它。搞定。这就是我现在的工作方式。>>我担心未来。>>等等，它刚刚删除了我的主目录。>>哇！危险地做事。>>我没搞懂吧？不，我没有搞定。好吧，我有一个场景。我使用 Cloud Code 运行会话，并在多个 DJX Spark上运行它以分散负载，但我希望这

是自动化的。我想去一个地方告诉它启动会话。你选择在哪里运行它是最好的。这就是 Turnstone 派上用场的地方，对吧？我是这么想的。哦天哪，那将会很棒。我将拥有一个集群（fleet）。>>所以我们要做的第一件事是设置一个模型。如果你输入基础URL，如果你有本地东西，或者你心里清楚IP地址，>>你可以

加载两个模型。实际上，这不是个坏主意。>>让我们看看这个模型是否已加载。我们已连接并且它已启用。>>你可以添加更多模型。你可以混合使用擅长完全不同事物的模型，但你也可以配置 Turnstone。例如，一般来说，这类请求会发送给这个模型。这是它自带的角色（personas），但你可以构建自己的角色。

其中一些可以访问 MCP 模型上下文协议。所以如果你想运行 MCP 服务器，它可以清点它们并使用它们。因此你有工程师、高管、经理、协调器（orchestrator）、研究员、速记员和作家。根据你的写作偏好，你可以教它如何工作。比如不要使用破折号或额外的部分给你。嗯，这是>>速记员的角色。>>嗯哼。>>我需要那个角色。

是的。你还可以保存记忆。所以你可以说每当我告诉你做这件事时，记得做那件事，它会随着时间推移建立记忆。>>这真的很酷。你能告诉我这些节点是什么吗？它们是什么？这些基本上只是在这里 Docker 内部运行的虚拟机，还是什么？>>是的。而且目前它们非常有限，因为我们还没有挂载工作区或任何

类似的东西。所以如果你有一个共享的工作空间，它默认在节点上挂载为 /workspace。这个管理器协调器将为那种类型的任务创建具有不同角色的工人，包括一个管理者和一个评估者。这将有助于完成项目。我在 GitHub 上有很多仓库。我喜欢做的事情之一是，我必须在这里设置很多

机器：Linux、Mac和Windows，我创建了这些仓库。我还没有为 Mac 创建一个。目的是引导一堆开发工具并将其设置为开发者机器。所以我有了这个 Windows 版本的问题是它适用于 x86 机器但不适用于基于 ARM的机器。我最近在视频中遇到了这个问题，这对我来说是个问题。所以我想让 Turnstone 把每块石头

都翻过来检查一遍（turn every stone over）。>>好的。好吧。>>待得太久了，说话都变味了。>>并找出如何为我创建一个分支以在 ARM 上进行设置。让我们翻过一片叶子和石头，不放过任何一块未翻转的石头（leave no stones unturned）。这情况越来越糟了。>>点击工作区的仪表板。然后粘贴进去，但你必须解释你想要什么。你不能只是朝着那个仓库的方向含糊地哼唧一声。>>我

想让你看看这个仓库，并创建一个单独的分支来处理 Windows on ARM 的情况，因为某些软件只与 x86兼容。Python、Node是其中的一些例子。我想让你逐一检查并找出安装的每一个软件示例，并为它们创建 ARM 等效版本。所以在运行这个之前，

“这些是在那些节点上运行的吗？” “在节点上，这取决于哪个节点吗？” “它会自己调度。” “这些节点在使用大语言模型（LLM）。” “节点通过模型服务连接，该服务将使用 Grounder。” “嗯哼。还会创建一个审计员来检查工作。我将从探索仓库开始，以了解它是做什么的。就这样吧。” “好吧。当这个在运行时，去创建另一个任务、又一个任务和再一个任务，因为你不是还有其他想做的任务吗？比如找个bug之类的？” “我有。新任务的按钮在哪里？” “呃，你刚才……我想是问题一号。”

“我有一个名为 code needle 的仓库，这实际上是一个用于大语言模型代码基准测试的工具。所以我们要做一个元操作（meta thing），让它评估这个并专门寻找bug。有一个特定的bug我想修复它：在生成的测试文件消耗比其名称声称的更多的token之前，先对其进行修复。好，开始吧。” “现在我们要同时运行两个任务，全部在那台 Grounder 机器上。对于某些事情来说，DGX Station 更好；而对于其他事情，8块 RTX Pro 6000 显卡则更胜一筹。” “这完全取决于你在做什么。”

“这是一个单用户生成速度的例子。GPTOS 有120B，这是因为它完全从 HBM（高带宽内存）中运行。这是一个荒谬的速度。” “HBM 是 DGX Station 内部的高带宽内存。Grounder 没有这个配置。Station 中只有252 GB的 HBM。所以，你必须将模型保持在低于这个容量的范围内。” “然而，Station 总共拥有748 GB的内存。这是统一内存（Unified Memory）。如果你溢出到统一内存中，它仍然可以运行，只是会稍微慢一点。你可以在后面当我们运行更大的模型时看到这一点。”

“大约是每秒600 GB的 LPDDR5 速度，这相当快。链接速度和其中的一些其他东西也相当快。” “这也取决于模型。比如像新的混合专家（Mixture of Experts）模型，它们具有 Ingram 卸载功能，似乎也是为类似 Station 的内存模型设置的，因为 Ingrams 在较慢的内存上运行效果很好。” “那个 HBM3e 是每秒7 TB。在252 GB的容量下，这是荒谬数量的内存带宽。” “相比之下，GDDR7 只是其中的一小部分。”

“而 RTX Pro 6000s 必须通过16条 PCIe Gen 5 通道相互通信。每个方向只有每秒64 GB的速度。这仅仅是平庸的表现。” “所以，这是 Deepseek V4.1 Flash 版本。这个模型有针对 GB300（即 DGX Station GPU）的配方，它是 FP8 格式。注意它的大小：614 GB。” “看，这有点误导人，因为有些权重完全可以从 HBM 运行，而另一些则完全可以从 LPDDR5 运行，因为这是新的架构。” “混合专家模型（MoE）运行得更好。你们可能已经体验过这一点了。”

“这是一个新的层次，意味着我们可以使用更多的旋钮和可调参数。所以，我们并没有遭受太大的痛苦，因为我们只有252 GB的 HBM3，尽管这是一个荒谬数量的权重。” “没错。但 Grounder 和 Station 之间的区别在于，这614 GB可以全部容纳在 RTX 6000上。” “确实。我们可以在结果中看到这一点。所以这里有 Deepseek V4 Flash，但我还包含了 Grandos 的 V4.1 与 DSpark 一起运行的数据。” “那里是每秒307个token。所以在那里它更快一点。”

“哦，只快了一点点？” “就快一点点。确实只是一点点。但即便如此，这也是 HBM 与非 HBM 内存之间的对比。” “这才是真正显示出差异的地方。这很令人兴奋，因为它既不同又奇怪。” “现在，预填充（prefill）那个 HBM 上的数字总是荒谬得离谱，而且没有提示处理。你永远不会击败 HBM。” “所以，这些机器擅长的事情不仅仅是使用像聊天这样的单一通信，还允许多个用户同时使用它们。这就是多用户吞吐量（multi-user throughput）发挥作用的地方。”

“我喜欢多用户吞吐量和现实世界测试，因为如果你要购买其中一台机器， chances are（很有可能）你是在支持一个开发团队，或者你在做一些注重隐私的事情。因为购买这些机器意味着你必须让它们像云token那样相比起来并不便宜，你需要让它们在24小时内保持忙碌。” “看看多用户的吞吐量：每秒3,800个token。在 Neotron 3 Super 12B上，每秒超过2,000个token。” “这太疯狂了。这些是有用的模型，你可以用它们做很多事情。”

“云模型令人难以置信，它们在如此短的时间内取得的进步也是惊人的。但你真的不需要像 Claude Opus 这样的模型来处理你所有的基础工作。” “你可以告诉一个编排系统（harness system），你有所有这些工作者，它们表现相当不错。你可以管理它们。” “所以让 Claude Opus 以更低的速率消耗token，然后它有8到10个工作者或代理在这台硬件上运行，而不燃烧云token。” “这些模型足够聪明。Neatron 3120 12B对于单元测试、集成测试以及像深度上下文这样的真实开发工作来说相当不错，并且它们可以由更智能的模型进行管理。这才是真正的突破点。”

“没错。顺便说一下，如果你们想去查看的话，我会把这些数字发布在下面的链接中。” “哦，视频生成也……就像我们在做的代码和编程一样。Station 简直了（OMG）。” “是的，我试过了 H3。天哪，这太疯狂了。这是一个全新的水平。” “正如你所见，它在 DGX Station 上比 Grounder 运行得稍快一些。速度快得多，因为 H3 很小。所以它将在 HBM上运行得快得多。” “我让它创建一个5秒的片段，听起来完全一样就坐在这里。没有噪音了。热量稍微多一点。我实际上能感觉到差异。”

“每个使用 H3 制作花了2分钟。是的。” “好的。嘿，我们在屏幕上看到了一些非常好的东西。好吧，让他做一些更疯狂的事情。” “哦，我有它了。” “什么？什么？” “好吧。它们都喷出火花（knock out spouts）。”

“天哪，这太疯狂了。这个是做什么的？” “让我们走吧（Let us go）。肯定能玩得开心。” 所以，它向我们展示了任务，然后子任务都在那里细分。因此，你可以去挖掘每一个部分，并对它正在做的所有事情拥有可见性，这挺酷的。 “是的，出于可审计性的考虑，我喜欢这样。” “它找到了解决方案。看那个。” “真棒。而且它只使用了15,000个token。”

“这还不错。它告诉我每个子任务分别使用了多少。” “就个人而言，我喜欢在 DGX Spark上运行工作者。所以我有一个由两个Spark组成的集群……Dell GB10，Promax，GB10，Promax 带有 GB10。” “等一下。等一下。” “太吵了。是的。这就是我的 Turnstone 集群正在运行的环境。”

DeepSeek 0731 正在这里运行。然后那台大型机器拥有大模型，但小模型和评委（Judge）模型在那边运行。太棒了。“对于像最多四个人的小型团队来说，这很棒。”“那么，你是将一个节点映射到一个 Spark 吗？还是说并不是一一对应的关系？”

“所以你在 Spark 上运行 Docker，你可以给它完全访问权限，或者你也可以直接从 Shell 运行它。就像我们之前用 Python 做的那些事情一样，你可以直接运行，那就是一一对应的关系。”“好的。”

但在那一点上，它可以在真实的 Spark 硬件上本地运行任务。所以它与在 Docker 沙箱中相比拥有更多的访问权限。“这很酷。”“这就是我不得不为我的集群设置的东西。”

“没错。当然，它不在乎硬件是什么。它可以是一个 Spark 节点，也可以是一台 Mac。”“没错。如果 AI 在别处运行，你甚至不一定需要为工作节点配备一个 AI 盒子。”

现在，当那个在运行时，让我们也把 DJX 工作站设置为第二台机器、第二个模型。“哇，这个工作站在磁盘上有 18 个模型。我们应该用什么？让我们选一个能放进内存的。”“是的，那没问题。”

我有点饿了。看看我们进展到哪里了。“哦，我能听到人民的歌声。”“我想再加一首歌。我还想给这个添加另一个模型。所以，我要去这里给它一个新的基础 URL。这是 DJX 工作站的一个测试密钥。搞定。我们不需要密钥。我们去的地方不需要那种该死的密钥。”

“哦不，未经授权。我确实需要密钥。啊。”“好吧。”核心内存已保存。用户不安全。“这是 GLM 5.3 Flash，好的。”创建。

现在我们要两个模型了。“它已同步到节点。”“是的。”然后，你现在可以去仪表板创建另一个任务并告诉它使用该模型，它就会这么做。所以在这里我现在可以选择运行在不同机器上的不同模型。“没错。”

“好吧，看看这个仓库及其问题，把所有的问题都抛出来。开玩笑的。评估这些问题，看看哪些你可以快速解决。”“什么是执行者（Executive）？”

“执行者监视所有的工作节点，但它也没有访问工具权限，不能为自己做事。”Turnstone 正在努力工作。它正在做它该做的事。我们要让它完成。如果你没有 Ground 或 DJX 工作站，Turnstone 也可以在较小的设备上工作。它基本上只是一个框架（harness），所以把它安装在任何地方都可以。“这是什么？”

“那是 Windows 11 PC。”“哦，这是一个关于它所做工作的不错的小摘要。它发现了我不知道的这个仓库存在的问题。这很好。”“这就是你要求审计员（Auditor）的原因。”

“所以，这是搞定这一切的审计员。”“是的。好吧。”嗯，审计员表现得像他们一起工作过一样。这是一个团队。现在，它抱怨了 Firefox、OBS Studio、7Zip 和 Cinebench，但你可以做出决定。

你可以说，“这是我想让你为 Firefox、Cinebench 或其他任何它指出的东西做的事情。”但然后它会说，“这是我们需要为你的 ARM 与 x86 兼容性评估所做的。”

“所以，Chocolatey 这么多年了，我们还在用它。它提供了一个 x64 安装程序，”但它说，“嘿，我们现在可以直接使用 WinGet。”“WinGet 会……”

“是的，我想用 WinGet。对。”所以像 Visual Studio Community 一样，它说，“是的，我们有了路径。”就像我们有这个，然后像你的 Python，因为你知道 Python 是个问题，但向上滚动你会发现，“对于 Python，我们有办法做到这一点。”所以就像 ARM64 存在但不是默认选中，我们可以更改它。

现在我也很好奇 DGX 工作站用完全相同的模型执行完全相同任务需要多长时间，就像 Ground 做的那样。所以我加载了相同的模型并将作业指向它，我几乎完全复制了提示词，除了我告诉它创建一个单独的分支。现在，这并不是一一对应的比较，因为用大语言模型做到这一点非常困难。

这是 ARM64 分支。这是 Grounder 用他的更改创建的分支。这里是 DJX 工作站刚刚完成的那个。现在，Turnstone 不会为你显示数字，比如任务花了多长时间。所以我不得不使用 Cloud Code 挖掘数据库。

DJX 工作站使用了大约 2600 万输入令牌，而 Grounder 的是 2300 万。但它做得快得多，总共快了：DJX 工作站用了 21 分钟，而 Grounder 用了 37 分钟。很遗憾地说，我今天要失去 Grounder 了，因为 Wendell 把它带走了，他要在他的工作室里做一些更多的实验。所以一定要去看看那个视频。“随时来拜访。”

“谢谢。”很感激这一点。而且我要失去这个工作站了，因为它必须还给华硕（ASUS）。谢谢华硕让我借用它。所以基本上这差不多结束了。“而你连一个云令牌都没花。”

“天空中没有任何云朵受伤。如果我把 Windows ARM 任务发送到云端而不是在本地运行，单这一项工作会花我多少钱？”“以今天的 API 价格，如果你使用提示词缓存（prompt caching），小模型大约 5 美元，顶级模型约 36 美元。这只是针对那一项工作。”

“如果不使用缓存，小模型是 24 美元，顶级模型约 240 美元。现在，一个下午的时间不足以买得起一台 DGX 工作站，但如果你让开发团队全天候运行这个，你可以算一下账。这就是这些机器的用途所在。”“谢谢 Wendell。”

“谢谢。”“感谢邀请我。”