这是一个2.8万亿参数的模型，抱歉口误了。它看起来将会是很长一段时间内最大的模型之一。Kimmy K3在磁盘上占用1.56TB的空间。它无法放入单个Mac Studio中，即使是Q4或Q2版本也不行。这就是我在谈论量化时的意思：将模型从其原始权重中缩小。因此，我将四台Mac Studio连接在一起，每台配备512GB内存，总计拥有2TB的统一内存。

2TB减去1.56TB，是的，我们没问题了。我想看看它能否击败新的Abacus AI超级计算机。我将让Kimmy K3构建一个Web应用，即前端Web应用，同时也会让超级计算机做同样的事情。这是本地硬件与云端对决的死亡匹配，第二轮比赛开始吧。

上次我这样做时，是一台512GB的Mac Studio对抗Abacus深度代理。很多观众在评论中说：“Alex，那不是真正的本地设置。”有道理。所以这次我带来了四台Mac Studio，是的，它现在正在运行中，图表显示所有四台连接的Mac Studio都通过RDMA连接。

Mac Studio 1使用了208GB，Mac Studio 2几乎用了近200GB，Mac 3使用了177GB，而Mac 4使用了215GB。作为参考，Kimmy K2拥有万亿参数，那已经感觉相当荒谬了。而Kimmy K3的参数几乎是它的三倍。你拥有的参数越多，模型实际上能做的事情就越多。它更聪明了。这就是整个权衡之道。拥有10亿参数的模型只会给你一堆乱码。

不，那是……即使原始8位精度下占用1.56TB，我仍然运行着更小的量化版本，但它是未剪枝的。我正在运行全部896个专家模块。这总共在磁盘上占据了817GB的权重空间。现在，你可能会想：“哦，每个都是512GB，你可以把它放在两个上面，对吧？”嗯，并不完全如此。

因为我要给它大量的上下文信息，你需要更多的空间。你可能会说：“那为什么不用三个呢？”这是因为张量并行性将模型维度分布在各个节点上。而这些维度必须均匀分配。所以，要么是一、二、四或八台机器。Kimik4可能明年才会出现吧？

这四台机器通过背后的Thunderbolt 5网状结构连接。总共六根电缆，将每台机器连接到其他所有机器上。我制作了一个完整的视频来描述我是如何做到这一点的，以及如何通过MLX分布式运行它。你可以去看看，我会在下面链接出来。好了，让我们看看你的漂亮面孔吧。

现在来见另一位竞争者。这是Abacus AI，他们有一个新工具叫做Supercomputer。你可能已经看到过他们在过去赞助了我的一些内容，这次他们也赞助了这个视频。但是，我总是在业余时间回来使用它，因为它本质上给了我一个登录入口，可以在第一天就能使用和访问所有前沿模型。这里有超过100个模型，而Route LLM基本上会根据你的上下文将你路由到正确的一个。

所以这里有GPT 5.6 Soul，这在这个视频发布时相当新。还有Llama 2 5、Cloud Fable 5和Grok 4.5。你知道的，他们还有图像生成等功能。他们也在这里提供了Kimik3、DeepSeek V4 Flash和Pro GLM 5.2。开源模型，闭源模型，应有尽有。这挺酷的，因为你不会被锁定在单一生态系统中。

Supercomputer的不同之处在于它实际上是一台机器、一台虚拟机，而不仅仅是一个聊天窗口。它是一个始终在线的云盒子，并且恰好集成在他们的代理程序中。你不需要等待冷启动，也不需要等待自举过程。你永远看不到容器配置的过程，因为它始终在线。

它支持计划任务、数据库、存储、GitHub集成和SSH。此外，他们现在有了Hermes代理程序。所以这里我有Hermes在运行，我可以将模型更改为我想要的任何模型。所以我选择了Kimik3。我可以选择其他任何我想直接对话的模型，比如GPT 5 Luna。打个招呼吧，Luna。

所以你有Hermes，你不需要在本地安装它。它就在那里始终在线并运行着。我稍后会谈谈定价问题。所以这场战斗相当简单：双方将获得相同的提示词，我已经将提示词作为一个gist文件提供。你可以去看看，我会在下面链接出来。这是一个相当广泛且长的提示词，但它是专门针对硅计算交易所的前端开发的。

我要确保我们使用TypeScript以及最新最棒的前端技术。我们要使用的是模拟数据，而不是真实数据，但这以后可以轻松替换掉。深色模式、微交互、无障碍访问，最终我们应该拥有一个看起来相当不错的网站，希望如此。它将包含一些单元测试，并且需要检查自己的工作成果。所以这是它的代理部分。

它将会运行所有这些命令来验证和确认其工作是否正常。好了，让我们开始吧。复制原始内容。我将前往Supercomputer并将此粘贴到代理程序中。现在这里设置为自动模式，但你知道吗？我选择使用Opus 5高配和GPT 5.6 Soul。哦，是的，你也可以在右侧访问完整的虚拟机文件、直接终端访问以及桌面访问权限。

现在我不想给它任何优势，所以我也要在我本地的Mac Studio集群中启动这个任务。我本地设置的方式是使用Open Code，这是一个非常流行的本地代理程序，但你可以将其指向任何你想要的本地模型。我已经将它指向了运行Kimiko 3的四台Mac Studio集群。实际上，我为频道的会员制作了一个单独的视频来讲解如何设置这个环境。顺便说一句，感谢各位会员对频道的支持。

让我们粘贴那个提示词，砰！好了。它正在做事，希望如此。我怎么知道呢？这里有四台机器，GPU使用率在所有这四台机器上都达到了100%。我能听到声音吗？不，我听不到。能感觉到热度吗？它是热的。如果我把耳朵贴近它，我会听到里面有一种“小星星”般的细微声音。也许风扇稍后会加速运转，但它确实在工作。

我们有什么构建好的东西吗？还没有，它在思考中。我的输出在哪里呢？好了，它正在做这件事了。我要启动另一个任务了。砰！我现在就为你构建这个。这基本上会做同样的事情。它正在构建中。让我们在右侧打开它以查看发生了什么。顺便说一下，这是我第一次实际运行该提示词。我不知道会发生什么。希望它能成功。

它说如果你连接你的GitHub，我可以直接与你的仓库一起工作。这挺酷的：克隆、推送、提交和拉取请求。要我帮你设置这个吗？好的，就这样吧。现在Abacus AI代理程序接管了工作，我们之前已经见过它的工作效果，但现在该代理程序已很好地集成到了系统中。

超级计算机概念，始终在线并部署到该虚拟机中。构建一个生产就绪的 Next.js Web 应用。与我在频道上利用 Nvidia DGX Spark 进行的某些其他构建相比，推理过程中的预填充或提示处理阶段是 Mac 不如 Nvidia GPU擅长的地方。Mac 在处理完数据后生成内容非常出色，因为它们拥有极高的内存带宽。在使用 Kimiko 3 时我测得处理提示的速度约为每秒 238 个 token，这并不快。哦，我现在能听到声音了，还有工作要做。在这里使用 Kimiko 3 生成速度约为每秒 14.7 个 token。伙计们，这不会很快，但这是一个大模型。Abacus 那边发生了什么？

嗯，我们已经生成了一些 HTML。在它执行的同时，我们可以窥探一下内部情况看看发生了什么。所以我进入这里，这里是 Ubuntu。我们有技能库，这是一个通用的技能仓库，没有安装任何自定义技能。所以这里有 Silicon Exchange。让我们进去看看，那是我们的应用，Next.js 空间。是的，那里有脚本和 Tailwind 配置、TypeScript 配置、Next.js 配置。我想知道那个风格指南里有什么，我不确定这是根据我的提示刚刚生成的还是针对 Next.js 项目的通用模板。有人知道吗？

[喷鼻息声] >> “先生，请给我一个 token。”现在，没人会相信 Kimmy 真的有效。我发誓，我没试这个提示，但我试过用它并且效果很好。也许这个提示太难了。现在让我们看看每秒 14 个 token 的数据。我们可以使用 Abacus AI Desktop，这是他们的桌面伴侣应用。它拥有聊天、协作和代码功能。这基本上就像一个本地代理，他们也有命令行界面（CLI），但这里有一个图形界面，有点像 Codex。区别在于你可以从这里下拉菜单中选择你想要的模型。Fable 5、Opus 5、GPT 5.6、Soul、Terra、Luna、Grok 都在那里，Kimmy K3 也在。所以让我们看看这里能得到什么。

当然我在这里使用代码功能，所以我需要选择一个工作区。“为我写一个简单的 JavaScript Node 应用程序来加两个数。”搞定。Kimmy K3。现在，这不是使用我的 Kimmy K3，而是使用 Abacus 使用的 Kimmy K3。但它正在编写一个本地应用程序。所以我们需要接受一些东西，允许它。让我们绕过一下，然后它就开始了。现在那相当快，我想已经完成了。你可以在这里访问 VS Code 扩展和浏览器扩展。所以这个桌面应用增加了很多额外的功能。让我们看看，Node，加 5 和 4，9。对吗？我想是吧。

我们这里的 Kimmy 怎么样了？哦，还没有 token。嗯，已经过了一段时间了，所以我不得不检查一下发生了什么，它根本没有打印出任何 token。所以我要回去看看是否还能从里面得到任何东西。我就说声“嗨”。看起来它在工作，GPU 占用率为 100%，是的。“嗨，今天我能帮你什么？”它起作用了。也许我只是对如此大的提示不够耐心。让我们这样做，“创建一个带有文本框和按钮的简单 Web 应用。”看，它刚刚为我打印出了 index.html。只花了大约 3 分钟生成了 147 行代码，这是一个非常漂亮的 Web 应用。哇。测试、提交，它起作用了。还在打印输出中，还没完成呢。“我为你创建了一个简单的 Web 应用。”它正在做解释。谢谢。谢谢你，Kimmy。我是说，你做得太棒了。我只希望它更快一点。

好吧，在那之后，我不能就这样置之不理，不能让你悬而未决。所以我停止录制，喝了杯咖啡，回去再次给 Kimmy K3 完整的提示。但这次我没有坐在那里看着它，因为你知道的，盯着某事看就像在看草生长。你觉得什么都没发生，但其实有事情在发生。我不得不走开再喝杯咖啡。猜猜 4 小时后发生了什么？我们有了一个完整的 Web 应用，就在这里。看起来相当不错。这是 Kimmy 在这些机器上完成的。这里有浏览功能。我们有实时过滤、重置所有过滤器、检查、比较。我们还有图表和调度功能。这是一个漂亮的界面，支持浅色模式和深色模式。抱歉刚才那样。你觉得怎么样？我觉得它在这里做得非常出色。

那么问题来了，你可以在本地做到这一点吗？答案是肯定的，你可以。让我们看看 Abacus 带来了什么。看起来它实际上已经完成了。所以让我们在虚拟机里打开这个，仍然在看 exchange，然后那个叫什么？Next.js 应用。我们要运行 npm run dev。好的，它构建并在这个 URL 上启动了。让我们看看那个。“哦。”哇。不能太兴奋，因为这是赞助视频。天哪。>> [笑声] >> 我是说这真的很酷，非常酷。这是一个漂亮的 Web 应用，设计相当不错。仪表盘很漂亮，左边有过滤器进行带动画的实时过滤。这是从一个提示中生成的。我是说这没有连接到后端，但要扩展它并不难。“你的预订、比较面板、浏览库存”回到那个页面。等等，这里这个做什么？让我们试试 Apple M3 Ultra 可用。“简单 Web 应用。”看，我确信这个模型具备这种能力，只要有合适的硬件。我有能力运行它，只是不太快而已。

我喜欢编码，我使用代理的方式是制作这些一次性工具供我自己使用。最近我的 GitHub 上有很多不同的工具，都是我在代理的帮助下实现的。这些是我想要快速完成并投入使用的东西。对于这类工作，Abacus 超级计算机是完美的选择。同样的提示，同样的应用，两者都完成了它。15 分钟对比 4 小时。现在每台 Mac Studio 大约 16,000 美元，但现在我想它们已经不再出售了，所以价格更高。我不知道新的要多少钱，但你明白了。这是昂贵的硬件。你一次性购买它，然后它就属于你了，你可以随意使用它。Abacus 每月起步价仅为 10 美元。实际上现在第一个月只要 7 美元。你可以运行这个订阅超过 300 年才会花费那么多钱。

你可以使用他们的 Web UI，可以使用我向你展示的桌面应用程序，也可以使用他们的 API。你也不会被锁定在一个价格上，因为有自定义路由器让你将简单的工作推送到更便宜的模型上，并将昂贵的模型留给更难的任务。所以底线是，这通常不是赞助商想听到的话：是的，你可以在本地完成所有这些事情，这是非常了不起的。这在一年前是不可能的。但是如果你想要高质量、快速完成并且能够一次性托管所有内容，Abacus 的云解决方案……

这一局算是赢了。如果你的数据不能离开大楼，或者你像我一样喜欢自己运行这些软件，那么本地集群方案肯定有它的市场。这并不是非此即彼的选择，两者都有各自的价值所在。如果你想看我如何搭建和配置那个集群，以及我运行它的所有细节，请观看这里的相关视频。另外，当你比较Mac Studio与Abacus AI的表现时，也可以看看那期视频。顺便提一下，那个网站目前仍然在线运行。

[音乐] 感谢观看，我们下次再见。

[音乐]