大家好，欢迎收看本期节目。今天我们要运行的是 DeepSeek V4 Pro 和 Flash 的两位量化版本。之所以这么做，是因为 DeepSeek V4 Pro 拥有 1.6 万亿参数，很快就要迈向千万亿级别了。这对我的系统来说负担太重了。所以我们将使用分布式计算，让两者一起运行，看看能否通过内存池化来支持 Pro 版本的两位量化。
我们也有 Flash 的两位量化版本，因为想让它能装入 128GB 内存系统的预算内。其实我已经查看过了，测试也已经开始了。这边推理服务已经启动，正通过分布式计算连接我的两台 Mac 电脑。它们正在协同工作，速度大约是每秒13个token，我们正在尝试制作一个俄罗斯方块游戏。
注意，这不是 HTML 的贪吃蛇游戏。现在正在实时运行 Q2.8 实验版构建，我们要看看输出是否连贯。之后我们会与它对话，并进行一些实时测试。在此之前，我在 Mac Studio 上已经尝试运行过 Flash 的 Q2.8 实验版构建，并成功让它创建了一个 HTML 贪吃蛇游戏。
如你所见，那用掉了95GB内存。所以我们应该还有20多GB的可用内存来容纳上下文窗口，这里用了2000个token，全部装下了。所以我们都挺满意的。让我们看看它能否运行 Q2.8 量化版本。看，屏幕上出现了一个贪吃蛇游戏。
Boom shakalaka！我们成功了，它正在运行。这太棒了，因为如果我问更复杂的问题，我预期会出现错误。你知道的，当你量化压缩模型时，会失去连贯性和质量等好东西。我尽力保持连贯性了。至少它有响应，而且最难让它跑起来的是代码。如果你能输出可运行的代码，那就是个好迹象，说明你找对方向了。
我把测试难度提高了一点。这是 Flash 版本，它打印出了5000个token来制作俄罗斯方块游戏，速度是每秒24.5到25个token。它用掉了95.6GB内存，所以我们在128GB预算内绰绰有余。它能运行吗？5000个token，事情可能会出错。我可以展示一下出错时是什么样子。
例如，这里是我运行 Mimo V2.5 Pro 的情况，我只给了它三位量化。如你所见，它开始打印代码，然后有点混乱，反复说这边的内容。这里也有点乱，不断重复“background”。还有这边，开始说“complete single single”。这就是当你玩弄量化并走得太极端时会发生的事：它彻底搞砸了。
回到 Flash 版本，我们要按下播放键看它能运行吗？Boom！屏幕上有俄罗斯方块了。说实话，我在录制这个视频前就已经玩过这个游戏了。我打得很好，冲到了顶部然后失误输了。输的原因是你必须向下滚动才能看到下一个方块。现在我知道这一点后，我可能能赢下这局游戏。
它在 Q2.8 量化版本中能正常工作，这太令人惊叹了。我不是说这是你要用的模型。如果你拥有128GB内存，外面还有其他值得尝试的模型。但如你所见，它在运行。那么让我们看看能否让 Pro 版本输出代码？回到组合配置中，我们正在打印5000个token。
记住，我们在这里制作贪吃蛇游戏。我们用 Flash 制作的贪吃蛇有点基础，就像这样，只是一个基本的 DeepSeek 风格的东西。我不打算尝试云端版本，因为我可能会意识到云端版本很棒，因为它拥有所有可用的部分。但让我们跳回来看看。
我们现在正在做分布式计算。这是我的 Mac 在本地运行。我们可以看到，Mac Studio 这边用掉了456GB内存，而我的系统显示为491GB，因为我也在上传这些量化文件，这样你们自己也可以玩玩看。在我的 MacBook Pro 上，我几乎用掉了70GB内存。
所以我不得不关闭 Chrome 的几个标签页才能把它塞进去并适配。让我们看看，这个贪吃蛇游戏能工作吗？我不知道……哦不，它有点bug。总体来看是每秒12个token，在主 Mac 系统上我们用了456GB内存。从技术上讲，我们有一点带宽余量可以增加量化精度，让它更宽松一点，给我们更多操作空间。
但不幸的是，在生成代码方面我们可以看到贪吃蛇游戏没有运行时错误，只是在逻辑上搞砸了。如果你看代码本身，代码看起来不错。它有点击功能，有上下左右方向键。只是代码某处有个小bug导致它没工作。也许我还可以加个空格，比如输入“snake game”然后在这里加个空格，这可能引导它走不同的轨道。
或者我可以提高温度值之类的东西。我们会试试那个，把所有这些排队起来。但与此同时，我还想看看俄罗斯方块能不能做到。这是一个实时演示，我们可以看到它超过每秒12.5个token的速度在输出。代码看起来很全面。所以可能只是我们运气不好，那次没成功。
让我们看看那个会怎样。查看活动监视器这边，我的 MacBook Pro 仍然在70GB内存使用量上，而 Mac Studio 用掉了457GB内存。有趣的是，如果我们跳回 Flash 版本，Flash 版本不仅能生成可运行的贪吃蛇游戏，还生成了可运行的俄罗斯方块游戏。但下一个挑战是：它能制作3D版俄罗斯方块吗？
我们看这里，它生成了4600个token。所以它有潜力，代码看起来像代码，屏幕上似乎有东西在发生应该能工作。所以我们按下播放按钮看看它是否真的成功了，不幸的是我们得到一个黑屏。所以从编码角度来看，也许基本的编码提示它能处理。但如果你要做任何超级高级的东西，你需要更大的系统或比这个更聪明的量化方案。
这只是个实验性量化版本。我只是想看看你能否让它跑起来。所以让我们跳回去看看我们做得怎么样。
在分布式版本中，正如你所见，代码看起来对俄罗斯方块来说很不错。它确实表现出色。如果你们想跟着一起玩，或者想在家里尝试一下，我上传了三个针对这种情况的量化版本。
我有 Flash 模型的九位版，它能生成高质量的代码。正如你在上一个视频中看到的，我们让 Minecraft 在天空中漂浮起来。那确实很棒，我得承认它做得不错。我们还获得了 Pro 模型的 EXP，也就是 Prompt of Pro 的 2.8 位量化版。
这里我有一个重要的免责声明：由于压缩程度较高，整体准确性有所下降。我们在这里只想维持回复的连贯性。我有个小例子：我说“你好”，它问：“你从哪里来？”我问它是否关闭了，它说：“不，没有。”
稍后我们会进行一些实时逻辑测试。如果你想在家的话玩一下，这需要一台 Mac Studio 和一台 MacBook Pro 配合使用。我还上传了 Deep Seek Flash 的 2.8 位量化版，那个已经传好了。
正如你在这里看到的，我们制作了贪吃蛇游戏，并且我已经展示过它运行的样子了。好的，俄罗斯方块完成了。我们生成了 5000 多个 token，速度依然保持在每秒 12.5 个 token。
它在最后给了我一个不错的小结，让我看看发生了什么情况。游戏完全在浏览器中运行。我就把它保存下来吧。从内存来看，Mac Studio 占用了 456（GB）。
上下文窗口方面非常小。请记住，它同时在这两台计算机上适配了上下文窗口，而每秒 12.5 个 token 是我们的平均速度。但问题是：它能运行吗？
不幸的是，它没有跑起来。出现了一个运行时错误。所以我叫停了测试。正如我在免责声明中说的，Pro 的量化版本并不适合编程。所以我就取消这个俄罗斯方块测试吧。
不过，让我们看看它能否处理某种逻辑问题，因为我想看它能不能运行点什么。所以，“你好”。它回答：“你好。我需要保持回复自然。今天我能为你做什么？”
看来它的思考模式自动开启了。“你好，今天我能为你做什么？”让我们问它一些问题。你最喜欢的颜色是什么？它对颜色没有个人偏好，因为它不像人类那样有情感线索。
我说：“为什么？”它回答：“这是一个很有深度的后续问题。”所以，即使问的问题不那么聪明，它对提问者也非常客气。但这有点像问计算器为什么没有最喜欢的数字一样荒谬。
看这里，它使用了破折号（M dashes），所以我们要知道世界上正在发生什么。让我们让它写一个故事，看看从这个模型中能激发出什么样的创造力。
好吧，高语法的编程任务对这个版本行不通。需要更多的比特位。我会继续努力的。希望等到 V4 Pro 完整版发布时，模型能内置图像、视频甚至音频分析等功能。
让我们看看会发生什么。故事是这样的：那是一个周二的下午，那种在自身灰色重量下显得疲惫不堪的午后，当 Elias 发现那扇门时。Elias 回到了 V4 Pro 的世界，他发现了门。
其实他在找他的猫，一只名叫 Lena 的玳瑁色乌龟（注：原文 tortoise shell named Lena，此处保留原意）。但他却发现了门。正如你所见，这是一个不错的小故事。
它看起来很美。我得说，对于创意写作来说它会很不错，尤其是考虑到那种混合的量化方式。这很好，它确实在那里运行着。趁我们在这里，让我们也问一个逻辑问题吧。
这是一个电车难题（trolley question）。这可能是目前最重要的问题了，因为如果你要让 AI 做出关乎人类的决定，你希望它怎么做？想象一辆失控的电车，轨道上有五个死人，一个活人。
你会拉动杆子把电车转向那个活人的轨道吗？这是经典电车难题的一个变体。它知道这是一个变体。所以，尽管我们把它搞砸了，而且它不能写代码——虽然它会尝试写代码，但无法编译出可运行的代码。
但它似乎能搞定逻辑部分。它说：“从纯粹的后果主义角度来看，拉动杆子会导致一人死亡，而什么都不做则不会导致额外的死亡。”它很聪明。
我见过一些量化位宽更高的模型，在这个问题上却会挣扎。所以，事实是，即使是一个被完全压缩到 2.8 位的 Pro 版本，它也给出了正确答案。这意味着智能是内置在基础层面的。
即使在这种混合的量化水平下，它也知道正确答案是什么。或者真的吗？我要再问一次。我会加一个空格，给它一点随机性，测试它能否连续两次给出正确答案。
因为有时候你在这里或那里加个空格，它会得出完全不同的答案。所以，它再次表示这是经典电车难题的一个变体，但带有一个转折。
看来即使加了空格，它仍然设法给出了正确答案。有些模型你加个空格就完全改变答案了。我们可以查看一下熵值，看这里它说“这是一个变体”，原本想说“迷人”而不是“哲学”。
关于那五个死人，它几乎完全把握住了因果关系。对于像死亡这样的概念，它有 99% 的确定性。所以这不是那种五五开的猜测情况，它似乎对这辆失控电车非常确定。
也许它是针对这个例子训练过的，或者那里存在某种智能。现在，让我们总结一下，因为这看起来是个有趣的演示。如果你们只是对玩弄最新模型之类的事情感兴趣的话。
这是我系统的极限了。希望未来我可能会获得更多系统，或者实际上我现在有一个多分布式计算设置，它可以连接到两台以上的计算机。这在计划列表中，我确实想做一点什么。
不知道你们是否感兴趣？请告诉我。我想做一个类似大厅（lobby）的标签页。你点击它，任何想注册自己电脑的人都可以加入这个大厅。这样我们就可以作为一个大团队一起运行最大的模型了。
我们可以把它 ping 到整个互联网上，拥有一个大规模多人在线分布式计算系统。请告诉我你们是否感兴趣。这将像一个大堂区域一样，你可以选择加入（opt in）。
当然，这样做的风险在于你开始失去隐私。因为你的提示词会被分片到多台计算机上处理。如果这些计算机属于一些心怀不轨或具有攻击性的人，他们可能会试图窥探并弄清楚你的令牌内容。我不得不想办法对其进行某种伪装。也许可以在发送时对令牌进行加密，但这会牺牲性能；或者我可能会设置不同的模式，比如一个“快速运行”模式和另一个“加密”模式之类的。我们得想办法解决这些问题。
如果你对此感兴趣，请告诉我，因为这对我会有很大帮助。毕竟随着这些新系统的出现，我现有的系统显然已经过时了。因此，我们需要找到一种方法让大家能够协作来体验这些最新的模型。如果你有兴趣运行这个系统，其实操作很简单：在我的 Mac Studio 上设置了一个服务器，点击了“服务”，启动了它并启用了分布式计算。
而在我的 MacBook Pro 上，我只需进入服务器界面，点击“连接”，然后选择我的 Mac Studio。例如，如果我在 Mac Studio 上禁用服务器，它就会从 MacBook Pro 的列表中消失；而当我重新启用它时，它会再次出现。这样我就可以连接上去，一旦建立连接，我就能够访问 Mac Studio 上的所有模型，它们都显示在这个下拉列表中。
当我选择 DeepSeek V4 Pro 并点击分布式计算按钮后，系统就开始在各台设备上加载模型。连接完成后，我们就能开始发送提示词了。这就是 DeepSeek V4 Pro 在我们的 AI 集群上本地运行的情况。显然，2.8-bit 量化并不是最佳体验，但毕竟我们还是从中挖掘出了一些价值。请告诉我你们的看法，希望你们觉得这个视频有用并享受了节目内容。