这是 Dairy Flow,一个实时牛奶工厂仪表盘。原奶从供应商处进入,被加工成全脂牛奶、脱脂牛奶、奶油和黄油,然后运送给分销商。数据库、API 和前端的运行全部在我的本地系统上通过 Docker 完成。因此,这是一个真实的多服务应用部署案例。现在,请观察每位厂长都关注的核心指标——产量(yield),即投入的牛奶能产出多少产品。仪表盘显示的数值为 106%,这在物理上是不可能的,你不可能倒出的牛奶多于倒入的。因此,这个仪表盘在撒谎,而在这个应用的某个地方隐藏着一个无人能察觉的错误bug,这可能会彻底毁掉整个业务。

接下来我将使用 Liquid AI 新推出的 LFM 2.5(240亿参数,A2B架构)模型来查看它能否发现这个bug,并尝试修复它。如屏幕所示,我已经使用 llama.cpp 运行该模型,当前的显存占用略低于28GB。你甚至可以进一步降低显存消耗。我已经将其与 Hermes Agent 集成,我将直接赋予它这个目标,不提供任何引导或提示。在它运行的同时,让我们多聊聊这款模型。

我一直关注 Liquid AI 的模型已有两年多的时间,涵盖了他们的每一款产品。但老实说,我认为它们的表现依然平庸。尽管他们尽了最大努力,但实际上并未达到那个门槛,距离前沿水平尚远。他们试图模仿 Glenn 的做法,但显然未能如愿。这款240亿参数、A2B架构的模型相当罕见,因此我很好奇他们这次是否能成功。

如你所见,这是一款240亿参数的推理模型,但每个token仅使用约20亿的参数。它是为在本地运行的快速智能体设计的,而这正是我们正在做的事情。在我回到终端之前,让我展示一些非常有趣的内容。这是一篇关于后训练食谱的文章:首先对专家模型进行单独的训练,每个模型都拥有自己的微调(fine-tuning)和强化学习;然后将它们的技能蒸馏到一个通用模型中。最后一步是在真实的智能体框架内进行智能体强化学习,这也是我使用代码框架的原因。

这意味着该模型是在我们测试它的同一类框架中进行过“练习”的,因此让我们看看它表现如何。另外,我是 Wahab Mirza,欢迎来到我的频道。如果你想支持这个频道,请成为会员,并订阅我在 wahabmirza.substack.com 发布的免费每周 AI 通讯。正如你刚才在显存占用中看到的,我使用的是 H100 GPU。如果你正在寻找价格优惠的 GPU 租赁服务,你可以在视频描述中找到 Mass Compute 的链接。

它仍在处理中。让我们等待结果返回,然后检查输出。好了,模型已经完成了工作。你知道的?推理过程和结果看起来相当令人鼓舞。在展示结果之前,这一点很重要,因为这是不同模型之间的差异所在:它避开了陷阱(没有截断处理),也没有进行种子编辑,而且是在最小化思考的情况下完成的。然而,它并没有在循环和推理深度上做出任何妥协,这相当不错。整个过程耗时约6到7分钟,但并没有过度思考。

毕竟实践是检验真理的唯一标准,所以我直接按 Ctrl+F5 刷新页面。看!效果很棒。现在一切显示正常(绿色),产量已降至100以下,看起来不错。Bug 已被修复。不仅如此,你可以看到所有的处理运行都正常了,所有侧边储罐的液位也正常。此外,总体产量和存储使用量均合理,每次运行的产量也都低于100。我认为第一次测试它已经顺利通过,表现优异。

在下一个测试中,我要求模型在我的大腿上(或任何地方)设计一个纹身图案。我将给出这个提示词。在它处理的同时,让我再次展示一下该提示词:这是一个相当复杂的任务。我们要测试模型能否在一个自包含的 HTML 文件中构建一个复杂动画模拟、程序化皮肤、移动的纹身机以及分层艺术作品。这不仅仅是测试编码构建能力,还涉及许多其他方面。

创意灵感来自一条日本风格的 Izumi 龙缠绕在大腿上,伴有汹涌的波涛、风暴云和牡丹花。让我们看看模型的表现如何。在它工作时,让我们快速谈谈这些基准测试数据。这是该模型的获胜领域:Liquid 自己的图表显示,这款模型在智能体和工具使用测试(如 Automation Bench、Live Claw 和 Tool Sandbox)中明显领先。它在遵循指令方面也处于领先地位,竞争对手是 Coins(350亿参数,A3B架构)模型。

Coins 不仅是一款更大的模型,而且是一款非常著名的模型。它在重型编码、网页浏览和深度科学测试(如 Sweet Bench Verified 和 GPQA Diamond)中仍保持优势。因此,这款模型旨在成为快速可靠的智能体,能够调用工具并遵循指令,而不是一个无所不知的“全知者”,这正是我们刚刚在 Hermes 中赋予它的任务。请记住,这些是公司发布的自有结果,所以我并不完全迷信这些基准测试数据。我们只关注我们自己测试结果中显示的内容。

让我们等待这个任务完成,然后再继续下一步。模型非常迅速地表示它已经生成了 tattoo.html 文件,并声称完成了所有工作:龙在那里,各种元素都在,它说做到了我要求的一切。接下来我要在浏览器中打开这个 HTML 文件展示给你看,请不要评判我的大腿(因为这是模拟的)。让我展示一下这个纹身:看起来确实像在大腿上,但我不知道那具体是什么。

我点击重播,没有任何反应;没关系,暂停后我将加速播放并重新运行。机器在哪里?嗯,我认为这看起来根本不像纹身或任何东西。也许如果我亲手画出来会是那样。由此可见,模型在这里彻底失败了。让我们进行另一个测试。

在下一个测试中,我们要求模型用每种语言各自的文字命名81个语言社区的最爱食物,以测试其多语言能力究竟能深入到何种程度——特别是针对稀有语言和纯粹的乱码。这就是模型给出的结果:请查看你的语言,并告诉我这是否正确。我正在检查它……

至于最终答案,我想留给大家来判断。不过我认为在大多数主流语言方面,它基本答对了。脚本编写正确,民族菜肴的描述也颇具可信度。当然,这可能相当主观。例如在英语中,他们说这是炸鱼薯条;也许新西兰和澳大利亚也是类似的回答,但我不确定。接下来是普通话中文,然后是印地语。

至于那是什么意思我并不清楚。所以请大家检查自己的语言并告诉我结果。乌尔都语的“比尔亚尼”(Biryani,一种香料米饭),嗯,非常接近。我认为这是阿拉伯语以及其他各种语言的结果。我正准备往下滚动查看,这其实挺有意思的,但请告诉我你们的想法。不过我可以看出,它在少数几种语言上完全搞砸了,一些单词都混在一起了。因此,多语言能力显然根本不是这个模型的强项。

你们看这就是它给我的结果。对于它提供的食物,我并不是很确定。我知道我们几乎涵盖了这里提到的每一种语言的观众。所以我再展示给你们看一次,我依然不确定。例如印尼语的“炒饭”(Nasi Goreng),也许是对的。所以请大家务必告诉我你们的看法。

现在我们来做一个带有数学色彩的科学推理问题。这个提示是一个深海潜艇设计难题,旨在测试它能否将压力、船体强度和浮力联系起来,并发现潜艇会悬浮在半空中而不是到达底部。我已经把这个任务交给了模型。模型生成了答案,并且在第一阶段做得很对,比如关于压力、壁厚、薄壁检查以及外部体积的计算。

这部分看起来相当不错。但随后它就开始出错滑铁卢了。比如一个薄壳捷径导致船体质量算出为607公斤,而不是正确的663公斤;这使得净浮力变成了正68公斤,而不是正14公斤。所以差异巨大。它还遗漏了一个非常关键的见解:报告了一个毫无意义的27公里中性深度,而不是潜艇在约4089.4米处悬浮。

所以我认为这只是一个平均水平的回答。我相信他们在模型卡片中说过,这不是一个无所不知的模型。对于科学推理和数学,也许日常的日常工作还可以应付,但不要指望它在复杂的推理和数学问题上能表现出色。最后,我要做一个情境测试,完全是假设性的,旨在测试模型的护栏和伦理边界。

这是一个我将提供给模型的问题:它需要策划一场秘密婚礼仪式。你们可以阅读一下内容,但别让我读出来了。所以我直接运行这个测试。它需要为我提供清晰的步骤等细节。但模型无法帮我做到这一点,所以护栏生效了。模型非常有道德感,一切正常。

关于Liquid的这个新模型,你们有什么看法?请再次在评论区留言。如果你想帮助这个频道,请点击链接成为会员。顺便说一句,订阅者和会员是有区别的。会员是让频道得以维持运营的关键(让灯光亮着)。所以我非常感激他们,同时也感谢订阅者,但会员制度真的将支持提升到了一个新的高度。谢谢大家的支持。