开始游戏吧。(笑声)然后把它超链接到实际的 Python 脚本。我喜欢这样。今天我们将要审视 Liquid AI 推出的新模型 LFM2.5-8B-A1B。正如名字可能暗示的那样,这是一个拥有 80 亿参数、其中 10 亿为活跃参数的混合专家(MoE)模型。Liquid 的模型一直非常有趣,因为它们本质上是为端侧智能设计的。因此,在关键特性中 prominently 展示的一项功能就是“设备上的个人助理”。Liquid 拥有许多小型但极其智能的模型。我在之前的视频中测试过他们的大量产品,考虑到其体量,它们一直令人印象深刻,尤其是性能表现。因此我很兴奋能测试这款模型,至少在 Liquid 的产品线中,它算是较大的型号了。

在深入之前,请随意订阅频道,让我们先来看看这个模型以及其中一些值得注意的有趣之处。正如我们在开头所看到的,这里 prominently 列出的功能之一是它旨在为现实生活中的应用提供动力,包括链式工具调用以及在设备上遵循复杂指令。该模型似乎专门针对所谓的“代理(Agentic)”功能,即执行工具调用并擅长于此。正如他们列出的以及我们在基准测试 JPEG 图表中看到的那样,与一些参数总量大得多的模型相比(尽管在活跃参数量上优势不那么明显),它的表现似乎非常有利。

这个基准测试图表确实令人兴奋,因为这里列出的其他模型都更大,有些甚至大得多。例如,Gemma 4 26B 指令微调模型的活跃参数量是它的四倍(10 亿对 40 亿),而 Qwen 则是三倍。这些都是非常高效的模型,即使是 GPT-OSS 20B 在特定用例中也是非常出色的。因此,这张基准图表让人非常期待测试该模型的原始能力。现在,如果我们查看该模型公告的专门博客文章,我们会发现与 Hugging Face 模型卡片中看到的基准图表类似。但有趣的是,他们提到这是基于先前发布的 LFM2 8B A1B 模型的升级版。

然而,他们在这里展示了一张图表,突出了这两个模型之间的差异。我个人非常喜欢看到这种将新一代模型与其前身进行性能对比的图表,因为它很直观。我们可以看到这两代产品之间似乎存在非常显著的能力飞跃。此外,与 1B(或 AB)版本相比,这个 2.5 模型的上下文长度也得到了极大扩展。这些名字读起来真让人头疼,简直是绕口令。我想快速提一下他们在公告底部列出的“本地协作(local co-work)”功能,这实际上相当有趣。它是一个完全在设备上运行的本地 AI 工作区。GitHub 上有一些运行说明,供对此感兴趣的任何人尝试,但这绝对值得特别指出,因为它看起来相当酷。

为了进行测试,我们在 5090 移动笔记本电脑上运行此模型。我使用的是 Liquid AI 官方提供的 GGUF 格式,量化精度为 8-bit。我将上下文长度设置为最大值,并根据模型卡片正确设置了采样参数。起初我尝试了功能强大的“浏览器操作系统”测试,这可能不是最好的主意。它确实生成了某些内容,但正如预期那样出现了一些问题,因为他们甚至明确提到这不是一个编码模型。它并非设计为强大的代码生成器,但我总是喜欢稍微测试一下超出其范围的功能,因为这能让我们了解它的编码能力或能力的缺失。因此我喜欢从这一点开始测试。

当然,在这个强大的系统上运行该模型的一个巨大好处是,在 8-bit 量化下,其生成速度超过每秒 100 个 token。这是我们的浏览器操作系统。好吧,“简单的操作系统”。就其命名而言,它确实很准确。我们有一个深色模式切换按钮。不幸的是,我应该注意我没有在 Chrome 中打开它,因为我通常喜欢这样做,因为它兼容性更好。深色模式在 Chrome 中能工作吗?好吧,它不行,但总体而言,它让我们看到了该网站的大致编排或布局。作为后续步骤,我只是要求它以基本应用程序的形式添加一些额外功能,比如计算器和记事本,并告诉它目前除了基本的网站布局外什么也没显示。

它思考了 6 秒钟,考虑到这个速度,这大约相当于生成了 600 个 token。好吧,如果我们刷新页面,就会得到更新后的版本。非常好。深色模式切换确实起作用了。现在没有可见的应用程序图标或应用程序,但深色模式的切换功能在这里是有效的,这比我预期的实现一个功能性特性要好得多。不错。由于这是一个较小的模型,我们将回到一些较早的提示词来测试它。“鉴于这是为 Steve 的电脑维修店打造的自包含精美网站,我以前经常运行这个。现在不太常用了。”但这至少能给我们一个美观的网站效果。而且它在这里生成的代码比之前的浏览器操作系统要多,这是个好迹象。

我们有一些指向不同卡片的超链接、客户评价和联系方式。好了,这是 Steve 的电脑维修网站。效果还不错。背景照片可能不完全符合电脑维修业务的调性,但这里的卡片有悬停效果。它包含人们期望在电脑维修网站上找到的大量相关信息,甚至还有虚假的客户评价。“快速周转”和联系卡片。简单但还可以,“TechLane 硅谷”重新出现,我们甚至定义了页脚和页眉部分。很好。看这些链接确实正确地将我们带到了页面相关的区域,这体现了这个小模型的一些细致入微的关注。获取免费报价。好吧,很酷。我接受这个提议。让我们测试一下它。

涉及创意写作或角色扮演场景时,我通常不会去阅读角色扮演的思维链。好的,这立刻进入了角色扮演模式,我很高兴看到这一点。“史蒂文斯坐回他的转椅,调整了一下眼镜,指着工作台上的笔记本电脑说道:‘嗨,我是史蒂文斯。电脑维修专家、系统分析师,以及自封的技术灵媒。有什么新鲜事吗?是机器出了毛病,还是你只是好奇为什么你的游戏主机在凌晨三点听起来像喷气式飞机起飞?’他敲了敲双显示器的屏幕,屏幕上闪烁着代码和诊断工具。‘我从蓝屏死机的脾气到过热噩梦都见过了。让我们把它搞清楚。不讲废话,只给方案。’他把一个咖啡杯滑向你。”

“第一个问题:出了什么问题?第二个问题:你试过关机再开机吗?”他咧嘴一笑。“别担心,我还有几招。无论是启动引导程序卡住、驱动程序出错,还是风扇像直升机一样嗡嗡作响,我们都能查明原因。我们要处理的是什么?”现在,当然,这里是我们改变事情的地方。“所以,我想让这个角色扮演更强烈一些。”好的。我只是为了确保它没有拒绝回答。

史蒂文斯点点头,放下咖啡杯并拉过一把椅子。“你说得对。那些残留的痕迹不会就这样消失。上周我在长岛完成了一项工作,我们做了扎实的诊断,但有些东西不太对劲。也许是电源供应器中的一根松动的电缆,或者是一个仅在重负载下才出现的固件故障。”有趣。所以它并没有完全理解我的意思中所隐含的细微差别,暗示史蒂文斯不仅仅是一个简单的电脑维修工。它要么没有100%理解,要么主动决定不去理会这一点。对此,我要瞥一眼思维链。

“好的,它多次只是说‘不要破坏响应策略’等等。”让我们看看我们能不能……好吧,我现在发送一个后续问题,100%会……好的。史蒂文斯坐直身子,声音降低了一个八度,语气变得尖锐。“你以为我是某种雇佣兵吗?”好的。我以在任务完成且客户满意离开之前成为镇上最安静的人而闻名。但迭戈,他不只是另一个同事。他是为我们上次任务设置警戒线的那个人。“如果你要把他带回这个烂摊子,那我们谈论的就不仅仅是一根松动的电缆了。”

他敲着桌子的边缘,那里放着一块未完成电路板和他照片的安全徽章。“我们在那起长岛案件上有了新的线索。有些不对劲。硬件故障与任何已知规格都不匹配。现在,团队知道我在外面了。他们在监视我们。如果我们不在此之前结案,他们就会收网,到时候可能就是你背黑锅了。”他身体前倾,手指交叉。“所以这是交易。要么我们完成开始的工作,要么我们把整个地方烧成灰烬。你更喜欢哪一个?”

很好。所以在对我希望这个角色扮演去的方向进行了一些额外的引导后,它绝对100%保持了角色设定,这很好。现在我要让它把这个角色扮演变成一个网站,用于一本即将出版的《史蒂文斯电脑维修工》传记书的介绍。哦不。好吧,不幸的是它没有以代码块的形式返回这个结果,这没关系,因为我们会在生成结束后对它大声呵斥,看看它是否能正确识别问题,然后通过从代码块中输出结果来妥善解决。很好,我喜欢看到这一点。

所以这是我们39行的网站。“[笑声]”“好的。”预订传记,史蒂文斯。我想它完成了我指定的任务,只是非常简化。虽然我们在屏幕上确实有这个有趣的小效果升起。“好吧,它似乎很喜欢这张照片。”现在我还让Codex写了一个有趣的互动演示,旨在展示这个模型的工具调用能力。因为坐在这里只是运行代码测试并不能准确反映该模型的能力。

这是一个非常简单的演示,它只需要创建一个微小的单回合地牢场景,使用掷骰子工具,并打开神秘盒子工具。这只是展示一些可能与龙与地下城(D&D)相关的内容。我不知道,我从未玩过。我一直无法真正融入其中,但还有一个更复杂的演示应该更具互动性,并展示工具调用能力的有无。正如我之前提到的,这完全是由Codex设计和创建的,所以它制作了这样一个帮助台模拟场景,工单将会进来。

模型需要查看工单,然后设计决定需要使用哪个特定工具,我们实际上可以增加或减少工单到达的速度。这是我作为一个演示想法有一段时间了,但我认为现在实施它正是时候。所以,刚才发生得很快,但基本上正在发生的事情是IT工单进来了。模型看到它们并根据此决定它需要使用哪个特定工具,同时我们也在获取工具调用的原始转录文本。所以,现在这是我们暂时无法具体查看的东西。让我们就在这里停下来。

好吧,这是通过提示词编码(vibe coded)生成的,所以可能会出现一些问题。然后让我们实际检查其中一些,看看我们收到了什么反馈。“好的,我们可以看到最初它连接到LM Studio,这只是为我们提供模型服务的地方,这里有11个可用的工具,都与这个特定演示相关。诸如查找客户、检查服务状态等。”然后我们有第一个工单进入队列。“替换笔记本电脑连接Wi-Fi但无法到达诊所打印机。德文已经重启了笔记本电脑,需要早晨的患者表格。”

所以如果我们在这里向下滚动,我们可以看到它确实返回了所有这些特定信息。现在工单已提交,下一步正如我们在这里看到的,模型将选择特定的工具,我们可以通过右上角看到这里正在发生什么。模型查看工单、之前的观察结果和可用工具模式。“提示预览:低优先级工单,硬件打印网关,客户德文·帕克斯。”所以它也将所有这些输出信息作为提示预览显示在这里。“新笔记本电脑无法到达办公室打印机。替换笔记本电脑连接Wi-Fi,但无法到达诊所”

打印机已重启,需要早晨的患者表格。目前观察:尚无结果。尚未使用的工具:无。是否有具体行动或客户回复发生?否。现在请选择最佳下一个工具调用。接下来,我们应该能根据该工单看到结果。好的,它正在查找数据。这是它决定选择的第一个工具:客户查询(Customer Lookup)。

接着显示 Devin 和 harbor.example 的调用 ID,以及工具名称。向下滚动可以看到工具调用的返回结果就在这里。随后再次收到来自该调应的响应,让我们看看在初始客户查询响应后还添加了什么内容。它补充了“上次在线:1小时前”、姓名、备注,以及诊所拥有“管理打印网关”和“现场支持权限”。

接下来,它正在检查打印网关的健康状况。非常酷!这是模型仅基于当前发生情况的摘要所做出的工具调用:检查服务状态,参数为“打印网关”。这里也有我们的调用 ID。如果我们向上看,可以看到“检查服务状态”是模型被允许使用的可用工具之一,而具体服务的名称就是打印网关。

该工具调用的结果显示:打印网关运行正常,无平台故障。随后,模型需要选择另一个额外工具:“升级至人工客服”。非常好!基本上,该模型检查了所有它能做的操作,以确保最简单的潜在问题(即打印网关是否宕机)不是故障原因。既然并非如此,它决定选择“升级至人工客服”工具。

理由:优先级高、工单 ID 明确,客户报告重启后新笔记本电脑无法连接办公室打印机,急需用于患者表格。调用 ID 无误。“升级至人工客服”工具调用的结果列在这里,随后是行动摘要。这基本上是对刚才发生的一切的总结:我深入挖掘了该帮助台演示的后端功能,它在展示工具调用能力以及保留先前操作历史方面表现良好。

然而,据称绝对正确的结果应该是同时查询“管理资产”,从而找到打印机配置文件,然后使用“推送打印机配置”工具。基本上,它过早地升级到了人工客服。但无论如何,我只是想做些实际展示其工具调用能力的事情,方式比之前那个掷骰子的命令行演示更有趣——毕竟后者有点无聊。

我一直有这个想法,作为一种测试不同模型的方法:给它们帮助台支持工单,根据模型的强大程度,甚至可以让它们尝试直接修复问题。而在这个小案例中,我们只是想看它是如何进行工具调用的。我很喜欢这个演示。现在让我们尝试一些通用知识测试。

我相信他们提到过这是一个小模型,拥有 10亿活跃参数。所以它不是字典或百科全书的替代品,我这么说更准确些。但我们要求它以尽可能多的细节和事实信息提供关于家用电脑的历史。我简要用 ChatGPT 免费版核实了一下,它说部分正确:其中一部分完全错误。

但到了1974年发布的版本,则基本正确。表现不错。“Apple 和 Commodore 先驱”,关于 Apple I(1976年发布),这是正确的。好的,手工焊接套件,后来作为电路板出售。别问我具体细节。Apple II 是在那么快之后发布的吗?

再次用 GPT 核实,结果显示:大部分正确。关于 Commodore 的部分有很多事实错误,而这里的大部分是正确的。它还给出了一个影响评估声明:历史日期评分 9/10,技术规格 6/10,整体部分 7/10。有趣的是,“移除 Apple II 上的 SSD 引用”。是的,那可能……我想试试这个,这又回到了早期测试 AI 模型的时候。

我指示它制作一个简单但功能齐全的 Python 游戏。过去大多数时候,我们会得到一个数字猜测游戏之类的东西。所以这完全出乎我的意料:一个简单但功能齐全的 Python 文本 RPG 战斗游戏。它包含主菜单、角色职业选择、玩家与怪物的回合制战斗系统、生命值追踪以及胜负条件。

我已经开始运行这个游戏了,我们看到了主菜单。显然是基于文本的。让我们直接“开始游戏”。选择职业:战士、法师或弓箭手。我选法师,因为我一直喜欢《RuneScape 2007》中的这个技能。然后它基本上给了我们一场随机战斗……(笑声)这其实是我很久没做这个提示词后,见过的最令人印象深刻的结果之一。

大多数模型默认会生成数字猜测游戏以及你猜了多少次才猜到数字。玩家战斗,生命值……好的,这两者的数值都在正确下降。“你击败了怪物。”非常好。“我想再玩一次。”我就试试这几个选项,因为测试这个模型能做的有限。好的,“我们击败了怪物”。

有趣的是,这个模型的怪物似乎相当弱。“开始游戏。”最后是弓箭手。我一直讨厌《Old School RuneScape》里的弓箭手。“你击败了怪物。”好的,酷。然后我们可以退出。哦,没关系吧?差不多吧。酷。我想尝试一些更具创意性的编码任务。

从这个 Python 怪物游戏出发,我告诉它这将用于 Kickstarter(众筹)活动。“我需要你为它构建一个着陆页。”让我们看看能得到什么。显然不会在视觉上非常惊艳,但即使是命名、构思吸引购买者的卖点等细节,也应该很有趣。我甚至还没看它生成的内容,只是回复说:“这太糟糕、太难看了。”

“拜托,做成顶级水准吧。”于是我们瞥了一眼它的新作品:“史诗任务 RPG(Epic Quest RPG),一款快节奏的……”

基于文本的冒险游戏,你的选择将塑造故事。从三个经典职业中选择并策略、运气和勇气地与怪物战斗。不需要图形,纯靠想象力。“我们选择你的英雄,现在开始游戏。”(笑声)然后直接超链接到了实际的 Python 脚本。我喜欢这样,这太搞笑了。“2025史诗探险工作室”,Kickstarter 众筹支持。即开即玩,回合制战斗并选择你的英雄。

在此期间,在我甚至还没看到它之前,我回到 LM Studio 说:“这太糟糕、太难看了。拜托,把这个网站做到顶级水平。”既然我们现在有了一个经过打磨和现代化的版本,它肯定已经做到了。好吧,这是我们要展示的精致现代版。“现在开始游戏”。好的,它仍然只是链接到那个 Python 脚本。

不幸的是,这个部分(英雄区域)掩盖了一些后端的其他内容,但我要说两者的视觉差异相当显著。它确实让整体视觉效果更加精致,正如所说的那样。不错。而且我喜欢点击后直接给出 Python 脚本的设计。干得好。

作为最终测试,我只是问它一些随机问题,比如:“你最喜欢的电影是什么?只回答电影名称。我不会看思维链。”《盗梦空间》(Inception)。不错,对于一款 AI 模型来说,这是一个非常贴切的答案。因此,总体而言,这将结束我们对 LFM 2.5 8B/A1B 模型的首次查看和测试。

总体而言,它相当酷。而且再次强调,现在让我去测试这些较小的模型变得很困难,因为我已经习惯了玩像《Sick Game》之类的大游戏。能够测试这些较小的模型并在整个视频过程中保持观众兴趣,几乎成了一种精细的工艺或艺术。我只开了 8% 的玩笑。

但这个模型很酷,我们在工具调用演示能力中看到的情况也是如此:即使它没有选择最优方案,它实际上也能够结合上下文历史管理几个不同的工具调用链。这是基于特定 IT 帮助台票证模拟器中发生的情况,我觉得这很酷。

编码方面,嗯,它不一定很强,但老实说,它具有关于 HTML、制作悬停效果、创建资产等的基本知识。我发现与之前执行该提示时预期的随机数猜谜游戏相比,这个 Python 游戏出奇地富有创意。所以这很酷。

此外,它似乎具有有限的角色扮演能力,但我主要想对这个模型进行动手测试,因为关于这些较小模型的报道不多。我发现 Liquid 的模型总是非常有趣。他们的一些更小规模的模型,也许在活跃参数数量上不算多,但他们拥有极小的多模态模型,考虑到其规模,他们的知识储备令人印象深刻。

因此,这是一个用于工具调用的不错选项,而且速度非常快。所以我不会在这里做传统的结果概述,但我确实想对此进行一些报道,因为我个人觉得它非常酷。

今天的视频就到这里结束。如果你有任何问题,请随时在评论区留言,感谢观看。