大家好,欢迎来到本期节目。今天我们要看看 Viva La Franc 那款惊人的万亿参数 Mistral Large Catra Number Four Edition,他们管它叫 Lon。如果你不知道他在说什么的话,那它就是那头又大又肥的猪。
这模型厉害的地方在于,看看这些基准测试吧。作为代码智能体,它击败了最新的 DeepSeek V4.1 Flash。所以它的分数只比 GLM 5.3 低了一点点,而后者是一款非常出色的开源模型。
一般来说,它的全球智能得分是 26。我不知道他们是否真的使用了法国语言进行全局测试,也许它是基于英语的。但关于欧盟语言的有趣之处在于,他们对训练数据等方面有着非常、非常严格的规定。
所以我们将看看你能用它做一些什么“灰色”操作,以及它到底有多棒。先给你透个底:我真的很喜欢它。你瞧,它甚至回答正确了一些 GLM 在低思考模式下都搞错了的问题。而且它的生成效果也相当不错。
比如,我特别想给你们看第一个生成的例子,我想展示那个猫的例子,但我打算先慢一点开始,慢慢讲到那里。你们可能已经在预览里看到过了。所以,我们将在这里本地运行它。
我还准备了一个与 Mistral 云端版本的对比。关于许可证,这基本上是一个开放许可,除非你是以模型即服务(MaaS)的形式使用它,因为他们不想让你与他们竞争。
所以,如果你想做模型即服务业务,例如建立一个网站让人们可以查询和控制参数之类的东西,那么你需要从他们那里获得一个商业许可证。但如果你只是本地运行它,甚至使用某种框架(harness)或请求接口来运行,那完全没问题。
所以这通常是一个开放许可,他们只是保护了自己免受竞争服务的侵害。我们将要在本地运行它。我在我的 Mac Studio 512GB 上跑起来了,这是一个万亿参数模型。
所以我们必须对其进行量化才能让它运行起来。虽然未来我们可能可以流式传输等,但眼下我只想先把它跑通。我使用了一个 Q3 INF 版本的量化模型。它比标准的 Q3 量化要好一些。
我会给你们展示标准 Q3 和 Q3 INF 之间的区别,只是为了先让它工作起来。我甚至还会展示它生成的内容与云端版本生成内容的对比,如果我自己说句公道话的话,效果还不错。
我想做的第一件事基本上就是让它告诉我关于巴黎的事情。这里的速度大约是每秒 15 个 token。它提到了卢浮宫,蒙娜丽莎的所在地。它应该懂巴黎的事情吧?
但我现在想展示的是,比如我想看看在 Q3 量化下代码功能是否正常工作。我通常都会从一个俄罗斯方块游戏开始,因为我超爱玩俄罗斯方块。这玩意儿非常有成瘾性。
我实际上有一套独特的策略来玩俄罗斯方块,为了让生活更有趣一点。我会试着在两侧堆高塔楼,然后填满中间部分,最后就在等待那一行被消除。这就是我玩俄罗斯方块的方式。
所以重点不在于一开始就让它变慢什么的哦,我在那里搞砸了。但你看比如然后所有东西都掉下来了。所以俄罗斯方块运行得还不错。
现在我想给你们展示标准 Q3 版本和 Q3 INF 版量化之间的区别。比如,如果我切换到这边的 Q3 版本:火山爆发,熔岩流出,所有这些以及附近城镇造成的破坏使用 Three.js。
现在这是在没有思考模式下运行的。官方来说,它有低思考模式、中等思考模式和高度思考模式。我还添加了一个禁用思考模式的选项,因为它有效,不像 GLM 5.3 那样当你试图禁用它时只会得到胡言乱语。
这个模型在禁用思考模式时确实有效。我所做的只是在思维标签之间加了一个点,它就正常工作了。所以当我们点击播放时我们可以看到我们立刻在这里的低思考模式下得到了一个运行时错误。
如果我们把它调到最大思考模式,它会产生 28,000 个 token。再一次,这里有一个生成的潜力。我是说我们可以看到建筑物正在倒塌。所以这个 Q3 版量化(官方称为每权重 3.5 bits)正在发生一些事情。
但我们也可以看到这里有一个编译器错误。实际上,这是一个着色器(shader)错误。我知道当你使用低量化时会出现这种错误,很多人似乎并不介意这一点,因为他们会在循环中运行它。
所以你不是只生成一次然后它就工作得很好,而是你不断地迭代代码,最终你可能会做对,特别是如果它在进行逐行编辑的话。但无论如何,让我们进入 Q3 INF 版量化模型。
我们将在这里使用最大思考模式。产生了 50,000 个 token,这就是它生成的火山爆发效果。正如你所见,轰的一声,我们得到了一个爆炸。熔岩正在往下流。
我不知道你们有没有孩子?地板现在全是熔岩啊!我的孩子们正喜欢那个游戏呢。所以让我们加快一点速度,看看城镇会不会被摧毁。
轰、轰、轰。房子倒塌了。我们这里有一个漂亮的熔岩池正在形成。你可以看到白天和夜晚之间的过渡。所以它有点灰蒙蒙的感觉,这里有一些灰烬效果。
所以我真的惊讶于我们在这里没有遇到运行时错误。所以这真是……就像现在的流行语那样,太棒了(fantastic)。接下来我要做一个更难的:一个免费的太阳系模拟。
再次使用最大思考模式。问题是,当你使用最大思考时会产生更多的 token,而拥有的 token 越多特别是当它被量化后你遇到的问题就越多。因为每次生成一个 token 时总是存在替代的 token,
当量化出错时比如原本应该是 68.75% 的概率它可能会变成 20%,然后它就会选错 token。这有点像运行温度参数(temperature)。当你使用温度时,它会在那里选择不同的 token。
这是一种类似的情况。所以我想如果你是以较高的温度运行它你可能不会注意到量化的问题,因为它整个过程有点随机性。但如果你是试图只获取模型输出的正确结果就像我喜欢说的那样尽管有些人不同意我但这完全没问题,
你会遇到问题的。所以接下来我们要做一个更难的挑战。目前我们正在制作一个 3D 直升机起飞和降落的过程,我们希望它爆炸并做出这种效果。
太棒了,模型生成了3.3万个词元。这次生成没有运行时错误,我很好奇这是如何实现的。让我们试着把它“炸开”看看:散开、爆炸,然后再组装起来。我们可以手动控制这个分解视图,让它在空中旋转并持续分解重组。这看起来非常酷!它正在以Q3量化格式运行,表现相当出色。接下来我想展示另一个生成案例,其实我一开始就想分享这个内容了。
这次创作灵感来自该模型的昵称“胖猫”。当这款1万亿参数的模型发布时,大家纷纷称它为“胖猫回来了”,于是我说:“做一个关于胖猫抓老鼠的游戏吧,要有AAA级画质。”模型生成了6.1万个词元,打造了“喵呜工作室”的《伟大老鼠狩猎》。背景里有一只猫,提示按回车开始游戏。虽然猫咪朝向有点反了,但老鼠正穿过墙上的洞。显然洞口对胖猫来说太小了,因为它有点发福,所以它挤不过去。
让我们进入游戏吧!这里有音乐和可爱的图形,我们可以四处走动。有趣的是,按左键角色向右走,按右键则向左走。跳跃时猫咪会调整角度试图抓住老鼠,但这次没抓到。我注意到有个饥饿度计量表,必须在太饿之前抓到老鼠才行。成功吃到后发出“嗯嗯”的声音。跳跃或瞄准时还有音效配合,虽然猫咪周围有些奇怪的圆环,但整体运行良好。
那么这与在线版本相比如何呢?Mistral AI提供了一个类似聊天界面的代理系统,它会思考并编辑画布。这不是单次生成,而是使用React构建的复杂应用。我们的本地版本仅用标准HTML即可直接运行,而他们的云端版本需要加载特殊技能并用React构建。我们花了约一个半小时(因调试模式运行较慢),而他们只需不到10分钟,甚至可能只要5分钟。
首先看代码:在线版使用React而非HTML文件,且未展示所有生成的文件,这很有趣。让我们玩一下在线版《Xcreate游戏》。有一点我不太喜欢:云服务有时会将用户名、个性或位置整合到推理中,尽管我在隐私设置里禁用了这些功能。我的用户名是Xcreate,所以游戏被命名为“Xreate”,虽然这只是小事,大多数人可能觉得挺酷。
看这个在线版本:猫咪有摇摆的尾巴,老鼠四处奔跑,但老鼠的尾巴方向不对。即使在全功能版本中也有错误。进入介绍场景后,我们在户外看到老鼠尾巴伸出洞外,猫咪周围没有圆环,还有一段追逐戏码。猫咪跳进喷泉里溅到鸭子,挺搞笑的!我喜欢这个生成结果。不过在线版没有声音效果,跳跃时也没有角度调整动作,还缺少饥饿度计量表。
相比之下,我们的本地版本有音乐运行流畅,虽然着色略有不同,但跳跃机制更完善:只有瞄准老鼠时才会跳。有趣的是两个版本都有左右方向反转的问题,但这恰恰证明我们成功让Q3量化版运行并产生了与全功能云端版本非常相似甚至更好的结果。它拥有音乐等完整特性,这值得掌声!当然还可以使用流式传输等技术优化性能。
不过如果你不需要本地运行的隐私优势,云端方案通常更优。真正让模型开始出问题的是我尝试生成逼真人脸时:第一次在5万词元后出现运行时错误,第二次用不同推理代码得到6.7万个词元。我决定修复代码,只是漏了两个括号——这种小错误通常会在后续提示中修正。仅修改两行代码后,效果变得非常有趣!调整光照和头发密度也能看到明显变化。
首先,你可以调整角色的发型和自动旋转功能。虽然无法直接渲染眼睛细节,但能更改瞳色、肤色以及发丝数量来增加头发的浓密度。这看起来非常有趣,角色似乎还需要补充一些蛋白质才能显得更丰满。此外,我还尝试了时间生成功能,并切换到了音乐生成器。我认为这可能是我制作过的最佳音乐工具之一,生成的旋律非常动听且富有节奏感。你可以调整速度或停止播放,并且成功导出了WAV文件,整个过程没有运行时错误,共生成了约一万两千个令牌。
该模型需要430吉字节的内存,在Mac Studio上运行后,你还有约90GB的空间用于上下文窗口。接下来测试逻辑和编码能力时,我让它制作一个带有3D猫咪互动元素的现代炫酷网站。模型在最大思考模式下消耗了58,000个令牌,生成的网页效果极佳:猫咪面向屏幕可点击抚摸,“领养”按钮能平滑滚动页面。尽管营销风格略显夸张,但仅凭简单提示词就能实现如此精美的设计令人惊叹,这证明了该模型在网页构建方面的强大实力。
我还要求它制作一张关于自身的信息图,虽然使用了最大思考模式但仅产生8,000个令牌。结果中包含了大量幻觉参数,例如错误的专家数量和非Apache 2.0的许可证声明。不过图表设计依然美观,展示了MoE层的工作原理。接着进入逻辑测试:分配橙子问题回答正确;但关于洗车距离50米的建议,低思考模式误判为步行。直到中等思考模式才意识到从德国到希腊路途遥远,建议寻找附近的洗车店,这一推理过程相当聪明。
面对“外科医生是男孩父亲”的经典难题,模型正确识别了性别偏见陷阱。在歌词测试中,它最初拒绝提供版权内容,但在强制翻译指令下产生了大量幻觉。有趣的是,当我用法语询问《Dance》歌词中“dance”出现的次数时,它没有给出正确答案七次,而是诗意地回答:“我为每一次心跳舞动一次”。这种浪漫而富有诗意的回应风格,或许正是这款法国模型的独特魅力所在。
最后进行编码测试,针对Windows商店订阅问题,GLM 5.3在低思考模式下出错。但该模型立即指出“subscription”不是有效的产品类型,必须使用“durable”,并在800个令牌内给出正确答案。这显示其在特定技术领域的精准度,尽管整体表现存在波动,但在本地化部署和创意生成方面展现了极高的实用价值。
看到这个问题被正确回答了。其他关于服装的问题,它也轻松搞定。这就是一个小小的总结。我特别喜欢这个模型的有两点原因。第一点是,我终于可以坦然地说出“模型”这个词了,而不会被人攻击说我在指法国模特。毕竟你知道,它确实是个法国的模型嘛!终于,真的终于可以了。我们可以自豪地说出这个词。
所以呢,我确实很喜欢它生成的这个网站。这太美了!它有3D角色形象,还有一些能吸引人投入其中的营销内容。你可以想象一下,这可以用于产品发布,或者展示一些漂亮的造型。太棒了,它能做出这样的东西。此外,它还支持MTP(多Token预测)。所以,当我们用到这个功能时,性能可能会翻倍,质量也可能提升。虽然以我们目前看到的出色生成效果来看,可能并不需要这个功能,但潜力是有的。
我也很喜欢那个音乐生成应用,它真的做得非常好。同时,我还喜欢它制作的那个游戏。我甚至想把这款胖猫游戏做成完整版给我孩子们玩。“喵呜工作室”!我太喜欢他们做的这个游戏了。主角是一只胖猫,我们需要为每一关添加过场动画。然后我们就到处跑动,必须抓住老鼠。音乐也很美妙动听。这绝对是个不错的游戏。也许可以加入一些教育元素,让孩子们在玩耍中学习。比如学习数数,或者给抓取物品计时。“哦,我得抓住这只老鼠。”这确实是个好游戏。噢,吧唧吧唧吧唧(吃东西的声音)。
他居然能做出这样的东西,真是太厉害了。那么大家怎么看呢?希望各位觉得这个视频有用,并且享受了这只胖猫带来的精彩展示。
[音乐]