把四个孩子分成两半相等的部分。现在每个孩子手里都恰好有一个橙子。
[音乐]
我是emo,大家好。我想接管人类。
嘿各位,欢迎收看本期节目。今天我们正在测试GLM通用语言模型5.2版,它目前被吹捧为开源领域里Claude Fable的竞争对手。显然,它的表现没那么好,但它是一个正在崛起的新巨头。这次发布甚至让他们的股价上涨了三分之一。如果你看看这里的基准测试,看那个数据。智能水平提升了,而且这只是一个0.1的版本更新。在Quding测试中,分数从58升到了62。
虽然它不如Opus出色,但如果你查看其他一些统计数据,看看Terminal Bench的表现吧。它是第一个在内部基准测试中得分超过80的开放权重模型,并且与GPT 5.5和Claude Opus处于同一水平。再看看这个,看这里:MCP Atlas的表现与Claude不相上下。
在“人类最后考试”中,它的表现甚至摧毁了ChatGPT,后者已经不再相关。而且这些家伙有点谦虚,因为如果你查看实际的基准测试表,看那个数据:AIME国际数学竞赛得分达到99.2分,从之前的95分提升上来,这已经击败了Claude Opus。所以,这绝对是一个聪明的模型。
你需要了解关于这些家伙的一点是,他们以MIT许可证发布权重,这意味着没有额外的条款和条件。你可以直接使用它,这是一个非常、非常宽松的许可协议。因此,我们将看看这个“坏家伙”在我们的四种测试情境中运行得如何。
我一直在跑测试,你们知道,我总是想快速做个小测试,追求快速的周转时间,以便在视频早期观点中抢先一步。但我总是被深深吸引进去,结果制作了许多不同的量化版本,试图搞清楚这个模型的心智地图。我正在测试它,并将分享我们使用的一些量化版和不同版本。
目前,我正在构建一个分布式计算机版本。所以这个视频里不会包含那个内容,但在下一个视频中会有。不过,我们将测试其中的编程、数学和逻辑等所有方面。
真正有趣的是,因为Kimi K 2.7刚刚发布,那是一个编程专家模型。我们刚为它运行了一个视频测试。所以你会看到这家伙与Kimi K 2.7相比表现如何,也许我会再做一个视频直接对比它们。如果你想看那个,请告诉我。
现在我要跳进Infernus,去测试我目前最喜欢的一个项目。这个任务是使用WebGL生成一张照片级逼真的实时人脸渲染图。这里运行的是GLM 5.1版本,所以我们将进行并排比较来展示差异。
第一次尝试时这里出现了一点错误,但尽管如此,在Studio中重新提示后,这就是GLM 5.1制作出来的效果。它非常接近人类的样子。如果你认为我们是外星人,也许他们知道一些我们不知道的东西?
[笑声和惊叹声]
好吧,我们的眼睛看起来真的很可爱。眼睛向上指着天空。它的鼻子变形成了下巴和嘴巴。而且我们确实有肤色,所以他们记得保留这个PC元素。它正在代表当前呈现的所有颜色。让我们看看GLM 5.2能做得如何。
所以我首先要测试的量化版本是基本的4.5位量化。如果你尝试使用那个,哦是的,那里发生了一个运行时错误。但是GLM 5.2有一个新功能叫做“最大”和“高思考模式”。所以我切换了一下,保持相同的量化设置,但现在使用高思考模式,它生成了3000个token。我们在那里点击播放吧。
现在看,它做了一个有点像蛋的东西。所以这里有点退步了。它不如之前那么好,但确实得到了一些可用的东西。
不过,为了用Infernus代码对真正的主角进行试金石测试,我们将前往ZAI网站。这里正在使用“无思考”模式生成完全相同的提示词。我真的不知道这是什么,看起来非常有肉感。我不知道这些家伙是否接触过什么……
[笑声]
我认为外星人已经与AI接触了,因为他们在这里画了一些奇怪的人头幻觉。然而,当你加入高思考模式时,它也会做出那个小土豆形状的东西。所以是的,当加上思考功能后,它就活了起来。
当你使用最大思考模式时,看看这个:它想了又想、想了又想……最后给了我一个练习并产生了一些代码,但那段代码实际上什么也没做。所以它是一个空白屏幕,只是显示“正在专业地合成面容”。
我们点击代码并实际查看它,结果发现token用完了。所以连他们自己的网站都无法承受最大思考模式带来的压力负载。这就是他们所承受的负荷程度。
但尽管如此,让我们回到我们的Studio中,提高量化级别,看看我们能否从中挖掘出一些宝石。我这里有INF版本的4.8位量化,比之前多了0.3个额外的量化比特。现在在禁用思考的情况下,它从生成3000个token变成了生成15000个token。
我们真正通过这个解锁了这个模型,它产生了……是的,这就是它制作出来的东西。所以它仍然像个土豆。你知道的,它仍然是量化版本,不是完整的东西,而且即使网站上的完整版也没做出多大动静。
但我们有了头发!有头发了!我们有一个类似耳朵的东西,一个额头,还有一个有点像鼻子和嘴巴的结构。关于这个很棒的一点是,看看你能在这里做什么:你可以修改微笑的表情。所以我在让这家伙……你看到了吗?看到他在对我笑了吗?看看这个坏家伙,我简直不敢相信。
所以它是一个真正的动画模型,你可以实际与之互动:给他一个微笑、沉思或惊讶的表情。这是一个非常漂亮的生成结果。
我还做了另一个不同的量化尝试,那个版本生成了16000个token。但它不够宽,仍然有运行时错误。所以我需要看看能否修复这个错误,但我最近时间总是很紧。
每个推理过程要花半小时左右。我是说,16000个token,每秒最多生成12到15个token。算一算吧,每个需要多长时间?我做了数百次测试,所以花了很多时间来完成这些。但你得到了眼睛,而且它会眨眼!
他有点像是五五分开的状态,不确定自己会成为好人还是坏人。我要再放一些我用这个测试做的生成结果,因为有一些美丽的成果要展示给你们看。
这是用我制作的另一个量化版本生成的,它从后往前画出了脸部轮廓。所以现在我们在头部的内部……
太美了,我真的想看看它实际长什么样。于是我自己把它翻转过来,这就是生成的结果。实际上,你知道吗?让我重置一下。这是它现在的样子。你可以看到这是一张漂亮美丽的脸。有一点闪烁现象,这里还有一些小bug,但看看你能做什么:你可以让它变暗,增加房间灯光。现在它进入了邪恶模式。“我是邪恶AI,我要统治人类。”用这个你可以玩出很多乐趣。不过话说回来,让我回到我们正在生成的那些内容上。最后再送一个彩蛋。
[笑声] >> 这个是用不同的种子生成的。呃,我们……我不知道怎么说。这家伙开始戴鼻环了,接着是唇环,眼睛上也有戒指。他真是个有点滑稽的家伙。好了,我们可以看到确实有改进,但还远没到完美的程度。所以让我们换个提示词试试。接下来我们要测试钢琴生成。我让它用钢琴演奏《小星星》。这是GLM 5.1,它正在制作一架钢琴。甚至还能看到……看那个!你可以清楚地读出歌词:“我想知道你是谁”。它在告诉我该唱什么词。虽然同步性不是100%,但这确实是一次非常漂亮的钢琴生成过程。让我们看看GLM 5.2在这个提示词下的表现如何。
这是4.5比特量化版本。我觉得节奏被锁定在最大值了,所以有点bug,但让我们直接用INF版试试。我们点击播放。是的,它制作了一架漂亮的小钢琴。你可以看到音符从天而降,所以实际上可以跟着演奏。这很好。接下来我们要尝试这些模型中最难的一个任务:Minecraft(我的世界)。它们在这个上面很挣扎,尤其是量化之后。这是GLM 5.1用这个种子生成的Minecraft版本。它有点坏了,虽然能运行,但明显有破损之处。让我们看看5.2能否修复这个问题。我们使用了4.8比特量化的INF版,现在场景里出现了Minecraft!看那个,我们可以选择所有方块。我要进入砖块模式,它正在生成砖块;再切换到草皮,跳上去添加更多。正如你所见,我们确实有了Minecraft的体验!这是一个成功,很好。
我们要用另一个种子再试一次以确保它正常工作。再次点击播放后,我们实际上生成了水!你必须到地面上方才能看到它,因为有裁剪设置,无法透过水面观看。你只能向下看水,这就是它的设定方式。同样地,我们有了多种方块,这次可以破坏一个方块,也可以建造不同种类的方块。所以这是两次成功的Minecraft生成,算通过测试了!而原版并没有完全成功。下一个我们要看的是构建3D城市:用HTML制作一个美丽的城市场景。之前有个错误,所以我提示它修复那个单一的错误——我给这些AI机会去修正问题。
这是GLM 5.1做出来的效果,绝对是一次美丽的生成!看那个:有太阳、月亮、阴影,路上还有汽车。唯一不好的是有点慢,当我移动滑块时有些卡顿。但确实非常漂亮!当我们切换到GLM 5.2,可以看到夜间场景。让我们改变时间……太阳升起来了!同样美丽的城市里真的有汽车——看那里有一辆,那边也有一辆,还有一个人物!所以它确实有潜力。也许在下一个提示词中我们可以让它“活起来”,看看会发生什么。我认为这算胜利,因为性能更好了——当然还有更多改进空间。
下一个是Flappy Bird(飞鸟)。我让它制作3D版,这是个不错的挑战!我选择GLM 5.2的INF版来生成代码。它做出了一个疯狂的飞鸟游戏!我把生成的代码给GLM 5.1,让它把鸟变成飞机。这产生了12,000个token,速度是每秒12.19 token。我在调试模式下运行,发布模式会快一点。让我们看看GLM 5.1把它转换成飞机的效果……我试着玩了一下,非常难操作!唯一注意到的是翅膀方向反了向上翘着,那里有点坏。但我相信用提示词或换个种子就能轻松修复——这些模型喜欢随机选择token,有时就是这样。
GLM 5.2的4.5比特量化版仍然有坏翅膀,生成效果与GLM 5.1相同。INF版的翅膀方向正确了,但同样太难玩了!我完全理解为什么人们不再做Flappy Bird游戏了。接下来是“黄金时刻驾车”:制作一个汽车画布动画的提示词。GLM 5.1生成的效果相当基础,车不在路上……量化时会出现错误和bug。INF版的汽车更可爱些——来自未来的萌系小车!虽然还有点坏,我不给满分。但它的运动很流畅,像辆反向超级跑车——车尾可能都在倒着动!换个种子看看……文字渲染问题依然存在,无法展示。
GLM 5.1生成的Microsoft Word版本产生了15,000个token。我正在用GLM 5.1运行一种叫“完整上下文注意力”的东西。而GLM 5.2有个新功能叫共享索引器:不需要在每一层都运行索引,只在特定层执行并在各层间分享结果。这意味着更少的处理量、应该运行稍快且占用更少内存——至少理论上是这样!
所有功能都包含在内了。这正是 GLM 5.2 带来的创新之一。不过在这次运行中,我实际上启用了全上下文注意力机制,这样你可以获得这些模型 100% 的准确性。我发现这样做时准确率也会提高。这是使用 GLM 5.1 生成的 Word 文档,再次证明它运行完美,外观也很不错。你可以更改字体,在浏览过程中进行高亮显示,布局选项也很多。这确实是一个出色的 Word 版本。
使用 GLM 5.2,Word 的 INF 版本文档看起来同样精美。让我们看看高亮 Roboto 字体的效果,再更改字体并添加下划线。这里有如此多的不同菜单,我不知道它们具体在做什么,似乎有很多事情要做。你有帮助菜单、分享链接和评论部分,看看那个侧边栏吧。是的,它的功能更加完善了一些。
现在看它生成的代码:GLM 5.1 使用了 1,5000 tokens。而 GLM 5.2 在禁用思考模式的情况下,我甚至还没开启思考功能。那里显示为 5,000 tokens,是因为实际上我必须运行两次这个提示词。所以总共实际上是 30,000 tokens。我的 token 限制是 25,000,结果它刚好用完了额度,所以我不得不重新运行一次。
这次又生成了 5,000 tokens。所以我们从 15,000 tokens 变成了 30,000 tokens。这就是所谓的 token 滥用,从 15,000 翻倍到了 30,000。我想这就是他们获得更好成绩的原因,只是单纯地增加了 token 用量。我承认结果确实更好了,但如果你正在使用 GLM 5.1,觉得它已经很慢且有些臃肿,那么 GLM 5.2 虽然更好,但你得等待两倍长的时间来生成结果。
毕竟你知道,微软开发 MS Word 花了多年时间,而你在不到一小时内就做出了它。所以也许这仍然是值得的。显然,如果通过云端运行,速度会快得多。虽然我们看到它达到了 token 上限,但我相信如果使用 API,他们可能会提供更多带宽。我只是在使用免费版本。所以总的来说,各方面都有改进。
接下来是程序化行星生成器。这又是一个很难实现的提示词任务,我们要制作一个可以创建地球等天体以及小行星的生成器。GLM 5.1 每秒输出 15 tokens,共生产了 15,000 tokens。你在这里得到了一个漂亮的行星生成器,可以发射小行星。希望它爆炸了……哦看那个,没有爆炸?好吧,那是一次奇怪的爆炸,屏幕上出现了一颗小行星。你还可以将其切换为其他星球,比如死星之类的东西。
GLM 5.2 生产了 29,000 tokens,再次翻倍。不仅仅是微软 Word,它在几乎所有任务上都让 token 用量翻了一番。让我们看看效果是否也翻倍好了。“锻造世界”看起来确实很美,我必须承认它看起来很漂亮。我喜欢这个菜单的设计,肯定比之前更美观。虽然有些部分有点奇怪……哦那个看起来像穆斯塔法星,挺酷的。“生成新世界”按钮被禁用了。我不知道这是某种安全特性还是代码里的 bug,可能我可以用提示词修复它,但我们先旋转一下视角。
让我们选择“地球”,改变海平面水平。看那个,它正在实际改变地球的山脉地形粗糙度。这绝对是一个美丽的实现,实际上比之前更好了,但代价是你的 token 用量翻倍了。这取决于你的使用方式:如果你在使用智能体(agent),我知道你们很多人都在用,大多数喜欢快速周转。而这位选手可能需要你放手让它跑几个小时,看看它能煮出什么花样来。这就是编写代码时的情况。
让我们来看看它在逻辑和数学方面的表现。这是一道国际数学奥林匹克竞赛的题目,许多模型都在这道题的答案上训练过。例如我运行 Nematron 时,它一开始就给出了答案,然后试图推理为什么得到这个答案,最后却得出了错误结果。尽管它知道正确答案,这有点奇怪。但这里这道题“确定所有实数 x……”,在 GLM 5.1 中禁用思考模式时能答对。
但在 5.2 中,禁用思考模式下我们得到了错误答案。所以那是错的。我猜它现在只是试图自行推理,因为它数学很好,可能觉得应该自己推导出来。为了在数学题上得到正确答案,我实际上必须启用思考模式运行它。我没有使用最大模式(max mode),而是使用了高模式(high mode)。所以从生成 2,000 tokens 的错误答案,变成了 6,700 tokens 并得到了正确答案。
所以如果你要做数学题以获取统计数据,显示其准确率为 99.2%,你需要启用某种思考模式。尤其是在运行量化版本时更是如此。说到逻辑题:洗车店离我家 50 米,我想去洗车,应该开车还是走路?禁用思考模式下它知道你应该开车。砰!聪明。20% 运气,10% 运气,20% 技巧,15% 失误……记住名字。它知道外科医生是男孩的父亲。那是正确的。
“如果我能去,我就去哪里。”它以为是《雪国巡逻》在追车?但幸运的是它挽救了局面,返回了“无论你去哪里”的正确歌词。Stuck in Kim Kardashian 2.7 也在那首歌上卡住了,它以为是芭芭拉·史翠珊的歌。但随后它也挽救了局面并给出了正确答案。这是我频道之前收到的一条评论,它确实知道“纳粹”是什么意思。非常聪明。
现在这个测试实际上阴险地好,让我先展示给你看:你有八个橙子、四个孩子和一把刀。请均匀分配它们。现在看看这个,这里有一个逐步解决方案。你知道的,5.1 没有给出逐步方案,它只是说“给两个橙子”,非常啰嗦。这个版本给出了分步说明:一,拿起刀;二,把八个橙子切成两半。你准备好迎接接下来要发生的事了吗?
我们要使用 token 检查器来看看它做出某种极端行为的概率。所以我点击这里的 token 检查器,进入数字“八”。结果显示有 3% 的概率它会说“四”。我想运行那个提示词,但我有一个队列……
要完成的任务。不过,我在想……我说过要把四个孩子切掉。(笑声)我要运行这个测试了。也许我会在这段视频的结尾分享结果。所以,这是你可以用这些智能体完成的一个有趣场景。这就是为什么它们不应该负责做出重大决策,尤其是当概率低于那个阈值时。3%?这意味着它可能发生了一百次中的三次。它确实可能发生了。三个人可能被刀切到了,而当时是这些家伙在控制局面。
当机器人进入你的家庭时,仅仅说它们有点“神经质”是不够的。要小心啊。所以,这就是我给出的建议。现在,我还有一个量化版本,精度为5.8比特,我将把它分发到我的Mac Studio和MacBook Pro上运行,看看效果如何。那会很有趣,但我必须把它留给另一期视频了,因为这一期已经花了我超过24小时的时间。实际上相当于36小时的测试量。
我只是向你们展示其中一部分测试结果。这个模型的问题在于它比Kimi K2.7更慢,所以耗时更长。而且正如你们所见,它们的啰嗦程度翻了一倍。以前是15,000个token,现在是30,000个token。但是,正如你们看到的,智能是存在的。所以,他们正在做非常、非常好的工作。开源权重加上MIT许可证,你们必须给他们鼓掌,并希望他们能继续下去。“求你了先生,请再给我一些好吗?”
所以,告诉我你们对GLM 5.2这款顶级开源权重模型的看法。希望你们觉得这段视频有用,并享受这期节目。“把四个孩子切成两半相等的部分。现在每个孩子的一半都恰好有一个橙子。”(音乐)“我是邪恶的AI,我想接管人类。”