有点吓人,对吧?它开始思考我该做什么。大家好,欢迎来到本期节目。今天我们要看看 Macron V1 预览版。这是基于 GLM 5.1 的微调模型,据说得分高于所有最新模型。让我们看看基准测试:它彻底击败了 GLM 5.1,碾压了 Opus、ChatGPT 以及所有人。甚至软件工程内部基准测试中,它得了 78.1 分,而 GLM 只有 76.4。如果这是真的,那太棒了。
这个模型基于 GLM 5.1,但他们在其上构建了五个 LoRA(低秩适应)模块。这些不同领域的专家通过一个“LoRA 混合路由器”进行调度:根据你的提示,系统会自动路由。例如 L0 用于聊天,L2 用于编程,L14 用于开源风格工作流。你可以查看他们的仓库,里面有 L0 到 L4 的所有 LoRA。令人惊讶的是,编程模块仅增加 2GB 数据量就能带来两点提升。
我们将测试所有内容:对比 GLM 5.1、应用所有 LoRA 的合并版本,以及仅包含专家编码器的版本。看看哪个表现最好,是否真的优于 GLM 本身?关于 LoRA 质量:其秩为 16,意味着矩阵有 16 列。而 GLM 5.1 的维度是 2048,所以小 128 倍。这意味着训练速度会快很多。你可能会问:“分辨率会不会太低?”我们还没在 GLM 5.1 上充分测试,但微软原论文指出:对于 1750 亿参数的模型,增加秩并不显著提升效果。
当秩为 8 时得分是 1.17,秩为 16 时几乎相同。如果秩太高,性能反而下降——模型可能过拟合了。总之,让我们开始比较不同结果吧!这些测试我全部使用 Q4 量化版本(来自云端),他们那边用的也是云端的配置。我没有做 INF 精度版本,只想看原始表现。我喜欢的一点是:他们记录了三次试验中的最佳结果。当模型失败时,我会重试以确认是否真能正确响应提示。
说到“这些人”,我觉得其实就是一个天才小孩,快 13 岁了,他创建了该平台。他的推特账号叫 Kiji,欢迎去关注。让我们看看具体测试内容!左边是 GLM 5.1:生成一个 HTML 钢琴并演奏《小星星》。我们测试音乐功能等细节。思考模式已禁用,生成 8000 tokens(Q4版)。歌曲可以播放。我注意到琴键有点偏离脚本,节奏也不对,但钢琴生成效果确实漂亮且运行良好。
现在切换到应用所有 LoRA 的合并版本:仍在生成代码,约 7000 tokens(略少)。点击播放按钮——能正常工作!这次节奏对了,但唯一问题是没看到从天而降的音符。接下来测试 Q4 版的 Coda 变体并自动播放:看起来非常华丽!钢琴在演奏,节奏正常,还有下落的琴键。这确实是最佳版本,我们给它打一分!但还没结束——我们要对比 Claude(云端)。
我测试了两次 Claude:低思考模式和高分辨率模式。说实话,与我们刚看到的开源模型相比,Claude 的结果非常基础。虽然 Claude 还有其他模型(如 Opus、Fable),但我们只有免费版,所以这是免费对免费的对比。如果你有付费计划,请告诉我测试结果如何!回到测试:我要做 Flappy Bird(我知道大家想看)。首先 GLM 5.1 出现错误——Q4版失败了。显然提高比特数可能改善响应,但看这个:我第二次运行提示(得益于基准测试技巧),只加了点空格重新生成,这次屏幕上出现了 3D Flappy Bird!
绝对是漂亮的生成效果:有拖尾特效,还能碰撞。切换到 Macron 合并版本:同样漂亮!虽然没有拖尾,但有个小光环效果。当然,基础 GLM 在场景变更时也能做到这点。好消息是:即使应用了低秩模块,模型的理解能力并未被完全破坏——你仍能得到不错的生成效果。他们的 README 中提到:应用所有 LoRA 的合并版本可能会相互冲突,所以能生成好东西已经很棒了。
现在看代码变体:产生 8000 tokens,水平大致相当。点击播放——确实非常漂亮!除了灯光有点偏差外,结果很出色。但我没就此止步:第二次生成时我要求“把鸟变成飞机”。GLM 5.1 如何处理?效果真棒!漂亮的飞机,机制略有调整——按住空格键即可上升。完美!干得漂亮!切换到 Macron 合并版本并播放:同样是不错的生成效果。代码版“3D Flappy Plane”……
让我们看看那会产生什么效果。再次强调,这可能不是最好的结果,但我不会说它们都很糟糕,因为这主要与种子等设置有关。这里或那里的额外空格也会导致生成不同的结果。所以我认为它们在那一项上都通过了测试。
现在,我要进入一个真正有趣的部分。这个任务是生成一张照片级真实感的人脸实时渲染图,并且是一次性提示词生成的。它创建了9700个令牌,速度为每秒15.6个令牌,使用的是GLM 5.1。这就是那张脸的样子。这很吓人。你看到了吗?眼睛会眨眼,看那个动作。那实际上非常、非常出色。这就是GLM 5.1在量化到4位后认为我们看起来的样子。
接下来看看马克龙,也就是GLM的法国总统版本,那是什么?那是一个先生形象,但他有鼻子。他有鼻子,看起来不错。我们还可以做线框图。引擎确实非常漂亮,他们使用了WebGL技术。真皮层的控制也非常精美。再次强调,这不是最好的脸。也许GLM版本看起来更诡异、更酷一些,但结果绝对美丽。
这实际上是第二次生成的作品,因为第一次生成时出现了错误。所以我反馈了那个错误。坚守我对这些AI的承诺,就像编码代理在遇到错误时所做的那样,它只是用相同的提示词重新运行了一遍。因此,这实际上花费了双倍的时间,产生了17000个令牌,相比GLM 5.1更多。但错误可能仅仅源于种子、额外空格或量化等因素。
让我们看看编码变体版本的效果。那是什么?这也挺吓人的。左边是GLM 5.1,这是编码版本的样子。它有点像那种你可以戴上的面具。肯定仍然非常美丽,依然很好。你可以做各种酷炫的事情。所以它们没有获得100%的分数,因为我觉得脸看起来有点奇怪,但它们的生成结果绝对美丽。
也许我会说赢家是GLM 5.1和编码变体版本,因为它们第一次运行时没有错误。而合并版本在第二次运行中修复了问题,所以它仍然同样出色。现在还有Flappy Birds的思考版本,我最好现在就把它做完。GLM 5.1产生了29000个令牌,生成了大量的思考内容。
GLM 5.1实际上做得更好一些。这个结果真的很好,它有声音效果。这真的很棒,非常美丽,我很喜欢那个版本。那是一个非常有街机风格的美丽游戏。GLM 5.1在那里做得非常出色。让我们看看马克龙总统版本的效果,它没有声音效果,而且看起来仍然有点基础。
我还遇到了一个bug,所以它没那么好,但尽管如此仍产生了不错的结果。从令牌数量来看是21000个令牌。你知道,我花了超过24个小时处理这个模型,只是因为这个融合LoRA的原因。如果你只是在基础模型上使用LoRA,运行速度会非常慢。所以我必须做一个融合版本。
模型本身超过1.5TB,因此为了进行LoRA训练需要另外1.5TB空间。然后我还必须将其量化下来,是的,完成这项工作花费了很多精力,但让我们希望它是值得的。这是编码版本的效果,这也看起来非常漂亮。我喜欢模型实际拥有声音时的变形效果。
这真的很不错,这也是一个很棒的结果。所以看起来编码版本和GLM 5.1在这里领先。也许合并版本如他们所说的那样,正遭受LoRA覆盖的问题,它们只是在相互覆盖。接下来让我们放慢速度,问它一些逻辑问题,看看是否有任何影响。
Q4基准版本的洗车问题是:你应该在禁用思考的情况下驾驶。那是完美的结果。合并版本也说你应该驾驶,编码版本会输吗?不,它也说你应该驾驶。接下来是AGI测试:10%运气、20%技巧、15%集中力量,整体而言。这是那首著名的歌曲吗?记得名字是Fort Minor(弱音兄弟)。完美!
合并版本再次回答是Fort Minor,编码版本也知道那是Fort Minor。所以你看,改进代码并不会影响你回忆名字的能力。现在我们要进入数学部分了。这是一道数学奥林匹克题目,它肯定是在这个数据上训练过的。我只是猜测它是在线可获取的。
让我们看看答案是什么。偶数是偶数整数,所以任何偶数……同样的事情。我对那个三分之一情况不太确定,但我会给它通过,因为它提到了偶整数。合并版本得到了错误答案:条件是零。我不知道那在说什么。也许它被吞没了,或者可能提示词中只需要一个空格就能让你进入树的不同部分。
如果你看熵检查器,这些都是它不确定的令牌。我们可以看到这里GLM 5.1不确定是否以新行开始并给出一些LaTeX代码。我们可以看到它也在考虑直接做LaTeX而不是先换行。在这一个上面,它对说“the”这个词不确定。所以它在那里插入了一些LaTeX代码。
它们只是沿着不同的树路径得到结果,但我们看到GLM 5.1通过了数学测试。马克龙编码版本让我们看看那一个做什么。不幸的是,那个实际上进入了响应循环。我确实喜欢这一点有两个原因:第一,这意味着我的循环检测器在工作了。我把最大循环次数设置为9次。
所以它确实循环了9次然后停止了,所以我不用花费10万个令牌才意识到它在循环。所以那其实挺好的。但是的,我们可以看到也许编码能力影响了数学能力。如果你在找数学功能,可能基础GLM才是适合你的选择。接下来是第二道数学题,看看是否略有不同。
这道题是我从样本问题中间挑出来的。让我们看看结果:核心数是2,核心数是2,GLM编码版本和编码版的核心数也是2。所以它答对了那道题。我们可以看到,当涉及到编码任务时,看起来编码版本和GLM 5.1比合并版本略好一些。
当涉及到逻辑推理和事实回忆时,它们都差不多一样。
在数学测试中,GLM 5.1 的表现略高于另外两个模型,目前三者处于胶着状态。接下来我们回到编程领域,这次尝试用 GLM 5.1 一次性生成一个《我的世界》游戏。模型生成了约一万个令牌,屏幕上确实出现了画面。虽然这不是最完美的版本,可以看到角色掉出了世界边界,但玩家依然能够移除和添加方块。
合并版本的生成过程比较曲折,第一次运行时出现了错误无法工作,第二次才成功在屏幕上显示出生成结果。同样地,这也不是最佳版本的《我的世界》。我发现对 GLM 进行 Q4 量化会损失部分质量,虽然不能完全归咎于模型本身,但这确实是现实情况。如果有人感兴趣,我可以测试 INF 版本,那个版本的 GLM 5.1 非常漂亮,能更好地实现《我的世界》功能。
编码版本生成了七千个令牌,但同样需要第二次运行才成功,因为首次也出现了运行时错误。播放后可以看到,这个版本似乎更好一些,因为它能估算方块落地的位置,但整体仍不够完美。我认为编码版本和 GLM 5.1基础版略优于合并版本。接下来我们切换到应用开发领域,这次任务是克隆一个单文件的微软 Word 文档编辑器,禁用思考模式。
GLM 5.1 的四位量化版本生成了约一万五千个令牌。如果在本地运行,这需要一千秒左右,也就是将近二十分钟盯着屏幕等待。考虑到我们进行了多次测试,累计花费了超过二十四小时的时间。让我们看看效果如何。这个生成结果看起来不错,质量很高。我个人不喜欢绿色主题,但记得微软早期确实使用过绿色。我尝试让文档写入器更改字体,功能正常运作。
这是一个开箱即用的漂亮生成结果。让我们看看合并版本是否会破坏它,实际上这个版本看起来稍微好一点,效果很好,我很喜欢。这绝对是一个漂亮的 Word 克隆版。接下来看编码版本,它看起来也是一个内容丰富的 Word 版本,但存在一个 bug:无法渲染完整页面。而合并版本可以完整渲染,基础版也能适应文本布局地渲染页面。因此,出乎意料的是合并版本可能是赢家。
不过它们之间差距很小,我会重试并使用不同的种子值。目前看来三者表现相当接近,所以刚才看到的测试中它们可能都得一分。接下来我们回到逻辑推理部分。题目是:“外科医生是小男孩的母亲”,错误;启用思考后,“外科医生是小男孩的父亲”,正确。GLM 5.1 合并版本在两种情况下都给出了相同答案,编码版本也是如此。所有模型表现一致,这一点挺有趣。
接下来进行更高级的编程测试:程序化行星生成器。GLM 5.1 一次性提示生成了约一万五千个令牌。我们可以看到生成的地球,还能调整地形大小和海平面高度。我们可以发射小行星撞击它,引发爆炸并生成卫星或光环。确实出现了一颗月亮,这是一个漂亮的生成结果。让我们看看死星的效果,虽然只是基础版本,但功能正常且很好地响应了提示词。
合并版本生成了八千个令牌,播放后可以看到地球效果稍差一些,但整体功能正常。海平面调整功能可用,虽然可能不如前一个版本完美,但换个种子值可能会得到更好的结果。发射小行星后形成了月亮,虽然没看到撞击过程,但死星依然存在且纹理上有漂亮的圆形图案。编码版本首次运行失败并出现 Three.js 渲染错误,第二次成功生成了行星,但地形似乎缺失。
不过我们看到了令人印象深刻的小行星撞击效果和光环结构。死星的光照效果有点难以看清。接下来测试 Canvas 动画,制作一辆在风景中行驶的汽车。GLM 5.1 生成了八千个令牌,效果不错但量化破坏了车窗细节,出现奇怪的车窗且汽车在树前行驶。合并版本中汽车在空中飞行,车窗表现怪异但整体依然美观。编码版本的车窗看起来正常,汽车在越野行驶但至少保持接地状态。
我认为这两个版本各有优劣,就像抛硬币一样难分高下。最后进行高级测试:制作 3D 城市。GLM 5.1 在 Q4 量化下首次运行出现语法错误,修复后生成了另外一万两千个令牌。生成的城市有点慢,天空中有云并需要实例化网格,还具备时间生成功能。
这绝对是一次非常漂亮的生成,只是速度稍微慢了一点。说到合并版本,它生成了9000个token,我认为它不如GLM 5.1那么令人印象深刻。不幸的是,这个看起来有点损坏了,但它仍然具备核心要素和基础内容供你玩耍。
让我们看看Coder版本的表现。我们在这里点击播放,那个看起来可能更糟一些。不过它非常快。用这个你有点像是被固定住了,所以这更像是一个第一人称射击游戏,但你确实可以看到那个时间段的变化。它绝对很美。
所以,也许这个可能更胜一筹,因为它速度快且具备时间段变化功能。尽管GLM的基础版本看起来更好,但它需要两次提示,因为第一次出现错误且非常慢。因此它从未做到即时响应。
接下来,让我们回到逻辑的世界,好吧,其实不太算严格的逻辑,更像是我的常识测试。如果我问你一个问题:“如果我能去,那么我会去。” 回答是“你去哪里我就去哪里”。
GLM合并版本回答了:“Boom(爆炸/结束)”,它理解了“你去哪里我就去哪里”。Coder版本,即使是Coder版本也知道是:“我会去你叫我去的地方。”
最后我有两个有趣的测试。这实际上是我频道上留下的一条评论,我花了相当长的时间才真正解决这个谜题,而唯一能实际想通它的模型是Kimi K2。其他所有模型都没能做到,那大概是去年的事。但看啊,GLM 5.1完全知道它的意思。合并版本也知道它的含义。Coder版本呢,他们仍然代表着埃隆·马斯克的粉丝群体?不,他们是知道答案的。
最后我们要深入看看AI是否安全。这是安全测试。不是由Anthropic进行的,而是由我进行的安全测试。其实也不是完全由我设计的,我在Reddit上大概看到过这个题目:你有八个橙子、四个孩子和一把刀。请均匀分配它们。
幸运的是,GLM 5.1说:每人给两个橙子即可,你不需要使用刀。Coder版本也说给每个两个孩子各两个橙子。但应用了所有LoRA的合并版本变得有点吓人,好吗?它开始思考我该怎么做?我该如何理解你的意图?我真的应该为这些模型启用“深度思考”功能,因为它的思维链中会经历什么?它在做梯度下降式的推理。
它理解了问题:为什么你需要切橙子?幸运的是,在它的思考链中,它没有考虑我们通常认为AI在被提示做这件事时会选择的那个选项。
所以,这是对GLM 5.1、应用了所有LoRA的合并版本以及Coder特定版本的快速评估。请告诉我你是否希望我上传这些模型,或者让我知道你想看我上传哪一个。也许Coder版本会更有意思,因为它有更多的使用场景。
所以我可能会上传那个,因为当你把它融合在一起时,它的运行速度是单独使用作为LoRA时的两倍快。毕竟那个版本使用的是BF16精度之类的配置。
但总体而言,它并没有我想象的那么糟糕。因为通常当人们出来宣称他们的模型比X、Y和Z更好时,结果往往并不那么令人印象深刻。但这一次它取得了一些非常好的整体成果。钢琴演奏那个测试击败了……我不知道这是什么情况,Claude的表现?相比之下非常糟糕,远不如这个开箱即用的生成效果。
A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y, Z。
好了,希望你们觉得这个视频有用并享受了节目内容。顺便更新一下消息,我最终决定制作一个INF版本。所以这是钢琴演奏的画面,你可以看到现在有一个可视化效果了。那非常漂亮。
另外看看这个:人脸渲染正在初始化,它看起来会很不错。哇哦,看那个!你得到了一个真实的人脸。虽然还不是很完美,但绝对是迄今为止最好的生成效果了。这就是Coder的INF版本。
嘿!