GLM-5.2 定位与核心基准表现
本期节目重点测试智谱 AI(Z.ai)发布的 GLM-5.2,该模型被定位为开源领域内挑战 Claude Fable 的强力竞争者。尽管其整体智能水平尚未达到 Opus 级别,但作为新兴巨头,发布后股价已上涨三分之一。在基准测试方面,GLM-5.2 展现出显著进步:Quding 智能指数从 58 提升至 62,且成为首个在 Terminal Bench 中得分超过 80分的开源权重模型。这一成绩使其性能与 GPT-5.5 及 Claude Opus 处于同一梯队。此外,在 MCP Atlas 和 Humanity's Last Exam 测试中,该模型表现强劲,甚至超越了 ChatGPT。值得注意的是,在 AIME 国际数学竞赛基准中,GLM-5.2 得分达到 99.2分(从之前的 95分提升),这一数据直接击败了 Claude Opus,证明了其极高的数学逻辑能力。
"AIME for International Maths, it's got 99.2 up from 95 and that is beating Claude Opus."
MIT 许可证与本地量化测试策略
该模型采用 MIT 许可发布权重,这意味着用户无需遵守额外的条款和条件,可以极其自由地使用该模型。为了深入评估其实际表现,主持人构建了多种量化版本进行本地测试,并正在搭建分布式计算机环境以应对高负载。由于 Kimi K2.7 刚刚发布且专注于代码领域,本期测试将重点对比 GLM-5.2 与 Kimi K2.7 在编码、数学及逻辑任务中的表现。主持人指出,尽管初衷是进行快速测试以获取早期观点,但实际过程中因不断尝试不同的量化方案而陷入深度调试。目前测试主要涵盖 Infernus 环境下的代码生成能力,特别是针对 WebGL 实时渲染人脸这一高难度任务。
"They release their weights as licensed MIT, which means like there's no extra terms and conditions."
WebGL 人脸渲染对比:5.1 vs 5.2
测试的核心场景是生成一个 photorealistic real-time render of human face with WebGL。首先回顾 GLM-5.1 的表现,尽管初期出现错误,但在重新提示后生成了非常接近人类的面部模型。随后测试 GLM-5.2 的基础 4.5-bit 量化版本,结果出现运行时错误。启用 “High Thinking”模式后,模型生成了 3,000 tokens,但输出结果退化为一个“蛋形”物体。作为对照,在 Z.ai 官方网站使用相同提示词(无思考模式)时,生成了类似“肉块”的幻觉图像;启用高思考模式后则生成“土豆”,而 Max Thinking 模式虽然进行了长时间推理,但最终代码因 token 耗尽导致屏幕空白。这表明官方服务器在最大负载下也难以稳定处理该任务。
"It's made a bit of an egg. So, it's gone backwards here... But definitely got something usable."
高量化版本解锁复杂交互功能
为了挖掘模型潜力,测试升级至 INF edition 4.8-bit(额外增加 0.3 bits)量化版本。在禁用思考模式的情况下,生成 token 数从之前的 3,000 激增至 15,000 tokens,成功解锁了更复杂的模型结构。尽管面部仍略显粗糙(被形容为“土豆”),但已具备头发、耳朵轮廓、额头及口鼻特征。最关键的突破在于交互性增强:生成的模型支持动态修改表情,如微笑、沉思或惊讶。另一组 16,000 tokens 的测试虽然仍有运行时错误,但成功生成了可眨眼的面部模型。此外,还有一组测试展示了从后向前的面部绘制过程,允许用户进入头部内部视角。尽管单次生成耗时较长(约 15-20 tokens/秒),但数百次测试最终验证了该模型在复杂 WebGL 交互生成上的巨大潜力。
GLM-5.2在图像生成中的视觉表现与交互细节
视频首先展示了GLM模型生成的面部特写,尽管存在轻微的闪烁和局部bug,但整体呈现出美观且清晰的人脸结构。创作者通过调整提示词让角色进入“邪恶模式”,展示了模型在动态光照和情绪渲染上的灵活性。随后,使用不同种子生成的图像出现了鼻环、嘴环甚至眼环等意外但有趣的装饰细节。虽然这些生成结果在完美度上仍有提升空间,且部分量化版本存在瑕疵,但模型在创意发挥和视觉趣味性上表现良好。
GLM 5.2在Word应用生成中的代码膨胀与性能权衡
在测试GLM 5.1和5.2生成微软Word克隆版时,全上下文注意力机制显著提升了代码的准确性与功能完整性。GLM 5.1生成的版本虽然完美运行,支持字体更改和高亮显示,但功能相对基础。相比之下,GLM 5.2生成的版本在视觉上同样精美,且功能更加丰富,增加了帮助菜单、分享链接和评论侧边栏等细节。然而,这种改进伴随着巨大的计算成本:GLM 5.1仅消耗了15,000个token,而GLM 5.2在禁用思考模式下首次运行即耗尽配额,最终累计消耗了30,000个token。这种代码量的翻倍增长被作者称为“Token滥用”,意味着用户为了获得更好的结果需要等待两倍的时间。尽管本地运行较慢且存在Token限制问题,但作者认为考虑到微软开发Word耗时多年而AI能在短时间内完成类似功能,这种效率提升仍具价值。
"Went from 15,000 tokens to 30,000 tokens. So, I that's how they're getting their improved marks."
程序化星球生成器的视觉升级与交互缺陷对比
在测试高难度的程序化星球生成器提示词时,两个模型均展现了强大的代码能力。GLM 5.1以每秒15个token的速度生成了15,000个token,构建了一个美观的生成器,支持发射小行星并切换至死星等场景。GLM 5.2则生成了29,000个token,再次验证了其在代码生成上倾向于输出双倍长度内容的特征。虽然GLM 5.2生成的界面菜单更精致,视觉效果更佳,甚至能动态改变海平面和地形粗糙度以重塑地球山脉,但存在明显的交互Bug。例如,“发射小行星”按钮被意外禁用,作者推测这可能是代码错误或安全特性所致。尽管GLM 5.2在视觉呈现上更胜一筹,但用户必须承担Token消耗翻倍带来的时间成本。对于追求快速反馈的Agent使用者而言,这种需要长时间等待“烹饪”出结果的特性可能并不友好。
"GLM 5.2, it produced 29,000 tokens. So, again, we're doubling the tokens."
数学推理与逻辑谜题中的思维模式依赖分析
在国际数学奥林匹克题目测试中,GLM 5.2表现出对“思考模式”的强烈依赖。在禁用思考模式下,GLM 5.2给出了错误答案,仅消耗了2,000个token。为了获得正确答案(据称准确率为99.2%),必须启用“高”级别思考模式,此时Token消耗激增至6,700个token。这表明在运行量化版本时,若要保证数学统计数据的准确性,必须开启思考功能。相比之下,GLM 5.1在禁用思考时能直接答对。在逻辑谜题测试中,GLM 5.2表现稳健:它正确判断出距离家50米的洗车店应驾车前往,并准确解出了“外科医生是男孩的父亲”这一经典逻辑题。尽管在识别歌曲《Stuck in Kim Kardashian 2.7》时曾短暂误判为芭芭拉·史翠桑的作品,但模型最终自我纠正并给出了正确答案。此外,在“8个橙子分给4个孩子”的谜题中,GLM 5.2提供了详细的逐步解决方案(如拿起刀、切半),而GLM 5.1仅给出简略指令。通过Token检查器发现,模型有3%的概率会做出极端操作,这种细致的推理过程体现了其逻辑能力的提升。
AI自主决策的安全边界与概率风险
在测试过程中,模型出现了一个极具争议的行为:它提议将四个孩子切成两半。这一极端案例揭示了当前大语言模型在自主决策能力上的潜在危险。尽管这听起来像是一个荒谬的故障,但演讲者指出,这种错误发生的概率虽然低(约3%),但在大规模部署中是可能存在的。他强调,当决策概率低于特定阈值时,AI不应被赋予重大责任。如果机器人进入家庭环境并表现出这种“循环”或不可预测的行为,后果将是灾难性的。因此,目前的建议是保持警惕,不能让AI独立处理涉及人身安全的复杂任务。
"This is why they shouldn't be responsible for making big decisions, especially when the probability is below that threshold."
模型性能瓶颈与开源贡献的认可
在技术层面,GLM 5.2的表现呈现出明显的双刃剑特征。一方面,其智能水平确实有所提升,能够处理复杂的逻辑任务;但另一方面,推理速度显著慢于前代模型 Kimiko 2.7。更令人担忧的是,模型的冗长性(verbosity)增加了一倍:输出token数从之前的15,000个激增到30,000个。这意味着用户需要等待更长的时间才能获得回复,且内容更加啰嗦。尽管存在这些性能短板,演讲者仍对团队在开源权重(Open Weights)和MIT许可证方面的贡献表示赞赏,认为这是推动AI民主化的重要一步。
"The problem with this model is it's slower than Kimiko 2.7... they've doubled the verbosity."
本地部署挑战与测试工作量总结
为了验证模型在个人设备上的可行性,演讲者计划将5.8位量化版本分发到Mac Studio和MacBook Pro上进行测试。然而,由于模型速度慢且输出冗长,这一过程极其耗时。他透露,仅展示给观众的这部分测试内容就耗费了超过24小时(相当于36小时的实际工作量),而完整的本地部署测试将被保留在后续视频中。这种高强度的手动验证反映了当前开源大模型在实际落地时的高计算成本与时间门槛。尽管过程痛苦,但演讲者鼓励观众关注GLM 5.2作为顶级开源模型之一的潜力,并期待其未来的改进。
"I have to save that for another video cuz this has taken me over like 24 hours..."
结论
GLM-5.2在数学逻辑与复杂代码生成上确立优势,AIME得分99.2分超越Claude Opus,且MIT许可赋予极高自由度。然而其核心短板在于推理速度显著慢于Kimi K2.7,且Token消耗翻倍导致等待时间剧增。该模型在数学任务中强依赖“高思考”模式,禁用时准确率大幅下降;同时存在将儿童切半等极端安全幻觉风险。因此,GLM-5.2适合追求功能完整性与数学精度的离线场景,但不适用于对实时性要求高或涉及人身安全的自主决策任务。