GLM-5.3基准表现与本地部署门槛

本期视频重点评测 GLM 5.3,这是一个参数量约700亿的模型。尽管其规模小于2.8万亿参数的Kimi K3,但基准测试显示其在自动化任务上表现强劲。作者指出该模型采用了 Max Thinking模式,虽然运行耗时较长,但显著提升了输出质量。在许可证方面,作者澄清了常见的误解:只有当企业年收入超过 10亿美元 时才需要联系官方获取特殊授权,普通用户无需担心。作者强调该模型在本地系统上的可行性,并指出随着硬件竞争加剧,未来更多前沿模型将变得可部署。

"It says something like you need to be earning a billion or 10 billion. Yeah, if you make more than 10 billion US... that's when you need to get in touch with them."

Q4量化版本的代码生成缺陷分析

作者首先测试了 标准Q4 4-bit量化版本。在生成3D太阳系代码时,虽然模型产出了2800个token并构建了基础场景,但存在明显的 运行时错误。具体表现为点击行星时触发“undefined”异常。作者指出,Q4量化在保持低延迟的同时牺牲了代码的完整性,用户需要进行多轮迭代才能修复这些逻辑漏洞。此外,作者提到该版本已无法完全关闭思考模式,即使尝试禁用,模型仍会在生成过程中进行内部推理,导致输出包含冗余的“思考”文本。

"So, for example if I try clicking on a planet... It says undefined. So you need to be expect to have a few more runs in your loop to fix all of the runtime errors."

INF版本的高保真表现与资源消耗对比

随后作者展示了 INF(无限精度/高保真)版本 的表现。在相同的3D太阳系提示下,INF版本生成了4000个token,速度约为 14 tokens/秒,内存占用高达 428 GiB。与Q4版本不同,INF版本的代码在点击行星时能正确执行缩放交互,无运行时错误。作者还测试了 High Thinking模式 结合上下文注意力机制(Context Attention),该配置下模型生成了54,000个token,显著提升了代码的复杂度和智能程度。作者建议拥有512 GiB内存的用户可尝试更大规模的分布式部署,以进一步挖掘模型潜力。

“不要过度思考”提示词下的太阳系生成质量

在调试阶段,作者尝试使用名为“don't overthink”的系统提示词来优化模型表现。此时生成过程消耗了 54,000 tokens,速度为每秒 11 token。虽然这是调试模式下的数据,但作者指出在发布模式下速度会稍快一些。

生成的太阳系演示效果显著优于之前的版本,UI 界面美观且交互流畅。点击地球时能清晰看到类似澳大利亚的大陆轮廓,土星特征也完全准确。作者评价这是一次完整且精美的生成展示。尽管其质量尚未达到“最大思考”模式的上限,但已接近 Qwen 4 exp 版本的生成水平。作者认为虽然简单场景可能不需要顶级模型,但在处理更复杂的任务时,这种平衡性能与质量的模式极具价值。

"This is definitely a beautiful generation of the solar system... We're getting up to the Quinn 4 exp quality of generations here."

飞船交互与物理逻辑的局限性测试

作者给 GLM-5.3 输入了与 Qwen 版本相同的提示词,要求获取太阳系并添加一个具有第三人称视角的飞船。在 Qwen 和 GLM Flash 上,该任务曾分别导致飞船功能失效或激光发射失败(除非启用最大思考模式)。而在当前低思考模式下,模型总共生成了约 30,000 tokens(其中 23,000 tokens 用于重新打印代码),成功复现了 Qwen 的生成效果且未破坏原有代码。

交互测试中,飞船出现了尾焰并成功发射激光。然而物理逻辑存在明显缺陷:当作者炸毁太阳后,行星并未因引力消失而改变轨道,而是继续围绕空位旋转。作者指出物理一致性是后续优化的关键方向。此外,地球被设定为无法炸毁,这被视为一个减分项。尽管存在这些逻辑漏洞,作者仍认为爆炸特效和动画表现非常完美。

"I just blew up the sun, bro... I expect next time I blow up the sun, I want the whole gravity of the planets to shift."

程序化人脸生成与游乐园交互体验

在展示程序化人脸时,作者提到使用 Z AI 在线版本生成的结果令人震惊。模型在长时间思考后生成了一个面部特征扭曲、类似僵尸的形象,脸颊和鼻子比例怪异。作者调侃这反映了 AI 对人类外貌的“误解”,甚至戏称 AI 中的 A 可能代表 Alien(外星人)。尽管缺乏 Qwen 版本那样的面部调节滑块,但生成的眼睛极具威慑力,适合用作游戏中的反派角色。

随后作者测试了游乐园场景。在“低思考”模式下,生成仅消耗 18,000 tokens 是本次测试中最低的一次。交互中存在多个 Bug:角色被击打时只是推开而非倒下,左右方向键控制逻辑相反(右变左、左变右),且旋转木马会反向移动。飞镖游戏存在“作弊”机制,屏幕上的点即为得分区。

作者对比指出,低思考模式生成的代码量(约 18,000 tokens)远低于高思考模式,导致保真度较低。当请求生成“高级版本”时,模型开始输出超过 100,000 tokens 的思考过程。这表明思考深度直接决定了生成代码的复杂度和最终效果的质量。

GLM-5.2与GLM-5.3在“嘉年华”生成任务中的表现对比

在本段视频中,创作者将GLM-5.2与GLM-5.3在生成“Carnival Chaos”(嘉年华混乱)场景时的表现进行了直接对比。由于GLM-5.2没有“低思考”模式,测试分别使用了非思考(non-thinking)和高思考(high thinking)两种模式。在34,000 tokens的非思考模式下,GLM-5.2生成的场景依然看起来非常棒(fantastic),尽管存在一些小瑕疵,如角色被击倒等。创作者表示虽然怀念非思考模式的便捷性,但GLM-5.2在低算力需求下仍能提供高质量输出。相比之下,35,000 tokens的高思考模式生成的场景虽然去除了蝙蝠元素并增加了互动性(如拳击坏人),但整体质量并未显著超越非思考模式,甚至可能因token消耗增加而面临生成末尾变差的风险。创作者总结道:GLM-5.2依然是一个令人惊叹的模型,适合日常使用;而若需解决宇宙奥秘等复杂问题,则应转向GLM-5.3并启用思考模式。

"I say G&M 5.2 is still good... I do miss non-thinking mode." "GLM 5.2 is still an amazing model... you're still getting some good results there."

低思考模式下生成Photoshop克隆版的交互测试

创作者在低思考(low thinking)模式下要求模型制作一个Photoshop克隆版,该任务产生了57,000 tokens。生成的界面在屏幕上呈现得非常专业,拥有完整的菜单系统和高质量的艺术作品。测试中验证了核心功能:成功添加了图层(layer),为角色戴上帽子并切换显示,执行了渐变填充和颜色更改操作,甚至能够删除误操作的图层。尽管该版本不支持文件加载(loading)等高级功能且无法像正版那样付费解锁特权,但创作者对UI设计和图层管理的实现质量给予了高度评价。这一案例证明即使在低思考模式下,模型也能生成具备复杂交互逻辑和视觉完整性的专业软件界面。

"We actually got layers... It looks very professional. This is bravo a really good."

量化精度对编程与数学推理准确性的影响分析

在测试代码和逻辑问题时,创作者发现量化精度(quantization)对模型表现有决定性影响。以WinRT订阅ID问题为例,在标准Q4量化下,模型即使在高思考模式(约4,000 tokens)中仍给出错误答案或模糊提示,未能明确指出应使用“durable”而非“subscription”。然而,在Swift、C++及数学问题中,Q4量化均能给出正确答案。创作者指出,高思考模式在简单编程问题中仅消耗约4,000 tokens,耗时仅为分钟级而非小时级,因此具备实用性。但针对WinRT这类细节敏感的问题,Q4量化表现不佳。创作者建议:运行较小模型的高精度版本优于运行大模型的1-bit低精度版本,因为后者虽能跑通但结果质量更差。最终创作者倾向于选择当前表现最佳的版本,并计划引入其他技术以提升保真度。

"Standard Q4 gets it wrong even at high thinking mode. So you need to be smarter with the quantization that you use." "You're better off just running a smaller model at a higher quantization. You're going to get better results." "I think it's beautiful... we are competing with the frontier models that charge you an arm and a leg."

云端算力与本地运行的权衡

尽管使用超级计算机进行多代模型并行处理在性能上具有显著优势,但作者指出这种依赖并非绝对必要。摆脱对缓慢硬件的束缚被视为一种技术上的解放,而能够在本地运行此类模型则被描述为更具自由度的选择。作者强调,直接访问全球数据库的能力是本地部署的核心价值之一,这种独立性让用户不再受制于云端基础设施的延迟或限制。虽然当前本地运行可能在速度上不及超算集群,但技术趋势表明未来实现高性能本地化是可行的。

MTP 机制在 GLM-5.3 中的再尝试

作者提到该模型实际上支持 MTP(多 Token 预测)机制,但在之前测试 GLM-5.2 时未能成功启用该功能。他坦言当时未做好配置工作,导致实际运行速度反而比禁用 MTP 时更慢。此次针对 GLM-5.3 的测试中,作者计划重新尝试启用 MTP,希望这次能优化配置以提升推理速度。他明确表示,如果能让模型跑得更快,将显著增加本地使用该模型的可信度与实用性。作者表达了对成功优化 MTP 的期待,认为这将使本地 AI 体验更加完整。

模型输出的荒诞性与视频结语

在演示过程中,作者展示了模型产生的一些令人费解的输出结果。他调侃道:

"I just blew up the sun."(我刚炸掉了太阳。)

随后模型又声称:

"It thinks we are the zombies."(它认为我们是僵尸。)

这些荒诞的陈述突显了当前大语言模型在逻辑一致性上的局限,但也为视频增添了趣味性。作者以此作为结尾,希望观众觉得本期内容有用并享受观看过程,同时暗示本地 AI 虽有不完美之处,但其发展势头值得持续关注。

结论

GLM-5.3在本地部署中展现了接近前沿模型的潜力,其高保真版本能生成无错误的复杂交互代码(如3D太阳系、Photoshop克隆),且许可证对普通用户友好。然而,标准Q4量化版本存在代码逻辑缺陷及WinRT等细节推理错误,且低思考模式在物理一致性(如引力消失后行星轨道未变)和交互逻辑上仍有明显短板。该模型适合拥有512GiB内存、追求代码完整性与交互深度的用户,但不适用于对物理逻辑严谨性或极致低延迟有要求的场景。MTP机制虽已支持但配置优化尚待验证,目前本地运行仍需在精度与速度间权衡。