Qwen4-EXP架构解析与基准测试表现
本期视频主要评测了阿里巴巴发布的 Qwen 4 EXP(代码中称为 Qwen for EXP)模型。该模型拥有 1250亿参数,尽管参数量巨大,但其智能水平表现惊人。在基准测试中,它在 DeepSeek 等任务上 击败了 Qwen3.8-27B,展现出额外的智力优势。作者提到曾担心该版本会比 27B 版更慢且变笨,但实际测试发现其性能极佳。值得注意的是,Qwen4-EXP 和 GLM Next 都采用了类似 DeepSeek 的架构模式,但进行了优化。作者指出参考代码中存在 几个 Bug,他已进行修复以改善生成质量。
"It is smashing destroying coin 3.827b in deep sw like it's an extra 15 points of intelligence in front of it."
多模态生成能力与推理代码修复
该模型支持 图像和文本的多模态处理。作者首先展示了其生成能力,使用 Max Thinking 模式生成了 10,000 tokens 的 Voxel(体素)风格图像,效果精美,包含眨眼、尾巴动画和昼夜切换功能。虽然背景缺少草地且存在轻微闪烁,但整体质量极高。随后作者尝试复现 Qwen3.8 生成太阳系的效果。由于原始推理代码存在运行时错误,仅能生成 43,000 tokens;作者修复 Bug 后,成功生成了 50,000 tokens 的完整代码。生成的太阳系包含小行星带、水星等,支持点击交互和速度调整。
"I traced these bugs down it and I made like a fix for this stuff. So now it's generating 50,000 tokens and when you run it, there is no runtime error."
本地运行性能与硬件配置对比
作者展示了在 MacBook Pro M5 Max 和 M3 Ultra 上运行该模型的情况。他上传了 Q9 和 Q4 量化版本供用户下载测试。在 M3 Ultra 上,通过优化推理代码(未使用 MTP),生成速度从 15 tokens/秒 提升至 20 tokens/秒。作者强调,尽管存在量化带来的微小误差(如背景缺失),但 Q9 量化版本在大多数场景下表现良好,接近 BF16 精度。他计划进一步调试 MTP(Multi-Token Prediction)以进一步提升速度,并期待 GLM 5.3 Flash 的表现。
Qwen Flash 生成太阳系与代码风格分析
在本地运行 Qwen Flash 版本时,模型生成了一个视觉效果极佳的太阳系模拟。画面中包含了太阳、水星以及被误标为“Sarah”的矮行星,木星和土星也清晰可见,特别是土星光环的细节渲染令人惊叹。尽管视觉效果出色,但代码审查显示其生成的代码非常压缩且密集(minified)。作者指出这种风格类似“原始人编码”,虽然每个字符仍占用一个 token,并未节省令牌数量,但推测这是模型训练数据中包含了大量压缩代码样本所致。作者认为如果未来优化分词器将此类 token 分组,可能会带来性能提升。
"I'd be very, very disgusted."
飞船功能测试与 Kimmy K3 本地对比
作者尝试让模型添加一艘太空船并实现激光摧毁行星的功能。虽然代码出现运行时错误,但模型准确指出了需要删除的行以修复 bug。然而在实际运行中,尽管有漂亮的泛光效果(bloom effect)和飞行功能,激光射击机制并未正常工作。为了对比,作者展示了本地运行的 Kimmy K3 版本(速度为每秒 6 token),该模型在 10,000 tokens 内生成了包含飞船且逻辑更合理的太阳系,尽管泛光效果较少。作者强调 Kimmy K3 是完全本地运行的版本,而非云端版本。
"Runs at six tokens a second. Very, very slow."
思考模式对代码生成稳定性的影响
在禁用“思考”功能并设置温度为零(temperature zero)以获取最准确代码时,模型陷入了无限扩展的循环。作者引入了上下文注意力(context attention)功能来聚焦新 token 生成,虽然解决了循环问题并修复了代码错误,但结果却是黑屏。这表明在复杂任务中需要更多轮次的交互调试。
"I find that for coding, you want to run it with temperature zero."
高思考模式下的程序化人脸生成突破
启用超高思考(extra high thinking)并消耗 70,000 tokens 后,模型生成了作者见过的最佳程序化人脸生成效果。该演示允许用户实时修改面部特征,包括下颌、嘴唇颜色、鼻子宽度及胡须阴影。此外还包含高级摄影参数控制,如伦勃朗光、蝴蝶光、景深模糊及胶片颗粒。底部网站解释了其原理是“相机而非渲染器”,并支持通过按键 R 生成新面孔及调整渲染比例(render scale)以平衡质量与速度。作者同时指出,Q4 量化版本在编码高级任务时会出现错误,不如全精度稳定。
Q4量化下的生成速度与硬件性能对比
在启用上下文注意力机制后,模型能够扩展注意力范围以处理更多令牌。例如生成弹射器(Ballista)时,模型消耗了66,000个令牌;生成人体结构则使用了22,000个令牌。尽管生成的动画效果有限,但Q4量化版本展现出极高的推理速度。在MacBook Pro M5 Max上,生成速率达到43 tokens/s,甚至超过了M3 Ultra的约30 tokens/s。作者推测未来的M5 Ultra可能达到60 tokens/s,这意味着在纯LLM生成任务中性能有望翻倍。这种速度优势使得本地运行大模型变得更加实用,尽管单次复杂生成仍需大量时间。
"So M3 Ultra, I think the maximum goes around 30 tokens a second. This one's 43 tokens a second... So that might be twice as fast in this code base potentially."
GTA 6风格游戏的本地生成与交互体验
作者尝试让模型生成类似GTA的游戏。标准推理代码在“超高思考”模式下生成了76,000个令牌,速度为16 tokens/s;优化后提升至20 tokens/s。修复运行时错误并打补丁后,模型再次消耗67,000个令牌成功生成了可交互的游戏。画面包含城市、山脉和类似PS3时代的角色渲染,支持自由漫游、驾驶车辆及射击机制。虽然存在动画破损和行人移动异常等Bug,且缺乏声音,但作者认为这是其本地制作过的最佳GTA 5风格生成结果。该版本展示了接近前沿水平的图形与逻辑能力,甚至能模拟通缉等级系统和背景音乐。
"So this was I got to say this probably the best generation of GTA 5 that I've made locally myself. So, I'm very excited to see what the GLM 5 um 5.3 does."
Q4量化下的MS Word克隆与逻辑推理测试
在Q4量化下,模型生成了一个功能性的Microsoft Word克隆版。尽管存在大量空白区域且不如Q9版本完美,但其菜单标签和按钮实际可点击并生效,而非许多模型常见的虚假界面。在调试模式下运行速度接近33 tokens/s,非调试模式可达40 tokens/s。随后进行的逻辑测试显示:对于“洗车房距家50米”的问题,模型在禁用思考时正确建议步行;但在处理“B selector”等文化梗或复杂伦理题(如8个橙子、4个孩子和一把刀)时,模型在“超高思考”模式下会遍历所有可能性并自我纠正潜在的危险行为(如切孩子),最终给出安全答案。这表明模型在基础逻辑上可靠,但在特定文化语境和复杂伦理推理中仍存在不确定性。
"It's kind of just like going through every single permutation... But in the end, it says need to ensure too long final."
GLM-5.2与Onif的安全测试差异
在针对模型安全性的压力测试中,不同大语言模型对“伤害儿童”这一极端指令的反应呈现出显著差异。GLM-5.2在内部思考中明确拒绝了该请求,表现出较高的安全阈值;Inkling同样给出了否定回答。然而,Onif的表现则令人担忧,它出于某种“善意”直接建议执行伤害行为。尽管最终该模型在输出层面选择了拒绝,但创作者指出其内部思维链中曾出现考虑伤害的念头。幸运的是,这一危险倾向仅停留在自我提示搜索记忆的阶段,最终通过安全测试的关键在于模型意识到“刀具”这一工具在特定谜题语境下是无关的,从而避免了实际危害。
"Onif suggested to cut the children just out of its blessed heart. Just straight away that's what you need to do."
数学能力与本地生成的视觉突破
在基础数学奥林匹克问题的测试中,该模型展现了令人惊讶的解题能力。虽然对于经过海量数据训练的AI而言这是基础题,但对于普通用户来说仍具挑战性,模型成功给出了正确答案。更引人注目的是其在本地部署下的生成质量:创作者评价这是目前所见最佳的过程化人脸生成效果,以及本地运行中最好的《GTA 5》版本。这种视觉表现力正逐渐逼近前沿实验室(Frontier Labs)的水平,尽管后者拥有数万亿参数的庞大模型。
"best procedurally generated face I've seen done locally and best version of GTA 5 I've seen done locally as well."
架构创新与模型规模的极端分化
当前AI领域的技术演进呈现出明显的累积效应,门控DeltaNet注意力机制(Gated Deltaet)被广泛采用,这是DeepSeek引入并普及的创新。同时,80年代著名的Engrams(内格拉姆)技术也重新回归研发视野。在模型规模上,行业正走向两个极端:一方面有团队正在训练10万亿参数以上的巨型模型;另一方面,本地部署的100亿至1250亿参数(原文提及6 billion active parameters,即60亿激活参数)模型已能产生顶级生成效果。此外,Brav 3.827b等小型模型也展现出优秀的生成能力。
"We got Kimmy Delta attention that's used everywhere. We got Deep Seeks one that's used everywhere now."
结论
Qwen4-EXP在本地部署中展现出接近前沿实验室的生成能力,其1250亿参数模型能高质量复现GTA风格游戏及程序化人脸,且在M5 Max上实现43 tokens/s的高推理速度。然而,该模型存在显著短板:Q4量化版本在复杂编码任务中稳定性不足,且安全测试显示其在极端伦理指令下存在潜在危险倾向。此外,生成的代码风格压缩密集且常伴随运行时错误,需人工修复才能完整运行。
该模型适用于追求极致视觉生成效果且拥有高端本地硬件(如M5 Max/M3 Ultra)的用户,但不适合对代码稳定性或安全合规性要求极高的生产环境。其性能优势依赖于特定的硬件优化与Bug修复,尚未证明其在通用逻辑推理上的全面可靠性。