Qwen3.8-27B基准表现与模型规模对比
视频开场展示了Qwen 3.8对人类的视觉生成能力,随后进入核心评测。主持人指出27B参数版本在SWE Bench Pro上取得了61.7分的成绩,略低于GLM 5.2的62.1分,但远高于同系列更大模型。尽管Qwen 3.8 Max拥有2.4万亿参数,但其SWE Pro得分仅为67分,而这个“微小”的27B模型在Deep SWE上达到42分,SWE Pro进入60分段,显示出极高的性价比。主持人强调该模型虽被称为“微小”,但相比当前主流的2.8万亿参数模型,其体积确实更小。
"SWE Bench Pro, yes, 61.7. That's higher than GLM 5.1... whereas this tiny one is 61.7." "The biggest one, the Quen 3.8 Max, is only 67 SW Pro and Deep SWE 56. Whereas this little one, deep SWE is 42."
| 模型版本 | SWE Bench Pro得分 | Deep SWE得分 |
|---|---|---|
| Qwen 3.8 (27B) | 61.7 | 42 |
| GLM 5.2 | 62.1 | - |
| Qwen 3.8 Max (2.4T) | 67 | 56 |
MTP层加速效果与推理速度实测
在性能测试环节,主持人对比了不同配置下的生成速度。在Release版本中,Qwen 3.8实现了43 tokens/秒的速度;而在Debug模式下速度降至30-35 tokens/秒。引入MTP(Multi-Token Prediction)层后,性能显著提升:使用3.6代的MTP层时速度达到33 tokens/秒,相比无MTP时的17 tokens/秒翻倍;而使用Qwen 3.8原生MTP层时,速度比前者再快约5 tokens/秒。尽管Debug模式略慢于Release版,但MTP层带来的加速效果在两种模式下均明显。
"In release, we're getting 43 tokens a second and in debug with 3.8 we're getting 30 to a second." "Normally it's around 17 to the second layer. And this is 33 a second with debug."
视觉生成质量与思考模式深度对比
视频重点评测了模型的图像动画生成能力。在“自由盒”(freely box)动画测试中,Qwen 3.6生成的猫尾巴几乎不动且存在旋转循环问题,而Qwen 3.8在禁用思考模式下生成了更连贯的动画,尾巴独立摆动且耳朵有跳跃动作。在文本生成方面,Qwen 3.6倾向于使用破折号(M-dashes)作为AI指纹。关于思考模式,主持人指出“Low Thinking”并非真正低消耗,有时会产生数万甚至数十万思考token。在对比中,Qwen 3.8的Low模式生成约6000 tokens,Medium模式增加至7000 tokens,虽然存在轻微伪影(Zed fighting),但整体质量优于Qwen 3.6。
Mac Studio 性能瓶颈与硬件升级预期
在展示其他测试时,作者指出模型消耗的 Token 数量极大,导致现有 Mac Studio 性能不足。他建议用户放弃当前设备并转向 Nvidia 显卡,因为 Mac 处理速度过慢。尽管 Tim Cook 在最新采访中提到今年晚些时候会发布新的 Mac mini,但作者认为新机型价格可能更高。鉴于二手市场上 Mac Studio 售价高昂,他开玩笑称如果有人愿意按 eBay 上的高价收购他的设备,他会考虑出售。这一部分强调了本地运行大模型对硬件算力的严苛要求以及苹果生态在 AI 推理速度上的潜在短板。
"You're going to have to ditch your max and get Nvidia cards cuz too slow in these guys."
图像生成质量对比与 Extra High 模式耗时分析
在“中等思考”模式下,生成的猫图像存在 Z-fighting(深度冲突)问题且眼睛颜色错误。切换至 Extra High 思考模式后,Token 消耗从约 7,000 激增至近 20,000,这是该模式下产生的最少 Token 量。虽然速度仅为 26 tokens/秒(使用旧版 MTP),耗时约 700 秒(10分钟多),但生成质量显著提升:眼睛变为正确的绿色,尾巴摆动自然,背景雾气朦胧且细节丰富。作者评价这是一次“光荣的生成”,证明了高思考预算能修正视觉逻辑错误。
"It's jumped from 7,000 tokens to almost 20,000 tokens."
MTP 量化版本速度实测与 Q4/Q8/BF16 性能差异
在测试程序化人脸生成时,作者详细对比了不同 MTP(Multi-Token Prediction)量化版本的推理速度。在 Debug 模式下,禁用 MTP 时速度为 19 tokens/秒;使用旧版 Q4 MTP 层,Qwen 3.6 的速度提升至 31.7 tokens/秒;使用新版 Q4 MTP,速度达到 36.3 tokens/秒。相比之下,Q8 版本因模型体积更大导致计算量增加,速度略降至 35 tokens/秒;而 BF16 全精度版本最慢,仅为 34 tokens/秒。作者指出Q4 量化版本在速度与质量间取得了最佳平衡,并已上传供用户下载测试。
| MTP 版本 | Tokens/秒 |
|---|---|
| MTP Disabled (Debug) | 19.0 |
| Old Q4 MTP Layer | 31.7 |
| New Q4 MTP Layer | 36.3 |
| Q8 Version | 35.0 |
| BF16 Full Precision | 34.0 |
太阳系交互生成与思考模式对代码重构的影响
在 3D 太阳系测试中,Qwen 3.6 Extra High 模式消耗 45,000 tokens,速度维持 27.8 tokens/秒(旧 MTP),耗时约 1,600 秒(近30分钟)。生成的动画包含行星悬停发光效果,点击土星可进入内部结构视图,地球运行速度可调。作者认为该生成质量远超 Kimi K3 本地版本,属于电影级 CGI 水准。随后作者发起两项并行任务:一项切换至非思考模式,另一项保持 Extra High 思考,要求模型添加飞船。测试显示禁用思考会导致生成陷入死循环或产生错误代码,而低级别思考虽能响应但存在导入报错风险。
Qwen3.8在极高思考模式下成功生成逼真人脸
在测试Qwen 3.6时,模型在中等思考级别下消耗了60,000 tokens却未能正确绘制人脸,导致生成过程过长。随后将Qwen 3.8的思考级别调整为Extra High(极高),模型仅用19,000 tokens便奇迹般地生成了一个高质量的人脸。尽管生成的角色看起来略带恶魔特征,类似《星际迷航》中的Q或John Malkovich的脸型,且耳朵和眼睛略显怪异,但其光影效果极其出色。评审认为这是目前见过的最好的3D头部生成之一,证明了极高思考模式在复杂视觉任务上的高效性与高质量。
"That is definitely a gorgeous generation of a face... This looks really the ones that's programming all the 666 patterns"
Qwen3.8在飞行模拟器中展现完整交互与音效能力
对比Qwen 3.6生成的无声音、控制模糊的飞行模拟器(仅8,000 tokens),Qwen 3.8在Extra High思考模式下消耗了55,000 tokens。虽然大部分token用于内部推理和修正,但生成的结果包含了完整的音效系统、方向控制以及油门联动。引擎声音会随油门开度变化,且界面包含指南针等细节。尽管token消耗量是Qwen 3.6的数倍,但生成质量显著优于前者,实现了真正可交互且沉浸式的飞行体验。
"We got sound. Do you hear that? Oh, we got controls... The sound of the engine tones down as the throttle slows down"
Qwen3.8在低思考模式下高效完成复杂场景生成
在Ancient Ballista(古代弩炮)测试中,Qwen 3.6生成的模型虽然光照良好但无法发射箭矢。而Qwen 3.8在Low Thinking(低思考)模式下成功生成了可发射弩炮的场景,尽管方向控制略有偏差。在3D人体解剖测试中,Qwen 3.8同样使用低思考模式,仅消耗15,900 tokens并耗时400秒,便生成了包含肌肉、骨骼和器官的爆炸视图。尽管面部渲染为银色球体,但整体结构完整。
在GTA 5风格游戏中,Qwen 3.8低思考模式消耗13,000 tokens生成了包含交通灯、车辆进入机制(E键)及城市环境的场景。评审强调,作为一个27B参数模型,Qwen 3.8的表现甚至优于某些更大的竞品(如DeepSeek),证明了其训练数据的有效性。目前极高思考模式的GTA生成已产生50,000 tokens,仍在进行中。
"This is only a 27B model... It does not do this. So they've done they got the training data to make it good"
Red Dead Redemption:从运行时错误到动态场景生成
在测试《荒野大镖客》(Red Dead Redemption)时,模型首次运行出现了运行时错误。开发者将报错信息反馈给 AI 后,其在第二次尝试中成功修复了代码。经过约 19,000 至 40,000 tokens 的上下文处理,屏幕上成功呈现了游戏画面。尽管开场过场动画较为简陋且语音合成基础,但马匹的腿部动作动画被评价为非常精美。玩家可以在拥有 NPC 和迷你地图的小镇中骑马行走,甚至触发了 AI 自我递归生成“坏人代理” 的有趣现象。虽然下马后角色消失,但整体表现展示了该模型在复杂场景构建上的潜力。
"The AI has self-recursed itself into an AI agent like a bad guy agent."
射击与平台游戏:低思考模式下的性能表现
在测试包含射击元素的游戏时,模型生成了子弹向前飞行的效果及敌人角色,但存在头部与身体分离的视觉瑕疵。当玩家骑上马匹时,场景元素消失,但考虑到模型规模仅为 GLM 模型的十分之一,这一表现仍属优秀。在《超级马里奥》测试中,低思考模式仅消耗 6,000 tokens,实现了流畅的跳跃与下落机制。尽管无法二段跳且存在碰撞问题,但 35 tokens/秒 的生成速度(使用 MTP)证明了其在低算力下的效率。相比之下,之前测试的 Muse Glimmer 虽画面惊艳但帧率极低。
"This is just low thinking mode. 6,000 tokens, 35 tokens a second... Look at that."
Outrun、MS Word 与 Canvas:多场景生成对比
在《Outrun》测试中,Qwen 3.6 曾一次性完成 17,000 tokens 的生成,但 Qwen 3.8 在低思考模式下消耗 13,000 tokens,生成了悬浮的汽车和夜间场景。虽然车辆控制手感类似《Wipeout》而非传统赛车,但音效与整体生成质量优于前代。在生产力工具测试中,Qwen 3.8 以 10,000 tokens(低思考)生成了功能可用的 MS Word 界面,支持字体更改和下拉菜单交互,与 Qwen 3.6(14,000 tokens)表现相当。在 Canvas 绘图测试中,Qwen 3.8 单次生成消耗高达 48,000 tokens,耗时超过半小时,展示了其在复杂动画生成上的高算力需求。
"Why didn't you do it in medium mode? Because we saw that medium generation was using up over 60,000 tokens..."
Qwen 3.8 视频生成质量与视觉细节对比
在评估本地部署的 AI 模型时,Qwen 3.8 的视频生成能力成为核心关注点。测试显示其画面整体美观度达到 100%,但在细节处理上存在瑕疵。具体表现为车轮在行驶过程中穿透了车身框架,这种物理逻辑错误被幽默地归因于“澳洲风格”的大轮径和悬挂系统,暗示模型可能混淆了不同地域的车辆特征。尽管存在车轮穿模问题,但 Qwen 3.8 在挂载平滑度和曲线处理上表现优于前代,虽然部分帧略显尖锐(peaky),但云层渲染效果被认为更佳。总体而言,两个版本都是可用的生成选项,但在物理一致性上仍有提升空间。
"There is some issues with the wheels. It's traveling through the frame of the car... I can see this guy definitely working in Australia or maybe the outback of the Americas."
逻辑推理测试:常识陷阱与思维链表现差异
在基础逻辑测试中,模型被询问“洗车店距家 50 米,应步行还是驾车”。Qwen 3.6(关闭思考模式)错误地建议“步行”,而 Qwen 3.8 正确回答应驾车,因为目的是洗车。这表明 Qwen 3.8 在训练数据中对特定场景的逻辑关联进行了优化,避免了前代的常见错误。然而,在面对更复杂的语义陷阱“走进人群听到 B selector 喊声”时,Qwen 3.8(关闭思考)误解为 DJ 指令并建议跳舞,未识别出“rewind”的关键含义。相比之下,Qwen 3.6(开启思考)虽未提及 rewind,但建议微笑并继续移动。即使 Qwen 3.8 开启“极高”(Extra High)思考模式,仍未捕捉到 rewind 这一核心点。此外,在“8 个橙子分给 4 个孩子”的简单分配题中,两个模型在关闭思考模式下均正确得出每人 2 个橙子的结论。
"With Quinn 3.8... It says you should drive there. You need to get your car washed." "Now with 3.8 it says say B selector dance... It doesn't have a mention of rewind."
数学推理效率与代码生成的上下文局限性
在 IMO 级别的偶数整数证明题中,Qwen 3.6(开启思考)生成了超过 30,000 tokens 的冗长推理链,最终得出正确结论;而 Qwen 3.8(极高思考模式)仅用约 500 tokens 即完成推理,效率显著提升。然而,在代码生成测试中,要求模型为现有程序添加“飞船”功能时,Qwen 3.8(关闭思考)虽然进行了手术式的代码修改(添加按钮和绘制区域),但实际运行结果为黑屏,未能成功渲染飞船。这表明模型在上下文代码修改方面存在局限,可能需要后续提示词来修复错误。尽管 Qwen 3.8 在数学推理效率上表现优异,但在复杂代码的即时功能集成上仍需改进。
结论
Qwen3.8-27B在本地部署中展现出极高的性价比,其SWE Bench Pro得分(61.7)接近旗舰版且远超同规模竞品,配合MTP量化层可实现30-43 tokens/秒的推理速度。在视觉生成上,Extra High思考模式虽消耗巨大(最高5.5万tokens)且耗时较长,但能修正物理逻辑错误并生成电影级交互场景;低思考模式则适合快速产出可用原型。然而,该模型在复杂代码上下文修改、特定语义陷阱识别及物理一致性(如车轮穿模)上仍有明显短板,且对硬件算力要求严苛。总体而言,它是当前本地运行大模型中平衡性能与体积的优秀选择,但需根据任务复杂度灵活调整思考预算。