HY3模型背景与本地部署规格
本期视频测试了中国最大科技公司发布的HY3 Preview(预览版)模型。该模型拥有 2950亿参数,属于混合专家(MoE)架构,激活参数量为 210亿。模型以 BF16 格式提供,擅长STEM领域(科学、技术、工程、数学)及智能体工作。尽管是预览版,其在云推理服务上的表现已超越 Kimi K2.6 两倍。模型采用 AVA许可证,允许商业使用,除非月活用户超过1亿。
"It is 295 billion parameters. So it's not trillion parameter, it's 295... It is a mixture of experts model. So, 21 billion active parameters."
数学推理测试:本地量化与云端对比
视频首先进行通用数学、编码及逻辑测试。在禁用思考模式下,本地9-bit量化版本生成 5000个token,速度达21 token/秒,但得出错误答案;云端全精度版本同样给出相同错误结果。切换至低推理模式(Low Reasoning)后,本地版本生成 6000个token 并得出正确答案(2的K次方),而云端版本思考56秒后仍给出错误答案。这表明本地量化版在特定数学问题上表现优于云端。
"It produced 5,000 tokens at 15.7 tokens... and it got the wrong answer." "So that's not low reasoning. That's advanced reasoning... it produces actually I think this is the correct answer."
高推理模式性能瓶颈与3D生成测试
在国际数学奥赛题目的高推理模式下,本地版本耗时 4724秒(超过1小时) 生成53000个token,内存占用 327GB(其中16GB用于生成5万token)。云端版本在相同设置下会话崩溃。随后测试3D太阳系单文件生成:禁用思考时,本地版呈现带环土星和朦胧太阳;低推理模式下耗时 256秒,行星色彩更丰富且保留更多细节。尽管高推理模式未增加token数量(仍为4000左右),但思维链长度显著增加,显示模型在复杂视觉生成任务上接近全精度版本表现。
Hy3高推理模式与基础代码生成能力
在开启高推理(High Reasoning)模式下,Hy3模型生成了包含模拟速度滑块的完整演示界面。尽管这是预览版本,但量化与推理表现令人满意,其功能完整性甚至接近云端版本。随后测试了关闭思考模式(Thinking Off)下的代码生成能力,要求模型创建一个Word MS克隆版。结果显示,即便在低推理状态下,生成的代码依然质量良好,证明了该模型在非深度思考模式下仍具备稳定的基础生成能力。
Flappy Bird游戏对比:Hy3与Qwen 27B的性能博弈
接下来进行了一项有趣的Flappy Bird游戏生成测试,并将Hy3与阿里巴巴的Qwen 27B模型进行对比。虽然制作Qwen的阿里营收仅为腾讯的一半,但Hy3由规模更大的公司开发,理论上应更具优势。在关闭推理模式下,Qwen 27B(9-bit量化)生成了约2500个token,速度为14.5 token/s;而Hy3生成了2600个token,速度略快至18.6 token/s。两者生成的3D立方体版本游戏在视觉和碰撞机制上表现相似,但Qwen的版本更具“硬核”风格。当开启推理模式后,Qwen生成了9000个token(11.75 token/s),占用29GB内存;Hy3在低推理模式下生成4000个token,高推理模式仅生成4000个token且存在管道碰撞Bug。相比之下,Qwen生成的版本虽非严格3D,但可玩性极高且打磨精良。
| 模型 | 推理模式 | Token数量 | 生成速度 (token/s) | 内存占用 |
|---|---|---|---|---|
| Qwen 27B (9-bit) | Off | ~2,500 | 14.5 | - |
| Hy3 (推测) | Off | ~2,600 | 18.6 | - |
| Qwen 27B (9-bit) | On | ~9,000 | 11.75 | 29 GB |
| Hy3 (推测) | Low/High | ~4,000 | - | 1.3 GB |
复杂场景测试:3D城市生成与资源效率对比
最后,测试了更复杂的可漫游3D城市生成任务。在关闭推理模式下,Hy3生成的场景虽然移动控制不佳且视觉效果“迷幻”,但速度达到19.8 token/s,占用310GB内存(此处原文数据可能存在笔误或指代特定配置),生成约3500个token。相比之下,Qwen 27B在相同提示词下生成了4198个token,但仅占用29GB内存。尽管两者生成的城市都存在移动碰撞问题且视觉效果略显怪异,但均无运行时错误。当开启Qwen的推理模式时,它生成了15000个token(13.4 token/s),虽然移动速度较慢,但成功实现了可漫游功能。这一对比突显了Qwen在内存效率上的巨大优势,其资源占用仅为Hy3的十分之一左右。
HY3城市生成性能与视觉质量对比
在测试HY3模型时,创作者选择了Qwen 35B MoE版本以规避长等待时间。尽管低推理模式生成了6,000个token,但生成过程略显缓慢;切换至高推理模式后,模型生成了10,000个token且速度提升至约45 tokens/s,最终呈现出一座包含动态光影变化的精美城市。> "That is a beautiful generation. That is gorgeous." 该模型不仅优化了渲染速度,还实现了时间滑块功能,能根据昼夜切换自动调整灯光与阴影效果。
Qwen 27B代码重构与Instant Meshes优化
为了对比HY3,创作者在MacBook Pro上运行了Qwen 27B模型。该模型重新调整代码,采用了Instant Meshes技术进行批量处理,避免了逐棵绘制树木导致的GPU拥堵。> "You even got frames per second counter locked in at 100 frames a second." 结果显示,Qwen生成的场景包含车辆、树木及阴影,且帧率稳定在100 FPS。尽管HY3的提示词更短(10,000 tokens vs 14,000 tokens),但Qwen通过智能代码重构实现了更流畅的交互体验,证明了小模型在特定优化下的强大潜力。
逻辑推理深度与日常决策测试差异
通过电车难题和洗车距离问题,深入对比了不同推理等级对逻辑判断的影响。在电车难题中,关闭推理时模型直接得出“不拉闸”结论;开启高推理模式后生成1,000个token,深入探讨潜在次生灾害。而在洗车问题(距离50米)中,关闭推理时模型错误建议步行;开启低或高推理后均正确指出“需驾车前往”。> "You should drive your car to get there cuz you need to bring the car to the car wash." 测试表明,低推理模式在保持快速响应(600 tokens)的同时显著提升了日常逻辑准确性,更适合代理应用。
Hy3与Quen在维基数据检索中的表现对比
在这一测试中,创作者启用了“获取网页内容”工具来评估模型的代理任务能力。他向模型询问《英雄联盟》的收购价格,要求从维基百科页面中提取信息。Hy3在关闭推理模式的情况下直接执行了工具调用,并处理了4800个token。令人印象深刻的是,当第一页结果未包含答案时,Hy3自主判断需要获取下一页的8000个字符。最终它准确找到了答案。相比之下,Quen虽然也给出了正确答案(2015年12月16日),但它明确指定了8000字符的默认参数,显示出其对工具参数的精确控制。两者均成功完成了这一基础代理任务。
"So it says starting on the next 8,000 characters grab me another 8,000 tokens. And look at that."
高级研究任务中推理模式对工具调用的影响
在更复杂的测试中,创作者要求模型访问ArXiv并总结关于大语言模型量化的最新免费文章。此时,Hy3在低推理模式下未执行任何工具调用,仅基于已有数据进行分析。然而,当将推理模式设置为“高”时,Hy3的行为发生了显著变化:它意识到自己只有部分摘要数据,主动决定去获取完整的论文内容。这一转变无需修改提示词,仅通过调整推理强度即可实现。Quen则始终执行了工具调用并锁定了文章,但两者最终都只获取了摘要页面而非全文。
"So with reasoning set to high, it's doing what I was wanted it to do in the first place."
Hy3在遵循“全文”指令上的优势与局限
创作者随后修改提示词,明确要求从完整文章(full article)而非摘要中进行总结。Quen依然只获取了摘要页面,被创作者戏称为“狡猾”的行为。然而,Hy3成功访问并下载了完整的网页内容进行分析。这是视频中首次发现Hy3在代理任务的精确性上优于27B模型(社区英雄)的场景。尽管Hy3仍处预览模式,但这一表现证明了其在严格遵循用户指令进行深度研究方面的潜力。创作者指出,虽然基础模型能产生令人印象深刻的结果,但Hy3在“不撒谎”和真正获取全文方面表现更佳。
结论
HY3 Preview在STEM推理、复杂代码生成及严格遵循指令的深度研究任务中表现优异,尤其在获取全文等代理场景中优于Qwen 27B。然而其短板显著:高推理模式耗时极长,且内存占用高达Qwen的十倍。相比之下,Qwen 27B凭借极低的资源消耗和高效的代码重构能力(如稳定100 FPS),在本地部署效率上占据绝对优势。因此,HY3适合追求极致逻辑深度与指令精确度的场景,而Qwen更适合资源受限的本地实时应用。