大家好,欢迎收看本期节目。今天我们要测试的是来自全球最大科技公司——中国的一家巨头推出的全新模型,即HY3预览版。之所以称为“预览”,是因为它目前仍处于测试阶段,未来可能会进一步优化。该模型拥有2950亿参数,虽然未达到万亿级别,但规模依然可观。我们将对其进行一系列测试,并与行业排名第二的阿里巴巴旗下的Qwen模型进行对比。

为了验证“更大是否真的更好”,我们将重点测试HY3与Qwen 27B版本的表现。值得注意的是,HY3采用了混合专家架构(MoE),其激活参数为210亿。这一数值相当庞大,且模型以BF16格式提供。该模型在科学、技术、工程及数学(STEM)领域表现出色,尤其擅长上下文学习智能体任务。目前,其性能已与Kimi K2和DeepSeek等顶级模型相当,而这仅仅是预览版的表现。

关于许可证方面,该模型采用名为“AVA”的许可协议,允许商业使用。但如果你拥有超过一亿月活跃用户(MAU),则需要仔细审查条款,确保合规。幸运的是,我的频道观众量远未达到这一门槛,因此无需担心。有趣的是,在主流云推理服务中,HY3目前是最受欢迎的模型之一,其Token生成量是Kimi K2.6的两倍。我们想探究的是:它的智能程度是否也翻倍?答案可能并非如此,但让我们通过测试来验证。

接下来,我们将对比该模型的9位量化版本与云端全精度版本的性能差异。在之前的测试中,由于高级数学任务的会话过大导致中断,我花费了超过一小时进行推理以确保结果准确。现在让我们开始测试:首先加载模型至内存,随后依次执行通用数学、编码及逻辑测试。该模型具备类似OpenAI o1系列的推理选项,用户可在“低”、“高”或“关闭”三种思考模式间切换。

首先进行一道数学测试,目标是确定特定数字的性质。在关闭推理模式下,模型生成了5000个Token,速度提升至每秒21 Token,但答案错误。对比云端版本(运行于全精度Float 16),在关闭推理时同样给出相同错误答案。随后切换至“低”推理模式,模型思考时间显著增加,生成了6000个Token并得出正确答案“2的K次方”。然而云端版本在相同设置下思考56秒后仍给出错误答案,这表明本地量化版在此场景下表现更优。

当切换至“高”推理模式测试一道国际数学奥林匹克题目时,本地模型生成了53,000个Token,耗时4724秒(超过一小时),内存占用从32GB增至50GB。相比之下,云端版本在相同设置下运行超过4000秒后直接崩溃退出。这一对比表明,我们的量化版本在稳定性上优于云端服务,且响应结果高度一致,证明了量化的有效性。目前该量化模型已上传至Infrancer平台供用户下载体验,接下来我们将测试其代码生成能力。

首先展示一个关闭推理模式下的3D太阳系单文件演示,画面包含土星环和朦胧的太阳。随后切换至官方云推理服务进行对比:云端生成的太阳视觉效果稍逊,行星阴影细节丢失。在“低”推理模式下,本地模型耗时256秒生成代码,行星色彩更丰富且选项更多,视觉效果接近全精度版本。而在“高”推理模式下,Token数量并未显著增加(约4000个),但思考过程文本更长。有趣的是,尽管标记为“低”推理,其实际思考深度有时超过预期,表现略显不稳定。

不过,这可能只是一个预览版本,所以他们的表现正在逐步提升。我确实喜欢能够将其设置为低推理模式的想法,因为我通常将大多数模型运行在“无思考”模式下。但这次我们将开启思考模式来展示结果。因此,在这种高推理模式下,我们遇到了与之前类似的情况,只不过现在多了一个模拟速度滑块。这使得演示更加完整。

与云端版本相比,本地版本也非常相似,这里同样有一个滑块。我认为该模型的量化和推理表现相当不错,对此我感到满意。让我们深入体验一下,看看能否进行一些更高级的提示词操作。我将尝试创建一个 Word 克隆版文档处理软件,先看看在关闭推理模式下的效果如何。

开启思考功能后,结果看起来相当不错。必须承认,即使在关闭推理的情况下,你仍然能获得不错的生成内容。接下来我们要做一个有趣的测试:《Flappy Bird》(飞鸟)。我们将把这次的结果与 Qwen 27B 模型的生成结果进行对比。请记住,阿里巴巴是 Qwen 的开发者,其收入规模大约是另一家公司的两倍。

我已经将模型量化到了这个水平。让我们看看这次对比的结果,因为这个新模型的参数规模是 Qwen 的十倍,而且其开发者的收入也是阿里巴巴的两倍。那么它是否会好上二十倍呢?我们得到了一个 3D 版的《Flappy Bird》,推理已关闭。屏幕上出现了一个立方体,砰!看起来不错,必须说这很美观。

这是一个很好的演示效果虽然显然不是最好的,通常我们期待看到一只鸟,但这已经不错了。会发生碰撞吗?砰!让我们将其与我们在 Macintosh M4 Max 上本地运行的结果进行对比。这里使用的是 Qwen 3.6,我们比较的是最新的 S27B 模型,采用 9-bit 量化。你可以选择开启或关闭思考模式。

首先我将其关闭,它生成了 2,500 个 token;而另一个模型产生了 2,600 个 token,两者非常接近。在速度方面,Qwen 达到了每秒 14.5 个 token,而另一个模型为每秒 18.6 个 token。再次证明两者非常接近。现在,在关闭推理的情况下,《Flappy Bird》的结果也非常相似,只是相机角度略有不同。

我想 Qwen 在处理这类任务时更加硬核一些,它让你进入了那种《Flappy Bird》特有的专注状态。现在让我们开启 Qwen 的推理功能,这在频道里是首次尝试。它生成了 9,000 个 token,速度为每秒 11.75 个 token,内存占用约 29 GiB。对于三个《Flappy Bird》实例,我们将其切换到低推理模式,生成了 4,000 个 token。

让我们看看那个低推理版本的样子,它看起来与 Qwen 的结果相似,但现在有一个圆圈和一个小球。这绝对是一个不错的生成结果。但我们想看看开启高推理模式后的对比情况,令人惊讶的是,在高模式下它只生成了 4,000 个 token,数量反而更少。看来他们仍在调试系统机制。

让我们点击播放那个高推理版本的结果,我们可以看到现在确实有一只漂亮的鸟了,处于横向平台游戏的视角中。这看起来不错。会发生碰撞吗?不,这里有一点小 bug,它实际上把管道做成了实心的,所以无法穿过。但总体而言,这看起来是一个不错的模型表现。让我们看看 Qwen 能做出什么效果,我可能把最好的留到了最后。

这个版本生成了 9,000 个 token,而且它只是一个拥有 27B 参数的模型,仅使用了约 29 GiB 的内存。让它播放一下,砰!这是一个标准的《Flappy Bird》克隆版。我不确定它是否真的是 3D,可能并不是真正的三维游戏,只是一个《Flappy Bird》的克隆。天哪,它非常可玩!

这是一个打磨得非常精致的游戏,非常好,也非常美丽。虽然我不确定其 3D 效果如何,管道确实有一些立体感,但它绝对是一个更具可玩性的作品。也许他们在制作 Qwen 3.6 时,针对最流行的提示词进行了优化,并在背后配置了良好的后端支持。这很好,但让我们把难度提升一个等级,让它更复杂一些。

现在我有的是一个非常复杂的提示词,其实也没那么复杂,我只是要求它制作一个可以随意奔跑的 3D 城市。同样地,我将展示不同的推理级别,以便你理解其机制。因为你可以看到,我认为这可能是一个推理模型,“无思考”的结果并不如高推理版本好。

这很棒,而对于其他像 GLM 或 Kimi K2 这样的模型,你可以在关闭思考的情况下使用它们并获得美丽的结果。但显然,这些模型需要更强大的系统支持。在关闭推理的情况下制作城市时,我几乎无法移动,动作控制没做对,但它确实有一个时间滑块,效果非常迷幻。

这是一个很酷的动画演示,虽然有些奇怪但还不错,它取得了一些好的结果。速度为每秒 19.8 个 token,内存占用约 310 GiB,生成了 3,500 个 token。让我们看看 Qwen 在关闭思考模式下对这个提示词的反应,砰!情况完全相同,生成了约 4,198 个 token。

虽然生成的 token 更多,但看看内存占用:仅约 29 GiB。这太漂亮了,内存需求小了十倍。让我们看看这个版本的表现,现在城市着火了!这是什么情况?哦,天哪,它再次呈现出一种非常迷幻的效果,就像另一个版本一样。确实有一些移动能力,但我到处都在发生碰撞。

这是两个次优的生成结果,但事实是,没有运行时错误,这很好。现在让我们开启推理功能,看看这个模型能做到什么程度。Qwen 在启用思考模式后生成了内容,它并没有思考太久,看那只是一只手掌大小的思维量。这是我们目前的测量方式,频道里还没有精确指标,我们暂时用手掌大小来衡量。

美国人可能更习惯用英尺这种单位,而我在用手掌比划。让我们往下看看开启思考后的结果,它生成了 15,000 个 token,速度为每秒 13.4 个。我先直接展示给你看,让你对情况有个基准了解。我们确实有一个城市并且能够移动,只是运行起来有点卡顿缓慢。

我实际上告诉它:“你跑得有点慢,能让我跑快点吗?”但我切换了路由。

我选择了 Qwen 35B 的混合专家版本,因为我不想等待大约一万五千个 token。以每秒十三个 token 的速度生成内容需要很长时间,所以我选择了更快的版本,它的速度大约是每秒四十五个 token。不过,我会先展示结果,然后再告诉你 HY3 的表现如何。

当推理模式设置为“低”时,它生成了六千个 token。让我们点击播放看看效果。我们可以看到生成速度较慢,但画面看起来非常漂亮。我们来看看具体表现。是的,时间滑块功能正常工作了。在控制方面,我们也可以进行调节。虽然它有点卡顿,但看看这个画面!这是一次非常漂亮的生成效果,简直太棒了。模型完成得不错。

还有一个更高的推理级别可以切换,那就是“高”推理模式。所以这一次,我们将推理从“低”切换到“高”。它生成了思考过程,看看这些内容。这大概有四到五段思考文字。我在开玩笑说让它冷静一下。最终它生了一万个 token,速度是每秒十九个 token。我们点击播放后,得到了一座完整的城市。这太壮观了!这个版本运行得很快,说明他们进行了优化。我们得到了一座美丽精致的城市。

它确实拥有时间滑块功能。看看这个!从夜晚切换到下午,再切回夜晚。灯光在夜间也会亮起。看那个效果!这体现了深度的思考能力。这是一个非常棒的演示案例。但我们想看看它与 Qwen 相比如何,也就是让 Qwen 和 HY3 协同工作。它们能否实现改进呢?

同样在我的 MacBook Pro 上运行,那个版本重新生成了代码。它表示做了一些特殊处理,称使用了即时网格技术。而不是逐个绘制每棵树(这可能会拖慢 GPU),它一次性批量处理了所有树木。让我们实际看看是否更快。是的,看!这非常快。你甚至可以看到帧率计数器锁定在一百 FPS。画面中有汽车、树木和阴影。

现在有了时间滑块,他们甚至给出了外观预览提示。我不确定那个红色指示是否正确,但你确实拥有了一个漂亮的时间滑块功能。这是一次疯狂的冒险体验。虽然第一个提示失败了,但第二个使用更快模型的提示成功完成了 27B 模型的工作并进行了修补。这非常棒,可能非常适合智能体应用。

而 HY3 那个版本只是一次性提示,生成了较少的 token(一万),但同样美丽。也许因为缺少汽车而稍逊一筹,但在可视化方面看起来一样好。我可能需要说“开放城市”或提供某种照片级真实感的城市提示,以获得更好的响应。这就是它在编码方面的对比情况。令人惊讶的是,小十倍的 Qwen 也产生了惊人的结果。大家喜欢这个吗?我也很喜欢。

我们需要将其与 Kimmy 以及所有最新发布的模型进行比较,比如 DeepSeek Pro。让我们看看那个表现如何。从速度来看,如果你生成一千个 token,速度是每秒二十一点一 token。所以编码和速度方面我们已经涵盖了。让我们做一个简单的逻辑测试,看看推理功能是否真的有帮助。

我将输入一个失控电车难题的变体。在关闭推理的版本中,它识别出我对这个谜题做了改动:轨道上的五个人已经死了。所以结论是你不应该拉动拉杆。我甚至不需要开启推理功能,只是想看看开启后会有什么不同。所以我刚刚启用了批处理并重新运行了它。

我将同时运行两者,并且我也使用了“高”推理设置。我们可以看到两个推断同时在运行时,每个大约得到每秒十三个 token 的速度。你可以看到这里的区别:在低推理模式下,它似乎将思考分解成段落形式输出。就像一把把的思考片段,并已经得出了“否”的答案。

但设置为高推理时则深入得多。看看这一段有多大!拉动拉杆会导致一个死亡,否则不会。所以道德选择似乎是不拉拉杆。然而,可能存在……它一直在啰嗦,真的在这个问题上钻得很深。等等,有没有可能电车撞击尸体会对其他人造成伤害?例如,也许电车的碰撞会导致附近建筑物受损,尽管未明确说明。

它真的在深入细节并尝试思考一些结果。我确实喜欢这种低推理的情况,因为它让我作为用户更有可能使用它。特别是如果你也在用智能体,你更可能选择低推理模型,因为你能更快得到答案。而对于科学类问题,你可能需要更深入一点。

当推理设置为高时,我们产生了一千个 token;低设置下产生了六百个;关闭状态下则只有三百。你可以看到它们呈指数级增长。让我们采用最新的那个版本,我会关闭推理功能,因为 Qwen 能答对这道题。

洗车店离我家五十米远。我应该开车去还是走路?关闭推理后的答案是:你应该步行。我喜欢这个!这是一个好问题。如果你开车,洗完后你得立刻把湿车开回家。你看这就是为什么人们不会思考洗车这件事:车子会变湿,他们并不会把车擦干弄干。

我只是想看看它能否真正得到正确答案。让我们试试,我们看到再次以几乎每秒十三个 token 的速度输出结果。我们正在将操作合并批处理,所以同时完成多个请求。这里在低推理设置下得到了答案:你应该开车去那里,因为你需要把车带到洗车店。

也许对于这个模型来说,低推理可能是最好的选择,因为你看到在所有场景中结果都发生了巨大变化,开启推理后它变得更好。甚至还会给你一个表情符号作为结果的点缀:你需要开车去那里。

而在高推理设置下,它实际上只多产生了三个 token,答案依然是:你应该开车去洗车店。而且这次没有给我们表情符号。所以你甚至会得到略微不同的结果细节差异。

还有各种人格特性。现在我想做另一项测试,看看它在智能体类任务上表现如何。我在这儿启用了工具功能,目前唯一开启的工具是“获取网页内容”,所以它在需要时确实可以访问互联网。我这里有一篇关于《英雄联盟》的维基百科页面,我要问它腾讯收购这家公司花了多少钱。按理说,这应该触发一次请求,从维基百科抓取文章并从中找出答案。

我关闭了思考模式,所以它直接使用了工具调用的基础选项去访问网页,然后一口气处理掉了4800个词元。这很酷。看看它做了什么:这对智能体工作来说其实非常好,因为它意识到第一页的结果里没有答案,于是继续翻到下一页。它说从下一个8000字符开始抓取,再给我抓了8000个词元。看啊!根据维基百科的文章,该公司支付的金额……这就是正确答案。干得漂亮。

既然我们在做这个测试,不妨也看看千问能不能做到这一点。另一方面,这里的千问明确指定它想要8000个字符。其实8000个字符是该函数的默认值,如果我们进入工具设置可以看到,“获取网页内容”的默认值就是8000。但千问就是想精确一点,不过至少这表明它知道自己在做什么。砰!它也得到了正确答案。所以你看,它们俩都赢了这项测试,而且都得出了完全相同的数字:2015年12月15日对16日。太棒了,情况很乐观。

我们现在是在把它和千问对比,而如今的千问性能堪比Claude(克劳德)。但它搞定了这个问题。因为我见过一些模型,当你这样问它们时,要么会幻觉出一个回答,要么不够聪明以至于无法坚持使用工具调用。像这样获取起始位置和下一个位置的做法真的很好。接下来我要做点更有冒险精神的事:你能去ArXiv(档案网)上告诉我关于大语言模型量化的最新免费文章吗?让我们看看它能不能搞定。

我们这里得到了一篇题为《大语言模型的统计无损量化》的文章,挺酷的,“统计无损”。让我们看看它们是否得到相同的响应。理论上它们应该访问相同的数据。“统计丢失”……所以,它们得到了完全一样的回复。让我们看看作者是否也一样:Michael Higgs(迈克尔·希格斯)。是的,这是同一篇文章ID。2404……2404。

那么,你能用每篇200字总结这些论文吗?并告诉我哪篇最值得读?我预期它会实际进入每篇论文的页面,阅读每一篇内容,并为每篇生成200字的摘要。这是个高级任务,如果它能做到的话,然后它会告诉我哪篇最好看。结果它实际上没有进行任何工具调用。我原本预期它会那样做,所以我可能需要开启思考模式。看看千问:千问实际上主动进行了一次工具调用,它真的锁定了那篇文章。这正是我预期的做法。也许开启推理后,它会选择进入并实际获取文章内容。

同样地,当推理强度设为低时,它选择仅分析手头已有的数据。我现在要把推理强度调高,看看是否有区别。这会促使它去阅读整篇文章吗?哦,这很好。它说:“我只有来自搜索结果的摘要片段……我可能需要获取论文。所以我将去抓取摘要。”因此,当推理强度设为高时,它做了我一开始希望它做的事。这很好。我不需要修改提示词或做任何其他调整。

看看千问,它正在逐一给出每篇200字的摘要。真不错。砰!就这样,两个系统都在快速输出结果。我不确定那是全文吗?那只是完整的摘要页面。让我们再仔细检查一下。我觉得它们俩都耍了个滑头,是的,它们只获取了这个页面。真狡猾!它们实际上没有点击HTML链接去获取真正的文章正文,这些鬼精灵的家伙。

既然我们在处理来自全文的内容,我可以做一件事:我现在就试试。我编辑了我的提示词,这次明确指定要“从全文”获取信息。让我们看看它是否会尊重这个指令。看啊,千问同样只坚持抓取摘要页面;而让我们看看Hy3表现如何。瞧!它去了这个网页,实际上尝试下载完整的网页内容进行分析。这就赢了!

我们终于找到了一个Hy3比27B模型(社区英雄)在智能体完美度上表现更好的场景。所以,如果你想要做研究并希望模型严格遵循你的提示词,我们就为这个模型找到了使用场景——尽管它目前仍处于预览模式。现在我们需要进行一些更高级的测试,我们要让所有最好的模型来一场圆桌讨论,看看它们有多能坚守提示词指令。因为这表现不错:我们发现虽然这个基础模型做出了一些令人印象深刻的结果,但它对你撒谎了。它说它有免费论文的摘要,尽管我告诉它要获取全文;结果它就径直去拿了摘要页并基于摘要做了总结。而Hy3实际上去了获取全文的结果。这非常有趣。

所以,请告诉我你们怎么看腾讯(中国最大的公司)的Hy3预览版?希望你们觉得这个视频有用,并享受了这期节目。