大家好,欢迎收看本期节目。今天我们要进行一场终极对比测试。我们将比较蚂蚁集团新发布的一款登顶排行榜的非推理型万亿参数模型,以及阿里巴巴(我们可以说是同一家公司,或者说是其关联公司)最近发布的 Qwen 3.6。根据榜单显示,Qwen 3.6 同样位居榜首,甚至击败了 Claude Opus 4.5。而 Qwen 3.6 仅仅是一个270亿参数的模型。
所以,我们现在有一个万亿参数模型对阵一个270亿参数模型,谁会赢呢?来看看这个登顶排行榜的万亿参数模型 Ling 2.6。看那个图表,它的分数从那里一路飙升到了这里。它被称为“最聪明的非推理模型”。有趣的是,为了得到这些分数,他们其实开启了推理功能。而且这显然是同类中最好的模型之一。
还有一点需要了解的是:这个万亿参数模型的激活参数量,比 Qwen 3.6 的稠密参数量还要多。所以理论上它应该能轻松碾压对手。我向他们俩都提出了一些非常棘手的问题。我现在甚至让 Qwen 在推导一道国际数学奥林匹克竞赛题,目前它已经生成了12,000个令牌。我将其限制在25,000个令牌以内。我觉得它可能已经得出了正确答案,但我不会剧透。
让我们进入第一个测试项目:一个单文件的3D版《Flappy Bird》(飞鸟游戏)。我首先使用的是 OpenRouter,因为它目前免费,我想看看完整未量化的模型能做出什么效果。它生成了一大堆代码,这是那个万亿参数模型的输出结果。你点击“开始游戏”,会出现一只可爱的小鸟,它是3D的圆形造型等等。但存在一个大问题:运行时错误。
所以,即使是在 OpenRouter 上运行的完整或某种量化版本,也出现了运行时错误。这很遗憾。我一直在尝试不同的量化方案,以便让它能运行在我512GB内存的系统上。我甚至实现了分布式计算来使其工作,但我目前得到的最佳结果是一个占用420GB内存的版本。我将展示的就是这个版本。
首先,让我们看看 Qwen 27B 制作的3D《Flappy Bird》。我们可以看到它生成了2,500个令牌,速度为每秒14.25个令牌。Ling 也生成了约2,500个令牌,但速度稍慢,为每秒11.2个令牌。让我们看看 Ling 做了什么。我们确实有一个立方体造型的小鸟在飞动,它成功实现了一些功能并且正在运行中。
不幸的是,它没有 OpenRouter 版本那种可爱的圆形小鸟造型,但它是可运行的。没有运行时错误,所以对我来说这是可以接受的。让我们看看 Qwen 能否击败它。我们点击播放按钮。我们可以看到它也制作了一个《Flappy Bird》,小鸟同样是立方体造型。我能够操作它,但视角是一样的。
因此,我会给这两个模型各打一分,因为它们的惊人相似:它们都把小鸟画成了立方体,都允许你进行跳跃操作,而且生成的令牌数量都在2,500左右。接下来我们要切换测试项目以增加复杂度。这次我提供了一些代码,并询问它:“你能添加一个我可以控制的太空飞船吗?采用第三人称视角。”
Qwen 27B 生成了3,400个令牌,速度为每秒14.4个。Ling 也生成了3,600个令牌,只是多了200多个令牌,速度稍慢为每秒11.3个。让我们看看 Ling 做了什么。屏幕上仍然有地球,有一艘太空飞船,我们可以进出其中,但似乎卡住了。虽然我们在移动它,但并不太令人印象深刻。不过考虑到它保留了地球场景,我就给它0.75分吧。
我开始记录分数系统:1比0.75。让我们对比 Qwen 的结果。我们播放 Qwen 的版本。对于 Qwen 的这个结果,我要给满分。看啊,你有一个漂亮的3D太空飞船,可以高速驾驶,并且保持了世界的一致性。所以这得满分1分。因此,较小的270亿参数模型正在赢得比赛。
当然,这可能是因为 Qwen 经过了更多优化,拥有更多用户和聊天系统,从而获得了数据点使其变得更聪明。但一个270亿参数的模型已经摧毁了一个万亿参数模型,这本身就令人震惊。让我们看看它在制作 Microsoft Word 克隆版时的表现。Qwen 27B 生成了3,000个令牌,速度为每秒14.2个。而 Ling 这个万亿参数模型只生成了1,700个令牌,这太糟糕了。
Ling 你在做什么?好吧,我们得到了 Word 界面,可以左右移动光标。这是一个非常基础的 Word 版本。我会给它0.5分。它非常、非常基础,但因为能运行,还是得给一点分数。做得不错。Qwen 27B 的版本要好得多,看起来更像真正的 Word。虽然不是我看过的最好版本(用更大的模型如 Kimi 2.6,其股东也是阿里巴巴),但显然 Qwen 产生了更好的结果。
我还是把这一分给 Qwen 27B,因为它看起来更好。让我们问一些逻辑谜题:如何用一把刀将四个相同的橙子平均分给四个孩子?答案是每个孩子一个完整的橙子。刀子其实是个陷阱。让我们看看 Ling 怎么回答。“既然每个橙子都相同……”它做了一些数学计算,用刀子切分。它说:“你只需要一把刀来切割……给每个孩子两个半橙子。”
我觉得那是个更好的结果,因为如果你直接给孩子一个完整的橙子,他们怎么剥皮呢?也许孩子能自己剥吧。说实话我甚至都很难剥橙子,我会切一小片然后剥皮,那样好很多。但在这里两人都得1分,因为他们都得出了正确答案(尽管方法不同)。
如果医生给你三颗药丸,并告诉你每30分钟吃一颗,这些药能维持多久?1小时。这是正确答案。它会持续1小时:你立刻吃第一颗,然后30分钟后吃第二颗,再30分钟后吃第三颗。让我们看看 Qwen 的回答:又是1小时。两人各得1分。
如果你超车……
排名第二的模型表现如何?Ling 凭借其先进的万亿参数推理能力答对了题目,而270亿参数的模型也给出了正确答案。顺便一提,我运行这个27B版本时禁用了思考模式。虽然这是一个支持思考的模型,启用后结果可能会变差,但在非思考模式下,27B的表现非常出色。
接下来测试一个生活场景:洗车店离我家只有50米,我是开车去还是走路?模型建议开车。它答对了!看来Qwen正在提升这类问题的回答质量,给出了正确选项;而Ling只建议走路,这显然不合理。
现在来看一个更高级的编程任务:制作高保真交互式地球模型。Ling(1T参数)生成了约20万token的代码,速度为每秒11个token。这耗时很长,让我看看具体用了多久——总共花了1763秒!这些测试确实需要大量时间,大家看到耗时较长的过程时请给予理解。
1T模型以每秒19.5个token的速度生成了约20万token。我猜测会出现运行时错误,但还是运行看看Qwen 3.6(27B)的表现。它仅生成了约9000个token,速度为每秒13.3个。生成过程中我的MacBook Pro风扇一直在狂转。我们先看Qwen的结果:目前地球外观有点滑稽,但功能正常——可以调整水位、触发小行星撞击并生成月球。效果相当不错!
不过死星模型表现一般,这不是最佳版本。我曾见过更大模型产生更好的结果,但我敢说它不会超越万亿参数模型——因为那个可能根本跑不起来。令人震惊的是,通过OpenRouter运行此类测试时通常会出现运行时错误(比如3D Flappy Bird),但这次量化版本竟然成功运行了!也许这才是更好的生成结果。
调整参数后,地球看起来更真实了:可以移动视角、改变大气层和云覆盖率。哦!现在真的像地球了,美得让我起鸡皮疙瘩。我可能要给万亿参数模型加分!Qwen得0.9分,但此测试判给1T Ling。它成功发射了小行星并生成了类似环状结构,死星也更像真正的死星。
我原本对Ling不抱希望,认为它只是“Lingard ding”(谐音梗),通常表现不佳。但作为思考模型,它往往比非思考版本更好;而Ling传统上编程能力较弱。它能击败27B模型令人惊喜,此分判给1T Ling!不过这仍非最佳生成效果——Kimi K2.6和GLM 5.1曾产生更精美的模型。
接下来切换到数学领域:求解所有满足条件的实数。尽管未启用推理模式,模型仍尝试推导答案。最终用5700个token(每秒11个)得出正确答案:偶数整数集合。Qwen 27B用8000个token(每秒11.8个)也得到相同答案,但我的MacBook Pro开始降频了——我同时还在录屏。
两者都答对,但Ling用更少token完成,略胜一筹。记录一下:我在OpenRouter上问过两次此题——第一次耗尽token未得正确答案,第二次才成功。最后再测一道数学奥赛题:找出所有“酷数”。Qwen给出教科书式答案:偶数酷数是2的幂次($2^k$,K为正整数)。
但Ling答错了!我跳转到OpenRouter验证:尽管本地运行的是量化版(官方发布1TB,我压缩至450GB),却得到了与OpenRouter完全相同的错误答案。于是询问ChatGPT:基础模式给出正确答案,但高级模式却与我争执不休——即使我直接提供答案,它仍坚持“看似正确实则不然”,态度非常傲慢。
我不知道他们改了什么,但很难与之沟通。Claude更糟:它与我“战斗”了11分钟直到耗尽额度,然后我换了另一个问题……
又过了几分钟,它直接耗尽了令牌。因此,Claude 没能给出回答。这是 Claude Sonnet 的自适应版本。有没有人注意到新的自适应功能,感觉回复变得更笨了?我想说确实如此,以前它还有点灵气,但现在有了这种自适应思考机制,我发现它总是产出更多垃圾内容。
我不太使用 Opus 版本,只用免费的那个。不过嗯,是的,请告诉我你们的看法。关于上一个问题,Qwen 27B 给出了正确答案。总的来说,拥有 270 亿参数的 Qwen 3.6 击败了所有测试结果。唯一 Ling 赢下的项目是我最喜欢的那个,因为它确实赢了。它生成了这张图:显然需要降低海平面让它更像地球,但这看起来非常漂亮。
这是 Ling 唯一获胜的项目。它的规模有多大?1 万亿参数对比 270 亿参数。请告诉我你们对这些惊人模型的看法。再次提到 Ling,它是 MIT 许可证的。为这一点给他们鼓掌吧。如果你们支持他们,这些东西只会变得更好。所以请务必去支持。
我上传了这个版本的 Qwen,因为它产生了足够好的结果。是的,如果你想尝试一下,也许有某种用例,比如针对数据库中的特定信息,或者可能是语言问题。因为我用英语与它交流,也许它在其他语言上训练得更多。Qwen 已经上传了。关于 Qwen 的一点是,看看你还能用它做什么。
使用 Qwen 和 Ding,你可以点击这里的“视觉”功能并附加一张图片。我们可以问:“谁是顶级模型?”我们会提出这个问题,它将开始处理该图像。它应该会显示 Qwen 和 Claude 的对比图表。根据图表,顶级模型的最高分是 59.3,它正在为你分析图像,而它只有 270 亿参数。
请告诉我你们对 Ling 2.6(1 万亿参数模型)与 Qwen 3.6(270 亿参数)的看法。希望你们觉得这个视频有用,并享受这期节目。