他还长着恶魔角,看来这些AI觉得我们长这样。[音乐] 没错,就是之前给你们看的那位,生成的眼睛非常漂亮且充满动感。这个作品绝对能拿奖,而且我特别喜欢它的发型,非常有2029年的感觉——那时候我们脑子里可能都植入了埃隆·马斯克的大脑芯片。大家好,欢迎收看本期节目。今天我们要进行终极对比:GLM 5.2、Kimi K.27,甚至还加入了Gemini Pro、Claude Fable以及最高设置下的Sonic。我们将找出哪个模型最强,既有免费也有付费选项,但我们会全部试用。这里有一些严肃的实验:我们要重制3D超级马里奥兄弟、制作Outrun赛车游戏,还要复刻一位叫“亚洲爸爸能量”的YouTuber用Claude Fable制作的应用。我们将使用他完全相同的提示词,但改用开源模型GLM 5.2来测试其效果。

让我们直接从超级马里奥兄弟开始吧,这将是终极提示词。之前我们上传过GLM 5.2的Q4.8版本,即4.8比特量化版,质量很高。但我想给GLM 5.2最好的机会,所以我制作了一个更大的5.8比特量化版。我在Mac Studio和MacBook Pro上通过分布式计算运行它。如果你有几台这样的电脑,可以将它们集群连接以扩展内存。此外,我还准备了更大版本的Kimi K.27,之前发布的是3.5比特量化版,现在已提升至4.24比特,运行起来会更“有料”,同样使用分布式计算。本地AI测试耗时较长,但值得注意的是,“亚洲爸爸能量”说他用Claude Figurine花了一小时。让我们看看会发生什么,先设定标准:我问了Google的付费服务Gemini Pro——那些制造Transformer的最聪明的人:“做一个像超级马里奥世界3D的HTML游戏。”结果它生成了一个很糟糕的版本,我不得不问:“这就是你最好的水平吗?”因为它太基础了。它回答:“好的好的,我会做得更好。”

让我们看看它的成果:这就是Google眼中的超级马里奥世界,碰撞检测甚至都不工作。[笑声] 我最后死掉了。这是来自Google Gemini Pro付费服务的糟糕生成结果。几个月前Google发布它时,大家都说“ChatGPT完了,Google要接管了”。现在让我们看看小型开源AI能造成什么破坏。我先上GLM 5.2,Q5.8比特量化版,使用分布式计算。我在电脑上同时运行两个模型并启用了分布式计算按钮,在服务器端连接了我的Mac Studio,它拥有完全相同的模型。如果内存不足两台电脑,你可以设置集群将任务分片到多台计算机上。但这个量化版本有个特别之处:之前运行4.8比特版时需要启用“思考”模式才能做高级数学题,但这里你可以看到它正确回答了我们的数学问题,因为量化精度很高。所以不需要启用思考模式就能做对数学题。第一个测试是关闭思考模式,它能完成那个提示词吗?它生成了16,000个token,耗时近半小时(约1400秒),速度约为每秒11.5个token。

这个速度有点慢,因为我全程在调试模式运行以修复缓存等问题(已在后续版本中解决)。让我们播放看看构建的世界效果。这个叫“Sky Hopper”,立刻看起来就比Gemini Pro好多了,对吧?这里有个角色在跑。不得不说这是惊人的生成效果:他能跑、能跳,虽然会掉下去但运作良好。没有声音,相机不能移动……哦等等,可以!鼠标固定在屏幕上时能控制视角。这是关闭思考模式下的美丽生成结果。提醒一下,这是Google的尝试;而Claude Sonnet在最大思考模式下的尝试则失败了:我因使用免费服务耗尽消息额度,运行时出现未调用引用错误3。我无法修复直到上午10点,所以得等几小时看能否解决。Claude Sonnet在最大思考模式下无法修复它,但别担心我们很快会试Claude 3。那是在线生成的结果。现在让我们回去把GLM的思考模式设为“高”,它有低、最高和关闭三档。

思考模式为“高”时,生成24,000个token,速度11.5 token/秒。播放看看![笑声] 那个人看起来像水管工,对吧?他有声音了,我喜欢他拉伸的动作。还有移动平台!哦我要赢这个游戏了,我想赢下来,加油我们可以做到!是的!你还会看到一个小结局序列:它统计了所有金币。这是非常漂亮的生成结果,我们对比的是顶级精英Gemini Pro——它做不到这个!GLM开源权重模型运行起来了。也许你需要计算机集群才能在本地跑,但潜力巨大且技术总在进步:今年可能没足够好的电脑本地运行,明年就会更好。还有一个模式要检查:GLM 5.2在最大思考设置下,生成44,000多个token,速度10.5 token/秒。其中很多是思考和推理过程。

关于最大思考模式,我发现后续提示词的长度并没有增加。实际上我进行了一些来回交互,但这只是一个单次提示生成的结果。我不需要修正任何内容,也没有说“修复这个”之类的话。这甚至没有使用测试框架(harness),而是直接在推理器上运行,完全没有进行任何代码修改。就是这样,直接玩一下看看效果吧。

刚才那个是《Cosmic Leap》(星际跳跃)。现在你不必再玩马里奥了,你有他的小伙伴。哦,那真是太漂亮了。这是一款不错的游戏,我要赢下它。我会全力以赴的。嘿,这和高级思考模式生成的结果非常相似。虽然角色不同,但确实打磨得很精致。你无法移动屏幕,它没有内置该功能,而且树木看起来非常漂亮。看看那个3D建模,你可以看到他有小脚在移动。它会在气泡中上下浮动,或者是她,不管是什么性别。

这是一个对《超级马里奥世界》重制的精彩生成结果。这就是目前的情况。不过,我实际上打算降低量化精度,看看能否在更少的内存上运行它。所以我转向了4.8位量化版本,这是我们上一代尝试过的较低精度选项,并且禁用了思考模式,上下文长度超过17,000个标记。让我们看看那带来了什么变化。结果与增加量化后的表现非常相似,但在浮动瓦片这里出现了一些裁剪问题哦,你可以二段跳。

哇,而且它仍然可玩。所以尽管我们进一步量化了模型,游戏依然可以运行,并且具有不同的动态关卡特性。这里有高级思考模式,但我打算直接切换到最大思考模式,看看那个效果如何。51,000个标记,而这只是在单台最大工作室机器上运行,也就是他们之前用512GB内存和戴尔服务器制作的那台。我们得到了一个超级平台3D冒险游戏。这家伙看起来像一头羊驼,他看起来很棒。

我喜欢他的微笑。我也喜欢那些管道和树木。这是一次非常漂亮的生成过程哦,他有声音效果。我能不能从下面走过去并击中那个?哦,我击中了那个方块,它变成了一个硬币。这太棒了!这真的很好。现在,如果有人能访问Claude Sonnet,请运行那个提示词并告诉我你得到什么样的结果。因为我认为这里用GLM生成的效果非常美丽,但我们还有一个开源的最先进模型可以尝试,那就是Kimi K2.7。

而Kimi K2.7刚刚发布了一个代码版本。所以我正在运行它的Q4_2 4位量化版本,并禁用了思考模式。它直接输出了一些标记,产生了8,300个标记。让我们看看那会做什么。不幸的是,那里有一点错误。所以嗯,我可能会购买更多位宽并说“嘿,有个错误”,以及那种类似的事情。但让我们先保持原样,因为我们很快就要进行一些高级测试了。我已经切换过去了。

我刚才做了高级思考模式。在启用思考模式下,他们加入了一些推理内容,有点像关于它打算做什么的计划。并不太长,大概只有两把抓的推理量而已。然后它再次产生了8,500个标记。有趣的是,它的代码生成比禁用思考模式时略少一点。所以也许你最好让它先写代码,然后再修正它,而不是让它在思考上消耗掉它的标记预算而不生成代码。让我们看看那个看起来怎么样。它有点有bug,圆环看起来很漂亮。

但我认为超级马里奥的样子不太好。所以我要说,就这次生成而言,看起来GLM 5.2赢得了比赛。但我们还有另一个演示即将到来。这是《Out Run》( outrun,即“超速”或经典赛车游戏)。所以我不确定你们是否玩过这款叫Out Run的游戏。它有点像第一款驾驶类游戏,非常、非常美丽。如果你没看过,可以在YouTube上查看一下。所以我让Kimi K2.7制作了它。

它在禁用思考模式的情况下用7,000个标记完成了。我们有一个不错的……这实际上是一次非常棒的生成结果。我是说,它很短、很基础。但你有一个3D模型汽车,有树木,还有一条看起来真正漂亮的道路。也许它需要更多的内容才能达到AAA标准。但你知道,与我认为Gemini会制作的东西相比,我觉得Kimi K2.7在那里做得非常出色。启用思考模式下是25,000个标记,我想我中途不得不修正它。

因为左边会往右走,右边会往左走。所以是的,那是我唯一建议的bug修复。25,000个标记,每秒15个标记的速度。我正在调试模式下运行,所以在发布版中它会跑得更快。让我们看看那个Out Run看起来怎么样。那是一个不错的开场白,开始比赛。哦,我觉得它有点buggy。所以左边仍然往右走,右边仍然往左走。道路不如禁用思考模式时那么好。

但仍然有些东西在发生,水面上有东西在移动。(笑声)它在水上行驶。所以那就是那个生成结果,但我认为这次生成可能有一些bug。但我们不会就此止步,因为实际上我们很快会在接下来的提示词中使用Kimi Code以及完整版的在线云端Kimi 2.7。所以让我们跳进去,进入GLM 5.2的测试。这是Q5_8位量化版本,禁用了思考模式。它产生了22,000个标记的……哦等等。

是22,000个标记,但我中途不得不修正它一次。第一次生成时,菜单屏幕有个问题。所以你只是玩了游戏但什么都没发生。它直接跳到了结束画面。但第二次生成用22,000个标记自我修正了这个问题。所以让我们在这里点击播放。我们有一个加载系统,非常、非常有打磨感。这个开场白可以放在街机系统中展示。所以这个屏幕有点激进,我原本期待更精致一些。你可以看到背景中有一条赛道。

这家伙正在颠簸前行。这是非常、非常霓虹灯风格的效果。路上有其他汽车,但有一些bug。所以这些车似乎只是穿过并消失在屏幕外。我想我现在正撞上它们,是的,我认为我正在撞上它们,但我看不到它们,因为有一些渲染bug。看起来道路不能被裁剪,但有很多好的光照效果。汽车本身看起来很精致,那里有很大的潜力。但我没有跟进提示词看它能否改进,因为我想看看最大思考模式能做什么,因为那是高级思考模式。

在最大思考模式下,如你所见,它是一个巨大的上下文窗口。实际上我不得不分多轮运行它,因为我最初只有60,000个标记的上下文窗口。所以我实际上不得不再次提示它以便继续生成。所以总共产生了90,000个标记,那花了多少时间呢?那是……

生成最后两万令牌耗时三千秒,我估计花了约一个半小时。这是一次性提示词生成的结果,让我们看看它的表现。你可以选择难度等级,画面中有声音效果并点击播放后生效。屏幕上出现了汽车和道路,可以左右移动且存在碰撞机制。不过转向操作不够灵敏,只能轻微向右偏转,导致我无法在不撞到对方的情况下超车。尽管向左打方向盘时曲线变化微小,但这次生成包含了许多基础功能:检查点系统、道路上的其他车辆等。这展示了巨大的潜力,总共生成了九万令牌。

我刚才快速穿越了场景,九万令牌的产出确实蕴含无限可能。如果你想成为游戏开发者,现在正是好时机;或者你可能不想入行,因为人人都在做游戏开发。这将带来新的财富机会,人们会为自己制作专属游戏。除非你投入热情将其打磨精良,否则市场上充斥着大量劣质内容。有些人像厨师一样精心制作美食,而另一些人则追求快餐式的快速产出。或许未来的细分市场将倾向于打造惊艳的作品。因此,我想给 Kimi K2.7 一个机会,我使用了他们的 Visual Studio Code 插件。

最初生成的版本很糟糕,于是我要求改进并参考 YouTube 上的游戏案例,随后生成质量开始提升。现在我们有一个精美的过场动画:走向汽车并上车。经过多次提示优化,这是最终版本。虽然首次一次性生成的代码质量一般,但通过重新提示并告知其改进方向,确实能产出更好的代码。这是我在关闭生成前的最终版本:拥有上车动画、屏幕中的人群以及车灯效果。点击运行后,你能听到引擎声,汽车可左右移动,屏幕中的人群会欢呼造势。

道路上有其他车辆,虽然汽车有时会向左偏离(可通过提示修复),但整体框架扎实,具备碰撞等机制。这相当不错,我很喜欢这个局面。总结来看,Kimi K2.7 和 GLM 的表现各有千秋:GLM 5.2 在超级马里奥游戏中表现出色,赛车游戏方面两者不相上下。Kimi K 能做而 GLM 目前不能做的是视觉推理,例如提供网页截图让其复刻。接下来是终极挑战:将 Kimi 和 GLM 与 Claude Fable 进行对比。最后我还会展示它们制作的三维人脸作为趣味环节。

这个网站由 Asian Dad 和 AG 制作,采用特殊映射系统显示城市间的相对距离而非具体里程。驾驶模式显示小时数差异,点击城市地图会移动,这是 Claude Fable 的作品。我注意到驾驶地图看起来不错但不够精确(未详细绘制道路),飞行模式因仅限机场起降而显得准确。然而铁路地图存在问题:一小时 Fable 生成的内容中,铁路线路错误。实际上应仅连接火车站形成河口状结构,而非 Fable 生成的样式。此外,Fable 不支持移动端使用且无法点击交互,这些扣分项很严重——毕竟这是曾被下架的“过于优秀”的版本。

让我们看看 GLM 的表现:Fable 陷入无限循环,而我在本地生成时未给予互联网访问权限。GLM 必须依靠模型自身记忆回忆城市和地图信息,试图构建 Amtrak 火车站坐标。我怀疑量化过程导致了问题。但在高思考模式下,GLM 仅用三万四千令牌就完成任务且无循环现象。它直接思考并输出代码,无需任何修复。浏览器运行结果显示:GLM 优于 Fable 之处在于支持点击交互并显示整个系统结构。虽然铁路准确性存疑(似乎能瞬移,或许是有高铁?),且飞行地图与铁路图完全相同存在 Bug。

“Rail”这个选项确实容易让人困惑,开车模式也存在类似的问题。当选择驾驶时,系统并没有真正改变出行方式,因为在高思考模式下它似乎没有将这一因素考虑进去。不过我注意到一个细节:在地图上可以看到阿拉斯加作为美国的一部分,而在Fable生成的地图中却没有显示。我不确定这是针对阿拉斯加人的某种立场问题,还是其他原因导致的差异。

此外,你无法像之前那样用鼠标缩放或滑动屏幕来调整视图,但我喜欢可以点击城市名称的功能。例如输入“纽约”,它就会出现在下拉列表中。Fable也具备搜索功能,这一点同样令人印象深刻。然而当我们尝试切换到移动视图时,系统却失败了。这意味着在手机上你将无法看到完整内容,因此我们需要将思考模式调整到最高级别以获取更好的结果。

在最大思考模式下,我们获得了97,000个token的上下文窗口。生成过程花费了相当长的时间,甚至让我感到有些惊讶。说实话,我认为它最初生成了大约60,000个token的代码,但其中包含一些错误。于是我告诉它不要重新打印整个文件,而是只提供代码变更部分。我让它只输出特定的函数,这样我可以手动复制粘贴到项目中,而不是等待它重新生成整个文件。

这种代理式的使用方式非常高效,因为我并不是要求它反复重写整个代码库,而是让它提供针对性的修改建议。在启用最大思考模式后,你可以自由缩放和移动地图屏幕,体验相当不错。接下来我们测试了手机端的生成效果,发现质量也相当高。你可以点击城市名称触发动画效果,虽然圆环的可见性可能不如其他版本清晰,但这一版确实有一些独特之处。

当你切换到另一个城市时,系统会显示目的地估算时间:驾车需要6小时,飞行则需要11小时。我对这个数据有些怀疑,因为通常飞行应该更快才对。也许从皮尔到丹佛需要中转航班?你可以选择仅显示驾车路线,这看起来与之前看到的标准版本相似。飞行模式下的时间范围似乎都在合理区间内,尽管绘制可能略有偏差,但你能看到机场周围的速度变化。

值得注意的是,这些路线信息完全基于模型的内部记忆构建,并未从互联网获取任何实时数据。这一点值得肯定,因为它展示了模型对地理知识的掌握程度。至于火车路线的映射效果并不理想,可能是因为训练数据中缺乏相关信息。如果给它联网权限,或许能下载更准确的数据来提升准确性。

最后一个测试我们将使用Kimi K.27模型,通过Kimi Codes代理运行以给予其最大成功机会。这是它生成的地图界面:支持缩放操作,且在手机模式下也能正常工作(虽然只能显示半屏)。驾驶模式下的雷达效果与其他版本类似,但火车路线的准确性同样存在问题。飞行模式则表现出色,能够准确映射机场位置并支持城市点击交互功能。

如果你对这些模型生成的代码感兴趣:Fable使用MapLibre进行渲染引擎,结合Facebook的React框架;GLM 5.2采用D3库来绘制地图,视觉效果与之前一致;而Kimi K.27则使用Carto引擎处理瓦片数据。虽然我不确定该引擎是否有完整文档,但它被可口可乐和福特等大公司采用,说明其可靠性值得信赖。

你认为哪个模型最终获胜?是支持移动端点击交互并带有箭头指示的GLM吗?实际上,我应该给GLM一个修复提示来优化其表现。这正是人们通常的做法:在模型之上构建框架,运行代码、改进效果再重新执行。那些生成结果确实非常精美。作为趣味环节,我们将进行Kimi与GLM的最终对决,使用分布式计算平台运行最新版本。

Kimi Code 4.2版生成了令人惊叹的动画眼睛效果,赢得了这场展示。我特别喜欢它的发型设计,非常有2029年马斯克脑机接口的风格感。而GLM 5.2在禁用思考模式下生成了一种抽象艺术风格的形象,让人联想到马霍卡年代的作品。启用高思考模式后生成的角色鼻子造型优美,还长出了恶魔角——这与之前Kimi K.27的表现相似。

这些AI似乎认为人类应该长角,或者它们只是不知道如何正确绘制眉毛?由于没有头发而扣分不少,但这无疑是GLM 5.2生成的最佳人脸作品。在最大思考模式下产生的“怪物”形象依然美丽:眼球清晰、头发环绕头部一半、眉毛和嘴唇完整,还支持肤色调整和自动旋转功能。这简直是个恐怖又迷人的人脸生成器!

作为额外彩蛋,我们还对比了Kimi与GLM在Canvas动画方面的表现。这是GLM 5.2生成的作品,正如你所见,之前我们在分布式计算平台上运行时……

使用4.8位量化时,这里出现了一些小错误。但在分布式计算上运行5.8版本后,看起来没有我发现的bug。那边的生成效果非常漂亮。至于Kimi K2.7,同样地,这个看起来没那么好,因为它做了一些“越野”操作。我觉得那里有一列火车,这很壮观,但肯定有一些

损失,可能是由于量化问题,或者只是模型本身无法生成这些图形。所以你们怎么看?谁赢了这场展示?我认为开头用GLM生成的超级马里奥非常壮观。所以我必须把分数给那一个。至于Fable,我不太印象深刻,因为我读了所有报告说它是自切片面包以来最好的东西,而我能看到它在生成中犯了错误。

它没能正确完成铁路部分,甚至没有“看那个目标”的高级机制。你可以改变目标,可以做所有这些酷炫的事情。而且它在手机上也不起作用。所以与开源AI模型相比——它们甚至不需要互联网连接,也不需要harness connect进行纠正,仅凭一个直通的90,000 token提示就产生了——哦,那非常令人印象深刻。但请告诉我你们的想法。希望你们觉得这个视频有用并享受了这场展示。

那真的很酷,不是吗?你还有恶魔角。但有些东西在发生,这些AI认为我们看起来像那样。>> 嘿!

[音乐] >> 嘿!>> 我们之前展示过他。一个美丽的[音乐]生成,带有动画眼睛。这个赢了这场展示,而且我确实喜欢头发。这是非常2029版的发型,当我们的大脑里都有埃隆·马斯克的大脑芯片时。