因为……(笑声)好的,所以今天我们要对一些开源权重模型进行测试。我们将给它们一份由 Claude Opus 5.1(原文误识别为 Fable)设计的设计文件,看看它们能在多大程度上复刻出 Opus 5.1 根据 Markdown 设计指令所生成的实际输出。本质上,我们是给它们提供了食材,然后看它们在烹饪这道菜时的表现如何,并与那个既创建了食材清单又准备了菜肴的模型进行对比。

为了做到这一点,我们将使用几种不同的工具和方法。我们先讨论一下这些内容,然后快速概述一下这个设计 Markdown 文件具体是什么(至少针对第一个任务而言),以及我们将使用哪些特定模型来执行该任务。因此,在今天的测试中……

我们将使用新发布的 Cline Desktop 应用程序(原文误识别为 Klein),目前仍处于测试版。然而,这本质上就是 Cline 编码代理的原生桌面体验或应用程序(正如他们所说)。有趣的是,有两点值得注意。首先,该软件的源代码是公开的。最近关于开源与闭源代理编码工具的讨论很多……

能够实际查看、检查并确保它不会将你的整个文件上传到某个地方,始终是一件好事。此外,我们将通过这些模型在 Cline Pass(原文误识别为 Klein Pass)中使用,这本质上是一个每月 10 美元或 9.99 美元的订阅服务,可以访问一系列前沿开源权重模型。我在这个频道上经常使用这些工具……

我必须诚实地告诉你,我为这里滚动显示的每一个模型都创建了单独的账户。处理所有这些情况可能会变得相当繁琐。因此,一个可以统一且可信地访问所有模型的地方是非常好的选择。这就是我们今天测试模型的方式,我们可以看到其中一些可用的选项。

说实话,我还没有确定我们将使用哪些具体模型来执行此测试。我有一个大致的想法。肯定是 GLM-53 Flash,虽然完整的 53 版本也很有趣。是的,所以我还在犹豫究竟使用哪些特定模型。但在我们开始之前,还有几件额外的事情我想说。我要感谢 Cline(原文误识别为 Klein)对频道的支持……

允许我制作这个视频,并给我提供了一些访问权限。此外,他们也有一个入门优惠。因此,价格不是 9.99 美元,而是 1.99 美元。描述中会有链接。现在真正要做的下一步是开始查看客户端桌面应用程序,我这里已经下载好了。我今天使用的是 Windows 系统……

因为目前仅支持 Mac 和 Windows。然而,他们提到 Linux 支持很快也会到来。我只是在这里浏览技能市场的一些内容,添加 MCPs(模型上下文协议)等东西。我很高兴看到 Jev 已经包含在内。这最近非常流行,所以你可能很熟悉它。但我很高兴看到这一点……

因为这刚刚发布并迅速走红,而且似乎更新得相当快。现在为了快速浏览一下这个应用程序的一些内容……

我将重播当你在这个系统上实际设置它时首先看到的介绍。你只会看到这些,而且眼睛会跟随光标移动。所以这总是让人很高兴的。你可能对 Cline(原文误识别为 Klein)很熟悉,因为在此之前它主要是一个 VS Code 扩展之类的东西。所以这现在只是一个原生体验……

如果你以前习惯以这种方式(通过终端)使用它,它也移出了终端。我们还有与 Cline 登录的选项(原文误识别为 client),我正在这样做,因为我是使用这个与 Cline Pass 一起使用的。我将跳过导入会话等内容……

因为这个系统是全新安装的,而且我的账户已经设置了 Cline(原文误识别为 clin)。所以我们要开始构建,我们可以看到我们切换并选择 Cline Pass,当前包含在内的所有可用模型都列在这里。有趣的是 Muse Spark 也在其中。所以这很酷……

我相信 Meta 曾谈论过开放等待(原文误识别为 open waiting,可能指开源或特定模型发布)这一点。所以希望我们会看到一些东西。他们还提供了一些免费模型……

这些模型会根据诸如 Solar Pro 等热门事物而有所不同,Solar Pro 是来自韩国的一个前沿模型。Laguna S2.1 以及其他一些有趣的模型。所以现在,我想谈谈我们最初要处理的核心内容或具体工作对象……

这个 Markdown 文件是由 Claude Opus 5.1(原文误识别为 Fable)创建的。当我第一次测试它时,花了 2 个小时(当时刚发布)。我们在该视频中进行了 Subway FPS 测试。它目前仍在频道上,我相信是九月初发布的。我使用 Ultra Code(原文误识别为 ultra code)运行了它……

我没有意识到它花了两个小时来制作这个设计 Markdown 文件,而这就是它的结晶。所以如果我们在这里向下滚动……

我们将看到这本质上是一个包含 2,600 行文本的文件,标明了这个 3JS Subway FPS 游戏中应该包含的每一个具体细节。实际上产生这个想法的原因是……

我将此文件给了 Qwen 3.8 Flash Next(原文误识别为 Quen),在量化版本为 Q4 的情况下,在我身后的系统上本地运行。它在 overnight(过夜)工作并完成了任务……

这是几周前的事了,它确实产生了一些东西,当它超越这一点并创建实际游戏时,这大概是 Opus 5.1(原文误识别为 Fable)所产生内容的 80%。这让我想到……

这实际上很有趣,看看结合一个前沿模型(用于 agents.md 或设计 MD),然后指示更便宜但仍具有一定能力的开源权重模型,看看它们能否复刻出来。这就是我们今天要做的事情。我已经把这个……

放在一个文件夹里了,真正要做的就是决定从哪个模型开始(我认为 V4.1 Flash 可能是一个谨慎的选择,虽然我也对 Muse Spark 感到好奇……

因为有些人说在最大努力模式下它变得相当强大。所以我们将看看我们选择哪一个,但现在开始……

我将使用 V4.1 Flash 运行它。我会把它放在“额外”模式上,我基本上会说从该文件夹中构建设计。我认为比较这些的最佳方法之一是查看由 Opus 5.1(原文误识别为 Fable)创建的实际源代码……

然后我们将获得一个良好的视觉比较,看看模型在收到其指令时的表现如何。对于 V4.1 Flash 而言……

运行成本显著低于 Opus 5.1(原文误识别为 Fable)。

我们的工作流程已完成,我想快速展示一下我们刚才看到的内容。这就是我们要展示的 Fable 5.1 的结果。这里有一些字幕在播放,所以我们刚才看到了这些内容。但这只是为了给我们提供一个参考点,看看 Fable 5.1 生成的设计 Markdown 文件具体产生了什么效果。所以我们要做的下一步是去看看 Deepseek V4.1 Flash 的表现如何。请记住,V4.1 Flash 比之前的 Flash 模型更大一些。因此,如果你想到的是 V4 Flash 模型,那么它的实际能力可能比你预期的要强得多。

这个任务运行了相当长的一段时间,我不确定它是否已经 100% 完善。但我想它基本上已经完成工作了,因为我小睡了一会儿醒来后,发现它仍在处理一些细节。好了,现在一切都设置就绪了。我疏忽到没有意识到需要我自己启动服务器。好吧,这里声音已经打开了。它提示“点击以启用指针锁定”。所以让我们看看把这个任务交给模型后,我们的表现如何。

好的。嗯,要么是指针过于敏感,要么是这里有些不对劲。不过我首先要说,乍一看,除了这个问题之外,这几乎是对它的像素级完美复刻。它看起来与我们刚才在视频中看到的一模一样,我对此感到有些惊讶。现在,我发现的一个问题是,不幸的是指针有点不对劲……嗯,是鼠标的问题吗?我觉得不是。让我拔掉我正在使用的这个鼠标。好的,没问题了。我想我们可能需要做一些故障排除工作。

好吧。是的,我觉得这只是指针过于敏感而已。哇哦。而且右键实际上允许我们像这样瞄准。我们有多种不同的武器,这在之前的 Claw 结果中也是如此。现在敌人应该只是从楼梯上下来开始攻击。请记住,鼠标仍然很不稳定(funky)。所以我不得不做一些非常奇怪的操作来防止它失控。现在我相信在原版游戏中,敌人是从楼梯上下来的。我不一定在这里看到它们出现。所以我只是告诉模型我们遇到的一些问题,并说立即修复这些问题。

首先 foremost 的是,鼠标移动明显改善了。我们有声音吗?我现在其实不知道,因为不幸的是我无法射击。好吧,让我们看看。在原版游戏中……嘿,怎么回事?我其实认为原版并没有上楼梯的功能。还有我想验证的一点是,它确实绘制了 Ashworth Station(车站),这是该项目的命名,或者是 Ashworth Street?也许“Station Street”或单纯的“Station”更有意义。我不认为原版中有这个。现在我们注意到,是的,敌人似乎确实存在一些问题。

我相信它们实际上没有正确的“票”(tickets)进入地铁轨道,否则它们应该在那里。尽管如此,即使只是这里绘制的涂鸦也非常有趣。真的,我要说,暂时忘掉实际的敌人逻辑、射击和声音吧。我认为这里的主要结论是,这确实是对主要结果的正确图形复刻。那里有一个非常有趣的细节/产物(artifact)。我相信这里也有一些敌人。

所以我最后给它的指令是,声音仍然没有工作。而且当我们点击鼠标左键时,我们实际上无法发射任何弹药。好吧。假设性地讲,我们现在取得了一些进展。它说用 Ctrl+F5 重新加载然后射击。让我们看看。好的,现在只有一个错误了。很好。射击功能工作了。我仍然听不到任何声音。但是事实是我们能够进行射击了。环境中没有弹孔吗?哦,有的。看那里。它们也很干净。

好吧。好的。所以我要暂时隐藏开发者控制台。我们仍然没有声音,但至少我们知道一些敌人肯定组装得不太正确。不过你知道的,这可能是一个艺术决定而不一定是 bug。我们可以看到,第一波剩余零个敌人。但是上面曾经有一大堆。这是火车应该运送下一批敌人的版本。所以,好吧,第一波清除了。现在火车应该会进来……下一班列车,我们看到了倒计时计时器。

这再次让我们能够看到它复制风格的效果如何。“ incoming train, stand behind the yellow line”(列车进站,请站在黄线后)。我们也看到了原版中存在的红色闪烁灯光。我们只需要确保……咳咳……这是对原版列车的非常相似的复刻。它甚至拥有漂亮的内部结构,那里有一些烟雾以及车门打开的方式。所以总的来说,我觉得这里有点不好的地方……我想说是两点:声音问题,以及敌人看起来不太对劲。

我们可以看到这些物体的几何设计方面有些不对劲。然而我们有弹孔,我们不能像原版那样上火车(我知道有人问过这个问题)。尽管如此,我觉得这仍然很有趣,因为我们基本上给了它一个非常密集的 Markdown 文件,而它以大约 95% 的相似度复刻了所有这些美学效果。说真的,主要问题是声音、敌人,然后我们做了一些额外的 bug 修复。

但总的来说我认为主要的结论是……它们的行为也很相似。原版中,这些蓝色敌人实际上会非常快地向你跑来并攻击你。所以我认为这里的主要结论是……我不会试图让它达到 100% 完美运行,因为我想看看它在现实情况下能做到什么程度。考虑到声音没有工作且敌人有些奇怪,总体而言我会说这达到了 Fable 5.1 给我们效果的约 90%。请记住,这一切都是在一个每月 9.99 美元的订阅下完成的。

而如果这是用 Fable(Claude)做的,甚至不考虑实际创建游戏的过程,仅仅是生成那个 Markdown 文件,我认为你无法在每月 20 美元的订阅中做到这一点。我想你需要那个每月 100 美元的高级套餐才行。而且即便如此,限制也很低。所以这是我非常感兴趣做的一件事:基本上给这些模型……

总体而言,成本显著降低但能力相当。通过这份设计 Markdown 文件作为近乎架构图的形式,我们可以观察它们能在多大程度上复刻大型昂贵闭源前沿模型所生成的内容。在这种情况下,这是一个相当出色的复刻版本。接下来我想尝试使用我个人认为能力稍弱一点的模型进行对比,基于我的个人经验,那就是 Meta 的 Muse Spark 1.3。我们刚才看到了 DeepSeek V4.1 Flash 的表现,它对 Fable 5.1 结果的复刻非常精彩。现在让我们看看 Muse Spark 1.3 能做到什么程度。老实说,我不认为它能达到目标效果的90%,但如果能证明我错了我会非常高兴。

我们的下一步是删除这个会话,因为我想让它彻底消失,从头开始。我已经选择了 Muse Spark 1.3 Contributor(贡献者)版本。当然,这是通过 Cline Pass 订阅使用的。请注意,Contributor 层级的 Muse Spark 1.3 非常便宜。基本上,你可以获得该特定模型的大量使用额度。然而,“Contributor”意味着你以允许将你发送给它的用于训练和改进模型的数据为代价,从而获得这种低成本。

鉴于这次生成的只是一个更好的地铁第一人称射击游戏(FPS),我对此持开放态度,毕竟大家都需要更棒的地铁 FPS 游戏。我也基本上删除了 DeepSeek 在此文件夹中创建的所有文件。如果我们现在看这里,只剩下我们最初拥有的设计 Markdown 文件了。接下来我想把它放到“Extra”模式上。我们现在开始运行,看看 Muse Spark 1.3 在其最高可用设置下的表现。如果我猜的话,我个人觉得 Muse Spark 1.3 作为编码模型的能力不如我们将要与之比较的其他一些模型。

请记住这一点。我说它可能只能复刻原版的60%左右,当然我也很高兴被证明是错的。好了,32分钟后完成了。这比 DeepSeek V4.1 Flash 生成所需的时间显著缩短。但这并不一定意味着它不够复杂。不过,我或许可以大胆假设事实确实如此。我们可以看到这里发生了一些事情,比如团队协作、生成多个代理来执行不同的任务等。因此,看到关于它具体做了什么以创建此内容的简要概览(TL;DR)很有趣。

然而,我非常渴望看到实际结果如何,因为再次强调,我对这个模型并不特别看好。好吧,我想我们肯定会看到 Muse Spark 1.3 相比更强大模型的一些局限性所在。现在我们肯定有几个问题,也许我们可以发送错误日志给它看看。好了,我把错误日志发过去了,我们来看看情况。在8分半钟后,理论上这里有一个修复后的结果。它只是说进行硬刷新,而这恰恰是我在 Windows 系统上总是忘记快捷键映射的操作。

所以稍等一秒。我们确实解决了那个问题,但不幸的是现在出现了不同的问题,而且游戏内容仍然没有加载进来。所以我直接告诉它这一情况。它在大约4分钟内报告两个症状都已修复。这是该模型的一个特点,它的速度真的很快。非常好。我相信我们之前没有遇到问题,至少初步看来是这样。好的,我们现在确实看到了一些进展。它似乎有一些图形问题。很好,非常好。

我注意到的一件事是,我想是因为我打开了开发控制台导致没有渲染出来。所以让我们硬刷新一下,然后全屏查看这个效果。很好,很好。我认为这是一个有趣的视角,因为它向我们展示了基于我们从原版以及 DeepSeek 所做的高质量复刻中看到的某些元素是符合预期的。敌人[笑声]确实很特别。嗯,现在我们应该可以切换武器了。好吧,我没有注意到这个功能。所以不幸的是这部分似乎丢失了。

让我们看看……环境中没有弹孔,老实说这是我预料到不会存在的特性。让我们试试能不能做点什么……等等。环境中确实有弹孔,至少在这里是这样。嗯,在某些地方确实有,对此我其实可以接受。左下角那个是我们的生命值吗?如果是的话[笑声]……重新装弹,重新装弹。好吧,嗯,[笑声]我不知道我们是否能达到火车实际出现的阶段。我再试一次硬刷新。

好了,所以是的,这个版本肯定会在 Muse Spark 的表现方面提供一些见解。虽然我要说它遵循了核心部分,你知道的,骨架是存在的,而且我们甚至有了这里上方的这个区域。所以看到这一点其实挺酷的。我们还获得了不同的视角,并且我们会掉回地面。所以是可以接受的,而且我认为有点启发性。接下来我们要过渡到我认为是更具挑战性的一部分。这是我让 Fable 5.1 使用 Ultra Code 生成的 C++ 结果。

我在大约六到七小时的时候停止了它,因为我真正想要的只是设计 Markdown 文件,当然。这是用于一款复古 F1 风格的赛车游戏。我相信它允许使用 Raylib。如果你看过我的视频,谢谢。你也知道有时我不让它们在 C++ 结果中使用 Raylib,因为那会让事情变得更难。然而在这种情况下,我只是想看看这些模型能复刻得有多好。我们这里将使用 GLM 5.3,即完整版而不是 Flash 变体,在 Extra 模式下开始。也就是最高的推理潜力。

我想快速展示一下 Fable 为此特定任务生成的最终结果是什么样子的,因为它确实令人印象深刻,特别是考虑到我提前停止了它。这基本上就是我们要让 GLM 5.3 复刻的内容。除了展示游戏实际外观的短视频片段外,这里还有一些在构建过程中拍摄的静态图像。基本上这就是我们要努力复刻的目标。这很酷,标注了多个摄像机。我们也将快速查看代理或设计 Markdown 文件。但这确实是一个看起来很酷的复古风格结果,我想看看我们能复刻得有多好会很有趣。

现在,GLM53 正在此系统上设置依赖项。由于这是一个 Windows 系统,我通常不常在此类工作中使用它。上面没有类似 Rail 之类的工具或那些东西,所以目前它正在处理这些设置。如果我们在浏览这个 Markdown 文件的过程中看到 PowerShell 窗口弹出,那正是原因所在。不过,让我们来看看具体情况。

再次说明,这是一个相当庞大的设计文件,当然由 Fable 5.1 在 Ultra Code 模式下生成。我们可以看到它比之前的地铁游戏文件要短一些,但它仍有 1,573 行代码,这依然很多。其中包含大量的参考片段、示例代码等东西。希望这能让我们达到一个相当不错的复刻效果。

好吧,我认为这个过程大概花了大约一个半小时。在此期间,我一直在排查新 iPhone 的问题,所以我只是让它在后台运行,并没有频繁检查进度。但我们可以看到这里已经交付了我们的游戏成品。我还没有查看过任何内容,也没有看到它为了调试而生成的潜在截图等东西。因此,我非常感兴趣地想看看它与仅由 Fable 5.1 生成的源文件相比效果如何。

请记住,我确实让 Fable 5.1 至少完成到了我认为足够停止的程度。那是在大约五到六个小时左右我停止了它的工作。所以在我们将这个模型在约一个半小时至两小时内完成的结果与之对比时,请考虑到这一点。好吧,让我们来看看它吧。我对在 Windows 上运行某些东西的知识……哦,还挺不错的(笑声)。好吧,嗯。

好的,汽车模型看起来不错。我们肯定注意到了一些问题。很好,我们可以逐一排查。数量还不少呢。让我们继续吧。我喜欢那辆红白相间的车。哦,好的。我们有不同的摄像机角度吗?不。哦,好吧。(笑声)

好了。所以这里有我们的电影级摄像机视角……好的。这里我们还有一个重新开始按钮。好吧,好吧。所以我们肯定能注意到这里的差异可能(笑声)更大一些地体现了两个模型之间的区别。请记住,这个模型的运行成本显著低于 Fable 5.1,而且它在很大程度上以相似的方式完成了任务。赛道看起来不错,一些汽车模型本身看起来也不差。

但是当我们实际尝试玩的时候,事情基本上就崩了,不过像轮胎痕迹之类的东西看起来还挺好。所以这绝对是一个更难测试的项目。我真的忍不住,我还想试试用 Muse Spark 1.3,因为它很快,而且我有点好奇看看能否从中得到一些像样的作品。这个模型在文档中包含更多的参考代码,所以我想知道也许 Muse Spark 如果能严格遵循指令,我们或许能得到比地铁游戏更令人印象深刻的结果。至少我是这么希望的。

所以让我们再仔细看看这个文件。然后我基本上需要删除这个文件夹,让 Muse Spark 去处理它,因为我真的很好奇那个模型能做什么。好吧,我把它放在这里,就放这儿。看起来不错。嗯……

好的。然后我们稍微有点跟丢了线索。但有趣的是看看实际保留了什么,以及不幸的是哪些部分变得有些奇怪(ary 可能是 erratic 的误听)。除此之外我没什么好说的了。但这绝对是一个有趣的实验。好吧,所以 Muse Spark 在这里采取了一种非常不同的方法,它基本上将其变成了一个单文件 HTML 游戏。

为什么是 HTML 而不是 C++ 和 Raylib?嗯,因为它没有那些依赖项。所以让我们把它做成你可以直接运行的东西吧。哦,我真是太习惯用 Ubuntu 了。好吧,让我们打开它……嗯,这就是源文件的复刻版。(笑声)(喷鼻息声)。

看看声音是否包含在内。有趣的赛道布局。嗯,那是……(笑声)你是无法安装依赖项吗?我打算在这里问它一个后续问题。我们可能不会按照指定的语言进行完整重建,但我很好奇它在做出这个决定时的思维过程是怎样的。哦,好吧。(笑声)它只是在回应用户的不满,并计划遵循 C++ 和 Raylib。

好吧,看看我们会得到什么结果。好的,所以不幸的是,Muse Spark 并没有用 C++ 正确完成这项工作。不过正如我们所见,我们确实得到了那个 HTML 变体,这很有趣。但总体而言,这真的很有意思,因为我想用这些不同模型测试的是:当给予相同的代理(或不是代理),即导致该结果的设计 Markdown 文件时,它们复制给定参考结果的准确程度。

这个源文件来自一个最先进的模型,即 Fable 5.1。我要说的是 Deepseek V4.1 Flash 似乎是一个极其强大的模型。我几乎要怀疑它是否可能比完整的 GLM 5.3 还要好一些。想到 Deep Seek V4.1 Pro 版本尚未发布,这挺有意思的。所以那仍然是 Flash 模型,尽管它更大。我对那个 Pro 版本感到非常兴奋。

现在,当然,我们今天还测试了 Cline Desktop App,其中一些会话持续了相当长的时间。在这段视频中,我拍摄的时间基本上长达一天半左右。此外,我们要使用的所有模型都是通过 Cline Pass 提供的。所以能够访问这些不同的模型非常有用,因为它们各自单独使用都需要单独的订阅(我基本上拥有其中大多数的订阅),但这有点麻烦,因为有时候你会停止使用某个服务然后忘记取消,接着看到扣款时会想:“哦,我每个月花 60 美元订阅了一个几个月没用的模型。”这种情况确实会发生。

所以能够有一个特定的入口点来使用所有这些服务肯定非常有帮助。此外,你可以将 API 密钥用于你的 Cline Pass 账户,并将其引入到其他编码代理中。这样你仍然可以通过 Cline Pass 订阅访问这些不同的模型,但将其带入其他地方,比如几乎像是“自带密钥”,你会将这个密钥引入到另一个说 PI 或 Open Code 之类的地方,并通过 Cline Pass 仍然访问所有这些模型。所以这也挺酷的。

此外,桌面应用也挺不错。我很喜欢在处理我们这里生成的这些非常长的内容时的眼球追踪等功能。我没有注意到任何卡顿,一切似乎运行良好。它没有……

崩溃了,一切都很顺利。请记住,这仍处于测试阶段,Linux 版本很快也会发布。所以,如果你像我一样对此感到兴奋,别担心,它很快就会到来。说到这里,我想今天的视频大概就要结束了。再次感谢 Cline 允许我制作这期视频并支持我的频道。此外,如果你喜欢这个想法

基本上我们看到了这些模型配合代理 Markdown 文件能做什么,请告诉我你的看法。我认为建立一个由 Ultra Code on Fable 5.1 或 GPT6 Astra 在最高设置下生成的极其复杂的 Markdown 文件仓库会很有趣,以此观察用户和他们使用的模型能做到什么程度。拥有一张基准图表来展示各种模型在遵循同一份静态且极其复杂的 Markdown 文件时的表现会很有趣。

总体而言,这标志着我们对 Cline Desktop 及允许我们基本访问今天使用的所有模型的 Cline Pass 订阅的首次评测和测试的结束。如果你有任何问题,请随时在评论区留言。描述栏中会有置顶评论和链接以提供更多信息。感谢观看。