Cline Desktop与Klein Pass的测试环境搭建
本次评测的核心在于对比开源权重模型(Openweight Models)与闭源前沿模型的差距。测试方法是将由Claude Opus 5.1生成的“食材”——即详细的设计Markdown文件,交给其他模型去烹饪(生成代码),看它们能否复刻出与Opus 5.1直接生成的“成品”一致的结果。为了进行这一测试,我们使用了新发布的Cline Desktop应用(目前处于Beta阶段)。这是一个原生的桌面端编码代理体验,其源代码公开透明,允许用户检查代码以确保文件未被上传至外部服务器,这在开源与闭源代理工具的讨论中是一个重要优势。
在模型接入方面,我们使用Klein Pass服务。这是一个月费9.99美元的订阅服务(目前推广价为1.99美元),它提供了一个统一且可信的平台来访问多种前沿开源权重模型。博主坦言,以往需要为每个模型维护独立账号非常繁琐,而Klein Pass解决了这一痛点。虽然具体测试的开源模型尚未最终确定(可能包括GLM-53 Flash或Muse Spark等),但Cline Desktop已内置对Jev等新技能的快速支持,且即将推出Linux版本。目前测试在Windows系统上进行。
设计文件的来源与生成背景
本次测试的“基准”是一份由Claude Opus 5.1生成的Markdown设计文件。这份文件的诞生源于博主早期的一次实验:当时他让Opus 5.1使用Ultra Code创建一个3JS地铁FPS游戏,整个过程耗时2小时。这份文件长达2,600行文本,详细规定了游戏中的每一个具体元素和逻辑。
博主产生本次对比想法的契机是之前的另一个实验:他将这份设计文件交给本地运行的Qwen 3.8 Flash(4比特量化版),该模型在 overnight 运行后,产出了约等于Opus 5.1最终成品80%质量的代码。这一结果证明了“前沿模型生成设计文档 + 低成本开源模型执行编码”的混合工作流具有巨大潜力。因此,本次测试旨在通过Cline Desktop和Klein Pass,评估不同开源模型在严格遵循Opus 5.1设计指令时的表现差异。博主计划首先使用V4.1 Flash进行测试,并对比其生成的源代码与Opus 5.1原始生成内容的视觉和逻辑差异。
"I essentially have separate accounts for every single one... and it can become kind of cumbersome to have to deal with all that. So a unified trustworthy place... is very nice to have."(博主关于统一模型访问平台必要性的评价)
"It took 2 hours when I first tested that... this is the culmination of that."(关于Opus 5.1生成设计文件耗时及内容的描述)
Cline Desktop应用界面与模型选择流程
启动Cline Desktop后,用户首先会看到一个带有跟随光标眼睛的欢迎界面。与之前作为VS Code扩展或终端工具的形式不同,Cline现在提供了完全原生的桌面体验。在设置过程中,用户可以选择通过Klein Pass登录以访问付费模型库。系统默认包含了一些免费的前沿模型,如来自韩国的Solar Pro、Laguna S2.1等,以及Muse Spark(Meta曾提及的开源模型)。
在具体的测试执行环节,博主将Opus 5.1生成的设计文件夹导入Cline。在模型选择界面中,他列出了Klein Pass提供的所有可用模型。博主初步决定从V4.1 Flash开始测试,因为这是一个稳健的选择;同时他也对Muse Spark保持好奇,鉴于社区反馈其性能强劲。测试的核心逻辑是:让模型读取设计文件夹中的指令并构建游戏,随后将生成的源代码与Opus 5.1直接编写的原始代码进行对比。这种对比方式能够直观地展示不同模型在理解复杂设计意图和生成高质量代码方面的能力差异,尤其是考虑到V4.1 Flash的运行成本远低于Opus 5.1。
"This markdown file right here was created by Claude Fable 5.1... It is essentially a 2,600 line of text file denoting every single specific thing that should go into this 3JS subway FPS game."(对测试基准文件来源和规模的详细说明)
"I have already placed this in a folder... I want to go with v4.1 flash."(博主确定首个测试模型及操作方式)
基准对照:Fable 5.1 的设计成果
为了评估开源模型的能力,首先需要确立一个性能基准。视频作者首先展示了使用 Fable 5.1(一款闭源AI编程工具)生成的最终游戏效果。这一版本基于特定的设计 Markdown 文件生成,其核心特征包括完整的视觉风格、敌人逻辑以及音效系统。Fable 5.1 生成的版本被视为“完美复刻”的参考点,它不仅实现了像素级的图形还原,还包含了复杂的交互逻辑。作者指出,Fable 5.1 代表了当前闭源模型在复杂游戏生成上的高水准表现,但同时也暗示了其高昂的使用成本。这一基准的存在是为了后续对比 Deepseek V4.1 Flash 在相同输入条件下的产出质量,从而判断开源模型能否以更低成本达到接近的专业级效果。
初始测试:Deepseek V4.1 Flash 的图形还原能力
接下来,作者将同样的设计 Markdown 文件输入给 Deepseek V4.1 Flash。这是一个比前代 Flash 模型更大、能力更强的开源模型,作者对其表现抱有较高期待。经过一段时间的生成过程(期间甚至包括作者的午睡时间),代码最终运行成功。Deepseek V4.1 Flash 在图形渲染上展现了惊人的还原度,几乎实现了像素级的复刻。作者惊讶地发现,生成的游戏界面、角色外观以及场景布局与 Fable 5.1 的结果高度一致。尽管存在鼠标指针过于敏感的技术小瑕疵,但整体视觉效果令人印象深刻。这种高保真的图形复制证明了开源大模型在处理复杂前端样式和结构时的强大潜力,即使在没有完全打磨的情况下,也能呈现出接近商业级工具的成果。
交互修复与细节验证:从鼠标到射击机制
在初步运行后,作者开始针对发现的问题进行迭代修复。首先解决的是鼠标指针异常敏感的问题,通过调整配置后操作变得正常。作者发现原版游戏中敌人从楼梯出现的逻辑在初始版本中并未完全实现,但 Deepseek 模型通过后续指令修复了这一缺陷。此外,作者验证了地名拼写(Ashworth Station)和场景细节的准确性。在交互方面,射击功能最初无法使用,但经过简单的指令调整(如重新加载资源),射击机制成功启用,且子弹击中环境后留下的弹孔效果清晰可见。这些细节表明,模型不仅能够生成静态画面,还能理解并实现动态的物理交互逻辑。尽管音效仍未解决,但核心战斗循环已初步打通。这一过程展示了开源模型在调试和修复特定功能模块时的响应速度和准确性。
综合评估:90%的还原度与成本优势分析
在解决了鼠标、射击和部分敌人逻辑问题后,作者对最终版本进行了全面评估。游戏成功完成了第一波敌人的清除,并触发了火车进站的事件序列。生成的火车模型不仅外观相似,还保留了原版中的内部细节、烟雾效果及车门开启动画。作者总结认为,尽管存在音效缺失和敌人几何结构的小瑕疵,但整体完成度达到了 Fable 5.1 版本的 90%。更重要的是成本对比:Deepseek V4.1 Flash 仅需每月 $9.99 的订阅费,而要达到类似的 Markdown 生成效果,Fable 可能需要每月 $100 的更高阶订阅。这一巨大的成本差异凸显了开源模型在商业应用中的巨大潜力,即使是在生成复杂游戏逻辑和美学风格方面,也能以极低的价格提供接近顶级闭源工具的服务。
测试开源模型对Fable 5.1架构的复刻能力
本次实验旨在评估不同规模的开源或低成本模型,能否在Cline Desktop环境中复现由昂贵闭源前沿模型(Fable 5.1)生成的复杂项目架构。测试的核心基准是一份设计Markdown文件,该文件本质上是一个近乎完整的架构图纸。此前使用DeepSeek V4.1 Flash进行的测试显示,该模型能够极好地复刻Fable 5.1的结果。为了对比不同层级的能力,本次测试引入了Meta的Muse Spark 1.3模型。作者主观认为该模型的编码能力相对较弱,并不相信它能达到90%的复刻成功率。测试环境通过Cline Pass订阅使用,其中Muse Spark 1.3处于Contributor层级。这一层级的优势在于成本极低且提供大量使用额度,但代价是用户发送的数据将被用于训练和改进模型。鉴于本项目仅涉及生成一个Subway Surfers风格的FPS游戏,作者认为数据用于训练是可以接受的。在开始测试前,清理了DeepSeek生成的所有文件,仅保留原始设计Markdown文件作为输入。
Muse Spark 1.3的生成过程与初步表现
测试启动后,Muse Spark 1.3在最高可用设置下运行。作者预测其复刻程度约为66%,但持开放态度等待结果验证。整个生成过程耗时32分钟,这一速度显著快于DeepSeek V4.1 Flash的生成时间。虽然速度快并不直接等同于代码复杂度低,但作者推测其内在逻辑可能较为简单。在生成过程中,系统展示了团队协作机制,包括多个智能体被spawn出来执行不同任务。为了观察具体进展,作者查看了TL;DR概览。生成完成后,系统报告存在错误日志。经过8分半钟的修复迭代(主要涉及Windows系统的硬刷新快捷键映射问题),游戏得以运行。然而,虽然错误日志显示已修复,但核心 gameplay 仍未加载。作者再次反馈问题后,模型在约4分钟内报告症状已修复。这一阶段体现了该模型的快速响应能力。最终加载出的画面显示存在图形渲染问题,作者推测是因为开发控制台未关闭导致。在硬刷新并全屏查看后,游戏基本骨架得以呈现。
Muse Spark 1.3的功能缺失与架构局限分析
尽管Muse Spark 1.3成功构建了游戏的核心骨架,包括上层结构、视角切换以及角色跌落地面的物理反馈,但在具体功能实现上表现出明显局限。与Fable 5.1和DeepSeek的高保真复刻相比,Muse Spark 1.3生成的版本存在多项缺失。首先,武器切换功能完全失效。其次,环境中的弹孔细节仅在特定区域出现,且UI显示异常——左下角显示的并非生命值而是其他信息。此外,火车等关键场景元素未能正常生成。尽管存在这些缺陷,作者认为该结果仍具有洞察价值:它展示了当模型能力受限时,其生成的代码如何保留核心逻辑但丢失细节实现。这种“骨架存在但血肉缺失”的状态,清晰地揭示了不同层级模型在复杂系统构建上的能力边界。作者指出,虽然结果不尽如人意,但核心逻辑的保留证明了基础架构的可复制性。接下来,测试将转向更具挑战性的C++项目。
转向高难度C++赛车游戏复刻测试
为了进一步挑战模型极限,作者引入了一个由Fable 5.1使用Ultra Code生成的C++项目。该项目是一个复古风格的Formula 1赛车游戏。Fable 5.1在生成过程中被人为中断(约6-7小时),目的是仅获取其生成的设计Markdown文件。值得注意的是,Fable 5.1在该项目中使用了Raylib库。作者通常在对C++结果测试时禁止使用Raylib以增加难度,但此次为了公平对比模型对同一架构的复刻能力,特意允许使用Raylib。本次测试将选用GLM 5.3的全尺寸版本(非Flash变体),并在Extra设置下运行,以启用最高级别的推理能力。Fable 5.1生成的原始结果非常令人印象深刻,包含多个摄像机视角和复杂的复古视觉效果。作者展示了部分静态截图作为复刻目标的基准。接下来的测试将重点观察GLM 5.3能否在C++环境下,复现这一包含多摄像机和复杂渲染逻辑的赛车游戏架构。
GLM53 在 Windows 环境下的依赖配置与生成过程
测试首先从 GLM-53 在 Windows 系统上的依赖配置开始。由于该环境缺乏 Linux 下常见的开发工具链(如 Rail),安装过程涉及 PowerShell 等后台进程的运行,这可能导致界面出现短暂的闪烁或弹窗。生成的参考文件是一个由 Fable 5.1 在 Ultra Code 模式下创建的复杂设计文档,虽然篇幅比之前的“地铁”项目短,但仍包含 1,573 行代码及大量参考片段和示例代码。这一庞大的文件体量旨在为后续模型提供一个足够详尽的复刻基准,以期达到较高的还原度。
性能对比:GLM53 与 Fable 5.1 的时间成本差异
整个生成过程耗时约 一个半小时,期间作者并未实时监控。相比之下,Fable 5.1 在相同任务上运行了 五到六个小时才被手动停止。这种显著的时间差异凸显了 GLM-53 的效率优势,尽管其运行成本远低于 Fable 5.1。作者对 GLM-53 生成的结果持高度期待,希望验证其在更短时间内能否达到与长时间运行的 SOTA(最先进)模型相近的效果。这种对比不仅关注最终产出,更强调了时间成本与运行效率的权衡。
GLM53 生成结果的视觉评估与实际游玩体验
初步检查显示,GLM-53 生成的赛车模型外观良好,赛道布局合理,甚至漂移痕迹(skid marks)等细节也处理得当。然而,当尝试实际运行游戏时,问题暴露无遗:虽然静态视觉效果尚可,但动态交互和核心玩法逻辑出现了严重故障。作者指出,尽管模型在生成代码时展现了不错的理解力,但在实际可玩性上,“事情基本分崩离析”。这表明 GLM-53 在复杂逻辑连贯性上仍有提升空间,尽管其性价比极高。
Muse Spark 1.3 的替代方案与架构选择
出于好奇,作者随后测试了 Muse Spark 1.3。该模型采取了截然不同的技术路径:它没有遵循 C++ 和 Raylib 的依赖要求,而是直接生成了一个单文件 HTML5 游戏。作者推测这是为了避免复杂的依赖安装问题,从而确保用户能立即运行结果。虽然这一变体在技术上偏离了原始规范(C++),但它成功实现了基本的游戏复刻,包括音效和赛道布局。作者随后尝试通过后续指令让 Muse Spark 回归 C++,但模型未能正确完成这一重构。
DeepSeek V4.1 Flash 的潜力与 Klein Desktop App 的体验总结
除了 GLM-53,测试还涉及了 DeepSeek V4.1 Flash,作者认为其表现极为强劲,甚至可能优于 GLM-53 完整版。尽管 DeepSeek V4.1 Pro 尚未发布,但 Flash 版本已展现出巨大潜力。此外,本次测试全程使用 Klein Desktop App(通过 Klein Pass 订阅)。作者高度评价该客户端的稳定性,特别是在长达一天半的高强度生成过程中未出现卡顿或中断。Klein Pass 的价值在于整合了多个模型的 API,避免了单独订阅的管理麻烦和额外费用,同时支持用户将密钥导入其他客户端(如 Open Code),提供了极大的灵活性和便利性。
Cline Desktop 运行稳定性与未来展望
在本次对 Cline Desktop 的测试过程中,整体操作体验保持了极高的流畅度。尽管软件目前仍处于 Beta(公测)阶段,但并未出现任何崩溃或严重故障。评测者特别指出,这一版本即将支持 Linux 系统,这对于使用 Linux 环境的开发者而言是一个令人兴奋的消息。目前的测试主要集中在 Windows/macOS 环境,但跨平台的兼容性正在快速推进。
"crash. Everything was smooth... it will be released for Linux soon."(没有崩溃,一切都很顺畅……它很快将发布Linux版本。)
评测者强调,虽然软件尚在早期阶段,但其稳定性已经超出了预期。对于期待在 Linux 上使用该工具的用户来说,无需担心兼容性问题,官方正在积极完善多平台支持。这一进展为后续更广泛的测试和实际工作流集成奠定了良好的技术基础,也体现了开发团队对用户体验的重视。
基准测试构想:Markdown 文件复杂度挑战
为了更科学地评估不同 AI 模型在复杂任务中的表现,评测者提出了一个具体的 基准测试(Benchmark)构想。该计划旨在建立一个包含高复杂度 Markdown 文件的资源库,用于统一测试不同模型的能力。具体方案是选取诸如 Fable 5.1 (Ultra Code) 或 GPT-6 Astra(最高设置) 等主流模型,让它们处理同一组精心设计的、结构极其复杂的 Markdown 文件。
"I would think it'd be cool to have a repository of some really intricate markdown files... just to see how folks and the models they run will be able to do that."
这一构想的核心在于 控制变量,即通过静态且高度复杂的 Markdown 文件作为输入标准,观察不同模型及其代理(Agent)的处理能力。评测者认为,如果能生成一份 基准测试图表,直观展示各模型在相同任务下的表现差异,将对社区和开发者具有极高的参考价值。这不仅有助于用户选择合适的模型,也能推动 AI 代理在代码生成和文档处理领域的标准化评估。
订阅权益与社区互动总结
本次视频作为对 Cline Desktop 及 Client Pass 订阅服务的首次全面评测,主要目的是展示该订阅如何让用户访问到测试中使用的各种 AI 模型。Client Pass 的核心价值在于其 聚合性,它允许用户在一个界面内调用多个后端模型,从而灵活应对不同的开发需求。
"overall, that is going to conclude our first look and test of client desktop and the client pass subscription..."
评测者感谢 Cline 团队允许其进行此次测试并支持频道运营。同时,呼吁观众在评论区留下关于模型表现或基准测试建议的问题。视频描述区将置顶相关链接,提供更多信息入口。通过这一订阅模式,用户不仅可以获得最新的功能体验,还能参与到社区共同构建的 AI 开发工具生态中。
结论
本次测试证实,以DeepSeek V4.1 Flash为代表的开源模型在严格遵循闭源前沿模型(Fable 5.1)生成的详细设计文档时,能以极低成本实现高达90%的视觉与逻辑复刻。其核心优势在于显著的成本效益(月费约$10 vs $100)及高效的代码生成能力,尤其在图形还原和基础交互逻辑上表现优异。然而,Muse Spark 1.3等较小规模模型虽响应迅速且架构完整,但在复杂功能实现上存在明显短板。此外,GLM-53在C++高难度项目中虽效率高但动态逻辑稳定性不足。总体而言,"前沿模型设计+低成本开源执行"的混合工作流在商业应用中具备巨大潜力,但需根据项目复杂度谨慎选择模型层级。