嘿,欢迎来到这个频道。我是Bian,带来另一期模型评测。今天我们要看的是Cognition发布的SWE-2。这是一个非常有趣的模型,之前有不少人提到希望看到它的评测,而且理由很充分。这基本上是一个Kimi K3模型,由Cognition团队进行了额外的训练,专门在代理编码工作方面表现出色并加以改进。
Kimi K3是一个拥有2.8万亿参数的模型,很可能已经是前沿的开源权重(open-weight)最先进模型。因此,看到这种能力提升确实令人印象深刻,正如这里展示的精美图表所示,它展示了模型在不同推理努力模式下训练开始和结束时的性能。我们可以看到这在理论上代表了能力的巨大飞跃。
在深入之前,请随意订阅我们的频道。我们距离75K subscribers只差一两百人,希望接下来能顺利达到10万(最好不是差一点点)。那么让我们开始吧。首先,我们要看看这个模型的一些有趣之处。这次公告帖子并没有太多像“看它制作的酷炫游戏”这样的演示内容,而这正是我在这里的原因。
不过,他们提供了很多关于训练的技术细节。然而,这里有一个有趣的地方是DeepSWE分数图表。最近有研究表明,DeepSWE在评判能力时可能并非绝对真理(ground truth),但这确实展示了一个有趣的故事:它在中等难度下基本上与GPT-6 Astra持平。我们要相信这个基准测试吗?而且价格要便宜得多?
具体来说,这一分数是通过4.38美元的成本实现的。而这里的一个则是1.34美元。不过,我对这里的成本计算有一些疑问,因为使用这个模型的唯一方式似乎是通过他们的应用程序或订阅。没有直接通过API调用的选项,也没有像每百万次调用1.34美元这样的明确价格。
因此请注意,我们并没有以传统方式(即通过API)为这些其他模型提供的成本指标。然而,这可能仍然表明,相比于此处的方案,在20美元的套餐下我可能会更多地使用它。再次强调,这是基于Kimi K3进行后训练的(post-trained)。因此,看到开源高性能模型变得更加高效是非常有趣的。
正如我们在这里看到的,与它最初基于的模型相比,基准测试显示出了不错的能力飞跃。这是通过额外训练实现的。因此,关于这一点就没有太多可讨论的了,至少与我们特定的视频内容无关。那么现在让我们进入Devon(注:此处可能指代测试环境或工具名称),我在这里粘贴了特定的浏览器OS测试v2.7。
它被设置为s2模式,最大推理努力等级。你可以看到有一些可选的推理努力选项:中等、高或最高。在我们的所有运行中,我们可能会将其保持在“最大”等级。此外,据说有一个促销活动直到2026年9月10日(原文为109 2026,推测日期格式),并且拥有26.2万上下文窗口。理论上它是免费的,但我必须注册每月20美元的套餐才能访问它。
我不知道该怎么解释这一点,但我觉得测试一下会很有趣。所以我确实做了。现在让我们开始我们的浏览器OS测试。在这里,我所做的唯一一件事就是确保它设置为与该系统上的Blender和GDO MCPs配合工作,因为在后续的测试中我们会用到它们。
好的,我们收到了结果。让我快速看看有多少行代码。好吧,只有大约50行。这实际上比我预期的要少。我不记得原始的K3.1是多少,但我们会看看它看起来有多相似或多不同。嗯,还不错。我们肯定有一种GPT-5.x风格的美学感在这个UI上。
让我们先从检查一些简单的事情开始。很好,调整大小功能正常。现在是大项测试。是的。好的。有右键菜单。我们在右下角看到了日期和时间。我猜这可能是那个特殊功能吧。“Nova Assistant”。所以我们会把它留到最后再检查。让我们看看开始菜单。
我们还看到了一些类似合成器应用程序的东西,这总是让我很兴奋。“哦,我的画板。”你可以画一些东西然后把它发送到壁纸。我挺喜欢这个功能的。“星空”很漂亮,甚至有一颗流星划过。不过我个人更喜欢霓虹波浪风格。
好了,让我们从帮助和关于开始,我相信它一开始就打开了这些。我们已经看过了设置。我打算直接从GTA游戏开始测试,因为我对此最感兴趣。“哦,好吧。”有一个城市公共区域。地面有Z-fighting(渲染错误)现象。草地穿透了路面。
我们能下车吗?哦,显然可以。“这是H。”说实话,对于一个K3规模的模型来说,我原本期望表现会更好一些。好吧,让我们看看我们的另一个游戏,“Void Strike”。哇,这个比GTA游戏要好得多。选定的背景很酷,与这个游戏非常契合(meta)。
总的来说,表现还不错。我想我们会比预期更快地完成这一部分的测试。让我们试试终端。“不错。”那是Q吗?是的,那确实是一个Q。好的,“Hack”。开始黑客攻击。“哦不。”哇,考虑到当前AI发生的一切事情,这可能不太得体。
“可接受的邮箱奖品在totallylegit.biz。”你赢了100万美元。“很好。”有时候这里会有假的垃圾邮件,这很有趣。此外,这个浏览器OS中还有一些针对特定应用程序的元引用(meta references),很多系统都有这样的设计。我们也能删除东西吗?好的,它们确实进入了回收站。
如果我们从……哦,“油漆”(Paint)应用程序中删除呢?现在,请记住我们实际上可以将其设置为壁纸。所以这些很难挑选。“正中靶心。”最后我们有“Synth FM”。哦,天哪。
那首曲子挺带感的(slapped)。然后我们有“Chillhop”。哦,是的,很不错。“嘿,欢迎来到这个频道。我是Bian……”好吧,“从未两次相同”。让我们看看……是的,也许吧。“总的来说,还不错。”
最后当然还有,“嘿,我是Nova。我管理这个地方。输入help看看我能做什么。”总的来说,还不错。“简单,但……”哦,还有级联窗口功能,如果有几个窗口打开的话,它们会自动吸附对齐。是的,还不错。“接下来,我们将尝试自包含的滑板游戏。”
这是使用C++编写的。这是一个需要早期200年代纽约市街区地图的游戏。我认为这应该能很好地展示其能力,因为我相信原始的K3在这个测试中表现得相当不错。
这个……不过,别完全信我,因为那可能是另一张地图。好吧,我们收到了那个单文件滑板游戏。说实话,它花的时间并没有我担心的那么长。而且这次是在最大推理努力模式下运行的。所以,我之前不在正确的目录里。现在我们可以看看它了。实际上挺快的。好的……哦,好吧。我们也许不用全屏显示这个吧?它非常简单。不过,在下定论之前,让我们先看看内容。你知道的,这其实还不错。好吧,再试一次。滑板是独立于玩家移动的。总体来说,它的精度很低且很简单。但这并不意味着它不好,只是图形表现比较简单而已。我没有发现什么特别离谱的地方,除了我们在栏杆上滑行时出现的问题。
我的意思是,这里有移动的出租车,还有从井盖里冒出的蒸汽。我还没看到消防栓喷水,这在特定的测试中很常见。有趣的是,我们甚至有一些不错的水面效果。远处的建筑物……这确实很简单,但这并不意味着它不好。撞到了墙上。我们可以和行人互动吗?可以哦。噢,我们从滑板上摔下来了。好吧,我想这很公平。我越看它就越喜欢它。说实话,我觉得这个在图形精度上还需要提升一下试试用“Mega Plan”来深度规划再构建。我之前不知道这个功能。好吧,我会把 Mega Plan 保持开启状态,基本上可以说这是一个很好的基础,但非常简单。它需要大量的图形精度改进,我们看看能得到什么结果。
这次图形大改造花了不少时间。不过现在也有音频了,所以让我们看看这个。好的……有趣的是,它总体上提高了这款游戏的图形精度。遗憾的是,除非它只是生成了一个新版本(这也是可能的),否则我没有之前的版本进行对比。不过,纹理等方面的差异确实非常明显。然而有趣的是,它几乎保留了所有东西完全一样。所以这真的就像给它刷了一层新漆。不过虽然这可能不像 Astra 或 Fable(指代其他模型生成的作品)那样令人印象深刻,但考虑到这一点,这仍然是一个相当不错的结果。好吧,让我们撞一下行人然后继续看下去。那看起来真的很疼……有点真实感。
好吧,不错嘛。噢,除了那个问题之外。接下来,我们将给它一个“80年代3D摔跤游戏”的提示词。不过它被指示使用 Godot 和 Blender 来创建这个游戏。我不会以计划模式或 Mega Plan 开始,因为老实说,我认为将时间分配给直接查看它的首次生成结果更好。如果有任何严重问题,我们可以在后续提示中告诉它修复。好吧,我们已经收到了使用 Godot 和 Blender 作为资产库的摔跤游戏结果。好的,音乐开启……我听到了。只是“Cognition Sports 呈现”。
好吧,“三重威胁摔跤”。让我们进入擂台吧……好的,我们可以选择其中一个。通常我希望看到更多细节……实际上,我要说这是我见过的可玩性较高的一个之一。好吧……我想要多一点声音效果?不,音效很差。我要完全诚实地说这一点。不过他们似乎卡在了某种……好吧,“原子砸击”中。呃,我只是看到其中一个角色身上飞溅出汗水粒子之类的东西。我正试图像下面显示的招式那样疯狂点击按键……噢,好吧。“术士”赢了。我要把音乐关掉。
进入擂台。好的,再试一次。噢,不错!我们用闪电刺击和星际肘击把他们都KO了……哦,这很酷。所以它实际上确实为这些角色做了一些基本的绑定(Rigging),因为当我使用那个肘击动作时,手肘确实弯曲了。所以我会说它在创建这些角色以及进行绑定和动画方面总体做得还可以。我想在动作表现上,我们仍然处于这个阶段,所以这很酷……噢,我们有椅子。
再次地,我基本上只是在疯狂点击东西,但似乎我们对 Macho Marco(也就是我们当前操控的角色)没有造成任何伤害。然后我们就输了。老实说,这并不坏。并没有像我基于预期希望的那样惊艳,但总体来说这是一个非常值得尊重的结果。而且一些实际的动作,比如手臂的运动等并不糟糕。这是一个值得尊重的结果。接下来我们要进行机械臂测试:给它一个摄像头的视角,看到一只机械臂,然后执行任务——拿起一辆 Hot Wheels 小车并将其移动到另一边。
它还获得了一些关于机械臂的信息,比如操作手册以及它在系统上连接的 USB 设备信息。总的来说,不幸的是这是我用这个测试得到的最令人失望的结果之一(尽管我们只运行了几次)。基本上,它做了很多破坏性的动作:机械臂移动时试图把自己从桌子上抬起来,手臂边缘撞击着底座,最终小车被移到了一个几乎就在机械臂正下方的位置,这有点奇怪。
而且不幸的是它并没有完全搞定这件事。所以基本上我们可以看到这里:它做了很多工作,本质上是在确定“好的,我要先移动轴”,它们通常都会这样做,只是为了搞清楚哪个伺服电机对应哪条轴,并通过这种方式识别它们。然后它拍照、查看照片,并运行脚本来根据照片中看到的内容让机械臂做出相应动作。我想我不确切知道这里哪里出错了,但让我们看看其中一张照片吧……好的,所以这看起来比实际情况要“牛”得多(指图像识别偏差)。我只是想快速指出这一点。
基本上它做的就是在那里拍照、查看照片,然后据此决定做出特定的动作。我注意到发生了一件事,我相信 DeepSeek V4.1 Flash 也发生了同样的情况:它假设这是一个张开的夹爪位置,而那个是闭合的夹爪位置,这正好反了。我几乎在想是不是我给它们的指令有什么错误?因为有些模型已经自己搞清楚了……但这可能只是基于视觉上的误解。
基于指令进行验证,我需要对此进行深入调查。不过奇怪的是,我注意到有两个模型错误地识别了开启和关闭的夹爪状态。最终我们到达了一个难以判断的点,但机械臂离车身侧面非常远,而且这明显是从托盘上抬起来的。如果我们将其与测试开始时的状态进行比较,可以看到汽车移动了很多,而这个物体基本上是从桌面上抬起的,但不幸的是并没有成功完成。
接下来我们要进行《地铁》第一人称射击游戏测试。对于这一项,我将使用“超级规划模式”开始,当然也会开启最大推理力度,因为这能给它最好的机会在开始时就能产生视觉上非常吸引人且好玩的内容。我们会看看结果如何。它最初会生成一个计划,根据它的意图我们可能需要回答一些后续问题,然后让它自行运行。
大约经过一个半小时甚至更久后,我们得到了结果。这个测试持续了非常长的时间。我不知道这在多大程度上归功于使用了规划模式开始。不管怎样,我们看看结果如何。请记住,这是更新后的版本,海浪是由火车运送的。好吧,不知道为什么静音了。好了。哦不。好的。看吧,这很棒,但这是个问题。这不应该是这样的。敌人……
是的,我们实际上可以沿着轨道向下移动。我相信如果被火车撞到就会死掉,所以也要记住这一点。最大的问题之一其实挺酷的,就是弹药和曳光弹一直冻结在那里。我们还有一把霰弹枪,其爆炸效果实际上与现实生活中的非常相似。现在我注意到的一个大问题,除了武器曳光弹外,就是武器模型看起来有点廉价。好吧,不错。从远处看确实更好一些。
火车退出去了,这很奇怪。我想我们……哦,我觉得我们要过不去这个了。环境中确实有弹孔。不幸的是我可以肯定地说,这比单独使用 K3 的结果要好。我可能需要验证这一点,但我认为整体场景更好、更详细。显然基本上你可以被火车撞到。是的,这很有趣。我必须说它又是称职的,但最近有很多模型的表现远远超出了其他任何模型的范畴,这使得现在评判这类事情变得更加困难。
我觉得如果我在六个月前看到它,我会说:“天哪,这是最好的。”所以很难评判,但我只是想用它在一个我们有很多先验参考可以对比的传统项目上进行测试。接下来,我将给它一个任务:为特定发动机创建 3D 打印文件。在这种情况下是直列六缸 RB26 发动机。我特意想对这个模型进行这项测试,因为最初的 Kimi K3 发布时生成了这个:一堆设计用来安装在其中的不同部件,以及一个更大的 RC(遥控)电机。
原因是我仍然拥有它,直到今天这仍然是我为这项特定测试收到的最佳结果之一。现在我们让它制作的发动机与我手中拿着的不同,我特意做了更改以防止基准测试作弊之类的事情。然而在当时,尤其是当它被展示出来时,这简直是令人震惊的“哇”,对于一个开源权重模型来说能产生这种质量确实非常引人注目。而且它看起来依然很棒,我保留它是有一定原因的。
好吧,经过不到一个小时,我们的 3D 模型就创建完成了。我非常迫不及待地想看看这个结果。好的,我们还有一个 Blender 文件。我完全忘了它是在 Blender 中创建的。所以让我们单独看看各个部件。不知为何 STL 文件在打印机切片程序中无法打开,所以我们来看看 Blender 场景。这是我们的结果,我们只能在 Blender 中查看它。总体来说还不错,但说实话有些方面我并不太满意。
基本上涡轮增压器是我做这项测试时见过的最好的之一,具体如何理解由你决定。进气歧管的朝向不一定正确。但是我要说发动机前部的细节水平,比如我们在那里看到的皮带轮等东西,其实还不错。此外,它正确地定向了发动机,使得电机轴从发动机后部伸出,如果将其放置在 RC 车中会更真实。这就是你想要的逼真度因素。
让我们看看这里的一些单独部件。好的,我们确实有一个有点悬浮的部分,但评估一下这个,我没有看到任何会真正阻止这些部件进行 3D 打印的东西,这很好。它们可以单独打印,除了那个悬垂部分外,基本上不需要支撑就可以没问题。然后让我们看看其中一些单独的部件。顶部实际上可以很好地作为一个整体打印出来,它确实注意了将悬垂部分设置为不需要支撑的角度。唯一的问题是这里的一小块部件会有点问题。
此外,让我们再看看。好的,皮带轮。那实际上是一个单独的部件。我们这里有歧管,它可以很好地打印出来。最后是底部。让我们看看电机放入的腔体。那实际上是可接受的。所以,总的来说,虽然我们实际上没有在打印机切片程序中查看它,但这还不错。它有定位销可以将部件卡入到位。在可打印性方面只有少数问题,但总的来说这是一个足够好的设计。我们还有双涡轮增压器在那里,可接受且是我想要做的,特别是考虑到 K3 在我早期的这个测试版本中创造了如此出色的结果。
这也使用了 Blender,所以也许……我不知道该怎么说,但我就是想这么做。接下来我想进行手表网站测试,因为这始终是一个很好的前端视图,展示它创建的内容。
手表的3D模型、Keyshot风格的渲染图,以及电影感的镜头角度。还有爆炸视图。现在,我还加入了一些额外的内容来增加一点趣味性。我给了它这张特定的照片,并指出还必须有一款名为Behen的特殊手表,这款表配有附带的照片,完美地放置在表盘上。这是一款独一无二的限量版高端产品。所以,我们来看看结果如何。我非常期待看到针对这个特定提示词的结果。对于Bejian手表变体,我需要将提供的图像嵌入为Base64格式。
好的,我们有了结果。让我们来看看它吧。我非常期待看到Bjan版本的结果。“Time Distilled”(时光蒸馏)。我相信K3在页面中也使用了完全相同的措辞,我们暂时先忽略这一点。此外,我第一眼注意到的是,这看起来不错。表冠看起来很逼真,材质也不错。主要问题是表盘的方向顺时针旋转了90度,而它应该是反过来的方向。你明白我的意思吗?希望如此。很有趣。而且上面的细节有点难看清,所以我们往下滚动一下。我看到其中一根指针有一些漂亮的蓝色反射特性。这很好。
好的,让我们看看。“对未知的痴迷”。它拥有传统的黑、金、白美学风格。Riviera系列。好的,很酷。我们有“ooh 219”或“124”。两者看起来都不错,旋转得很流畅。而且秒针确实在移动。嗯,现在我们可以看到数字标记这里有一些配置错误,这种情况确实会发生。好的。现在我感兴趣的重点是……我们可以在右上角也看到这一点。我只是往下滚动,看看它是否会出现。我们也拥有爆炸视图。我觉得这做得很好。除了这里的方向错误之外,我们可以移动它吗?不幸的是不行。所以很难看出里面是否实现了真正的运动机制,但我们确实看到了一些螺丝之类的东西。至少有一些部件。所以这还不错。
现在我太迫不及待了。好了,我们开始吧。“Bejian,那个人,那个神话。”售价95,000美元。那个人,那个神话,那个表盘。不幸的是,让它再次失望的还是方向错误的问题。但如果我们花点时间看看这个,我对它相当满意,甚至可能得想办法定制一个表盘或表盖打印出来然后装进手表里。所以这款表的秒针移动得很流畅。同样,数字标记也乱了套,但这没关系,因为这一切的重点只是请求分配权限。你甚至都买不到它,这很好。“每年一次,Mult发布一款无需介绍的手表。Bjan将实心18K金表壳与手工漆绘肖像表盘相结合。”
“主席本人的肖像被封存在蓝宝石玻璃盒下,两侧饰有凹槽金表圈。每件作品均由一位大师级制表师单独组装,并附有签名证书,仅限申请分配。”做得很好。好吧,至少整体上是不错的。再次强调,这是可以接受的,除了某些问题外表现良好,但最近推出的模型在结果上确实出现了感知扭曲。现在很难评判那些不像Astra或Fable那样令人惊艳的结果,所以也要记住这一点。因此,这将结束我们对SWE-2的首次观看和测试。我还想快速展示一下,由于该模型在选中时显示为免费直到10月9日,因此使用量几乎没有变化。
这就是为什么没有消耗太多使用量的原因。不过,我确信我需要注册并每月支付20美元才能实际选择这个模型。也许是我搞错了,但无论如何,我只是注册了以便进行测试,心想为什么不呢?总的来说,我必须说它的性能不错,但再次强调,基于之前看到的内容来评判这些输出变得非常困难。根据我们在公告帖子中看到的情况,它的基准测试得分相当高,结果应该与Opus 5、Fable或GPT-56 Soul等模型相差无几。
快速回顾一下结果:浏览器OS完全可接受,这里没有什么特别之处,但它并没有给模型提供展示令人惊叹功能的机会。然而,音乐应用总是带来惊喜。滑板游戏很有趣,因为第一次尝试时相当简单。当我们要求它彻底 overhaul 图形时,它依然保持简单。但是,即使这些图形的风格没有发生根本性变化,它也确实增加了一层精致感和视觉保真度。除此之外……我们注意到的最大问题是那里的碰撞逻辑问题。但这其实很酷,而且我看得越多就越喜欢它。能够撞向行人、看到水面以及地平线上的建筑物,这真的很酷。
我们可以实际跳进去吗?但这确实是我从Kimi K3本身看到的滑板游戏结果的明显改进。尽管它设定在不同的地图中,但它确实展示了在这次特定测试中的飞跃。接着是我们的GDAU和Blender游戏,这实际上出乎意料地不错。虽然视觉上并不令人兴奋,但这款游戏的可玩性以及这些单独建模角色的移动性……我看得越多就越觉得,就像滑板游戏一样,我认为这可能是我们更令人印象深刻的结果之一,因为要正确实现这些很难,大多数最终根本不可玩。而这个虽然有一些怪癖和功能等问题,但比我看过的许多其他结果更具可玩性。所以总的来说,这相当不错,优于通常生成的内容。
然后是我们的地铁游戏,表现还不错。只是没有达到我希望看到的水平,比如Fable级别或类似的东西。但是我要说它很好地实现了一些我们想要的东西,比如火车出现等。这里不幸的故障只是弹药曳光弹卡在半空中,这看起来绝对棒极了。但这只是一种 glitch(错误),并非预期如此。然而环境中确实有弹孔,整体美学非常阴暗肮脏。这再次是在那个“mega plan”(超级计划)上运行的,所以我们先做了这个,然后在计划完成后让它生成游戏。我认为从开始到结束花了大约一个半小时的时间。
然后是构建游戏。接着我们有了3D引擎模型,表现其实相当不错。它在Blender中顺利运行,最后我们还完成了手表网站的制作,这部分就不需要再回头看了。不过,这整个过程对我来说非常有趣,我也许会在提示词中偶尔加入一些类似的内容来增添趣味。
至此,我们对SWE-2的首次观察和测试就告一段落了。如果你有任何问题,欢迎随时在评论区留言。感谢观看!