Max City。哦,什么?好吧,这实际上有点酷。>> [喷鼻息] >> 所以,DeepSeek发布了一些让很多人非常兴奋的东西,那就是为他们的一个模型添加了视觉能力。在这种情况下,它适用于V4 Flash。现在,正如附加在后面的“EXP”所示,这仍然是实验性的。然而,这对这个模型确实会有好处。我们在几周前它刚发布时测试过这个。老实说,我去查找我测试它的视频,我以为那是几天前的事。结果是几周前的事了。所以,事情进展得非常快。然而,赋予这种多模态能力似乎有两点好处:一是赋予了它看的能力;二是显然在许多任务上的分数有所提高,特别是我们喜欢在这个频道上运行的那些任务,比如与编码相关的任务和类似的事情。

所以对于今天的视频,因为我们最近刚刚测试过这个,我可能会进行一组略有不同的测试,这些测试专门围绕测试该模型的视觉能力展开,看看它是否能从实际查看某些东西并检查其工作中受益,而不必仅仅依赖智能工具来弥补没有视觉的缺陷。所以,在我们开始之前,请随时订阅,让我们进入正题。从我们在这里看到的基准图表中,他们甚至提到这将使能力更接近Opus 4.8的深度SWE分数。我更感兴趣的是看到其前一个版本(即0731)的能力提升,好吧,我的时间线有点偏差。所以,这实际上是一个相当大的能力飞跃,至少在其中的几个方面是这样。

我总是发现深度SWE分数很好地反映了我对模型的个人体验。所以,看到那里的能力提升了大约五分,并且超过了Opus 4.8,这非常令人兴奋。现在,说到令人兴奋,最近另一件备受关注的事情是DeepSeek Harness(测试工具)。所以对于今天的视频,我们也将对其进行一些测试,因为我们将 exclusively 通过这个新的DeepSeek Harness使用这个模型。我实际上在某处打开了它。是的,很好。就在这里。我已经通过它运行了几个测试。我没有看过这些结果中的任何一个。

所以,这些都是我知道每个都需要大约一个小时或更长时间的事情,我想在我开始测试这个之前准备好它们。然而,我们将从一些可能更接近我们要习惯的东西开始,但带有一个转折点。现在,我想快速提到的一件事是,我没有看到任何关于它最终成为开放权重的提及。虽然我有理由相信它会这样做,因为之前的所有模型都是如此。然而,这里没有提到这一点,而且在录制时它目前不在Hugging Face上。所以,希望这很快会改变,因为这可能是一个相当酷的选项,可以在一些更偏向爱好者级别的本地AI设置上使用。

对于此特定模型,假设是最昂贵的场景,输入一百万个token是44美分,然后每输出一个百万token是一美元32美分。这些价格我不知道它们是否具有竞争力,只是鉴于最近景观中出现了更多的竞争。此外,这不一定是一个非常庞大的模型。所以,看看它的表现将很有趣。就成本而言,我已经运行了两个任务,正如我们可能在这个DeepSeek Harness打开时看到的那样。我做了3D摔跤游戏,然后是完整的电影风格史蒂夫电脑维修游戏的提示词。这两个任务运行超过一个小时,总成本为1美元零2美分。

所以请记住,当我们开始这里的测试时,我们已经花费了1.02美元用于我们将要在这段视频中看到的所有内容。然后我将展示在运行每个额外任务后成本会增加多少。当然,我们将从Browser OS测试V2.7开始,它需要完成所有传统的事情,此外还包括具有动态效果的程序生成壁纸。实际上,对于这个特定的测试,我将删除它,因为这更多是对其多模态能力的测试,我将在底部添加一些其他内容。结果必须在风格上完全匹配参考图像。所有应用程序的设计应看起来像是原生包含在参考图像中的,这仅仅是Mac OS 9桌面的截图。

所以我基本上想要我们传统的浏览器操作系统。然而,风格必须100%完全镜像在此参考照片中看到的内容。所以,与其仅仅做一个浏览器操作系统(这并没有在很大程度上测试其视觉能力),我们将能够看到我能多么准确地镜像参考设计照片。好吧,在26分47秒后,我们收到了结果。嗯,这里有一个完全分散我注意力的特殊功能:Moose(驼鹿),它是桌面居民。一只小型自主的驼鹿,生活在你的窗口顶部。它会走、坐、眨眼、喃喃自语随机观察结果、评论你的动作并对点击做出反应。好吧,让我们看看这花了多少钱,然后我们来看看结果。还有Moose。

在此之前我们已经花费了1.02美元。现在增加到了1.26美元。所以,配备Moose的浏览器操作系统总共花费了24美分。嗯,让我们只是瞥一眼它,好吗?>> [叹气并倒吸一口气] >> 那是 >> [笑声]

好吧,我们的桌面宠物刚刚威胁了我们。

好的。有右键菜单吗?没有。但是……不,OS 9有一个。这个实际上我认为它相当出色地捕捉到了参考照片的精髓。这里面包含的东西数量……好吧,所以其中大多数我们实际上不能点击,我想这有点道理。让我们关掉它。哦,它说输入“Moose”。好吧,它对在那里输入的“Moose”做出了反应。好的,我们可以像……也许有一个设置应用程序可以让我们把这个东西从存在中驱逐出去?尽管如此,Mac OS不错。单文件浏览器操作系统,内存大小是装饰性的,驼鹿是真的。是的,很遗憾。好吧,全屏看起来不错。最小化到……哦,无处可去。好的。而且我实际悬停效果出现在这些菜单项上的方式或多或少相当不错。好吧,文件,“关于这台电脑”,我爱死它了。我们有“关于驼鹿”吗?是的,我们有。“特殊空垃圾桶”让他印象深刻。他很容易被取悦。这真的很聪明。哦,好的。我试图把他拖到垃圾桶里,但是选择器,未在以太网端口上找到打印机。没有以太网端口。键帽,键盘板滑到了你的桌子下面,在真正的桌子下。这真的、真的、真的投入了很多彩蛋和

一些提示中未明确指出的巧妙细节,显然这只“驼鹿”喜欢我们清空回收站。是的,它很喜欢。好吧,让我们试试计算器:54乘以6等于324,再除以9。好的,我们来看看这里的一些图标元素。桌面,非常酷。文档,还有这些是我们的应用程序。好的,我打算先打开《侠盗猎车手》,毕竟为什么不呢?Max City。哦,什么?好吧,这实际上有点酷劲十足。

这些建筑看起来像比萨斜塔那样倾斜,但它们确实……这真的很棒。哦,看。哦,我们得到了一个点击反馈。看。这可能是我本该全屏显示的,但没关系。哇。我没料到会这样。我的平板……哦,我们看到了那个。我们可以输入“moose”,这可能是有史以来最好的浏览器OS结果了。“Power Mail”、“Moose”,我现在住这儿了。Starhawk 3D。是的,好的。而且我认为它是以你预期的风格来呈现的。

好吧,“网络”。这实际上只是LocalTalk网络,那是个东西。“Power Mail”网关、GTA服务器。这做得非常棒,令人印象深刻。我们这里有显示时间的地方,然后是回收站和那只驼鹿。“Moose”模式已激活。我认为这值得再看一眼。我们可以开一辆车。它试图将纹理包裹在这些汽车上的方式,如果它能准确做到……呃,这个哦,上面有网格碰撞体。好吧。

仅凭这次响应,“标题简直让人难以置信”这句话就愈发贴切了。好的,在我真的为此兴奋起来之前,我运行了一个80年代的摔跤游戏。它基本上需要制作一款3D摔跤游戏,风格要像20世纪80年代中期的样子。所以它把它命名为“Slam City 86”,显然它在本地主机的8080端口上运行。我还没看过这个,但我可以告诉你……

这里花了37分54秒。所以,与我们将要最后看的“Steve电脑维修游戏”相比,这真的不算糟糕。好的,让我们看看。“Macho Mike Baron Blade, Johnny Jet, Iron Ivan。”谁的服装最花哨?我想我们选Macho Mike。好吧。(喷鼻息声)(笑声)这是过肩摔。他打中了柱子。如果这个玩意儿能开放量级并且在两个Sparks上运行,我想如果我是在提供低成本服务的话,我会很担心。有多少人有两个Sparks?好吧,算了。

但我试图表达的观点是,这真的……我只用几个模型运行过这个测试,那些显著更大的模型。我可以告诉你,它基本上击败了GLM 53的结果,这令人惊讶。(笑声)那是胡扯。别打他。好吧,那个角度……那是一次糟糕的剪辑。好的,我结束了这个。不,还没结束。我需要把那个穿黄色短裤的黄衣家伙弄起来。站起来。哦,这个……站起来。好吧。

好吧,那真的很不错。非常非常好。好的,接下来要进行的一项测试,我想会相当困难。我基本上给了它几张我现在所处空间的参考照片,并告诉它:使用这些参考照片,我想让你用Blender以等距视角复制这个场景。确保纹理与照片匹配,且整体场景制作精良。现在,为了举例说明这具体意味着什么……

这是一个等距视角的场景,所以请记住,基于我们当前所在房间的实际参考照片,这就是我们要期待看到的。我想这需要相当长的时间。“macOS元数据”文件我会忽略它们。好的,我们可以看到它现在正在使用其多模态能力。正如我所说的,我想这需要一点时间。“Blender”会话已设置好MCP,所以应该可以很好地使用它。

好的,大约74分钟后我们收到了结果。我还没有看过……实际上我不知道怎么弄。哦,好的。有渲染图了,我们可以看看它。还有Blender场景文件。与此同时,让我们看看这项特定任务花了多少钱。我们之前的总费用是1.26美元。现在达到了1.97美元,所以这项任务总共花费了0.71美元。只看它挑选出的一些实际部件……

“黑色3D面板吸音墙”。这是正确的。“带有黑色缝隙的温暖橡木木条板”。这也是正确的。“白色散热器地板”、“程序生成的橡木地板”。然后是沿着面板墙的“深色胡桃木书桌”。“曲面显示器”,好吧,这不是真的,但没关系。搭配“光泽抽象艺术画”。这些实际上是我能找到的少数非曲面超宽显示器之一。我讨厌曲面显示器,它们让我抓狂。“VR头显”、“蓝色手持设备纸张”、“白色键盘”。

“角落里的游戏PC”、“赛车支架”、“青柠绿办公椅”、“高大的松木复古冰箱架,上面放着米色Mac风格桌面”。还有“红色抽屉架”、“头盔悬浮搁板架”。好吧。我的意思是,这仅仅展示了它从这些参考照片中提取出的相当一部分内容。现在,与此同时,让我们看看渲染结果……(笑声)我喜欢这个。我实际上没有任何参考点来评判它。所以,你们怎么看都行……

但我会说,比如它实际上把我身后墙上的海报——那个苹果历史相关的海报——以及墙壁纹理都还原了。画作后面确实有一点白色背景,它准确地捕捉到了这一点。“东芝Qosmio笔记本电脑”,就在那里。屏幕、甚至渲染了那台旧的米色PC和VR头显。塔式主机……这就像……我觉得这是一个很酷的场景。我不知道怎么弄……哦,那里有……那是驾驶模拟器。这有点奇怪。

好吧,让我想想怎么用Blender吧……但看看这些纹理和这些东西也好。这简直太酷了。我们怎么查看它?哦,好的。“Blender”已安装并打开,但我……是的。好吧,看看这个。这是它制作的“Blender”场景中的画面。如果我能在不把这台电脑扔出去的情况下弄明白怎么移动它……我不是那种人,我从来没能真正掌握Blender的使用,这是我的问题。所以这是实际场景……

我会说我觉得这相当不错。再说一次,我确实没有什么参照系来衡量它,但我的意思是……那真的很棒。比如座椅实际上是由各个独立部分组成的。看……我觉得这真的很好。我只是觉得,这个结果绝对会让标题党惊呼“难以置信”,因为这太棒了。好的,那么我们的下一个测试就是典型的地铁第一人称射击(FPS)游戏测试。

然而,我们加入了一张使用“Nano Banana”生成的参考照片。我特意选择了那个看起来脏兮兮的第一个版本。此外,我还稍微增强了提示词……

为了确保测试更具挑战性,模型需要使用 Blender 创建资产(我们已指示它这样做),然后使用 Godot 制作游戏。我推测,如果让我做一个有根据的猜测,这可能需要40分27秒。让我们看看我猜得对不对。好的,在40分27秒后,正如我所料,这款游戏完成了。考虑到所有因素,这其实相当快。那么,让我们看看我们的使用费用涨到了多少。目前它是2.32美元。我不完全记得之前的价格,但我认为是1.90美元左右,所以可能增加了40美分左右。与此同时,我非常急切地想看看它完成了什么工作。因此,让我们在这里运行命令来查看游戏效果。我将全屏显示。

好吧。哦不。好的,[笑声] 我想我们可能处于车站外面了。哦不。好吧,看来这里出了很严重的问题。然而,它……[笑声] 情况相当混乱。让我们假装什么都没发生一秒。看那个重新加载的过程,它甚至包含了重新加载所需的某些机制。所以,是的,这里肯定出了大问题。好吧,所以我给了它一个后续指令,基本上是说这个结果有严重错误。我还提供了几张参考照片,展示了我们遇到的情况:我们在车站外生成,物体像那样悬浮在半空中,然后存在一堆奇怪的问题。

好吧,一个多小时后,我们现在有了一个我认为已修复的结果。让我们看看定价情况。在获得修复结果之前,费用是2.32美元,现在由于进入了新的一天,在此基础上又增加了31美分。所以,让我们瞥一眼看看效果如何。好的。肯定不像之前那样歪斜了。不过我要说,总体而言,我不像对之前的模型那么印象深刻,这是基于参考照片与实际实现效果之间的对比来判断的。然而,它确实创建了所有这些模型。这使用了 Blender 和 Godot 来完成这项工作。这不是一个单一的3js游戏文件。所以,这是一个更复杂的实现过程,而我们给了它一张参考照片。

[音乐] 音效不错。这些僵尸的纹理哦,好吧。挺有意思的。我们有轨道之类的东西。所以有可以跳跃的空间。噢,那些是我们刚得到的。好的,那里有一节地铁车厢。有一些特效。还有闪烁的灯光让场景显得阴森恐怖。我不知道额外的敌人在哪里。

接下来,我要给它一个自包含的 C++ 滑板游戏,地图是2000年代纽约市的街区。我认为这将是一个能真正显示出有无视觉能力之间差异的测试。通常,这些模型拥有合格的视觉能力会从中受益匪浅。具体到这个模型,我不记得它之前在这个特定任务上的表现如何。然而,事实是它在一些编码相关方面整体有所提升。而且能够实际观察它正在做什么的能力可能会帮助它提供比我们之前看到的更好的结果。显然,这个……在22分半钟时卡住了,这本来是我一个半小时前就该意识到的。

不过我推测可能还有某种形式的保存进度之类的东西。所以,当时费用是0.31美元,现在涨到了1.16美元。所以我有些希望也许它在后台完成了工作,只是图形用户界面(GUI)停止响应了。好吧,幸运的是,情况确实如此。嗯,GUI冻结了,但好在在45分钟后,我们收到了 C++ 滑板游戏的结果。让我们来看看它吧。那是……[笑声] 好多了。着色城市。有音频吗?我想象没有,但

这相当不错,尤其是考虑到这是一个 Flash 模型。说实话……当然,行人方面存在一些缺陷。但对于一个 C++ 结果来说,建筑物看起来相当好。既然它已经存在一段时间了,那就见仁见智吧。然而,这实际上是跳上铁轨和边缘进行滑行空间弹出。好吧,是的,我需要先弹上去才能弹下来。[叹气] 好的。[喷鼻息声] 我们会卡在终点吗?哦,没有。好吧,让我们试试……不错,滑板独立于人物移动。滑板相对于人物是独立移动的。老实说,我要说这相当不错。甚至不要拿它与其他模型比较。我知道这个模型的先前版本(不带视觉功能)不会做得像这样好,差距非常大。所以,这是迄今为止更有能力的模型之一。我认为 Qwen 3.8 Max 生成的版本要好得多,但仅就这个模型的大小而言,它确实相当能干。即使只是在背景中放置更大的摩天大楼……这不是我们经常看到的东西。让我们看看,

我们能与这些摇晃的行人互动吗?不,没关系。我们在路缘石上滑行吗?是的,我们是。我不……好吧,这绝对证明了标题中全大写的“疯狂”一词的合理性。非常好。这是之前的滑板游戏结果,那是具有加利福尼亚海滨大道美学风格的那个。所以,这就是7月31日的 Flash 模型所做的结果。基本上三周前,这个 Flash 模型接收到的就是这个效果。对于相同的一般提示词,虽然不是纽约市海滨大道的美学风格。所以我们可以看到,这实际上在某种程度上也相当强劲。然而,存在一些基本问题,比如文本之类的事情。所以好坏参半。但是我认为纽约市的那个肯定细节更多一些。

此外,我还运行了一个非常漫长且拖沓的电影式“史蒂夫电脑维修游戏”作为测试。我们还没有看过那个结果。鉴于我也很想知道,我已经等了足够久了。所以,好吧。这应该有声音等一切功能,而且应该是一个相当电影化的游戏。好的,所以声音在……哦,很好。

那很不错。也许我们就……音效肯定没完全工作。可能是语音转录没有起作用,但我们大概能看出来。好的,所以还是那样……看那只猫尾巴从盒子里伸出来。其实我不喜欢猫。我对它们过敏,这太糟糕了。但它们不是都喜欢钻进盒子里之类的吗?所以也许那其实是故意的

选择。整体场景看起来不错。埃利斯小姐实际上在眨眼,还有一些轻微的来回或左右倾斜的动作。最大的问题是它真的很慢。而且没有声音,所以我们看看能得到什么结果。看窗外的雨滴。我应该配音吗?CMOS电池。它就像电脑记忆的起搏器。在这个年纪“死亡”很奇怪。

哇,我不知道我会用那种语言在埃利斯小姐面前说,但那是1998年的技术。它经历了很多。60秒的工作。然后你的收据就安全了,丹尼的那封邮件也会再次打开。(笑声)(笑声)丹尼是诺沃克人。我不……我不是……我真的不配音这个。好吧,是的,随便吧。来吧。(笑声)(笑声)没有……我真的不能……事情是这样的。我基本上告诉它把这个变成一部我们可以看的电影,而且也会有节奏感。所以我们可以快进让它更快一点。我们可以看到这里确实很慢。所以我更感兴趣的是感受一下这原本会是什么样子的。

好吧,现在我们以三倍速播放,它仍然相当慢。所以我们再看看。请记住这是一部电影,声音的问题在于如果我打开扬声器。(是的)所以让我们只看视觉效果吧。

好的,现在它只是以电影风格自主修复这个场景。它打开了外壳。值得注意的是爱丽丝小姐在我们店里,她实际上有一些静电般的左右倾斜动作。所以有些移动。那个时钟有点奇怪。然而,有趣的是它实际上在眨眼,这很酷。我在《神鬼寓言》里见过类似的东西。(喷鼻息声)(笑声)我看到屏幕上有一个非常模糊的东西。所以它实际上显示了屏幕反射出的维修工作。有趣的是,我们应该在这里看到店里的另一个人。嗯,看起来相机没有捕捉到或者类似的情况。

哦,那里有一小段飞机的片段。很有趣。格陵兰岛上空。看窗外。你看不到我指的地方。就在这里,你实际上可以看到云层在窗户上移动过。这挺酷的。我很高兴我们选择了这种电影方法,因为你知道的,窗户里有一些Z轴冲突(视觉伪影)。这是在飞机内部,所以我认为其中一位空乘人员。阿尔卑斯山从机翼下经过,然后是湖泊,然后一切都变得小而清晰。这就是瑞士的特点,即使是……好吧。

哦,我想那是着陆的时候开始颠簸了,而且是三倍速。好的,现在我们在建筑物前,正在下雨。这挺酷的。我想吧。希望如此。现在我们到了码头,比如装卸货服务电梯。

那很酷。有一个保安在走动。IT部门?或者也许那是个IT工人。哦,不,这些肯定是保安,我想吧。然后有一些微型游戏,如果我们必须玩的话会让我抓狂的,所以我很高兴我们做了这个。

什么是?好的,这是量子计算机,我相当确定他只是需要关闭它或者类似的操作。我们没有太多声音信息,所以……所以我们基本上有两个选择:要么关掉超级计算机,要么让它活着。

我会选第三个选项,但这不是电影模式,所以也许……很好。哦,好极了。我们看到了猫,这可能是我们可以避免看到的,因为它看起来像是松散拼凑在一起的面包片。

好吧。那其实挺有趣的。我很高兴我们能观看它,即使没有声音,只是为了看看它会为游戏实现什么内容。总的来说,那真的相当酷。而且修复的价格……因为这是我在这段视频拍摄之前运行过的东西的一部分,所以它是介绍性的。像3D摔跤游戏和史蒂夫修电脑游戏那样的一美元两美分。所以,在我告诉它把它变成电影之前,我们花费了一美元十六美分。那里有很多资产。上升到了1.64美元。所以,把它变成电影多花了48美分,我仍然认为这相当酷。

对于最后一个任务,我想在不同的思维层级上对此进行实验……我已经把它切换到了低级别。之前的所有测试都是在最高思维层级进行的,但这只是一个相当简单的任务。它只需要从这个参考照片中复制这个GPU租赁网站,而这个照片是AI生成的。所以我只是告诉它简单地创建一个像素完美的网站复制品。在这个低思维模式下,我将感兴趣地看看这需要多长时间完成。

然后我们会得到多真实的源复制品?所以这比我们要看到的其他任何结果都快得多。正好花了两分钟。现在,再说一次,这是一个更简单的任务,而且是在低思维模式下。所以我想只是瞥一眼它。好的,那确实……我认为做得相当不错。让我们看看参考照片。好吧,速度租赁(Velocity Rentals)。

我们左边都有这些东西,右边有一些东西。好的,它在任务方面做得还可以。然而……关键特性。让我们看看它复制得怎么样,因为这些更容易复制。关键特性:高速度(High Velocity)。好的,更好的用例。它很简单,而且总体上只是抓住了这个的范围和事物,但没有实际的源资产……

肯定会有点困难。我会说SVG可能确实需要一些金色才能看起来更像这些参考源,以及这里的标题照片。然而,这再次是在低推理模式下进行的,我基本上想做最后一件事只是为了再次测试视觉能力……

因为这就是今天视频的全部目的:看看它在视觉能力方面表现如何。所以,我实际上不知道最后一次测试的具体费用是多少,但这在观看视频时会变得更加明显。所以我们今天所做的所有测试的总费用。所以这基本上把我们带到了3.96美元,这是在这个测试中看到的所有内容的总和,这比一个月前使用这些模型要昂贵得多……

但是随着价格的增加,仍然一点也不坏。我的意思是,其中一些工作了超过100分钟……然后我们还对修电脑游戏和地铁游戏测试进行了后续操作。总的来说,我真的不知道我会做一个传统的结果概述……因为我是在几天内拍摄这个的……

经过几天的测试,我认为这堪称集大成之作,表现令人极为印象深刻。其中一部分原因也在于能够使用此模型测试 DeepSea Harness,其效果相当不错。由于这是我首次测试该模型及Harness,缺乏参考基准,因此我没什么特别对比性的评论。总体而言,我对这次体验感到非常满意和惊艳。

标题中全大写的“INSANE”一词确实恰如其分地形容了这种震撼感。最后我想再确认一点,因为距离我开始拍摄已经过了一两天:模型权重目前仍未上传至 Hugging Face。我希望能尽快看到它们上线,虽然我认为最终会发布,但需留意该模型目前并非开源权重。

如果未来它变为开放权重版本,正如我之前所说,对于双 DGX Sparks 配置而言将是一个极佳的选择。总体而言,DeepSeek V4 Flash Vision Experimental 模型令人印象深刻至极。拥有视觉能力确实提升了其性能,正如我们在仅使用 Blender 的测试中所见:它需要构建我们所在房间的等距场景,结果绝对精彩绝伦。

整个过程充满乐趣,模型展现了诸多巧妙之处:无论是带有驼鹿和其他彩蛋的 Mac OS 9 Browser OS,还是史蒂夫电脑维修店电影中自行生成的剧情台词都颇具巧思。以上就是我们对 DeepSeek V4 Flash Vision Experimental 及新版 DeepSeek Harness 的首次评测与测试。

如有任何疑问,欢迎在评论区留言。感谢大家的观看。