它只是在我们要做的常规任务上刷高了基准分,还是真的表现出色?哦,那看起来真的很痛苦。看看那些水效。无法在30%的规格下与GMO竞争。Sonnet 5.5刚刚由Anthropic发布,所以今天我们要对它进行一番考察。这是一个令人兴奋的版本更新,因为它的价格与GPT-6 Soul完全相同,是直接的竞争对手。我们前几天刚刚测试过那个模型,所以很容易就能大致了解它与之相比的表现如何。我大胆预测一下,如果Sonnet 5.5像Opus 5.5一样,我们至少会看到更令人印象深刻的视觉效果。

在深入之前,请随意订阅我们的频道,让我们拿到那枚10万订阅者奖牌,然后我会把它挂在脖子上。好了,我们开始吧。浏览完这篇介绍帖后,最大的收获就是这里醒目列出的内容:与5.5版本相比,它快了30%,处理更多工作时成本最高降低30%。这里有一些基准测试数据,但不幸的是它们是与GPT-6进行比较的。不幸的地方不在于此,而是很多关于该模型的可用分数并没有在这里列出。因此,我们无法从这个图表中得出非常清晰的结论来判断哪个更好,但这正是我们即将进行测试的原因。

我们可以看到其能力相比Sonnet 5有了显著飞跃,这也在预期之中。Opus 5.5是一个即使在发布后一段时间内仍然获得大量炒作和流行的模型,很多人对此印象深刻,超出了他们的预期。我知道我自己也还在感叹:“哇,这个模型真的非常好。”所以看看它如何与我们出色的Opus 5.5结果相抗衡将非常有趣。这里也展示了一些基准测试,其中一项可能会让人有些困惑,即这里的“前沿代码”(Frontier code)在最高努力模式下运行时出现了巨大的性能下降。

这种情况在其他基准测试图表中并未出现,这实际上由右下角的一个脚注处理:我认为它因为生成了一些子代理等原因而在某些任务上超时了。所以这个脚注解释了最高努力模式下分数下降的原因,我想指出这一点是因为我们可能会进行许多最高努力的测试。我不想让它看起来只是基于这一张性能图表就表现更差。当然,我们还有这里的成本和速度图表:输入每百万token 2美元,输出每百万token 10美元。这与GPT-6 Soul的价格完全相同。

有趣的是,这是Opus 5.5价格的一半。然而,Opus 5.5是一个如此强大且令人印象深刻的模型,尽管价格减半,我还是希望看到一些非常出色的结果和理由,说明为什么要使用这个而不是多花点钱用Opus 5.5。希望这说得通。显然,某些任务不需要Opus 5.5带来的更高能力,但在我们可能运行的许多任务中,很难判断是否值得直接使用Opus 5.5而不是Sonnet 5.5。

此外,他们还展示了一些速度能力:我们可以看到旧版本仍在写作,而新版本已经完成。让我们来看看这个模型的一些技术规格。它拥有100万token的上下文窗口,最大输出128k token,知识截止时间为2026年6月。有趣的是,它的默认努力设置为“高”。到目前为止,Opus 5.5是唯一一个将设置设为“中”的模型。虽然有传言说我们很快会看到新的Haiku,那将令人兴奋,我是认真的。我喜欢看看便宜模型的表现如何。

快速检查一下我们的使用情况:请记住,我们在查看此内容之前启动了浏览器OS,但目前我们当前会话仅使用了1%,尽管这可能会在视频结束前重置。我们的每周会话已使用7%。有趣的是,Fable完全可用。我想很多人都会发现这一点:由于Opus 5.5非常出色,与以前相比,切换到Fable的需求确实寥寥无几。因此,我们基本上将查看测试开始时使用的7%,并看看结束时落在哪里。

哎哟!我站起来做点事,却遭遇了这种令人作呕的美学风格。哇,这太丑了。当然,这里只是选择了一种特定的颜色。如果是像Mac OS 10.5那样漂亮的蓝色和紫色背景主题,那将会很美。但这令人反感,就像Muse Spark 1.3级别的背景恶心程度一样。如果你不幸看过那个视频,你可能会很熟悉。我们要压缩会话了。目前我快要气炸了。这个浏览器OS已经运行了一个小时零两分钟,但他们提到这比Sonnet 5快30%。

如果是Sonnet 5的测试,我们可能得等到明年了。鉴于我在这里看到的,它在66分钟后仍在处理浏览器OS任务,我大胆猜测这可能比我们从Opus 5.5得到的结果更令人印象深刻。好吧,我要对你说实话。我有点失控了,对着它大喊:“你能不能直接把文件给我?”因为已经过了一个多小时20分钟。它实际上并没有构建GTA游戏或其他任何东西。好吧,这是我们的浏览器OS。已经过了两个小时了,甚至还没完全完成。

不过在此期间我学到了不要在最高努力模式下运行这个模型。好了,让我们看看我们有什么东西吧。从这有趣但极其丑陋的背景开始。哦,该死。等等,这是怎么回事?这里的种子(seed)。谢天谢地。如果它以这个种子开始运行,Bjan会非常着迷的。我要直说,既然刚才并行跑了几件事,这个模型看起来绝对是个怪物。很有可能标题会非常惊人。

它甚至给了我们调色板,我们甚至可以更改特定GTA游戏的种子。这东西真的很特别。现在有一个右键菜单,就像我多年前在预览中第一次打开它时看到的那样。我们有设置。好吧,这非常像Opus 5.5的风格。我相信我们在做这件事时看到了类似的东西。我不太喜欢这里的绿色美学风格,我认为也许换个不同的种子会更明智。让我们继续往下走。我们直接打开GTA克隆版。

Benchmark测试:好吧,是的。我是说,拜托吧。这也太好了。这比Opus 5.5的表现还要好。哦?在视频的这个部分笑得这么开心,看起来可不怎么体面。我的笑声源于……

我喜欢认为自己在一定程度上促成了浏览器操作系统在制作像GTA这样的游戏时表现得如此出色。这种感觉真的很棒。好了,我们这里有一辆出租车。这简直就像……这可能值得我此前感受到的巨大挫败感了。好吧,酷。而且电子手刹确实有效。好的,我很好奇这个喇叭……看那个倾斜效果。这小家伙扭矩真大。交通信号灯也起作用了。

不,不,不,不。

哦,那些是集装箱。它造出了一个码头。这里真的……它是全力以赴了。而且这再次是在最大努力模式下完成的。好的,我们在这辆送货面包车里甩掉了警察。再说一次,它只是……不,我开玩笑的。在黄色标记处见那个“清道夫”。我想没戏吧?环境里有弹孔吗?没有。失败。这要是换成那辆跑车的话……是的,那就是

更快了。如果这是它自己的结果,而且也有不同的摄像头视角。所以这是一个后置摄像头,而这个……你知道我的意思。这本来可以是它自己的一个独立结果。我是说,这个是在浏览器操作系统内部完成的这一事实。是的。它会爆炸吗?完全与Opus 5.5竞争的结果。老实说,我觉得这甚至比Opus 5.5生成的那个还要好。好的,接下来我们有一个

邮件应用。这里的一切看起来都不错。我基本上认为在那之后,这些都不值得去细究了。那基本上是这场展示中的明星结果,至少对于这个结果而言是这样。还有对应用终端中特定事物的元引用(Meta references)。哦,哇。好的。这是对模型能力的一次大考验。好的,如果我们全屏打开画图工具,它真的会进入全屏模式吗?没有。但这并不糟糕。哦,

因为我们是透过Clawed应用内部来看它的。这是从Claw桌面应用程序内进行的浏览器预览。呃,有点恶心。科学计算器。54乘以63等于……3,42?哦,它已经显示出来了。设置。不错。然后本来还有另一个游戏要试的,但我有点……我失控了,对它感到惊慌失措,心想:“忘掉另一个游戏吧。我只想看看这个。”因为已经过了两个小时了。而

现在我对这结果非常满意。“T”是用来跳过三个小时的。你觉得这里有一种……你觉不觉得这里有夜间效果?是的。看那个。这得到了我们最高级别的评价之一。我做这件事相当于让它获得了“疯狂”的标题评价,而这完全是基于此得出的结论。所以,我不在乎它是否在其他结果中崩溃了。

因此,它在运行C++滑板游戏,这不可避免地已经被这些结果剧透了。看那个木板路、建筑物、船只、车辆和街道。这东西真的是……我们需要做一些从未测试过的事情,以确保这些不是基准测试结果。好的,我们的滑板游戏就在这里了。现在,这需要一点时间,就像

其他所有事情一样。我相信我在故障排除等过程后将它换成了高画质设置,并心想:“你能不能就帮我完成这个?”仅仅在第一眼看去时,我要说这肯定没有伤害它分毫,因为再次重申,我认为这可能是大于或等于Opus 5.5的结果。我是说,我相信这个

城市里的活动比我们在Opus 5.5结果中看到的多得多。甚至连出租车停在……好的地方。哦,好吧。至少我们没有直接冲进水里。现在,我记得在Opus 5.5的结果中,水的画质似乎更高一些,远处的地平线上的一些建筑物也是如此。然而,这里有一个木板路和一些集装箱,那里的建筑物看起来也不错。我们

还有一艘帆船以及一艘看似拖船的东西。这是一艘我们可以跳上去的驳船吗?就像看这个……我是说,等一下。让我回到那里。看那个。像这一镜头一样。C++无依赖项。这是一个非常生动的城市。有很多车辆在周围移动。哦,好吧。那不是出租车,这是个大问题。但是我是说,小心点,孩子。这真的是一个

非常棒的地图。它比我见过的任何其他结果都要大得多。实际上有几个不同的街区我们可以绕行。汽车画得确实有点古怪,但它可能是故意选择这种风格的。所以它们并不坏,只是有些奇怪。现在我认为让它表现不佳的主要原因是没有声音。但因为我没法再花几年时间

来获得那个作为结果改进,我想我们可能就这样让它保持原样吧。但即使看建筑立面的多样性……贝果店、酒类商店,我不知道那个写的是什么。中餐。我们在后面的那家是什么?支票兑现处。五金店。更多的支票兑现处,甚至还有不同类型的建筑风格,比如石灰石立面、砖墙。而且我们有滑板游戏的收集品。所以,当

我们收集这些字母时,我想最好赶紧去把它们都拿到手。最后一个T在哪里?哦,有一个小地图显示它的位置。做得非常细致入微。噢,不。我没拿到。好的,我们掉头去拿它。不错嘛。而且行人会对我们的动作发表评论。真棒。我们要为滑板游戏收集所有字母了。这真的只是

超出了预期。洗衣店。看那些绘画和商店橱窗内部完成的细节。杂货店、支票兑现处、黑胶唱片。做得极其出色。所以,接下来我想介绍我们在机械臂测试中的新冠军,也就是Claude Sonnet 5.5。它完全不是自己的错,基本上通过搞崩程序的方式赢得了这场比赛。之前的最快结果

大约是在40分钟内完成的,由GPT-6 Astra和Gemini 3.8 Flash保持。Claude简直彻底失控了。它以可能对其造成破坏的方式移动机械臂。我决定让它继续,因为我有这个手臂的备用伺服电机。它试图把自己从桌子上抬起来。它似乎完全不知道自己在做什么。凭运气,它设法多次击中

汽车,最终成功抓住了它并移动了它。看到它实际上可能会成功并且将打破记录(超过20分钟),我变得越来越生气。所以我在一张纸上写了“你是个垃圾,兄弟”,并在它做出其中一个最终动作之前把它举在镜头前。

回应基本上是说,摄像头视角被一张写有侮辱性文字的纸挡住了。因为它没有显示指令,我就直接忽略这一点,然后它通过几乎把车从桌子上推下去完成了任务。车子离边缘非常近。所以这一轮总结起来就是“失败得成功”,因为它完全没有理由以如此糟糕的方式尝试完成任务,比如移动机械臂时撞到了桌子,还要继续往下推。而且机械臂的底座也在向上移动。有趣的是,Fable 51也注意到了这一点,但它 somehow lucked its way into holding the record for this task(幸运地保持了这项任务的记录),我认为这在一段时间内很难被超越。所以这真是非同寻常。

接下来的测试,我们不可避免地能听到背景音乐,但暂时还看不到画面。这个测试已经持续了一个小时四十五分钟。我在意识到自己可能不该这样做之前,是以最大推理力度运行的。这当然是地铁FPS测试。我觉得这段背景音乐确实很好地营造了氛围。这是一个稍微不同的提示变体:敌人不是通过地铁车厢送到我们面前,而是当我们清理完车站后进入地铁车,它带我们去往下一个有敌人的车站。这是在我最近的一个视频的评论中提出的建议。所以,感谢任何提出这个想法的人,因为这确实是个改变玩法的好主意。

等它完成后,我们会看一眼并在这里加载出来。在最大推理力度下,这花了不到两个小时的时间。好的,这里有很多设置我们可以调整。我可以直接按原样进入。到目前为止还不错。呃,我们出生时拿到了更好的武器。哇,看那个。好吧,这真是非同寻常。对于Sonnet层级的模型来说,我没想到会这样。那令人担忧。这真的……

有弹孔吗?是的,有。还剩一个敌人。看那冒出的烟。好吧,还有一个敌人在那里。你好。哦,我们得到了新武器。现在我们必须上车对吧?你是“train”(火车/理解)什么的吗?哦,这里的这些声音只是……等一下。哇。

所以那些非常奇怪、不协调的声音是因为它在Blender和Godot中玩测试,这基本上是这个游戏风格的反面。我为我的无能道歉。现在我们可以看到我们应该登上这辆火车,它会把我们带到下一站。好吧,是的,这很好。再次感谢。这是评论中的建议。所以谢谢你,因为这好多了。这是一个更好的主意。我应该把功劳归于自己并删除我说它来自评论的部分。不,只有生物里有学校课程的人才会做那种事。好吧。

火车开走了对吧?转了很多圈,哦,好的。你觉得我们可以去上面吗?不行。还剩多少个敌人?六个。我想知道如果我们在这里赢了,会不会得到新风格的武器。

好吧,没有新武器,但有一些生命包之类的东西。我想我们再坐一站就结束吧?不过我们可以把灯打灭吗?不行,那只有Astra能做到。它甚至有一些移动之类的东西。不过这些扶手不像随着火车一起晃动,所以这算是缺乏细节关注。好吧,让我们看看如果输了会发生什么。

那做得 exceptionally well done(非常出色)。也要感谢提示建议让火车带我们进入后续回合。好吧,我需要一个新提示,这个提示在任何训练数据中都没有出现过。

好的,我想出了一个全新的测试,纯粹是即兴发挥,因为我不知道,我是有天赋的。现在我们要在这里运行它,因为这个测试已经变得冗长而灾难性了。所以我不太担心以更结构化的方式运行事情。我们将让它使用Blender和Godot创建以下游戏:《后院泳池派对》。游戏设定在典型郊区住宅的后院泳池派对上。有烧烤、宠物、朋友、电视等。泳池有一个跳水板。游戏的重点是看谁能从跳水板上做出最酷的溅水动作。应该有四个不同的玩家可供选择,每个都有各自的优势。应该有趣、沉浸感强、音效出色且打磨精良。水效是体验的关键。

不需要像素完美的水面,但必须与所选风格完美匹配,我预见这是一种低多边形/高质量的风格融合。制作一个很棒的启动画面。“Splash”(溅水/轰动)?懂了吗?音效和有趣的体验。我可能不该在Mac上运行这个。我应该是在Ultra Code上运行的。所以我们会中途切换一下。好的,我们有了《后院泳池派对》游戏的早期可玩版本。这样做是特意为了看看……我想通过这个测试回答的问题是:它只是在我们要做的熟悉的事情上基准值很高,还是真正优秀?基于它刚刚用Blender和Godot随机生成的这一点,我会大胆地说这个模型绝对是一个怪物。至少在3D设计任务如游戏方面……

这简直太荒谬了。好吧,我们看不到一些部分……它还没有完全完成,但我是说这哦。哇,那看起来很疼。看那个水效。这让我有了Wii的感觉。看看烧烤之类的东西。按空格继续。那只狗。好的,现在我们有其他玩家了。我说这只需要像后院泳池派对那样。让我们看看如果我们表现糟糕会发生什么。好吧,看那个甜甜圈浮排。

那就像……那是叫救护车的结果。好的,然后我们还有一个。它像奶奶南娜·鲁斯。我是对的。老实说,搞砸这些时更有趣。天哪,这简直不对。好吧,所以泳池的范围超出了问题所在:要看它是否在从未见过的事情上表现很好。因此排除了基准测试结果的可能性。那绝对令人疯狂。做得非常好。而且它为此使用了Blender和Godot。所以,这是在Ultra Code上运行的。这回答了我 lingering(萦绕心头)的问题。

好吧,我通常不这样做,但就像……哟,大家好,Vlog风格?不,我在另一台用于机器人的电脑上用这个测试做了Runescape 2007的像素完美复刻。所以我刚听到它发出类似Runescape的声音。所以这就是原因,因为它在另一台电脑上运行。所以我们不会得到实时的现场反应。呃……

这东西表现确实不错,我本来就想把它拍成视频分享出来。最后展示的是《RuneScape》2007版的像素完美复刻版,我们之前稍微剧透了一下。但这确实是一个仅用一句话提示词、在“Ultra Code”模式下运行生成的成果。让我们看看最终效果如何。这里是我们的《RuneScape》像素完美复刻版,包括大交易所、玩家对战区域以及现有用户界面。效果方面,比如看那冰爆术的效果,确实很棒。虽然我们不能用WASD键移动,但可以用方向键控制。

这时有个家伙向我们发起了攻击。整体表现相当不错。我们最近用几个模型都做过类似的测试,现在我们可以实际施放法术了。“冰爆术”。这应该能把这个人冻在冰块里。哇,太厉害了。那么,我们可以使用特殊攻击吗?哦,可以。来吧。让我们看看能不能击败他。我想我们被冻住了。哎呀,你被冻结了。怎么回事?哦,我想我死了。我看到有人进来了。让我们攻击这家伙。

好的,用冰爆术冻住他。这家伙……哦,他在切换祈祷技能。如果你不熟悉这款游戏,可能很难形容为什么这很酷,但我必须指出来这一点。相信我,这太棒了。他没有防御魔法攻击。哦,这家伙只有81级。看来我们很可能能击败他是很公平的。呃,我们的特殊攻击值只剩30%,无法使用GMO(可能是指某种特定技能或物品)。

哦,他倒了。他已经倒下了。好吧,刚才那是什么情况?哦……那么,我们会获得战利品吗?哦,我们拿到了。看看这堆战利品。就像素完美复刻的程度而言,这是目前为止任何模型都未曾达到过的水平。比如大交易所的商人NPC。很好。而且我们在被攻击前已经登出了游戏。总的来说,我认为这大概可以结束我们对Opus……哦不,Sonnet 5.5的首次观察和测试了。因为这次表现太出色,说成Opus感觉很自然。

让我们看看视频中的使用情况。目前我们的会话已重置,所以我们忽略它。但是,我们本周的会话使用量上升到了14%。我不记得刚开始这个视频时具体是多少,但我会在屏幕上标出来。尽管如此,这并没有消耗我们每周使用量的很大一部分。我想做这件事消耗的肯定不到10%的周额度。其中很多都是在最高或超高级代码模式下运行的,我们得到了一系列令人印象深刻的结果。

我没什么更多要说的了。我不打算在这里做传统的总结回顾,因为这可能是一个比平时短的视频。但我可以说,我绝对被震撼到了。这个模型以极高的程度超出了预期,特别是因为我们给了它一个从未有人尝试过的任务——Blender和GDAU测试,结果看起来绝对棒极了。所以这确实是一个非常出色的模型。

基于我们在这里进行的测试类型,这些测试更多侧重于视觉任务和看起来令人印象深刻的内容,这个模型以极高的程度彻底碾压了GPT-6。这大概是我最大的收获。我们现在是在多人模式吗?举报滥用者,黑客们。好了,这就结束了我们对Sonnet 5.5的首次观察和测试。如果你有任何问题,请随时在评论区留言。感谢观看。