[笑声] 看看这个。[音乐]

我们能在这根栏杆上磨吗?[笑声] 看来不行。Anthropic 发布了 Claude Opus 5.5,这是一个备受期待已久的模型,现在它主要在这里展示,附带的是我见过的最丑陋的宣布照片之一。好了,让我们先来看看这个模型的一些有趣之处,然后我们会进行一些有趣的测试。

我认为通读这篇介绍文章后最大的收获是:请随意订阅,以便我们获得那面 10K 的奖牌。所以,最大的收获醒目地列在标题部分:它的表现达到了 Fable 5.1 的水平,但运行成本比 Opus 5 低 40%。注意,不是比 Fable 5.1 便宜 40%,而是比该模型的前身 Opus 5 便宜 40%。Opus 5 是一个非常两极分化的模型,我在网上看到很多人真的不喜欢 Opus 5。我个人对它似乎没有那么多意见,但我觉得它只在某些特定领域表现良好。

我发现有点奇怪的是,他们在这里没有显著列出该模型的 Deepsw SWE 基准测试分数。我大概能理解这一点,因为根据最近一些模型在该基准上的得分情况看来,该基准似乎不再是对模型能力的恰当评判标准。然而,我们在所有选入的基准测试中都能看到,它基本上击败了 Fable 5.1 和 GPT6 Astra。所以,我想这甚至不一定是一个直接的 Astra 竞争对手。因此,看到它击败了一个更像 Fable 的竞争对手还挺酷的。

定价肯定是大家最关心的部分之一。很高兴地报告,它比其前身更便宜。输入令牌每百万 4 美元,输出每百万 20 美元,而前身为输入每百万 5 美元,输出每百万 25 美元。正如他们在此处列出的那样,成本下降了约 40%。

接下来这张图表我觉得挺有意思的,因为使用此模型实现最佳性价比似乎应选择高推理努力模式。我们在“最大”(max)模式下注意到特定基准测试中性能的轻微下降。可能是因为对于某些任务来说,努力程度过高了。我想指出这一点,因为如果我们要进行测试,我不想全部在“最大”模式下运行,因为这会花费更长时间,更快耗尽我们的限额,而且可能实际上并不是使用该模型的最佳方式。

这里我要提一个快速说明:该模型在面向前沿大语言模型开发的任务上会回退到能力较弱的模型。他们在此处提到,这是一组与前沿 LLM 开发相关的小范围能力,例如某些机器学习加速器的内核开发。所以请记住这一点。这可以被看作是“搬起石头砸自己的脚”,或者是试图保护估值,即你不能使用该模型创建可能让制造它的公司破产的竞争对手。我知道这可能会让人们生气,这是可以理解的。但我想知道这在多大程度上会阻止这些请求或回退到能力较弱的模型。如果我在开发一个小型本地模型,并希望它在奇怪的硬件上运行得更好,这可能对我非常有益,但这不属于制造前沿 LLM 的范围。所以我希望它能够区分这两种用例。

最后,我们可以通过查看这里的模型卡片来看一些技术规格。它拥有百万令牌上下文窗口,最大输出为 128,000 个令牌。正如我们所见,定价是输入每百万 4 美元,输出每百万 20 美元。这里让我觉得有趣的是,他们目前所有的新模型都列在这里了,尽管其中一些已经有点老旧或过时。而且这是唯一一个默认努力模式为“中等”(medium)的模型。除了 Haiku 之外,其余的都是高和高。这很有趣。

这里列出的另一个基准测试结果是:在默认努力级别下,它在 Frontier Code 上以大约任务成本 20% 击败了 GPT6 Astra。正如我们刚才看到的,这就是“中等”模式。所以看起来很有趣。看来对于使用此模型来说,“中等”和“高”将是相当不错的甜点区(最佳平衡点)。

我还应该提及我们在使用方面的基线。我使用的是 Max 20x 计划,目前本次会话已使用了 4%。每周使用率为 56%。Fables 已经耗尽额度并持续了相当长一段时间。此外,他们推出了一个“银行重置”功能(banked reset),基本上就是当你接近限额时可以选择重置使用量以继续使用。他们以前从未这样做过,我不记得有一次他们在长假前重置过用量,但这在 OpenAI 中更为常见,所以有这个选项也是好的。我将并行运行任务,因此我们无法细致地查看每个任务的用量,但我们会对整体追踪情况有一个大致了解。

好了,我们的 Basalt OS 完成了。浏览器 OS...哦,你们好!所以我们要给这个浏览器 OS 命名为 Basalt OS(玄武岩操作系统)。Basalt。哦,看看这个。[笑声] >> [笑声]

难道 OpenAI 刚刚解决了允许生成此类事物的问题吗?好吧,Amber Bloom。哇,我需要消化一下这个信息。Cosmic Otter(宇宙水獭)。好的,所以它给我们生成了一个随机的 Reddit 用户名。这里有右键菜单。这很不错。我现在就可以告诉你,我喜欢这个用户界面。背景颜色...我在寻找更多蓝紫色调的。就这样吧。好了,我们在右下角有一个时钟。看那个。我们可以点击它,日历就会出现。我不相信在所有这些浏览器 OS 的历史上发生过这种情况。所以,基准测试满分了。哦,通知。声音...宇宙水獭。

噢,是的。这里有一个奇怪的特殊功能:你可以在这里的不同机器之间拖拽东西。我们最后再看那个吧。让我们从 readme(自述文件)开始。有趣的图标...为什么?我从没见过这些,所以一定是手工制作的,我喜欢看到这一点。

好了,TL;DR(太长不看版)。让我们看看 Grand Theft Polygon(侠盗猎车手:多边形版)哦,天哪。看那个停满车的停车场。[笑声] 好了,我们开始吧。哦,是的。我要注意一点:这里的实际金钱数字、时间、通缉星级和生命值都让人联想到 GTA 游戏。好了,我刚凭直觉猜到了 J 键...哦,看那个。那看起来像是一辆老式的捷豹 XJ。

[笑声] 看看车辆的前灯。我的意思是,

隐藏包裹。好吧。哇哦。哇哦,你要去哪?噢,他们在逃跑。回来吧,鲻鱼头男。噢,你听到那声尖叫了吗?噢,是的。来吧。来吧。这些车里没有一辆是快的吗?它……它正在

[喷鼻息声]

我没什么可说的。这是最好的一个。这真的……好吧,让我们看看 Vauxilheim。噢,太棒了。某种 Minecraft 风格的东西。我记得上次看到这种 Minecraft 版本还是和 Kimmy K3 一起的时候。哇哦。这就像是 X(原推特)上的一个病毒式传播帖子。就像 Claude Opus 一招秒杀了这个 Minecraft 克隆版,而这个游戏可能在过去六个月里存在于每个模型的训练数据中。抱歉,我今天心情不太好。[笑声] 好吧。我的意思是……我们该怎么做?噢,好的。右键点击来做到这一点。好吧,这很不错。新岛屿。它是程序化生成的吗?我不知道。它似乎不起作用。所以,接下来让我们看看我们的邮件应用。非常好。有很多关于这个的元引用。终于整理完周末的所有事情了。附上我最喜欢的——

山脊上的日落。保存到图片中。好吧,这个东西简直太过分了。就像如果某人表现得像这样,你会说:“好的,冷静点。停下吧。我们明白了。”它确实做到了。终端 [喷鼻息声]

网格。我想那是特色功能。我们等着看吧。绘画工具。这是一个非常、非常大的调色板,比我们通常看到的更多。看看这个。它甚至像……肯定是苹果系统自带的记事本。我们之前看过一点,但现在我们可以改变文本了。可以换行。计算器。57 乘以 6342。是的,我应该知道这个答案的。好吧,让我们来个难的。乘以 5。这很简单。342 乘以 5 是 1710(即 1500 + 210)。很好。天哪,我变慢了。系统监视器帧率 165 fps,网格机器进程和我们的 JS 堆内存。好吧,让我们看看设置。

这很不错。有一个拓扑图之类的东西。这是我最近才见过的,我认为是在 Deepseek 模型中看到的。我觉得这个真的很酷。窗口主题。好吧,让我们看看这个特色功能。打开第二台机器。所以我想你可以在两台机器之间拖拽 Windows 窗口。[笑声] 这真是……太酷了。这是个特色功能,因为我以前从未见过。你可以向另一台机器挥手致意。是的。而且它显示出来了。好吧,这真的是……我的意思是最好的一个程度如此之高,以至于我不认为我们在很长一段时间内会看到比这个更好的东西。所以,我在 XH High 设置下运行了那个浏览器操作系统。对于 Max(最高)模式,我们至少在这个场景中将只使用 Max 设置。这是一个自包含的 C++ 滑板游戏,带有纽约市街区背景。它显然不能使用光线追踪(Ray Tracing)。

鉴于这可能是……这是迄今为止最好的模型吗?标题里已经写得很清楚了。顺便说一下,它已经很疯狂了,全大写只是因为那个浏览器操作系统。与此同时,让我们再看一次《Grand Theft Polygon》(大盗像素),因为这绝对太酷了。

好吧,我们的滑板游戏在一个半小时后完成了。

这真是不简单。好的,它刚把我们生成在一个人孔附近,所以……

而且滑板在你摔倒时实际消失的方式。

V 是摄像机键。噢,不会吧。看那个。太酷了。对于没有依赖项的 C++ 来说……看看那些水效。哇,这水是真好。[喷鼻息声] 这简直就像……是的,

那太帅了。有路人评论我们的滑板动作吗?[笑声] 小心点,孩子。他们会说话。好吧,他们在思想气泡里说话。看看这个。这个地方太大了。背景中的建筑物、喷水的消防栓,这是每个模型在这里都会包含的东西。好吧,看起来那里有一堵隐形墙……哇哦,这呃……我实际上需要再看一下帮助文档。音乐也很棒。J 或 Z 向某个方向是翻转技巧。K 或 X,L 或 C 是滑行(Grind)。在滚轴附近滑动。好吧。

我认为这绝对比《Astro》和《Fable》那个版本要好。虽然《Astro》那个也不错,《Fable》那个也很好。它们都很好。但我觉得这个在完整性方面有点特别,我不知道其他版本是否有这种特质。那太酷了。好吧。然后……好吧。那里又有一堵隐形墙。不错。让我们

去看看水、桥和木板路。这真的……连灯光都很漂亮。哇哦。我们可以在这根栏杆上滑行吗?噢,我想不行。还有不同的摄像机视角……天哪。嗨 Cam(摄影师)。鱼眼镜头。如果你看过滑板视频之类的,那种感觉……这真的特别棒。汽车模型很烂,但除此之外,这个做得很好。甚至这里中心的那个艺术品

那个人手里拿着公文包。嘿,我在走路呢。所以他们也捕捉到了那种[笑声]纽约市的氛围。

太酷了。我们可以拿起来吗?不,我想去那个呃……

我要把它放到 GitHub 上。这必须发布到某个地方。它太好了,不能就这样删除,你知道的。

链接在描述里。

让我们去撞一下别人吧。

好的,这是个问题。好吧,这简直太棒了。甚至连建筑物上的防火梯、那边的桥、鱼眼镜头效果。这简直就是

哇哦。这让我进入下一个部分,也就是今天视频的广告商——Supabase(超级基地)。现在,Supabase 实际上运行着我的 Ultimate Play 网站。它在我接受任何视频赞助之前就已经在用了。所以为了提供一些背景信息,Supabase 是什么?我这里有一位特别嘉宾。我想欢迎 Björn(比约恩)。嗨,Björn,非常感谢你能来。我是这个频道的超级粉丝

拿着这个东西让我感觉像个网红。太感谢你了,伙计。我……这真的意义重大。当然可以。所以 Supabase 不仅是今天视频的广告商,还是 ultimateplay.com 的后端基础设施。每当有游戏上传时,Supabase 都会处理它。甚至追踪像点赞数、这些游戏的游玩次数这样的数据。Supabase 就是那个实时部署背后的力量,我们现在可以去玩一个正在上传的游戏,就在这个演示中。我想说非常感谢你能来。我是这个频道的超级粉丝,你很快就会达到 10 万订阅者了。嗯,我真的很感激你的美言。再次感谢那些好听的话。希望借你吉言(敲木头),我们很快就能达到 10 万订阅者。再次非常感谢 Supabase

赞助今天的视频。如果你想了解更多关于 Supabase 如何实际驱动 ultimateplay.com 的信息,你可以点击描述中的链接,或者直接访问 ultimateplay.com 查看这些由 Supabase 作为后端驱动的实时部署游戏。好吧,因为 Medium(中等)是这个模型的默认推理力度,我想尝试一下“观看网站”测试

从浏览器界面内部进行操作,它将能够以更具代理性的方式使用此功能,因此无需担心这一点。我们将给它一个“查看网站”测试任务,要求它创建一个精美的电影感英雄区域、手表的3D模型、爆炸视图,当然还有特别版“Ven”,需要使用附带的图片作为其表盘。我还添加了美学要求,看看它能否将这种美学风格成功移植到特别版手表上。再次强调,这是在中等模式下进行的,这是它的默认努力程度,因为它被展示为相当有能力,甚至比Astra在中等模式下更出色。让我们看看能得到什么结果。

好的,手表渲染已完成。乍一看,尽管这只是在工件窗口中运行,但我认为它看起来做得非常棒。好吧,我们不能太随意地移动它,所以只能让它悬停不动。这里有个小挑剔的地方:我觉得表带看起来不如预期那么好。不过请记住,我们是在中等努力程度下进行的测试,这是它的默认推理模式,我只是想看看它在该设置下的表现如何。表盘看起来不错,木纹桌面上的反光效果很好,皮革表带上甚至有一些纹理细节。

我认为这还不错。我们还有一个轮廓清晰的上链冠,手表表盘看起来也不错,但不幸的是,由于旋转的方式,我们无法获得正面的清晰视角。让我们看看页面的其余部分。向下滚动后,我发现这是我这辈子见过的最难读的字体。好吧,这里有一些关于手表的信息。这是我们的爆炸视图。让我们看看能不能找到“Ben”。哦,出了一些问题。所以我在这里给它提供后续的反馈信息,然后我评估一下,理论上我们应该能修正所有错误。

假设我们的手表网站现在已经修复,应该向我们展示额外的手表以及爆炸视图。非常好!出色!甚至可以说这是我们的爆炸视图,我们可以展开或折叠它。连螺丝都清晰可见,机芯也展示得很漂亮。我们还有各个部件的单独标签。哦,我们还可以旋转它!这很酷,能看到机芯、弹簧等各个独立部件的细节,比如摆轮和转子。做得好!接下来我们应该看到两张单独的手表卡片。

哦,这个有点奇怪。好吧,不幸的是我们不能像之前那样随意移动它,但这枚Solstice 38标准款黄金手表……看看表圈上的滚花处理,或者你知道我在说什么吗?这个细节。这实际上是个不错的点缀,是我以前从未见过的。最后,大家最好奇的部分来了——Bejian(贝健)。

[笑声] 我看不到它的顶部。我刚刚经历了一场情绪过山车。好吧,至少我们看到了一部分。到目前为止,我喜欢我在这里看到的东西。它甚至在这个部件周围加了一些标签。而且表带的设计灵感实际上来自照片中穿着的服装,所以它在这一点上做得很好。总的来说,[喷鼻息声] 做得好,尤其是在中等努力程度下。

好吧,我不记得是什么时候开始的,但我想到现在已经过一个多小时了。我运行了一个“8秒摔跤游戏”的提示词,要求它使用Blender和Godot。它说已经有一个早期的可玩版本了。这里有很多东西已经被勾选完成。因为这是在“Extra”模式下运行的,我认为它可能会全力以赴,甚至超出我们实际看到游戏所需的程度。但老实说,我迫不及待地想看看这个结果。

让我们看看这里有什么。请记住,这还不是完全完成的版本,它是一个早期的可玩构建版。哦……[音乐] 太疯狂了!看看这些动画,做得真好。甚至那个角色模型也不错。哦,这声音太大了。但这确实使用了Godot和Blender。好吧,我们需要……呃,“I”是抓取,然后你可以控制方向。“P”是做挑衅动作。哦,看那个!噢,好吧。哦,不。按“P”键执行终结技。

好的,他……[笑声] 看那个回旋踢!太棒了。Rocket Rick很兴奋。这个动作可能稍微需要调整一下。不,我只是在疯狂点击。“H”,这不对头。就是……[笑声] 不对劲。真的不对劲。好吧,它说是“Pit Pee Hyper Smash Finisher”( pitspee 超级粉碎终结技)。我们要怎么赢?好吧。退出到标题画面吧,我想看看标题屏幕。在那里!哇!人群实际上比我们在传统胶囊中看到的通常情况要生动得多,这真的做得很好。

我是说,看看这些实际的模型就在这里。在Blender中创建、渲染并自动绑定骨架。这确实很了不起。甚至每个模型旁边都有类似手写笔记的说明,这真的很特别。接下来我们要进行机械臂测试,它会被给定一个静态摄像头角度,然后被告知需要用机械臂将Hot Wheels小车移动到垫子的另一侧。

不幸的是,这次它做得非常认真,因为它采取的方法极其有条理。基本上,它是根据计算出的机械臂坐标创建了一个小模拟环境,然后在实际操作之前先在模拟器中运行不同的动作。不幸的是,主要问题在于它从未完全成功。它会接近抓取小车的位置,并意外地移动了它——在这个测试中几乎所有尝试都发生了这种情况——但它从未成功将其完全抓起。

实际上我做了两件事。我认为在大约10到15分钟时,我将努力等级从最高或X高降到了高。然后在大约1小时10分钟时,我决定停止这次测试,因为它又尝试了一次抓取小车。不幸的是,它下降得不够深去抓住它。所以它在方法上走得很稳,其背后的实际执行逻辑我认为令人印象深刻。不幸的是它没有完成任务。我假设如果给予无限的时间和Token预算,它肯定能够完成。

我几乎在想,如果在较低的推理努力程度下运行是否实际上会更好?所以我做这个测试只是因为它很有趣,可以看到模型是如何处理这个问题的。我在Subway FPS(地铁第一人称射击游戏)测试中搞砸了,我不小心没有从Claw Code功能内部开始它。所以它试图在浏览器中完成这个任务,我只是停止它……

完全重置并重新启动。我们将以最大努力运行,请牢记这一点。好了,我们的《地铁》帧率测试已完成。我一开始就将其设为最高画质运行了大约一个小时,然后为了节省资源以便进行其他测试(该基准测试可能会占用大量性能),我将其调回了高画质。目前为止,我对所见效果相当满意。让我确认一下声音是否开启……应该已经开了。我们有鼠标灵敏度、视野和音量以及图形设置选项。“超进入车站”……是的。(轻笑)好吧,这很不错。有什么东西正从楼梯上下来,真有趣。那是灯光效果吗?我刚才在想那是什么阳光……其实不是,更像是施工用的照明灯。第九天:别让他们进来。

我们有多把武器可选,不错。(轻笑)看那霰弹枪上的木纹细节。有点泛光效果……(呻吟声)。不过我要说,这些音效比我在这类游戏中习惯听到的要好得多。让我快速看看……我分不清具体是什么声音,听起来有点像菲尔·柯林斯的鼓点?真有意思。没有弹孔,是因为子弹反弹了。好吧。(吸气声)看那里……天哪,看看里面的细节。

好了,重点来了:这效果太棒了。之所以没有让它完整运行到底是有原因的——你们马上就会明白。其实我也不是完全没跑完,只是在它跑了大约一个小时后,为了腾出资源做别的事(因为这是个可能影响基准测试结果的负载),我把画质从最高调到了高。所以实际效果本可以更好。但既然这是个常见的基准测试,也不排除它被特意优化得如此出色的可能性。不过看看这画面……我们出不去了。(笑声)他们在唱什么?听起来像歌剧一样。

看那个反射效果,还有列车加速的方式做得很到位。我们可以进入隧道……不止一点点。“天哪”。哦,他们来了。(呻吟声)以及它用瓷砖绘制的方式做得非常非常好。我要特别指出的是,音效设计比我见过的任何结果都要好得多;还有列车加速的过程非常符合现实逻辑——起步缓慢然后逐渐加快,这一点做得很好。请记住我在中途(大约一小时后)将画质从最高调到了高,因为我想做点别的。现在让我们看看最终测试。

这个最终测试是我自己想出来的,目的是做一些从未做过的事情,以确保该模型在完全未见过的内容上表现同样出色。我的要求是:制作一个基于 Three.js 的浏览器游戏,名为“吉他店狂飙”。玩家进入一家以 Guitar Center 为原型的吉他商店,可以与所有乐器互动。我希望有 realistically realistic(符合现实)的完整选品:吉他、键盘、鼓组、贝斯,每种乐器都要有逼真的多种型号。

游戏中要有 NPC 员工和其他顾客,并且每个人都有一个统一的“愤怒值”条。你使用乐器制造噪音越多,他们的愤怒值就越高;当愤怒值过高时,他们会攻击你,游戏随即转变为激烈的格斗体验。我希望拥有高保真图形风格、有趣的游戏玩法、音效和真实感。这个任务在“额外”画质下运行了超过 2 小时,并且一直保持稳定。现在我们到了总结阶段:我让它保存到本地以便实际测试,它理论上现在正在运行中。让我们来看看这款“吉他店狂飙”游戏。

需要注意的是,这个游戏有点卡顿,因为它生成了 340 个独立的吉他模型。(笑声)这里有语音提示。画质很高,我本想设为“超”,但有点担心性能是否跟得上。“欢迎来到 Shred Center。向任何店员咨询课程、培训及其他融资选项。”好吧,问题在于图形表现真的很卡。但看看它创建的吉他模型……它有命名规则,比如你可以拿起一把“Fender Custom Shop 63 Strato Blaster”。有趣的是它把 Stratocaster 的名字改成了这样。还有 Flying V 吉他、音箱等。这简直太真实了,它甚至为原声吉他设置了一个房间。(笑声)

有 Gibson Hummingbird 吗?好的,有个 J-45。还有个 Epiphone Hummingbird。(笑声)还有共鸣吉他……实际上我没看到共鸣箱吉他,但这图形效果看起来像……(音乐声)“嘿伙计,一切都还顺利吗?”所以图形质量不如预期好,但这纯粹是因为卡顿太严重了。这工作量真是惊人。(音乐声)好了,小心点……(铃声)(笑声)看这个!(音乐声)“(唱歌中)”看起来愤怒值还没满。

好吧,我需要……怎么做?哦。(笑声)“哦!这些一定是昂贵的吉他。”没错。我可以把它插到音箱上吗?实际上,我知道怎么让人生气了……这些是鼓组。(笑声)要把愤怒值堆到那么高简直不可能。好了,我们要……(音乐声)注意!(音乐声)“顾客们,情况已处理。请继续购物。”(音乐声)走到音箱并按 E 键。(音乐声)说实话,我不太懂……(轻笑)。

这是一把价值四千美元的吉他。(笑声)你可以把它们扔出去。(音乐声)“我不知道该怎么评价这个。我觉得用 Three.js 来做这件事并不是最佳选择。”所以我可能会让它改用 Blender 和 Godot(GDAU)重新构建,因为这太酷了。哦,那是经理吗?他手里拿着吉他……你可以抓着他。(笑声)“哦,这些也可以当武器用。”

好吧。我不知道该说什么了。我只是想尝试一些绝对不在训练数据中的东西,除非有某种怪人在那里为这些模型构思提示词。结果吉他被砸碎了……我要继续完善这个作品。Claude 真是……好了,关于这段视频我就说这么多。让我们看看使用情况。在这整段视频中,我们真的没有消耗多少算力额度。使用限制已经增加了——根据我们要创建的内容量以及这些内容的规模,增加幅度微乎其微。老实说,我不打算做结果综述了:这个模型简直太棒了(slaps)。如果你感兴趣,直接看视频吧。

我通常不会这么说,我会做结果概述,但这简直是疯了。这非常有趣且令人疯狂,我打算把它像这样转换到 Blender 和 GDAU(游戏开发)中,因为这太疯狂了。那确实是我的主要感受。这将结束我们对 Opus 5.5 的首次观察和测试。

我认为这个模型简直是一个游戏创作怪兽。除了前沿的大语言模型开发之外,它可能在其他方面也很出色。所以这就结束了我们的视频。如果你有任何问题,请随时在评论区留言。而我将继续回去制作那个吉他游戏。