本次测试仅消耗了我们每周使用量的1%,这简直不可思议,用全大写来说就是“疯狂”。这可能是一个信号。Anthropic在5.5模型家族中又增添了一位新成员,目前还剩下一个未发布,那就是Claude Haiku 5.5。这是他们最便宜的模型,历史上它的表现并不出色,因为在所有模型中,它也是最长一段时间未更新的。直到几个小时前,我们还在使用Haiku 4.5版本。

现在,这个模型似乎真正配得上“5.5”这一 designation(称号),因为我们目前看到的其他所有模型,如Opus和Sonnet,相比它们的 predecessor 都表现得非常出色。这里的一个主要结论是,它是GPT6 Luna在同类模型中的直接竞争对手,并且至少在目前的基准测试中,它正在彻底碾压GPT6 Luna。我猜想这可能会促使OpenAI推出某种形式的GPT 6.1 Luna作为回应,或者其他什么来淡化Anthropic近期模型表现极其出色的事实。

在深入之前,请随时订阅我们的频道,以便我们获得那枚10万订阅者的奖牌。让我们来看看Claude Haiku 5.5,它在这里被显著列为“专为高容量、对成本敏感的任务设计”。这是一个较便宜的模型,其性能不会像Sonnet或Opus或Fable那样强大。然而,它确实非常便宜,定价是这里巨大的亮点。

我不记得我们是否已经看过这个价格表了,但这基本上只有Sonnet 5.5价格的四分之一。即输入每百万token 0.5美分,输出每百万token 2.5美元。此外,这也是其前身Haiku 4.5价格的一半,以及整个Haiku模型家族的价格。当时有很多人猜测,这是否还会更新?还是他们打算直接放弃它们呢?

之所以这样想,是因为看看Haiku模型家族的发布历史。基本上过去三年每年只更新一次:1、2、3,是的。所以直到今天之前,这个模型自2025年10月15日以来就没有更新过。这确实是非常久远了,而其前身是在2024年10月发布的。

很高兴看到它现在得到了更新,因为Sonnet 5.5和Opus 5.5模型一直是如此强大的存在,我非常渴望看到这种能力是否也转化到了Haiku 5.5上。现在,如果我们看这里的一些基准测试数据,希望能为我选择以“最大努力”运行此模型提供一些理由。

因为虽然每个任务的成本确实大幅上升,但我们可以看到在“最大”模式和“高”模式之间运行有着相当显著的能力提升。所以这不像我们在Opus 5.5或Sonnet中有时看到的那样,可能运行在“高”模式会更好。我想看看这个模型的最大性能和能力。

这让我几乎感到有些愧疚。看图表上的Haiku 4.5那个点,简直就像是在问“为什么要这样对待它”,你知道的?他们做得太不厚道了。你知道吗,我甚至没意识到我在看这个价格表时犯了一个错误。这里显示的是4个提示词在10万token以下,输入每百万token 10美分,输出每百万token 50美分。

现在,我们今天视频中将执行的许多代理编码测试可能会让我们处于这个价格表的高位区间。然而,这相当有趣,我意识到这一点是因为我正打算快速瞥一眼模型的技术细节,我看到他们提到输入定价和输出定价是每百万token 10美分和50美分。所以这确实挺有意思的。

此外,上下文窗口为1百万token,最大输出tokens为128K。这里的信息截止日期是2026年6月。目前所有这些模型的知识截止对齐都只有几个月前,所以看到这一点很好。

首先,我们之前能运行43分钟的浏览器OS现在遇到了响应超出输出限制的问题。我担心的是,我不知道它是否会从断点处继续运行。我不确定它是否已经执行了任何操作。嗯,是的,它什么也没做。这种情况可能会再次发生。因此,至少对于浏览器OS测试,我们将尝试在“高”模式下运行它。

这里是我们的浏览器OS。天哪。好的,欢迎来到Nova。一开始就有一些小模型的味道。不过有一个大亮点:我们右下角确实有时钟和日期,且是当地正确的时间和日期。还有右键菜单。当你点击它时,会产生一种涟漪效果——我想找的词就是“ripple”(涟漪)。新的图案。哦,好的。让我们试试下一个壁纸。同样令人作呕。

好吧,基本上就是从中选一个。可能直接合上笔记本电脑走开比较好。接下来,我们还有情绪引擎刷新桌面。让我们看看我们的Gemini标志开始菜单。好的,我们没有搜索选项,所以这从一开始就是一个扣分项。这是我们的邮件应用,实际上相当功能齐全且内容丰富。

这里呈现的是我们在浏览器OS中看到的传统内容以及随机事项,比如“嘿,这周末我们去旅行吗?”我们确实得到了回应,总是很高兴看到这一点。右上角有通知。接下来,那里一直往下是GTA克隆版游戏。我要点击那个了,因为哦不,我想这是Muse Spark 1.3 Dust版本,地图是半透明的。

你知道的,这没关系,因为它是足够半透明的,我们仍然可以看清游戏的一些部分。哦,我看到一个行人了。好的。而且我们确实能够与该行人发生碰撞。这很简单。当然,这里的地图问题是一个很大的减分项,但老实说,我认为我们的测试和时间更好地用于产生更多结果,而不是修复这个特定问题。因为我们可以看到足够的游戏画面,这些车其实开起来相当不错。

操控性很好。有三辆警车正在向我们的位置移动。好的,让我们看看。它们是否会锁定在我们的位置并停留在那里?没有。所以这实际上还可以。然后我们的生命值下降了。我们能下车吗?我想我们不能。让我试试传统的按键。不行。可以接受,尤其是对于这类模型来说。

好的,我们有一个文件应用。类似于邮件应用。不错。它很基础,但还不错。它就是很基础。这会向我们展示我们的笔记应用。我们可以调整字体大小。“另存为”。好的。它只是将其保存到该系统的文件系统上,而不是保存到我们本地系统,这是可以接受的。记事本。我们刚才看到了终端。这个背景真是……真是不简单。“帮助”。嗯,好的。所以我们有大写锁定键开启了,我们可以看到

有时即使开启大写锁定,模型仍能正常工作。效果不错,这个小玩意儿看起来像颗蛋,还实现了一些巧妙的功能。我们有一个绘图应用,这实际上是一个全功能的画图程序。我对这个相当满意,它的缩放效果也很好,没有任何异常问题。我听到了一声提示音,虽然不知道那是做什么用的,但那和之前发送电子邮件时发出的声音是一样的。

不过我没有看到那些虚假的通知提示。我们可以将其保存到本地系统吗?还是说它保存在文件系统中呢?“存储已满”。这其实挺酷的,因为它将图片保存到了模拟文件系统里的“我的照片”文件夹中。表现不错。接下来是设置界面,非常简单:肉丸、等离子体和流动效果,它们都同样难看。情绪引擎壁纸会根据你的工作状态做出反应,这点很有趣,因为我不太确定该如何解读它。

也许就是这个意思吧。好吧,我们有一个情绪引擎和专注模式壁纸会跟随你的操作。Nova 会监听你活动的形态,比如每秒敲击键盘的次数、指针移动的速度以及距离上次触碰设备过去了多久,并将这些数据转化为 0 到 1 之间的实时能量值。这很有趣。哦对了,还有我们的第二款游戏,再次证明这一点其实挺酷的。

看看这个效果,它是 3D 的,起初看起来非常像复古的 2D 游戏。我对此感觉还可以,表现不错。好的,当我们的飞船被击中时的特效相当出色。“击落”。好吧,整体来说很简单。我们要记住的是,由于试图在受限环境下运行它,这并非其最大性能潜力状态。在高配和最高配置之间,其能力有了巨大的飞跃,所以这还不是它最好的表现。

在最高设置下,我们的 C++ 滑板游戏仅在不到 38 分钟内就完成了。系统提示文件在会话期间磁盘上的内容被修改了,但我没有触碰任何东西,所以我们暂且忽略这一点。那么让我们看看 Haiku 生成的 C++ 滑板游戏结果如何。我要说的是,这是针对 Haiku 类模型的测试。“哦,键盘插上了吗?”好的。它没有使用 WASD 进行移动,而是使用了方向键,这让我有些困惑。

我想说的是,这绝对比 GPT6 Luna 生成的结果要好得多。我认为很多人都会对这两款竞争模型之间的对比感兴趣。好的,我想看看能否做一个踢翻动作(kick flip),并观察滑板是否与玩家角色独立移动。刚才那个小模型的味道,指的是当技巧动作发生时整个角色都跟着动的现象。“我们可以与行人互动吗?”不行。好吧,所以这肯定非常基础,但感觉就像是我们从 Sonnet 或 Opus 那里得到的功能的精简版。

它们肯定有相似的元素,而且这又是没有依赖项的 C++ 代码,所以这并不是一个微不足道的任务。哦,还有一个回放功能。这是滑板测试模式,你可以按 Z 键来观看你完成的技巧的电影级回放。它甚至给出了轨迹线,这非常有趣。现在,我肯定认为这在某些方面还有改进的空间,所以我们会给它一些反馈,也许还会提供一张参考照片。

我给了它一个后续指令:“我在该文件夹中放置了一张参考照片,我希望你提高这款游戏的视觉保真度以及诸如滑板在技巧动作中与玩家模型独立移动这样的细节。”这里提供的照片只是 Sonnet 5.5 评测的截图,所以它显然无法完全复制出那种效果。之前的结果虽然很棒但有些怪异,让我们看看它能从中汲取多少影响,以及是否会像参考图中那样在木板路上加水。

好的,经过 23 分半钟的处理,我们得到了滑板游戏的全面改版结果。这次我们也提供了那张 Sonnet 5.5 的参考照片作为依据。“好的,我肯定看到了这里借鉴了灵感。行人的实际移动方式确实与我们之前看到的一致。”遗憾的是,我无法将这个窗口放得更大一些。这可能是我应该在后续指令中包含的一点。“让我们看看。”其中一大改进点是让滑板在做技巧时与玩家独立移动。

“哦,但是腿随着滑板一起动了。”这是我见过的最令人不安的事情之一。我的意思是,对于一款模型来说这其实相当厉害。“现在,我理解它确实获得了一张图片作为参考点来了解我想要的外观。然而,对于 Haiku 类模型而言,在那之前我会说:‘这真的很酷’。它可能仍然很酷。”“我可以关掉这个帮助菜单吗?”可以。“很好,很好。”

交通系统确实起作用了。我的意思是这真是一个灵活的个体。“啊哦”。看,我们可以回放摔倒的瞬间,而且轨迹线依然存在。我在商店橱窗上看到了一些倒置的文字。“所以遗憾的是这个模型表现不佳。”不,好吧,很好。看看这个天空盒。它确实放置了木板路,这正是我们从参考照片中得到的效果。“Ollie(豚跳),完美。”好的。

如果我们直接走进水里会发生什么?是网格碰撞还是溅水效果?溅水。“很好。”然后它只是让我们重生。啊,那个动作没有回放功能。但是行人的移动方式并不是它能自己推断出来的。“嗯,也许不是。”可能是从照片中看出来的,因为行人是由独立的部件组成的。所以腿部有多个部分,它可能从中推断出了这一点。“好吧,它们可能有某种简单的移动动画。”总的来说,我会说这相当令人印象深刻,尤其是考虑到这是该级别的模型。

让我们看看能否进行滑行(grind)。“这是我还没见过的一项功能。”“哦不,别过来,泳池派对游戏。”我试图回放那个不错的动作。“噢,好吧。有趣。肯定更好了。”即使在没有后续提示的情况下,与 GPT6 Luna 相比这也截然不同。“接下来,我把它放在 Ultra Code 上运行,因为我想至少在那里尝试一件事。”我们给它的是 Blender 和 Godot(GDAU)后院泳池派对测试任务,需要它使用这两个工具创建一个泳池派对游戏。

这是一个非常近期的项目,因此这些模型的训练数据中远不太可能包含相关内容,看看它在这个任务中的表现会很有趣。“好的。”目前,在 Ultra Code 上,它正在处理泳池派对的结果并生成子代理(sub-agents),但它只是在测试水效果和溅射效果等。“看看这个。”我的意思是,相当不错。“哦,还不错。也许那是某种屏幕吧。”好吧,我们看看会得到什么结果。但到目前为止,这看起来非常有希望。“我要暂时离开一下,因为我不想剧透。”

我喜欢看到这些第一次放在一起的样子。我们的 Ultra Code 泳池派对结果已经完成了。这是 Blender 和 GDAU。

我之所以想尝试这个,是因为它不太可能出现在任何训练数据中,因为这是一个相对较新且不同的问题。好的,后院。看看当摄像机环绕并且 L 在门前面时发生了什么。它说“后院泳池派对”。

我需要让它进行完整的旋转。抱歉,但我们要等待。好吧,我们准备好了。它又绕回来了。就在那里。等着看吧。对。第一次更有趣,但只是为了展示一下。大丁丁。米娅翻转。祖母罗西还是谢伊?选祖母罗西。哦,好吧。所以,不幸的是我不知道怎么玩这个。不过 UI 之类的东西非常像 Wii Sports 编码的界面,而这只是一个

好的,看看那只狗。什么?哦,狗也跳进了泳池。太疯狂了(全大写)。也许是个标志。接下来是谢伊。

那就像是一个三星的结果。看看水中的狗和水效细节。这真的很注重细节。我仍然不知道怎么玩这个,但我只是不停地乱按。哦,好吧。所以我们需要获得完美的泵动效果。让我退出到主菜单。我们就做个练习吧。哦,酷。我们实际上可以用空格键来泵动。哦。那其实还挺酷的。空中的

移动能力。而且当指针在黄色或绿色区域时我们需要按下空格键。考虑到它使用了 Blender 和 GDAU,这真的不算差。是的。好吧。很好。所以它对那个有反应了。那甚至看起来像选项屏幕之类的东西。我觉得它在这上面做得相当称职,除了背景着色方面之外,我认为这实际上

挺好的。水效之类的东西,狗跳进泳池,还有串灯。这个做得不错。接下来,我们要通过 Claude Code 终端应用程序全力投入测试《地铁 FPS》。这是较新的版本,当我们清除一波敌人后,我们会进入一列驶入车站的火车,这会将我们带到下一站和下一波敌人。

好吧,在 35 分钟后,《地铁 FPS》已经完成了。它在这里给了我们一个分享链接来运行它,我想这也可以吧。好的,最后一站。到目前为止还不错。哦,好吧。现在变糟了因为鼠标可能有问题,这确实是个问题,武器没有跟随移动。让我们看看是否……好吧,所以关于武器渲染的故障而不是实际的射击逻辑方面,

对于这个级别的模型来说。这一点也不差。我们应该……好的。我们有并且有右键功能。是的,看看这个。基准测试满分?不。好吧。现在火车会来了。我实际上希望这个问题能修好,因为我生气了。也许我们还可以包括对火车进行一些 overhaul(大修)。实际上它出现时并不那么糟。对于

一个 Haiku 模型来说能做到这样,是的,考虑到其影响力地位,这可能是一个相当知名的提示。哎呀。它卡住了。好吧。我已经给出了反馈,主要是关于手臂 messed up(搞砸了),然后当我们乘火车去下一站时它卡住了。然后我说增加一些细节。所以,我们看看会得到什么结果。但真的,这对于一个 Haiku 模型来说

并不是坏的结果。但是再次强调,这是存在已久的东西了。所以我想尝试一些非常不可能包含在训练数据中的内容。好吧。仅在 8 分半钟内,我们的《地铁》结果据称已经修复了。所以让我们在这个方便的小工件链接中再次打开它,我想是这样吧。现在是大问题所在。好的。它修好了

我们之前手漂浮且不跟随摄像机移动的问题。而且只有瓷砖贴图。做得很好,很干净。现在弹药轨迹留在那里相当酷,但不幸的是这也是个问题。我们还告诉它增加一些视觉精致度。我不知道我是否能一眼看出来,但我会说这 definitely 变得相当硬核了。而且弹药轨迹真的很酷。哎呀,现在又卡住了。是的,不幸的是它只是出 bug 了。似乎当火车该来的时候就出问题,这很奇怪,因为在某种程度上可以说它退步了一点。最后一件事要做是因为我们还有时间看看能把它推多远,就是给它我在控制台中看到的特定错误

然后告诉它卡住了。好吧,所以我要快速运行一下看看是否能修复我们注意到的游戏冻结问题。我只是在浏览器中本地运行它,而不是我之前尝试过的分享链接,那并没有改变冻结的情况。所以技术上来说……好吧,现在火车应该来了。到目前为止

看起来至少冻结停止了。好的,我在火车上不能射击。这很有趣。我没见过其他模型这样做过。酷。而且我们现在处于一个完全不同的车站了。好吧。我很高兴我们做了这个测试。这绝对值得花一点额外的时间在上面。然后火车离开了。我会再试一个,然后我们……哦,看。下一站也变了。

这很酷。它在火车里放了一个屏幕向我们显示那个信息。做得很好。好吧,而且到目前为止所有的车站都有不同的美学风格。我喜欢这一点。所以这本来很容易每次都做完全相同的一站,考虑到这个模型的大小我会原谅它,但它没有那样做。我想也许……哦,我觉得可能

只是有更多的敌人。

哦,好吧。然后我们看看如果我们输了会发生什么。

还有更大的呢。你在站台上死了。做得很好。三试成功。所以下一个在 Ultra Code 上,因为我想尝试一些再次较少见的东西,我让它做一个《RuneScape》2007 年 Grand Exchange(大交易所)中 PvP 的完美像素复刻。我们看看如何……哦,哇。好吧。这 definitely 可能展示了我们的一个局限性。虽然我不能完全

批评这个。简单的武器,青铜剑,它回到了这里的物品栏中。我不知道 PvP 是否一定很新手友好。还不错。好的,我没有看到任何 NPC。检查水。这是到目前为止做这个测试的唯一一个模型,它给了我们完全的新手属性。大多数都让你满级之类的东西。这是一个 3 级,有 10 点生命值。也在最大

在努力程度方面,我给它进行了传统的腕表网站测试,包括那个需要它生成表盘照片的场景。让我们看看结果如何。我们还需要一个分解视图。好的,目前为止进展顺利啊,非常好,做得不错。它有一个我们有时会注意到的问题,即表带真的非常、非常窄。但除此之外,我觉得整体效果相当不错。好吧,目前为止一切顺利,除了那个超级窄的表带之外。很好,我们也看到了它的不同元素,比如带有蓝色的钢制款式,看起来不错。

有人曾在评论中说:“手表显示的时间之所以在这里,是因为这是最具美感的方式,而且你还能看到表盘的顶部和底部。”表盘没有被遮挡。特别版99以及它们都存在一个问题,即几乎模糊不清的8,900像素用于背景。光线方面稍亮一些,但它确实从该图像中提取了表带的细节,这正是提示中要求做的,以通过照片激发这款手表的美学风格。现在我们需要看看我们的“缓慢拆解”功能。还不错,表冠实际上也出现在侧面了。

不过有点烦人的是我们无法手动与之交互。我希望能够点击并拖动,但提示中并没有注明需要这样做。不过大多数模型都能做到这一点。此外,我记得这是一个Haiku模型,所以很容易忘记这一点。有些结果我觉得对“表”来说表现不错(我本想说是手表和模型,但这里指的是Haiku)。这花了22分9秒,仅在使用Claude Code CLI中可用的最高努力级别时。也就是最大设置。

最后我给它的一个任务是这张由Gemini生成的图片,即这场拆迁德比赛(Demolition Derby)的“纳米香蕉”版本。我告诉它制作一个像素完美的复制品。此外,因为我们无法得到像素完美的复制品,所以汽车需要具备软体物理效果、不同的相机视角(如电影式、第一人称和第三人称追逐镜头)。零件需要脱落,需要有悬挂系统,并且应该使用Blender和Godot制作一个有趣的拆迁德比小游戏。这是另一个相对较新的任务,因此模型看到它的几率较小。

结果并不是很糟糕,但就像……也许把它调低一点吧。确实有悬挂系统。我们有电影式和第一人称视角的相机,我认为它在竞技场和悬挂方面做得相当不错。并不糟糕,只是汽车非常滑稽。它甚至复制了参考照片中碰撞产生的烟雾粒子效果,那些确实存在其中。所以我给它点个赞。这是一片泥地,天上有云。让我们看看能不能……我不确定我能否分辨出这里的软体碰撞物理效果。实际上,我觉得当我们倒车撞上那辆车时,保险杠只是弯曲了。

是的,所以它在某种程度上实现了软体物理效果。悬挂实际上还不错。手刹。好的,很有趣。我不知道该期待什么。无论如何,这花了多长时间?我没有看到这里列出的具体时间,但我真的觉得它没有花很长时间。1小时前和44分钟前,但1小时前可能是一个小时零十分钟。尽管如此,我认为这花了不到30分钟,而且是在最大设置下进行的。所以并没有使用Ultra Code或其他任何东西。

这是一个非常有趣的结果。好吧,我不知道该如何给这个视频命名,因为一方面,与Sonnet、Opus、Fable或GPT-6 Astra相比,结果并不惊人。然而,价格真的非常便宜。现在,促使我在标题中将“疯狂”全部大写的原因是,整个测试仅使用了我们每周使用量的1%。我在开始拍摄视频之前截取了使用情况截图,当时周用量已使用了10%。现在它会在几个小时后重置,所以我可能应该用Opus或Fable做一些随机操作。然而,每周使用量仅占1%,这非常、非常低。

这里的结论是,这个模型可能会让人们跳出来说:“是的,但在更高的推理努力级别下,它的Token消耗太重了。效率低下。”如果你看到其中一些基准测试结果,实际每项任务的成本可能比GPT-6 Luna还要低效得多。Luna的数字是六,是的。然而,我这一切都是在订阅计划下进行的,这是每月200美元的订阅计划。而整个测试仅使用了每周使用量的1%。我认为这太疯狂了。

总体而言,这将结束我们对Haiku 5.5的首次观察和测试。我认为无需传统的结果概述,因为这些任务间隔很近,完成所有这些测试并没有花费太长时间。“后院泳池派对”可能是展示其能力的最佳案例之一,因为这不太可能被任何基准测试覆盖到。这里有只狗,界面看起来不错,很有趣,只是一个好玩的游戏。我们要记住,它自己在Blender中制作了所有这些资产,并在Godot中将游戏组装起来。所以这很酷。

实际上,作为一个迷你结果概述,另一个非常酷的测试是C++滑板游戏。我们对此进行了几次不同的迭代,甚至给出了Sonnet结果的参考照片,但它确实很好地复制了那张参考照片。对于一个Haiku级别的模型来说,这简直太疯狂了。这是最先进的水平(State-of-the-Art)。我的意思是,这在某种程度上几乎可以与6个月前的状态相媲美。建筑物看起来不错,很干净,有移动效果,你可以撞到行人。

天空盒虽然有点滑稽,但我会在这里结束讨论。这个模型具有一些相当疯狂的能力,但我个人最大的收获是事实:我们所有的测试仅使用了每周使用量的1%。这太棒了。总体而言,这将结束我们对Haiku 5.5的首次观察和测试。只剩下一个5.5版本了,我们看看它何时发布。如果你有任何问题,请在评论中留言。