看,有人在溜冰。(轻笑)快走开。这就是狗看到窗外有其他狗时开始狂吠的感觉,我理解。Meta推出了他们的Fable竞品,我认为现在这更像是Opus的竞品,因为我觉得在诸多方面Opus胜过Fable。然而,这是Meta的Muse Wonder模型。另外据我所知,它也被称为Watermelon,基于之前在X平台上发布的关于西瓜的照片以及对这个模型的引用进行的预热。据称这只是一个真正的、标准的尖端前沿模型。
我非常感兴趣地想要测试这个模型,因为在之前我们对Muse Spark 1.3等模型的测试中,基准测试结果似乎并不完全反映其实际能力。至少在我们的测试套件中,这成为了我决定DeepSW S. 1.1不再能完全信任其编码能力的唯一决定性因素。所以,让我们看看这个模型到底表现如何。当然,我们会更深入地探讨这一点。别忘了订阅我们的频道,帮助我们达到8万粉丝的目标,然后冲击10万大关。
此外,我也订阅了服务。正如我们将要看到的,该模型发布了两个版本:一个稍弱一些,另一个稍强一些。为了访问更强大的那个——即Muse Wonderful版本,你需要订阅Muse Code计划。所以我刚刚订阅了每月50美元的计划,现在这里有两个同时进行的会话:浏览器OS测试v2.7和C++滑板游戏。这就是我所做的全部工作。这个模型发布才大约25分钟,就已经用掉了我在该计划中每月5小时使用量的52%,而且我的周用量已经达到17。
发布的两个模型分别是Muse Wonder,这是稍弱一点的变体;以及Muse Wonder Full,这是能力更强的版本。他们首先展示了近期发布中能力的飞跃。Meta最近确实做了很多令人印象深刻的工作,从Musepark到1.1、1.2、2以及现在的1.3,现在我们有了这里的Muse Wonder。我们可以看到它与前代相比的巨大飞跃——也就是它之前的那个版本之间的跳跃,这是一个相当显著的能力提升。
即使是Muse Wonder的全功能版,其提升幅度也非常大,仅次于Opus 55。这里还有Claude Fable 51以及Argon(目前尚未发布)。所以,大家只能根据这张图表来判断。实际上还没人真正使用过它。当然,在这篇博客文章中,我们看到了许多熟悉的传统内容,比如这里的基准测试图表。我很高兴这两个版本都进行了基准测试运行。它们都在这些模型的最高潜在推理努力下运行,表现确实非常出色。
我认为这是我们要看到的最高Deep SWE分数了。他们在这里提到了两个新概念,我在之前的模型发布中不太常看到:主动记忆(active memory)和主动聚焦(active focus)。我认为这与我们在右上角提到的即将在Muse中推动体验的功能有关。Meta一直在个人代理领域大力投入,我认为很多人非常喜欢这种代理功能。这似乎是一种交织了能力的技术,赋能更强大、更了解你的智能体。
不过我不得不质疑这里看到的用量情况——这太离谱了。我觉得我们甚至无法仅通过浏览器OS获得完整的结果。这才运行14分钟,我们就快要达到用量限制了。一开始我就有点恼火,感觉这50美元花得冤枉。Muse Wonder(那个稍弱一点的版本)的定价是每百万输入4美元,输出20美元。这很昂贵。与之相当的定价是多少?我觉得是Opus 55的价格,没错。
这正好与Claude Opus 55价格相同。那与之相当的GPT模型呢?我认为目前在这个价位没有对应的GPT模型。是的,这个价格下没有可比的GPT模型。所以GPT61 Soul的价格至少是输出token的一半,如果你想要使用这个模型的全功能版,目前只能通过Muse Code订阅来实现。我们可以看到现在有两个结果可以查看了,让我们跳进去看看我们的浏览器OS测试结果。
我真的很期待看到这里出现 fantastic 的高端结果,特别是考虑到它的基准测试表现以及它消耗了大量用量的情况下。好的,我们有Nova OS。好吧,有些动静了。欢迎界面相对密集了一些,但还不错。这大概相当于一个25美元的浏览器OS体验,我喜欢这个。这些是我们的壁纸,动态的那种。可能还是保持原样吧。不,因为这给了我一种视错觉的感觉。也许我们就用这个吧。让我们检查一下那个大的功能。
好的,没有右键菜单,也没有命令中心。所以这是我们的特色功能。好吧,至少我可以对它说话。“允许访问”。给我退款哦,好的。立即退还Muse Code订阅费。好吧,你知道的,“你为什么特别?”“我是Nova壁纸等离子体。”好的,让我们检查一下……嗯,还不错,但还没达到Opus 55的水平。我知道这只是单一测试,但它确实没到Sonnet 55那个级别,大概在Haiku 55的水平。
好吧,崩溃了。注意你的生命值。我想我们卡在一个网格碰撞器的角落里了。“我们能偷一辆警车吗?”“不行。”“我们甩掉了警察。我不知道怎么回事,但我把它开走了。”好的,总体而言,继续前进。接下来是Starfall Defender 3D。传统的类型。这个其实还不错。我喜欢小行星爆炸时的特效,那还挺酷的。表现足够胜任。“飞船被摧毁。”接下来是邮件应用。还可以吧。上面有一些Meta对应用的引用。
我还是纠结于我们的用量已经完全烧光了。“笔记和文件”。这是统一的吗?我们可以把它保存为txt格式吗?好的。好吧,有一段时间没看到这种功能了,所以这很好。
终端界面显示了一些内容,也许下面有一个值得称道的应用。76乘以6等于472。哎呀,是绘画功能。那个本来就在那里,不是我做的。这看起来像Muse吗?有点像他们的标志,挺有意思的。酷。然后我们还可以设置自定义图片作为桌面背景。不过让我们把它改回去。好的,没问题。设置和壁纸工作室。好吧,我喜欢那个……我们的绘画也在里面。粒子星云。我们还可以设置动画速度。很好。我喜欢星跃迁那个选项。如果慢一点,有点……不,还是有点奇怪。黄昏波浪强调色。好的。这会改变这里的一些元素。现在,有一件事我很想看看。好吧,看了之后就没那么期待了。生成式合成器。冷静下来。它的设计目的是在你用尽使用额度后让你平静下来。
最后,我们有欢迎界面。我们的特色功能就是刚才那个我们可以与之对话的功能,就像这样打开GTA一样好。总的来说,我将避免仅根据第一次结果就做出过于严厉的判断,我们将转向另一个我们设法得到的结果,那就是那个自包含的C++滑板游戏。所以这里……好的,这肯定比我担心的要好得多。实际上,这里有让我满意的地方,比如玩家确实在泵动(动作流畅)。我们可以与行人互动。这里有一些沉浸感,而且滑板是独立于玩家移动的。
不幸的是,这仍然与GPT不在同一个星系里。这是GPT6 Soul版本。实际上,61 Soul版比这个做得好得多。我们甚至还有一个平衡功能。我要说的是,滑手的人体模型其实并不差。我们有水坑和喷泉。让我们看看是否有典型的消防栓向街道喷水的情况。哦,好的。还有一条路。那其实是个很酷的把戏。然而,我不得不诚实地说,这些结果完全受到了……
事实的影响:这两个测试消耗了36%的每周额度,而这是一个每月50美元的订阅计划。这太荒谬了。这就是……这不是……这是垃圾。简直是垃圾。好吧,所以我打算升级这个计划。目前我们在每月50美元的套餐上,它给你的使用量是日常使用计划的20倍。这给我们提供了80倍的额度。所以,我们应该获得四倍的使用量。我们基本上会测试任何我们能做的东西,直到使用额度耗尽,然后我可能就会结束这个视频。
好的,所以在X High(高画质)上,我们将进行地铁FPS测试。这是那种当我们清除一波敌人后火车才会来的模式,然后我们乘坐火车去下一站。它在X High这里,不是最高画质。我们会密切关注我们的使用量。好吧,我不知道地铁FPS是否完全完成了,但它已经像试玩版一样运行很长一段时间了。因为我们确实需要谨慎对待使用量,我们需要小心一点。好吧,我要说这到目前为止比我之前注意到的一些滑板游戏结果要好。让我们看看敌人看起来怎么样。好的,它们有点简单。
哦,哇。好吧,这就是我花了200美元订阅这个服务后的感受。好吧,没有弹孔。然而,这是那种需要火车来接我们的模式。所以,让我们看看。好的。不错。还不错。好吧,不算太差。注意间隙(Mind the gap)。我实际上不会因为这个火车条纹的问题而批评它,比如火车的条纹覆盖了车门。我喜欢这样,因为我在很多模型中都见过这种情况。我认为一些爪形模型也这样做过。所以,好吧,让我们把音量调大,准备一下。哦,好的。顺便问一下,别问我那是什么,因为我也不知道。那个时钟是……那是一个很酷的弹药包吗?我们将再去一个站点
看看到达那里时敌人是否会变大。好的,“火车晃动”是我曾经想过会说出的句子。好的一叠文件。不错。太容易了。哦,有一个大的。好的,所以这就是……有时候我喜欢看到的是这个更难一些。好吧,让我们看看如果我们输了会发生什么。好的,“终点站”。总的来说,并不糟糕。很简单,但再次强调,我更多地专注于保留使用量。通常我会想说,好吧,不错的开始,让它变得更好些。也许我们会为这个这样做,但我也想对滑板游戏也这么做。所以我们可能会回到其中一些测试中。
“嘿,Perry,你能把音量调到最大吗?” “好的,我会为你把它调至最高。” “所以这是Perry。现在,你可能在想,Bjan,你想卖给我什么?没有。因为我想指出这一点。这是我几年前制作的一个机器人,我们最近让一些爪形模型在软件中重构了用户界面。如果任何人想构建它,这在GitHub上可以找到。它是3D可打印的。所有零件列表都在那里,基本上你可以用你想要的任何颜色打印它,然后与它对话。目前它使用
GPT实时语音AI,但你可以分叉它以在本地工作或做任何你想做的事。所以我只想展示这个,因为我认为它很酷。你觉得Perry怎么样?” “听起来很棒。很友好。听起来很好,清晰、友好且自信。有一种‘来和我一起玩’的氛围。如果你想让它更紧凑,你可以试试。” “不,我不想把它弄得太紧。谢谢。
好的,所以回到测试中,但如果有人想构建这个,链接会在视频描述中。接下来,我想尝试非完整模型版本。这是Muse Wonder 1.0。我们以最大潜力运行它,这个版本就像通过API等那样可用它在基准测试中的得分略低于完整版本,但我
有兴趣看看它表现如何,因为你永远不知道哪一个在某些任务中可能更好。希望这是Blender和GDAU后院泳池派对游戏测试,它需要创建一个后院泳池派对的场景,你可以在Blender和GDAU中从跳板上跳下来。其中一个是我们最近在一些模型中运行过的,取得了一些不同程度的成功。好吧
在9分半钟后,我们收到了使用Blender和GDAU的泳池派对结果。再次强调,这只是Muse Wonder 1.0版本,不是完整版本,但在基准测试中它们相当接近。那么,让我们现在来看看。好的,一个不错的SVG图标。(喷鼻息声)好。嗯……好吧。它在某些方面太简单了,比如也许我们需要点击一下。好的。大巴布、露娜
船长大炮或火箭小子。我想我们会选择大巴布。好吧……实际上,我并没有像你想象的那么恼火。
它的视觉效果还不错,只是我希望能像Shift那样呈现出一种舒展的姿态。好吧,哦,我们其实可以……(轻笑)让我们放点音乐吧,我们可以移动视角。(笑声)哦不。好吧,我的意思是,虽然有一些我们想要的元素,比如狗在跑动、弹跳效果等。我在想这是否意味着并非每个模型都能一次性达到完美状态,所以也许我们需要再推它一把。让我们看看结果如何。好吧,所以我告诉模型给我做一个全面的视觉升级,达到AAA级品质,我们来看看能得到什么。它运行得似乎相当快,而且这是我们第一次仅使用Muse Wonder模型进行测试,而非完整版。
大约16分钟后,我们收到了后院泳池派对游戏的更新版本。(音乐)好吧,年度郊区泼水节。老实说,我目前有点难以分辨(笑声和倒吸凉气声)到目前为止的一些改进。好吧,我们现在有了即时回放功能,还不错。嗯,我觉得它让背景中的一些NPC稍微更明显了一些。“大布巴”的肚子确实和他的名字很相称。哦,好的,天上有鸟在飞,狗也在跑。(轻笑)一只原始风格的狗。哦(倒吸凉气声),等等,(笑声)你知道吗?让我们发挥点创意吧。别问我这个想法是从哪来的。我们看看结果如何。再次强调,这里使用的不是完整模型,而是那个基准测试分数稍低但可能占用资源较少的版本。
大约10分钟后,在我脑海中闪过一个随机念头后,我们将后院泳池派对变成了一个“互殴”场景。让我们看看会发生什么。我想我们要……好吧,(哭泣声)不幸的是,画面卡顿相当严重,但这确实有点符合我原本期望看到的效果。这基本上是将我们两个备受好评的测试场景——“街头吃”和“后院泳池派对”融合在一起的结果。
做得不错,但我遇到的最大问题就是卡顿。我们掉进了泳池里,这其实挺酷的,我喜欢它保留了这一细节。我正在尝试特殊动作,我想我们要掉进泳池了。好吧,我不知道该说什么好。总体而言,它运行得非常快。看起来Muse Wonder模型(不是完整版,而是其子版本)在Token效率上非常高且速度快。这是在最高推理强度下运行的结果,这很有趣,我一时还不太确定该如何评价这一点。好吧,很酷。看来由于我的操作导致的使用量重置了。
接下来我们进行了机械臂测试,它需要将一个小橙色玩具车从垫子的一侧移动到另一侧。这个任务故意设计得很困难,因为它们只有一个静态摄像头角度,深度感知几乎完全缺失。总体而言,我要说一些好的方面:它移动得很谨慎,没有试图把自己从桌子上扯下来或像之前看到的那些带有爪子的结果那样疯狂挣扎。奇怪的是,那些带爪子的结果似乎总想逃跑。它做得不错,只是慢慢地尝试完成任务。
但正如我们在这里看到的,即使我们快速浏览一下它自己拍摄并观察的一些图像,不幸的是,它并没有真正理解:“等等,这是深度感知的问题。车辆没有被移动。”也许我应该试着搜索一下周围的情况。最终,在大约1小时15分钟后,我选择停止了这个测试。现在,这并不是全功能模型,这只是Muse Wonder在最大努力模式下的表现。我发现有时候全力投入和更高的推理强度并不一定能帮助完成这个任务。总体而言,它没有成功完成任务。然而,机械臂没有任何破坏性动作,因此对于这一点,我要说它的谨慎态度至少是值得肯定的。
好吧,其中一件事是我想要回顾的,既然使用量问题被确认为一个bug,我们现在实际上可以这样做。我基本上给这个模型的完整版(在Max模式下)提供了一个针对“滑板游戏”的后续指令,说:“这做得相当糟糕,我希望你重新做一遍。”此外,这次只给了它一张静态参考照片。我相信就是这张。我告诉它让它看起来更像这样,并且整体上要做得好得多。这是从一个全新的会话开始的,所以我打开了这个文件夹并创建了一个新会话,它没有该游戏实际创作的历史记录。我说:“让它看起来更像这样。”
现在我们在这里看到了大量的参考镜头,展示了它是如何进行的。这基本上已经持续了2个小时左右。让我们来看看这个结果吧。好吧,看看那个录制摄像头,它实际上在右下角向我们展示了这一点。我要说这里的改进是显著的、巨大的,我对所看到的内容相当满意。是的,我们可能希望一开始就能看到这样的效果,或者不至于如此疯狂的程度。但这显示了基于参考照片进行自我改进的非常有前景的能力。
这是对源图像非常忠实的复制品。看,有人在滑板。(轻笑)走开吧。这就是狗在窗户外看到其他狗时开始吠叫时的感受,我理解。好吧,这个模型让我明白了一些我自己可能永远无法意识到的事情。因此,对此我表示感谢。这绝对好多了。我们可以吗?很好。我们可以撞到车了。哦,还有回放功能还在。所以让我们试着做一个很酷的动作,然后……这绝对更符合我原本期望看到的样子。
好吧,别放弃。是的,不管怎样让我们回放一下。这个回放要持续多久?哦,好的。(笑声)这是一个很长的回放。底部实际上有一个黄色的进度条在移动,向我们展示这个片段的进展过程。回播放映中会显示那些失误吗?我们最终会发现。好吧,没有,但这没关系。那个特效摄像头,我必须说那绝对很酷。我之前没看到过其他模型能做到这一点。这确实为视频增添了一些我喜欢的元素。有人在遛狗,这里有消防栓喷水。哦,好的。你本以为我们会碾过那只狗,但不管怎样。
所以这绝对更好了。虽然我们必须给它一张来自Sonnet模型的参考照片,但那些结果绝对是惊人的。我对这个结果非常满意。虽然花了不少时间,但它复制图像的能力、加入另一个滑板手、右下角的摄像头以及鸽子飞走的方式——尤其是右下角的那个镜头,真的让我对这个结果相当满意。总体而言,当提供一个合理的源素材时,这是一个显著的改进。
接下来,我们尝试前端网站测试,要求它创建一个精美的手表网站。这次不是那个制作名为BJN特别版手表的任务,我主要关注的是模型如何生成这块普通的手表,以及它在类似前端界面中的表现。这是在Mac上使用该模型的完整版本运行的,因此代表了其最高潜力水平。让我们看看结果如何,至少基于前端呈现的效果来评判。
结果显示为单个文件。这确实不是那个带有BJN特别版手表的版本,而是一块普通的手表。我发现的唯一问题在于表带没有像侧向放置的表盘那样呈现,但这很有趣,因为数字标记的方向是正确的。例如,“12”的位置有两个标记,所以它只是把表盘侧向放置了。总体而言,从美学角度来看,这绝对不算差。有趣的是,我还注意到在地铁FPS的结果中有一个歪斜的表盘,似乎没有被纠正。
我们得到了一些相当大胆的前端效果。我也要说,这个爆炸视图看起来也不错。虽然模拟的机芯没有动态变化——我希望能看到这一点,但这也可以接受——它确实包含了一些单独的部件。让我们看看其他模型的表现如何。很好,好多了。我个人更喜欢39号而不是Slappice版本。可以接受。接下来,我给出了一个关于地铁FPS的后续提示,要求它整体大幅改进整个场景。
我没有提供任何参考照片,因此这与滑板游戏的改进有所不同。此外,这是在创建初始结果的同一会话中运行的,这也是它与滑板游戏改进的不同之处。让我们看看这个结果是否更好?我看到了一些差异……好吧,在这方面确实好多了。好的,我没有指示它这样做,只是说让它变得更好。让我们看看僵尸敌人是否有任何变化?
其中一个戴了安全帽,但不幸的是它们仍然保留了之前的特征。它只是添加了一些光晕效果等东西。如果关掉手电筒,情况就没那么糟了。它主要是重新设计了角色的服装风格,并没有真正改变它们的设计本质。哦,我想那个应该是风扇吧?我觉得它只是侧向放置了而已。(笑声)我没料到会发生这种情况,但这确实体现了对细节的关注。让我们再试一次吧。
好的,现在我们要从火车旁退后一点观察。看看车厢内部是否有什么变化……那是NPC吗?是的,确实是。看这些扶手在火车移动时实际上是在摆动的。这是我故意指出的一个细节,甚至可以说是为了捉弄人而开的玩笑。这是其他模型未曾注意到的地方。所以这是一个有趣的细节关注点,让我感到惊讶和高兴。
我们还看到了一些列车到站显示屏,显示“延误干扰”。好的,整体效果基本相同。它确实增加了一些图形改进,而且完成这项任务并没有花费太长时间,算是一次提升。那个问题又出现了吗?啊,好的。看来他们修复了使用量显示的故障。只是你并没有获得大量的使用额度。因此,总体而言,这将结束我们要对Muse Wonder的首次观察和测试。
有趣的是,似乎使用量甚至从我们刚才看到它耗尽时就已经重置了。如果存在这方面的问题,我将不再评论订阅价格与使用量的关系,因为这不准确反映最终情况。这没关系。我认为总体而言,这些结果确实展示了一些实力。最让我印象深刻的是滑板游戏的第二次迭代,当时我们给了它一张参考照片,它非常出色地复制了该场景。
甚至加入了第二视角的摄像机——我想我应该直接展示一下我在说什么,就是那个记录我们回放内容的相机。这绝对太棒了。我非常喜欢这一点,并且在提供这张参考照片后,它的表现显著更好,甚至包含了其他滑板手。这是我以前从未见过的功能。所以它确实具备某种能力,因为虽然我也给了Sonnet模型参考照片,但如果这个模型不够好,它就无法很好地复制照片中看到的内容。
我很高兴看到这个结果。此外,回放功能也很酷。总体而言,这让我对这个模型持乐观态度。另外我必须说,对于那个更易获取但性能稍弱的版本(我不确定哪个更小),这个Muse Wonder模型在Token效率方面似乎表现不错。作为初步印象,它完成结果的速度相当快。即使在最高的推理力度下也是如此。
不过我要再次指出,这里的基准测试将这两个新的Muse Wonder模型都列在了其他一些模型的领先地位。我理解它可能在美学上令人愉悦的3D生成方面并不一定是最强的。毕竟Anthropic计划潜在IPO,他们可能希望确保这些模型在社交媒体上分享的单次生成结果看起来最好,从而获得最广泛的传播和第一印象。
我理解即使我没有展示它在镜头前进行复杂的错误修复等功能,我也明白不同模型在训练重点上存在差异。然而,作为一个看过并测试过许多模型的从业者,当看到基准分数列在这里时,给人的印象是它将彻底碾压其他所有模型,包括那些单次生成的结果。但事实并非如此。我发现网上很多人表示对首次结果感到失望,甚至Meta的工作人员也提到:“我们并没有专门训练它擅长3D生成。”
我明白这一点。但在我最初查看的那个公告博客文章中, prominently listed(突出列出)的内容之一就是一个小Muse代理人在面包店做饭的游戏场景。所以,你们可以自行解读其中的含义。这也是我喜欢运行这些测试的原因……
测试之所以重要,是因为我们拥有大量参照点,用于了解其他模型在完全相同的测试中的表现。这使得我们能够客观地审视结果并表达我们的看法。总体而言,我很高兴看到 Meta 实际上具有竞争力。我认为这些模型确实相当不错,坦白说,我觉得它们在对比中显得比实际更差一些。特别是在这个案例中,它在 Token 效率方面表现出色且看起来相当聪明。
不过我要说,虽然其输入价格为每百万 Token 4 美元,输出为每百万 Token 20 美元,但与其他模型相比,我认为这个价格太高了。当然,这里提到的某些竞品并不具备可比性,但该价格与这款模型相同。而 GPT-61 Soul 的价格更低且功能强大,尽管其所属公司情况有些复杂。
关于 Meta 的积极面在于,它们是唯一一家拥有 decent(不错)开源权重模型的厂商。至少在自我、XAI、Anthropic 和 OpenAI 之中是这样。OpenAI 曾推出过 GPT-O OSS,发布时表现非常好,但那已经是很久以前的事了。Meta 拥有 Muse Glimmer,并且他们也在讨论可能开源部分 Spark 模型。因此,至少在这一点上,他们的地位依然很好,对此我非常感激。
这些模型的评价两极分化,我很有兴趣在看到更多展示结果后观察一段时间后的反响。总体而言,我认为这结束了我们对 Meta Muse Wonder 的首次观看和测试。如果您有任何问题,请随时在评论区留言。嘿,这挺酷的。感谢观看。