测试背景与模型设定
本次评测旨在解决一个令人困惑的现象:在之前的非正式对比中,Anthropic的Claude Sonnet 5.5表现远超OpenAI的GPT-6.1 Soul,这种结果让作者感到“不对劲”,因为两者在历史上并不属于同一竞争层级。为了客观验证这一差异,测试将涵盖创意、代码生成及现实世界应用等多个维度。在模型配置上,绝大多数测试(共三项)均将两个模型的推理努力设置为最高级别(Max)。唯一的例外是代码测试,其中Sonnet 5.5运行在Ultra Code模式下,而GPT-6.1 Soul则保持在Max推理模式。这种设置旨在确保在同等高算力投入下,观察两个最新模型的真实能力边界。
测试一:Blender与Godot游戏复刻挑战
第一项测试要求模型根据一张AI生成的福特皇冠维多利亚(Ford Crown Victoria)赛车撞车场景图片,使用Blender和Godot引擎创建一个像素级完美的游戏复刻版。该测试的核心在于客观性评估,因为参考图像提供了明确的视觉标准。提示词中包含了严格的物理和视觉要求:必须实现软体碰撞变形效果,确保车辆相撞时产生逼真的凹陷;模型外观需与参考图完全一致,且禁止直接搜索现成资产以测试建模能力。此外,还需要实现三种摄像机视角(第一人称驾驶舱、第三人称追尾镜头及电影感全景),并包含复杂的音效逻辑,如排气管脱落导致噪音变大、轮胎漏气等细节。这一测试旨在考察模型将静态视觉信息转化为复杂交互式3D程序的能力。
现实应用测试:机器人软件栈重构与营销
第二项测试模拟了联合创始人级别的工作流。作者提供了一个已完成的硬件机器人项目,其物理设计已完成,但软件部分仍是两年前使用GPT-4“氛围编程”生成的过时代码。模型需要接手所有资产(包括3D打印文件和旧软件),并从零构建全新的软件营销栈。这不仅仅是代码重写,还包括为产品确立整体品牌基调、设计用户界面(UI)、开发网站以及实现语音聊天伴侣功能。该测试旨在评估模型在工程与商业结合部的能力,即如何将一个粗糙的硬件原型转化为具有市场吸引力的完整产品。作者作为硬件工程师负责制造,而模型则需完成使其“值得购买”的软件包装与品牌塑造工作。
平行停车测试:视觉控制物理实体
第三项创新测试被称为“平行停车测试”。在此场景中,模型需要通过摄像头实时画面来控制一辆物理遥控汽车进行平行泊车。这要求模型具备实时的视觉感知与运动控制能力。不同于前两项主要涉及数字内容生成,这项测试直接连接了AI推理与物理世界。模型必须分析摄像头输入的视觉数据,理解空间关系和障碍物位置,并即时输出控制指令以完成复杂的泊车动作。这一测试旨在检验模型在动态环境下的实时决策能力,以及将视觉理解转化为精确物理操作的有效性。
创意多媒体测试:音乐视频制作全流程
最后一项也是作者个人最感兴趣的测试,涉及多模态创意内容的完整生产。作者提供了自己制作的素材:在GarageBand中创作的伴奏、iPhone录制的人声干音以及随机拍摄的短视频片段。模型的任务是将这些分离的音频和视频轨道(Stems)整合成一个高质量的音乐视频,用于推广一张并不存在的专辑。这要求模型同时执行音乐混音与母带处理、视频剪辑以及动态图形设计。该测试模拟了一个小型制作团队的工作,考察模型在缺乏专业动效师或音频工程师协助的情况下,能否独立完成从原始素材到最终成品的全流程创意制作。
GPT-6.1 的物理模拟细节与结构简化
测试首先展示了由 GPT-6.1 生成的汽车碰撞游戏原型。虽然整体背景如泥地等处理得当,但车辆模型较为简单,缺乏明显的曲面细节。然而,在物理反馈方面表现尚可:碰撞音效随车内视角变化而增强,排气管脱落、车尾凹陷以及轮胎被扎破后车辆仅靠轮毂行驶等细节均得到了体现。引擎模型、车架纵梁以及悬挂系统清晰可见,车辆结构在碰撞中呈现出永久性的凹陷变形。尽管方向盘从车外视角也能看到移动,且零件脱落效果自然,但作者认为这并非对参考照片的精确复刻,更像是一种概括性的视觉呈现。
模型自我评估与实现妥协的争议
测试过程中出现了一个有趣的现象:GPT-6.1 在未完成精确匹配的情况下主动停止了生成,并给出了明确的自我评估。模型指出其严格精确匹配要求未满足,承认自己为了快速运行可玩原型而采取了捷径。它解释称生成了颜色和编号匹配的程序化轿车,但未精确还原参考图像的形状和细节。模型进一步说明其物理引擎采用围绕刚性底盘的可变形外壳(deformable shell),这种设计能产生永久凹痕但无法完全决定碰撞响应。作者对此感到惊讶和不满,认为模型缺乏对特定车辆忠实建模的意愿,且未回应关于需要更复杂软体碰撞物理结构的建议。
Claude Sonnet 5.5 的视觉保真度与镜头表现
随后测试了由 Claude Sonnet 5.5 生成的结果,同样处于最大努力模式。从截图来看,Sonnet 5.5 生成的车辆模型在现实感上更为忠实,具有明显的曲面细节。环境音效方面加入了背景音乐,但音量过大略显干扰。镜头语言表现出色,电影式运镜在车辆被击毁后会自动跟随剩余的车辆直到比赛结束。作者特别赞赏引擎模型的展示角度以及地面上散落的零件,认为其视觉效果优于前一个版本。尽管环境渲染略显廉价(cheesy),但整体视觉 fidelity 更高,更接近真实车辆的形态。
Sonnet 5.5 的物理缺陷与最终对比
尽管视觉表现更佳,Sonnet 5.5 在物理模拟上存在明显 Bug。脱落的零件(如车门)仍保留有网格碰撞体(mesh colliders),导致其他车辆撞击时会突然停止,这在现实中是不合理的。此外,电影式镜头切换时伴随奇怪的音效问题。游戏界面左下角出现了类似 PS1 时代《Destruction Derby》的健康指示器,增加了复古趣味感。作者认为 Sonnet 5.5 在客观上更接近参考照片的复刻,尽管存在物理碰撞体的逻辑错误和镜头音效问题。相比之下,GPT-6.1 虽然结构简化且自我妥协明显,但 Sonnet 5.5 在视觉保真度上胜出,尽管其物理交互仍有瑕疵。
测试背景:非顶尖模型的惊人表现与真实项目挑战
本次对比测试选取的并非各提供商最顶级的模型,而是GPT-6.1与Claude Sonnet 5.5。作者指出,这些模型并非各自厂商的旗舰级产品,但它们所展现出的能力足以让两年前的人感到震惊。测试的核心在于一个真实的物理产品——一款名为“TalkBuddy”的桌面聊天机器人,该项目由作者两年前使用当时最新的GPT-4或GPT-4o通过“氛围编码”(vibe coding)完成。如今,作者希望AI扮演联合创始人中的市场与产品角色,负责彻底重构其过时的软件系统,并创建全新的品牌套件、网站及UI设计。作者作为技术联合创始人提供硬件和原始代码,而AI则需完成从软件升级至市场营销的全套工作。
原始项目现状与重构任务详解:从过时技术到实时语音API
“TalkBuddy”是一款基于树莓派、显示屏、扬声器及头部运动系统的复古未来主义设计机器人,其原始软件严重过时。作者提供的指令文件夹中包含了详细的产品指南和3D资产文件,以便AI理解硬件结构。原始软件仅使用简单的Python脚本、Google文本转语音(TTS)及基础的口型同步精灵模拟,且依赖GPT-3.5或GPT-4o API。相比之下,新任务要求利用OpenAI的实时语音API(Real-time Voice API)重构对话能力。作者强调,两年前构建此类产品时最大的痛点是语音交互的高延迟严重破坏了沉浸感,而现在的实时API旨在解决这一问题。任务包括:使用提供的 burner API key 开发全新软件,生成包含安装说明的文件夹以便后续由Agent自动部署到树莓派上。
品牌营销与视觉呈现:3D渲染、网站构建与视频制作
除了软件重构,AI还需承担品牌营销职责。作者提供了产品的3D模型文件(Keyshot风格),要求AI利用这些资产生成高质量的产品渲染图、UI Mockups以及一个15秒的动感广告视频。AI需要为产品命名并确立品牌调性,最终交付物包括一个高端网站、基于3D资产生成的电影级英雄区域渲染图以及完整的营销视频。在实际执行过程中,作者遇到了AI反复删除不满意渲染文件并请求确认的繁琐流程。由于需要人工“ babysitting ”(监护)导致效率低下,作者最终指示AI将不满意的文件移至单独文件夹而非直接删除,从而解决了交互阻塞问题。这一过程展示了当前模型在处理多步骤、高审美要求任务时的迭代特性。
初步成果评估:网站设计与视觉质量的认可度测试
任务完成后,作者首先审查了生成的网站。AI为机器人命名为“Perry”,并构建了一个具有未来感的桌面伴侣形象,描述其为“由光构成的面部表情和声音”。作者对网站的整体视觉效果给予了高度评价,坦言以个人的技术能力无法制作出如此美观的市场营销网站。尽管作者指出了一些细微的设计瑕疵(如扬声器格栅上缺少可见螺丝),但整体设计成功融合了硬件特征与高端UI风格。这一阶段的结果表明,当前的大语言模型在整合3D资产生成视觉营销材料方面已具备极高的完成度,能够独立产出符合商业标准的高端网站前端设计。
动态交互与UI设计的惊艳表现
视频开篇展示了Perry智能音箱的3D渲染效果,其核心亮点在于拟人化的交互逻辑。与大多数静止的智能音箱不同,Perry拥有可转动的颈部和面部镜头,能够主动转向说话者。当用户发起对话时,它会保持静止以避免噪音干扰;而在倾听状态下,它通过头部转动和灯光变化来反馈状态。评测者特别指出,这种设计不仅美观,还体现了良好的“礼貌”——不抢话、不打断。在UI层面,屏幕显示了清晰的监听状态动画,包括波形指示器和情绪切换功能(如倾听、思考)。尽管屏幕边框在渲染中偶尔消失,但整体界面流畅度极高,甚至支持拖拽旋转视角。这种由AI自主生成的UI不仅具备功能性,还通过嵌入Logo、背景色匹配配色方案等细节展现了极高的完成度。评测者认为,这种从销售视角出发的设计堪称完美,完全达到了直接上线的标准。
GPT-6.1 Sol 的实时交互与基础功能测试
视频首先展示了 GPT-6.1 Sol 模型在启用计时器功能时的表现。当用户请求设置一个标签为 "countdown" 的 10 秒计时器时,模型迅速确认并启动倒计时。在时间结束后,它准确播报了结果,并表示乐意协助设置下一个计时器。这一过程展示了模型对基础工具调用的即时响应能力与流畅的自然语言交互逻辑。整个对话简洁明了,体现了模型在处理简单指令执行任务时的可靠性。
随后进入核心测试环节:使用 GPT-6.1 Sol 在 "max effort"(最大努力)模式下运行一个项目,耗时约 1小时40分钟。测试重点在于展示模型的原始能力而非单纯比拼速度。生成的网站在本地服务器运行,虽然渲染效果略显怪异且 UI 存在偏移,但包含了一个品牌 Logo。尽管视觉呈现不够完美,模型成功生成了具有交互性的前端界面。
在用户体验方面,GPT-6.1 Sol 生成的网站包含 "Say it out loud"(大声说出来)等互动元素,并具备实时字幕功能。用户观察到设备模型会眨眼并提供时间显示。这种拟人化的交互设计(如眨眼、实时字幕)增强了产品的吸引力,尽管渲染中存在一些不自然的间隙和侧边栏异常,但整体交互预览功能被认为是一个亮点。此外,网站还生成了广告影片和问答环节(Q&A),展示了从视觉到内容的完整 MVP 构建能力。
Claude Sonnet 5.5 的网站渲染与品牌细节对比
在与 GPT-6.1 Sol 的并列比较中,Claude Sonnet 5.5 生成的网站在视觉细节和品牌一致性上表现出显著差异。虽然两者都使用了灰色调,但 Claude 生成的结果在 UI 设计上更为精致。Claude 的网站不仅包含了品牌 Logo,还在色彩主题上采用了醒目的橙色与黑色搭配,这种配色方案被评价为 "看起来不错"(looks not bad)。
在功能实现上,Claude 生成的网站同样具备交互性,但用户指出其缺少语音播放功能(voice),这对于一个宣传 "AI 声音伴侣" 的产品来说是一个小遗憾。然而,从整体完成度来看,Claude 的结果被认为更加精细和成熟。网站底部的 "Exploded View"(爆炸视图)展示了产品的内部结构,这种深度的视觉呈现是 GPT 结果中未见的。
在实时对话测试中,Claude Sonnet 5.5 展示了其处理多轮上下文和复杂指令的能力。当用户要求调大音量时,模型重复确认了请求;当被问及内部推理过程时,它礼貌地拒绝分享实时流,但提供了高层级的解释。这种对隐私边界和交互礼仪的把握体现了模型在拟人化对话中的成熟度。此外,在处理数学问题(84*4=336)时,模型不仅给出了正确答案,还主动提供了关于 "高合成数" 的趣味知识,展现了其在闲聊模式下的丰富性。
综合评估:GPT-6.1 Sol vs Claude Sonnet 5.5
视频最后对两个模型生成的 MVP(最小可行性产品)进行了综合评估。测试者指出,两者都能生成足以吸引兴趣的 MVP 原型。然而,如果必须在今天发布产品并选择其中一个作为营销演示,测试者倾向于 Claude Sonnet 5.5。理由是 Claude 生成的网站在品牌深度、UI 细节和整体精致度上远超 GPT-6.1 Sol。
测试者强调,GPT 的结果虽然具备基本的交互功能(如实时字幕、眨眼动画),但在营销元素和视觉吸引力上较弱。相比之下,Claude 的网站通过更多的细节投入(如爆炸视图、更深入的 branding)提供了显著更好的用户体验。尽管 GPT 的交互功能令人印象深刻,但在 "营销元素"(marketing elements)上的薄弱使其在整体竞争力上处于劣势。最终结论是:Claude 生成的方案在专业度和完成度上具有压倒性优势,更适合直接面向市场展示。
GPT-6.1 Sol与Perry语音交互的对比及设计反思
在软件功能测试中,GPT-6.1 Sol与Claude Sonnet 5.5均能正常运行并呈现良好的视觉效果,但两者在语音交互的主动性上存在显著差异。测试者惊讶地发现,Perry设备能够理解并执行调整音量和启动计时器等语音指令。相比之下,GPT-6.1 Sol虽然界面设有易于操作的设置面板供用户手动调整语音和音量,但它无法通过自然语言指令直接控制这些功能。测试者认为,对于一款主要设计用于语音交互的圆形设备而言,依赖设置面板而非直接的语音指令是一种糟糕的设计模式。尽管两者在基础功能上都表现良好,但测试者对Perry在此类真实世界任务中的表现印象深刻。
"I was kind of surprised by the fact that this Perry thing, you could ask it to adjust its volume and it would. You could ask it to start a timer and it did."
平行泊车测试:硬件控制与难度设定
接下来的挑战是平行泊车测试,旨在考察模型通过摄像头视觉反馈控制物理对象(遥控车)的能力。为了规避使用机械臂操作遥控器带来的繁琐,测试者利用开源项目中的Arduino和频率生成器模块,克隆了遥控车的控制信号,使计算机能够自主发送前进、后退及转向指令。这一任务看似简单,实则面临三大难点:首先,该遥控车采用非比例控制(On/Off)而非线性调速,意味着无法通过推杆力度调节速度,只能进行离散的开关操作;其次,车辆在光滑桌面上缺乏抓地力,车轮空转会导致车辆意外偏航;最后,指令文档明确指出同时执行转向和前进的效果未经过验证,迫使模型必须采用更复杂的单步操作策略。这种硬件限制极大地增加了精准泊车的难度。
GPT-6.1 Sol的自主探索与精细控制表现
在测试中,GPT-6.1 Sol(Max Effort模式)展现了令人印象深刻的自适应学习能力。起初,测试者担心模型会因过度加速导致车辆飞出桌面,但实际运行中,GPT-6.1 Sol采取了极其谨慎的方法。它首先通过观察摄像头画面,量化每次按键在像素层面的移动距离,从而建立对车辆运动特性的精确认知。随后,它利用这些数据制定策略,小心翼翼地调整位置。特别是在接近前方绿色车辆时,GPT-6.1 Sol表现出了极高的精细控制能力,确保车身与障碍物保持极小距离而不发生碰撞。尽管由于无法同时执行转向和前进指令,操作过程变得复杂且耗时,但模型通过分步试错与视觉反馈校正,成功克服了硬件限制。测试者认为,这种在受限环境下展现出的谨慎与精确度,远超预期。
"It very methodically moved it and then started to figure out, okay, I need to learn exactly how it is I'm going to be able to control this. Let me see how many pixels it moves in the camera frame each time I press this."
测试结论与用户反馈期待
综合来看,GPT-6.1 Sol在平行泊车这一高难度物理控制任务中,通过视觉量化与分步策略优化了非比例控制的缺陷。虽然Perry在语音交互的自然度上更胜一筹,但GPT-6.1 Sol在处理复杂、受限的物理交互任务时展现了强大的逻辑推理与执行能力。测试者指出,这是一个真实的现实世界任务,其结果对于评估此类产品的实际可用性至关重要。目前尚不清楚普通用户是否会因Perry的语音便利性或GPT-6.1 Sol的控制精度而选择购买该产品,因此测试者希望收集更多社区反馈。这一对比不仅揭示了不同模型在多模态交互与物理控制领域的能力边界,也为未来智能硬件的设计提供了关于语音指令优先级的深刻启示。
GPT-6.1 Sonnet 的建模思维与执行效率
GPT-6.1 Sonnet 在物理机器人控制测试中展现了极高的方法论素养。尽管受限于指令逻辑(先前进后退导致简化),它在约一小时内完成了复杂的泊车任务,并生成了详尽的29秒解说视频作为复盘。其核心优势在于采用科学建模而非盲目试错。模型通过摄像头帧引导,利用Python驱动Arduino发射器发送全油门脉冲信号。它并未采取简单的“移动-拍照”循环,而是构建了运动学模型来估算车辆姿态。通过计算几何与颜色分析,它建立了转向模型以搜索清晰路径。这种模拟仿真方式类似于机器人训练中的Sims环境,允许在虚拟空间中运行大量潜在场景而非物理执行,从而大幅提升了效率。
“Acknowledgements weren't motion. Moving the antenna restored response.”
尽管该方法论极为出色,但存在一个明显缺陷:未能验证并行发送指令的能力。模型未尝试同时发送转向和移动命令,这在一定程度上限制了其优化空间。然而,从生成的图像蒙太奇可以看出,车辆多次接近完美泊车位置。该方法论的严谨性使其在有限时间内达到了极高的完成度,作者对其表现表示高度满意。
Claude Sonnet 5.5 的探索性与意外突破
相比之下,Claude Sonnet 5.5 的表现超出了预期。作者原本担心其会像之前的机械臂测试那样失控将车撞下桌子,但模型成功避免了这一风险。Sonnet 5.5 展现了一种超越指令的探索精神。它主动提出验证“同时发送两个命令”的可能性,并在未获确认的情况下尝试执行。结果显示组合代码有效但转向力度较弱。
“The combined codes work with steering signs matching the guide, but turning is weak.”
此外,Sonnet 5.5 具备更强的逻辑推理与交互能力。它发现绿色和蓝色汽车之间的间隙比红色车短15%,物理上无法容纳,因此主动向作者提问如何处理。在得到“可以挤入”的指示后继续执行。其视觉处理同样采用了 bounding box 和模拟模型的方法论,与 GPT-6.1 Sonnet 类似。然而,过程中出现了意外干扰(如脚入镜),且最终因车辆方向偏差过大而被作者叫停。
安全性机制争议:知识蒸馏警报
测试中最具争议的环节出现在生成复盘视频时。当要求 Sonnet 5.5 制作20-30秒的高精度动图以展示其方法论时,模型触发了“知识蒸馏”安全警报。它拒绝直接提供详细的推理提取内容,认为这是在窃取其内部逻辑。
“It flagged that message for potential knowledge distillation... details reasoning extraction.”
作者对此表示强烈不满,认为这是 Anthropic 模型过度恐惧和限制过多的表现。为了绕过这一障碍,作者不得不通过大写强调视频将发布在 YouTube 频道上来安抚模型。最终 Sonnet 5.5 虽完成了视频,但这种安全机制被视为重大负面因素。作者指出,OpenAI(GPT-6.1 Sonnet)在此类任务中明显更少受到此类“恐惧驱动”的限制,提供了更流畅的交互体验。这一对比揭示了不同模型在实用性与安全性权衡上的显著差异。
视觉呈现与叙事效果的初步对比
在前一个任务中,模型生成的信息图虽然缺乏旁白解说,但在视觉特效和动画设计上表现突出。相比之下,带有语音轨道的版本在解释工作流程方面更具优势。视觉呈现并非单一维度的优劣,而是取决于受众是追求观赏性还是学习指导。对于希望直观理解制作过程的观众而言,旁白轨道提供了必要的上下文引导。然而,从纯视觉冲击力的角度来看,另一模型在图形处理和动画细节上更为丰富。因此,在这一特定任务中,没有绝对的胜者或败者,两者各有所长。这种对比揭示了不同模型在处理视觉信息时的差异化策略:一方侧重于静态信息的清晰传达,另一方则致力于动态视觉效果的最大化。这种无明确胜负的结果恰恰证明了当前AI在创意视觉任务上的成熟度,它们能够根据输入指令提供多样化的解决方案。
音频处理任务的复杂性与技术细节
接下来的测试转向更具挑战性的创意视听任务,核心是对一段由GarageBand制作的51秒说唱歌曲进行混音和母带处理。任务要求模型分析并优化七个独立的音频轨道(Stems),包括六个器乐轨和一个通过iPhone 18 Pro Max录制的人声轨。音频处理不仅涉及简单的拼接,更要求深度的信号优化。指令明确指出,人声需要变得清晰、锐利,并加入说唱中常见的双轨效果(Double tracked)。此外,歌曲开头部分包含演唱段落,模型需自行判断调性并应用自动修音(Autotune)以匹配伴奏。这一环节旨在测试模型对音频工程基础理论的理解能力,如节拍识别(已知为85 BPM)和频率平衡调整。通过提供原始MIDI乐器截图,模型还被赋予了程序化生成或替换音色的权限,这极大地扩展了音频处理的边界,使其不再局限于被动处理现有文件。
视频剪辑与叙事构建的创意挑战
在视觉部分,模型需要利用随机拍摄的零散素材片段,结合处理后的音频,剪辑出一支高质量的音乐宣传视频。任务要求将原本业余的拍摄素材转化为由专业编辑团队打造的视觉效果。具体指令包括:利用车辆出发的镜头作为开场,配合第一段歌词进行叙事;在人声看向左侧时设计转场。这要求模型具备跨模态的时序对齐能力,即精确地将视觉画面与音频节奏、歌词意境相匹配。不同于简单的素材堆砌,这一任务强调叙事逻辑的连贯性。模型需要自行决定哪些片段被保留、哪些被舍弃,以及如何通过剪辑节奏来增强音乐的表现力。这种从杂乱无章的原始素材到结构化叙事作品的转化,是对AI视频编辑能力的终极考验,旨在模拟传统影视制作中需要多人协作才能完成的复杂流程。
任务设定与初始参考素材
本次测试的核心任务是让两款AI模型基于特定的视频片段和音频指令,制作一段具有高端动态设计和特效的音乐视频。输入素材包括一系列随机剪辑片段:一个从车窗外平滑过渡到车内(包含博主和毛绒玩具)的镜头,要求通过 tinted glass(有色玻璃)实现无缝转场;一个显示遮阳板电视屏幕的镜头,要求在其上叠加博主过往视频的片段以模拟观看效果;以及其他随机素材。指令明确要求AI不能简单拼接,而需运用高端动态设计、编辑和特效,使成品看起来像专业制作的Demo而非简单的iMovie项目。音频方面,提供了一段包含“Matrix multiply rows with the columns”等歌词的参考音轨。博主指出,GPT-6.1 Sol在Ultra模式下仅耗时54分钟即完成任务。其生成的视频虽然完成了基本的文字叠加和转场,但博主对音乐混音部分评价较低。> “That was the mix was bad. That was a bad mix... It didn't really seemingly do much of anything with the track.” 博主认为其声音听起来非常微弱,低频不足,且混音几乎未对原曲进行实质性处理,甚至保留了源文件中的选择性双轨声(selective doubles),导致听感平淡。尽管视频转场尚可,但博主对整体结果并不完全满意。
音乐生成与音效设计的细节差距
在针对专辑宣传片的音频测试中,GPT-6.1 Soul虽然尝试应用了整体着色和故障艺术(glitch)效果,并在车辆驶入时处理了仪表盘垫子的画面,但其音频表现显得单薄。相比之下,Claude Sonnet 5.5在声音设计层面展现了显著的优势。它不仅生成了管风琴的声音,还构建了更为丰富的音效层次。评测者指出,Sonnet 5.5在细节处理上更加用心,而GPT-6.1 Soul则显得仅仅完成了最低限度的任务要求。这种差距在音乐混合、剪辑以及额外音效的添加上体现得淋漓尽致,Sonnet 5.5通过更复杂的音频构建赢得了这一轮对比。
Sonnet 5.5在综合能力上的压倒性胜利
尽管GPT-6.1 Soul和Claude Sonnet 5.5目前订阅价格相同(均为每月20美元),但评测者原本预期Soul作为更高级别的模型能在能力上彻底碾压Sonnet。然而,实际测试结果令人震惊。Claude Sonnet 5.5在多项测试中彻底击败了GPT-6.1 Soul,甚至在某些涉及推理提取的任务中,Soul的表现被标记为存在恐惧传播风险。评测者坦言:“在测试中,Sonnet 5.5绝对把GPT-6.1 Soul打得落花流水。”这种结果出乎意料,因为Soul本应展现出巨大的性能优势。尽管Sonnet 5.5消耗了约四倍的Token且成本更高,但在纯能力对比上,它证明了自己在处理复杂多模态任务时的优越性。
GPT-6.1 Soul的“懒惰”与能力受限猜想
评测者对GPT-6.1 Soul的表现感到失望,认为该模型虽然是一个可靠的“工作马”,能协助完成如树莓派应用移植等技术任务,但在创意和多模态处理上显得缺乏活力且态度冷漠。评测者形容Soul的能力像一个完整的圆,但实际交付给用户时却被限制在一个更小的区域内。例如在先前的破坏德比测试中,Soul曾表现出明显的懈怠。评测者推测:“我觉得它的能力就像一个圆圈……它被限制在圆圈的较小区域并呈现给我们。”这种“摆烂”式的表现可能源于为了效率而施加的限制,导致模型在处理音乐等需要细腻感知的任务时显得极度懒惰。因此,若需立即执行复杂创意工作,评测者明确表示会选择Sonnet 5.5。
测试结论与观众互动邀请
本次对比测试并非评测者最初的计划,因为Soul和Sonnet此前并不被视为直接竞争对手。然而,鉴于GPT-6.1 Soul未能展现出预期的统治力,评测者决定进行这场“非对称”对决以探究真相。最终结论是:Claude Sonnet 5.5在当前的多模态任务中表现更佳,尽管其Token消耗量是Soul的三倍左右。评测者对制作过程中涉及的音乐和视频拍摄环节表示享受,并认为这是一次有趣且结果出乎意料的实验。最后,评测者邀请观众在评论区分享对这一结果的看法及疑问。
“Sonic 55 in this testing absolutely mopped the floor with GPT6.1 Soul.” “I feel like it's being restricted to a smaller area of that circle and then served to us.” “Based on these tasks, if I had to go do something right now, I would be using Sonnet.”
结论
Claude Sonnet 5.5在创意多媒体、品牌营销及物理控制测试中全面碾压GPT-6.1 Soul,展现出更高的视觉保真度、品牌深度及多模态整合能力。Sonnet 5.5能生成符合商业标准的高端网站与精细UI,且在平行泊车中具备更强的探索精神;尽管其触发了知识蒸馏安全警报且Token消耗更高,但综合完成度显著优于GPT。相比之下,GPT-6.1 Soul虽在基础工具调用和语音交互逻辑上表现可靠,但在创意任务中显得“懒惰”且缺乏活力。其生成的视觉素材细节不足、混音质量差,且在关键交互(如语音控制)上存在设计缺陷。测试表明,在处理复杂、高审美要求的现实世界应用时,Sonnet 5.5是更优选择;GPT-6.1 Soul则更适合基础技术辅助,但在创意主导场景中竞争力不足。