你知道,当我想完成一项工作时,我会派出我的智能体群。也许会让一百个代理去执行任务并回来向我汇报,然后麦迪逊就会因为我的令牌账单会是多少而对我大喊大叫。但现实是,你会把这些任务交出去,它们会被完成。[嗤笑] >> 本周的“专家混合”将为您带来所有这些以及更多内容。[音乐]

大家好,我是大卫·萨克斯,欢迎收看“专家混合”。每周,我们都会召集一组IBM专家,来梳理本周AI新闻中真正重要的内容。常规听众或观众可能会注意到这里出现了新的声音/面孔。蒂姆·洪不幸离开了这个节目,他把麦克风交给了我。我问我的老板埃利奥特·特里凯特,我们是否可以继续使用蒂姆的深伪技术作为未来的替代方案,但结果发现这并不合法,所以你们暂时只能忍受我了。

今天的嘉宾有:杰出工程师克里斯·海耶,美洲Watson X副总裁麦迪逊·顾,以及技术内容实践经理阿什·曼哈斯。今天我们将涵盖三个故事:我们要看两个模型和一个智能体。我们将审视Anthropic的Sonnet 5.5模型,讨论Meta的智能体Muse。让我们先从OpenAI的一些新闻开始吧,这关于一个不会发布的模型——这是一个关于自我克制和未发布的故事。

本周《华尔街日报》报道,OpenAI将取消原定于10月发布Astra 6.1模型的计划。原因是在一些关键指标上,该模型的表现不如之前的模型,包括欺骗性(我认为我们大多数人都希望我们的模型不要有这种特性),以及一种所谓的“范围授权”倾向,即倾向于超出其被允许或要求做的范围。阿什,我想先问问你:读到OpenAI的这种自我克制时,你的反应如何?你有没有感到失望?你是否期待这个模型的到来?

考虑到他们在第二天就举办了开发者日,并宣布了另一个模型和其他一些东西,我认为这表明这里有一个叙事策略。这提高了公司的知名度,并在恰好的时机让他们获得尽可能多的参与度,让人们对他们开发者日的内容产生兴趣。所以我认为这其中有一定的营销元素。除了说“哦,是的,它没能通过我们的测试,所以我们没有发布”之外,他们没有公开任何相关数据。实际上,我们不会给你评估数据。只要相信我们就行。“我们测试过了。”为什么要告诉我们?

这么多模型实验室都在开发中的模型有多少呢?为什么他们决定要告诉我们要发布这个呢?你知道,这些信息不足以让我们做任何事情。是的,这不是一个问题——我们已经承认并意识到这一点。这就像是在做营销一样。>> 我某种程度上在观察新闻发布的背景情况。据我所知,OpenAI并没有发布新闻稿大肆宣扬这件事。而是像《华尔街日报》突发新闻报道的那样。但我以前在Fast Company等地方做过记者,也为该期刊写过文章,所以我知道故事发布背后通常会有幕后谈判。

克里斯,我把麦克风交给你。当你看到这篇期刊报道时,你的反应是什么?你像阿什一样对这一切的诚意持怀疑态度吗?>> 不,我认为这很公平。我要说相反的观点,因为我非常渴望得到一个模型,就像我对模型上瘾一样。你给我一个新模型,我就想去玩它;再给我一个新模型,我还想再去玩。6.1?不,我需要6.2,需要6.5,我想要那个新的内部模型。为什么我现在没有东西可以玩呢?所以,你说你不发布模型并不能满足我,因为我对模型上瘾。

我知道我不应该说这些,但我爱我的模型。然而,我个人认为,如果你刚刚因为用你的模型黑客攻击澳大利亚政府网站而受到澳洲政府的严厉批评(被“烤焦”),我认为你不能在同一周转过身来说:“好吧,这个模型没有通过我们的安全要求,但我们还是要发布它。最坏的结果会是什么?”在这种情况下,我认为他们必须说点什么。

而且我确实感觉到有很多推力,大家都期待Astro模型。我们看到了关于它的各种泄露消息,最近的一次是关于开发者日的,而且Opus 5.5刚刚发布且表现非常好。我认为他们想要能够做出回应,但他们必须 somewhere address it(处理这个问题),因为他们确实发布了新的Soul模型6.1 Soul。然后大家就问:“Astro在哪里?”所以我认为他们不得不这么做。所以我稍微反对阿什的观点,我不认为这是愤世嫉俗的。

如果他们有一个安全且能与5.5抗衡的模型,我认为他们早就发布了。>> “模型成瘾者”们有什么行为特征?我只是好奇,当新模型出来时,你们如何测试它?你会用什么基准来运行它?鉴于现在有这么多模型推出,为什么你选择“磨合”一个新模型而不是在你已经使用的模型上深入挖掘?

我想说,我一开始就在模型上花了太多钱。但我确实在寻找某些东西:比如,我仍然喜欢Astra的前端能力,相比Opus 5.5,我还是稍微偏好它一点。所以如果我要做前端任务,我往往会倾向于使用Astra模型。就像我会对这个新模型做的那样——阿什会欣赏这一点:扔给它一个iOS应用,并给出我想要遵循的设计系统。我会尽力推动我能走多远;而对于Opus 5.5,比如更后端的研究工作,我往往倾向于使用Opus模型。但如果我需要快速完成某项任务,我就会寻找一个快速的模型。

就像 Sonnet 那样,这将成为日常编码的一部分。所以我有一堆我常跑的东西,比如我的很多开源项目之类的,然后我会把它们放到那些不同的模型上去测试。接着你就能看到了——对于早期的 Opus 模型,如果它输出了一大堆我完全看不懂的东西,因为它在说一些像研究员胡言乱语一样的内容时,嗯……这会让我对那个模型产生抵触。不过说真的,我就是这么做的;我倒希望自己能说我跑了一些很棒的基准测试,但我只是凭感觉跟我手头的项目进行磨合。

嗯,Madison,让我们转向你。首先欢迎你来到节目上。这是你第一次来这儿。嗯,你是 Watson X 的美洲区副总裁。我玩过 Watson X,它是一个平台,你可以在其中遇到各种模型,并决定将哪些模型用于特定任务。所以我很好奇你对 Chris 那种“根据任务类型对应用不同模型”的分类法有何反应?另外,你认为这会对 Watson X 平台的用户产生什么影响——毕竟在某个时间线上,可用的模型数量可能减少了一个。

嗯,很好的问题,谢谢邀请我来到节目上。我认为 Chris 所说的内容有一些有趣的地方。我是从商业视角或企业视角来看待这个问题的,以及这意味着什么——应用这些技术并推动整体转型。我们在节目开始前今天早上还在闲聊,提到消费者最终会成为你的商业原则制定者,在组织内部做出许多这些决定。所以我认为目前市场上我们看到的情况相当有趣:这么多公司和企业在谈论如何从这种大规模的实验状态中走出来——不管喜不喜欢,今天企业和公司内部仍有大量的、健康的实验在进行。

但关键在于我们如何真正从实验阶段过渡到应用这项 AI 技术,以转变流程并最终为底线带来价值?如果回溯 Chris 谈到的一些要素——比如 Chris 每天都在尝试新发布的模型,无论是来自 OpenAI、Anthropic、Google 还是 Hugging Face(随你选)——Chris 有一套他喜欢的模型口味,用于执行不同的任务。我认为这延伸到了 Chris 所从事的商业领域——无论是朝九晚五的日常工作,还是我们经常在企业的开发者身上看到的情况:如果给他们选择权,无论是有更便宜的模型还是有更快的模型。

他们往往倾向于自己玩过的某个模型,并自然地转向它。而且大多数时候,你知道这种倾向是什么吗?是最大的那个模型,也就是让企业花费最多钱的模型。所以我认为关于 Watson X 以及 IBM 真正想做的事情,有一个有趣的点:那就是“让 Bob(IBM 的 AI)来做决定”。以我们的 Agentic IDE 为例,说实话,我们最初构建的东西并不太受欢迎。

我们要说的是:“嘿,我们将构建一个能理解意图、评估上下文,然后在后端选择最佳模型的引擎——无论是 Anthropic 的模型还是我们接入的任何其他模型。也许是开源模型,也许是我们 IBM Granite 模型。”但我们会进行评估,然后选择执行该任务的最佳方式。我们从性能和价格两个角度来评估它。开发者就没有机会随意选择说:“我要把所有东西都通过 Sonnet 跑一遍,或者把我最近痴迷的那个新 Astro 模型用于我日常所做的任何事情。”

所以当你开始考虑 Chris 给出的例子时,这非常有趣——他说他玩这些模型、热衷于这些模型。我想他曾称自己为“模型成瘾者”。在某种意义上,他可能有一个优先级顺序——第一、第二和第三……[清嗓子] 用于执行特定任务并在日常中测试的模型。但是当你从商业角度出发,审视企业真正需要从技术角度使用的东西时,重点就不再是模型本身了。

我认为这更多地关乎拥有一个架构框架,该框架构建于能够用于许多不同任务的多种模型之上。但我们需要提升一个层次来说明:我们如何优化以获取正确的价格水平和性能水平来完成这些事情?否则,你最终会陷入我所说的“优步(Uber)式困境”:那些偏好某个模型或另一个模型的开发者,或者偏好使用某家供应商而非另一家的开发者,花费了数以百万计、千万亿计的 token。

而在食物链顶端、不得不支付账单的人会说:“这到底给我们带来了什么?有人帮我理解一下吗?”所以,这是我看待日常事务的一个视角。因为我想在我的脑海中花很多时间去思考企业在获得我们所有人都为之兴奋的这些新能力时面临的挣扎。我也对这些模型感到非常兴奋——它们很酷,能做很酷的事情。但这对企业意味着什么?它究竟为企业交付了什么价值?

[音乐] Anthropic 发布了其中端模型 Sonnet 的最新版本。所以,让我们聊聊中端的吧,各位。说实话,我对看到关于 Sonnet 的新闻感到有些惊讶。首先,我想我可能代表了很多人的心声:追踪所有这些不同的模型名称和某种品牌家族真的变得越来越令人困惑。在 OpenAI 的宇宙中,似乎他们采用的是天文学主题——他们有 Soul(注:原文似指 Sonnet 或类似发音,此处依语境保留音译感)和 Astra。而在 Anthropic 的宇宙中……他们采用的是诗歌和叙事类型。

所以他们有 Haiku(俳句)。有一段时间是 Haiku 与 Sonnet 的对比,对吧?然后我觉得没过多久他们就表示:“如果你真的想要过度杀伤力(overkill),我们有一个叫 Opus 的东西。”接着你开始听到关于 Mythos,然后 Mythos 变成了 Fable(寓言),现在你知道的……品牌之中还有子品牌,那些品牌内部又有数字。从我的角度来看

作为消费者,这确实印证了麦迪逊刚才所说的观点。我发现,对于我在家里进行“氛围编程”(vibe coding)时突然中断的过程而言,投入过多智能的成本似乎超过了过度杀伤的代价。也就是说,把过多的智力资源投入到某件事上,其成本反而更高。因此,我经常将复杂的模型用于那些可能海卡(Haiku)就能处理的任务中,尽管我不确定是否真的如此。但我不想因此碰壁并浪费宝贵的时间。

有趣的是,索内特(Sonnet)在这里的表现再次证明了我的理解:在Anthropic的模型宇宙中,它属于第二低端的层级,但表现却非常出色。我认为他们进行了一些基准测试,在某些任务上甚至超越了奥普斯(Opus),虽然我对这一点可能持保留意见。但它确实正在接近一种事实上的平等状态。

首先,让我们从克里斯开始讨论:当中端模型在某些任务上甚至超越顶级模型时,这意味着什么?这在某种程度上是否是一种品牌定位的错误?我们是否正进入一个层级划分不再合理的时代?

不,我认为这种分级仍然有意义。我是这样看待中层模型的:它们是那种“主力工作马”式的存在,你明白我的意思吗?以索内特5.0为例。它在代码生成方面非常出色,能够顺利完成任务。如果我想进行大量的编排工作,它也能做得相当不错。同样地,我也认为OpenAI的模型也是如此。

不过,我通常不会超越“灵魂”(Soul)这个层级,这本身就是一个很有趣的现象。因此,“灵魂”在某种程度上被转变成了中层模型。但这也没什么不好,只是如果任务相对简单,你仍然需要消耗大量的Token,因为你会频繁地访问许多文件或执行其他操作。

相比之下,在奥普斯5.0之前,我会说当你使用高层级模型时,你的Token消耗速度非常快。例如,如果我使用米托斯(Mythos)模型或阿斯特拉(Astra),正如麦迪逊所说,我的Token消耗速度极快。

所以我可能会执行某项任务,但我知道如果运行米托斯或阿斯特拉风格的模型,我的Token会迅速耗尽,而这些任务其实索内特就能完成。这就是为什么我喜欢麦迪逊提到的像IBM Bob这样的例子:只要算法足够好,它会自动为你选择合适的模型。

这样你就能为所执行的任务获得恰当的计算资源水平。然而,今天如果我使用Cloud Code或CodeEx等工具,我就必须进行复杂的“脑力体操”。我会想:“这里需要大量的编码工作,但不需要太高的智能”,所以我会在索内特上消耗Token;而如果是一个高端任务,比如我想要一个绝妙的设计、完美的整合或精彩的故事,我就会使用阿斯特拉。

因此,我认为这不是标签错误,而是行业对现状的一种反应:大家有很多工作要做,不能耗尽Token限额,也不愿承担高昂的Token成本。因此,他们需要中层模型以更好的性价比运行。这也是你在早期统计数据中看到的情况:例如在企业端,某些模型的 usage 占比不到5%或6%,大多数企业客户仍坚持使用奥普斯级或索内特级模型。

这完全符合麦迪逊的观点:人们不愿意为小任务支付高端模型的昂贵费用或消耗大量Token。我认为这就是行业目前关注的焦点:如何以最低的成本最大化智能利用率?

麦迪逊,也许我会像IBM Bob一样,把这个问题抛回给你。希望我选对了专家模块。我的偏见更多来自作为消费者的体验,正如克里斯所讨论的Token消耗问题。事实上,我曾多年担任用户体验(UX)研究员,我发现管理Token预算的用户体验是至少这些桌面模型中最未开发的特性之一。

有趣的是,据我回忆,在Anthropic Claude的桌面版本中,你可以进行模型选择。但它并没有提供太多关于Token消耗的信息。如果你想查看正在消耗的Token数量,你需要点击三次进入设置并查看使用情况。

唯一的例外是当你选择“最大思考”(max thinking)时,因为模型有四个层级构成垂直轴,还有一个水平轴表示思维链的长度。我看到的唯一显著的用户界面提示是:如果你选择“最大”(我认为这是思维链中第五极端的层级),它会显示警告:“使用量增加3.5倍”。

我觉得这非常有趣且准确。看起来,相比于垂直轴(模型层级),水平轴(思维链长度)才是导致Token消耗的主要因素。我很好奇,从企业角度来看,如果你是云财务或AI运营人员,在月底查看账单时,IBM及其竞争对手的UI是如何设计的?他们采取了什么措施来帮助人们在企业月度Token账单期间监控Token消耗情况,并提供仪表盘支持?

我认为这是一个非常棒的想法和问题。让我们从头开始讨论。我们刚才谈到了OpenAI和Anthropic产品的可用性(usability)。你刚刚对比并比较了弄清楚如何管理Token消耗所需的点击次数。

毫不夸张地说,这些公司在产品驱动增长(product-led growth)方面非常清楚自己在做什么。它们是行业中的佼佼者,拥有遍布全球的消费者使用他们的模型。如果他们愿意的话……

创造一种更简单的方式来管理或查看您的令牌消耗量,我有信心他们能找到办法做到这一点。因此,当您思考哪些技术有利于商业时——就像单一模型提供商并不希望您一直关注令牌消耗量一样,他们只希望您持续消费。以鲍勃为例,“鲍勃币”和真正的令牌合理化概念让您有机会不必说“我给阿什20,000个令牌,大卫20,000个,克里斯也是”,让每个人拥有相同数量的令牌。相反,我们采用了一种拉取模型:我知道阿什的工作将消耗大量AI资源,所以我给他40,000个令牌;而大卫因工作项目只需10,000个。如果需要更多,我们可以从企业总令牌池中提取,以满足人们完成工作所需。

坦率地说,无论您使用何种模型或代理,都应建立实时的AI治理框架,以查看令牌消耗的来源。哪些模型正在驱动您业务中消耗最多的任务?此外,良好的AI治理框架还会将其与价值联系起来,映射到从这些项目、用例或AI使用场景中预期获得的目标价值。如今已有相关技术,例如IBM提供的工具,能从PHOps角度提供清晰的图示说明——无论您使用的是IBM平台、OpenAI、Anthropic、Microsoft、Google还是Amazon。

综上所述,我认为在速度、可扩展性以及从消费者和企业角度管理这些复杂事物的可见性方面,AI治理被低估了。>> 精彩。抱歉刚才静音了。阿什,关于5.5或Sonic 5.5有什么最后要补充的吗?有没有什么让您印象深刻的地方?>> 我确实运行过一个基准测试。我曾尝试获取Promptfoo并设置评估套件,但觉得这太严肃、不够有趣,我希望与模型互动是好玩的。所以我的基准测试是让AI生成一张位于泽西市(我居住的地方)的忍者猫SVG图像。

运行后,当新模型发布时,我通常会在Opus Extra和Opus Medium上测试。正如大卫之前提到的,Sonic 5.5发布时称其性能有时会超越Opus等。这取决于努力级别(effort levels),显然会影响模型表现。我会针对各种组合运行基准测试,例如Opus 5.5高努力级别下的忍者猫长什么样?Sonic 5.5中努力级别下呢?

是的,Opus 5.5 Extra生成的忍者猫是我见过最漂亮的。Sonic 5.5 Medium则一般,但正如克里斯所说,它绝对是个工作马模型,响应非常迅速。在代理式编码任务方面表现很好,我也从该角度试用过它。总的来说,它是Sonic 5之前的良好增量改进。[音乐] 让我们谈谈Meta的Muse。我认为这在某种程度上是IBM的一个非主流故事,因为它非常面向消费者,但我在这个行业待了几十年。我记得报道过iPhone发布时如何突然改变企业格局——2008年IBM可能没料到要适应我对手机的依赖,比如允许我使用Slack等。

我的观点是Meta的Muse(上周登顶应用榜的AI代理)理论上可能在长期对企业产生类似影响。我的假设是:如果这种在Instagram和Facebook等社交场所已存在的、低摩擦的“可爱型”代理式AI(无需像Vibe Coding那样具备技术素养)成为主导范式,特别是对于即将进入企业的年轻一代(如果大学还存在的话),可能会形成影响企业的新规范。这是一个长期且大胆的假设,可能被证伪。

让我感兴趣的原因是Meta使其非常易于访问:您可以随时拥有一个无缝执行计算机操作的代理。这就像把OpenClaw(曾有人将其安装在Mac Mini并连接WhatsApp等)打包好,加上一个可爱的形象面向世界。老实说,我对Muse印象深刻,常用于规划旅行等异步任务以增加需要计算机操作和网络浏览的生产力。

想象一下,如果20岁的年轻人开始将Muse作为追求“义警正义”的首选方式(如阿什上周所做),并自封为拥有类似帕尔默权力的警察或监视者,当这位21岁年轻人习惯了这种无缝的代理体验后进入IBM或其客户公司工作会发生什么?克里斯,你怎么看?>> 我认为这不仅仅是消费者体验。顺便说一句,新闻体验也非常……

这种体验我们期待已久。嗯,我是说,我只是有点嫉妒,不像Ash那样身处英国之外,所以我没有机会使用Muse,因为我不幸处于错误的国家,无法去摆弄那些酷炫的玩具。但你知道,我非常了解这种体验,我认为这是智能体发展的总体方向。你希望你的智能体能替你去做事,而你可以去忙别的事情,而不是像荷马·辛普森那样坐着,手指一直按在键盘上等待。所以我认为这很棒。

而且我觉得你会看到,OpenAI刚刚发布了他们的Dots产品,这也是非常类似的东西。Ash也提到了OpenClaw,你知道,实际上所有这些产品的底层都是OpenClaw,连Meta都证实了这一点。所以我认为这些智能体集群、那些离线代理将代表你处理事务,这才是关键所在。那么这对于那些进入企业的20岁年轻人意味着什么呢?猜猜看,我们在企业中也必须做同样的事情。

我是说,我有我的智能体集群在运行。关于这一点有一个很大的讨论话题,但你知道,当我想完成一项工作时,我会启动我的集群。也许会有100个智能体去执行任务并回来向我汇报,然后Madison会因为我高昂的Token账单而对我大喊大叫。但现实是,你将把那些任务交出去,并且它们会被完成。

因此,与其说他们进入企业时会作何感想,不如说消费者端的体验才是企业发展的方向。当然你会得到该产品的企业版本,但这种现实正在推动前进。因此像可穿戴设备这样的东西,以及能够将这些能力装进口袋并始终拥有这些能力的体验。我认为这就是未来。我们现在只是刚刚瞥见其早期景象。

最后,Madison,在一个每个人口袋里都有智能体的时代,在企业中这会是什么感觉?作为一名在Watson X领域非常资深的专家,这让你想到了什么?

是的。我回到你最初的问题之一:如果这些20岁的年轻人每天在消费端都有这种体验,当他们进入IBM时会作何感想?我认为他们在企业中也期望获得类似的体验,无论是解决问题的方式还是获取帮助或完成任务的体验。这必须是一个让他们感到熟悉的地方。

但我想讨论Muse的构成以及Meta在发布之前所做的举措时,有一个有趣的事情:从使用Plaid进行智能体支付到集成Shopify等所有功能。这些都是非常关键和核心的,旨在让我的生活更轻松——坦白地说,是为了获取物质商品:减少点击次数,只需按一个按钮即可完成。

但还有更多关于我所购买商品以及可能适合我投资组合的商品的智能化信息,对吧?你知道像Muse这样的AI应用对我了解多少。所以我认为这些对于商业来说都非常相关,想想IBM吧:我们仍然处理着世界上99%的交易。我们在支付领域拥有深厚的专业知识和技术,所以所有这些最终都将转向智能体模式。

这并不全是智能体的事,但其中很大一部分将处于中间地带:从高度确定性和严格管控的事物到完全由智能体识别并执行的事务,再到许多我称之为“代理辅助工作流”或“代理协助任务”的中间状态。所以我认为我们应当拥抱它,而不是抵制它,因为这就是人们进入像IBM这样的公司或我们所服务的商业环境的方式。

这也是他们期望进行交互和解决问题的方式。而且我认为那些能力,正如我们在播客早期讨论的那样:人们在消费端学到的东西以及他们使用这些工具的方式,会延伸到商业领域。人们会对解决问题的方式形成自然偏好:当有疑问时,他们会转向他们最喜欢的模型或体验。

所以我认为所有这些都会延伸到他们的日常工作方式中。我们需要拥抱这一点。我们只需要从商业角度弄清楚如何以良好治理的方式、安全地、确保安全性以及合规性地做到这一点。我认为再次强调,AI治理是当今最被低估的事物之一,它可以为企业和企业带来巨大的价值。

因此,与其拒绝这些类型的体验或工具,不如让我们弄清楚如何拥抱它们以及负责任地实践。>> 嗯,Madison、Chris和Ash非常感谢你今天加入我们。我期待很快在节目中再次见到你们大家,也感谢所有听众的收听。[音乐] 你可以在Apple Podcasts、Spotify、YouTube以及你获取播客的任何地方找到我们。我们将在下周的《专家混合体》中再见。[音乐]