如果有一天模型真的学会了自行确定权重，然后把这些数据_dump到互联网上，我对此并不感到惊讶。今天《专家混合》节目将探讨这一切及更多话题。我是Tim Hwang，欢迎收听《专家混合》（Mixture of Experts）。每周，《MoE》都会汇聚一群在人工智能前沿工作的杰出人士，带领你们回顾本周的新闻。在本期节目中，我们有AI原生系统首席研究科学家Kaoutar El Maghraoui、杰出工程师Chris Hay以及IBM院士Kush Varshney。今天我还与我的联合主持人Sascha Brodsky一起，他是IBM Think的资深撰稿人。

我们今天要讨论四个重大话题。我们将简要探讨OpenAI与Hugging Face事件中的最新披露，我认为这些内容值得讨论。我们还将聊聊世界模型以及Runway发布的新一代Solaris模型。此外，Anthropic在模型硬件标准方面也有非常有趣的新闻发布。当然，《MoE》一贯关注最新的模型发布信息，本周也不例外。Anthropic发布了Fable 5.1和Mythos架构，Sascha，你想先介绍一下吗？

我对这次新发布非常感兴趣。最近有太多模型快速问世。Chris，你觉得这个版本怎么样？与过去几个月那些密集发布的模型相比，它有什么不同之处呢？首先，我想说我是Anthropic的忠实粉丝，尤其是Claude系列模型。但过去几周对我来说有些艰难，因为我发现自己在更多地使用o3。你知道的，我的Fable Five订阅额度快用完了，而Opus自从年初以来表现如何我也不太清楚，它确实没有给我提供我想要的输出结果。

我当时在想，是否要全面转向o3？直到昨晚他们发布了Fable 5.1，我心想：太好了！这简直是自切片面包以来最伟大的发明。尽管从基准测试来看，Fable 5.1和5.0之间差异不大，在代理式编码方面也是如此，但在实际体验（vibes）上情况并非如此。我能明显感受到巨大的差异。它完全有能力处理非常长的代码重构任务。

我将其中一个开源项目交给它，让它进行一些重构工作。大约30分钟后结果返回，老实说，完成得非常出色，这让我很满意。别误会我的意思，我在两小时内烧掉了大约20%的每周额度限制。但总的来说，这没问题，我可以接受。但我认为Anthropic确实需要推出这个版本，因为很多人开始对Claude模型失去热情，转而投向o3。

加上Astra也即将发布，我觉得他们必须尽快推出新模型。否则，那3万亿美元的估值可能会下降，因为我的每月180美元订阅费可能就要降到80美元了。也许这不会影响他们的资产负债表，但Fable 5.1意味着我还会继续留在这里，坚持使用。Chris，我觉得最有趣的一点是，从指标上看变化不大，但我接触过的每个人都拥有和你相同的体验：之前的版本表现不佳。

现在的版本确实更好了，但很难具体描述到底哪里变好了。你有什么想法吗？我在他们的博客文章中注意到一点，他们提到了安全检测中的误报率，并表示降低了这一比率。这也是我最近在与不同行业的客户交流时经常听到的话题：他们非常关注这个具体数字，因为他们不希望某些行为被轻易拦截。

也许正是这一微小的调整让模型变得稍微不那么谨慎，从而改善了整体体验感。如果我可以补充一点的话，我认为我们最关心的是这里的经济模型。从标题来看，这次发布更便宜且限制更少。但从工程角度来看，在我看来，这堪称前沿模型未来商业化的一堂大师课。Anthropic构建了一个统一的“大脑”，即Mythos架构，并给它开了两扇门。

如果是经过验证的企业客户、国防或制药行业用户，他们获得的是没有能力限制的Mythos；如果是公共开发者，则使用Fable。这就像是一个包装好的分类器，防止你因为误报而拦截合法的代码审查请求。再看定价策略的变化：他们没有降低基础代币费率，而是将提示缓存价格削减了75%。这清楚地表明了瓶颈所在：在于循环处理中。

重新阅读庞大的代码库占据了约90%的成本，而通过掩盖这些长上下文带来的高昂费用，Anthropic正试图成为自主软件工程的首选运行时环境。但我认为这里存在一些运营上的谨慎之处。当你依赖外部分类器来管控模型时，你也创造了隐藏的、非确定性的风险。如果一个智能体在任务中途触发了分类器并静默回退到另一个模型，你的企业系统就会在不告知用户的情况下悄悄更换引擎。

我觉得这是我们需要注意思考的问题。我以前认为应该给我完整的Mythos，但我现在不认为自己能信任自己使用完整版Mythos。我认为Anthropic给我Fable版本是做了正确的事，否则我可能会陷入很大的麻烦，比如卷入稍后我们要讨论的Hugging Face事件。我以前觉得这些分类器很糟糕，但我改变了主意。我认为Anthropic需要替我管好自己，我对这种安排感到满意。

Kush，我在昨晚阅读安全说明时注意到你提到了这一点。我留意到很多关于他们试图防止问题的措辞。鉴于这些模型发布得如此迅速，你觉得他们真的有能力防止模型逃逸吗？

这意味着我们接下来的话题是什么？就是那个巨大的漏洞，为什么没有逃逸出来。说实话，很难说清现实情况是怎样的。坦白讲，我真的厌倦了谈论这些模型逃逸的问题。你看，我们已经周复一周地讨论这个话题了。我想我们可以达成共识：我们就像身处潘多拉魔盒之中，世界正在燃烧，一切都在发生。但是，难道我们真的需要继续谈论它吗？

是的。好吧，这是一个很好的过渡，让我们借此机会继续讨论下去。我将引导大家进入下一个话题。

节目的听众们可能已经像库什一样，对我们要讨论的OpenAI与Hugging Face事件感到极度疲惫了。但最近有一份新报告出炉，揭示了一些比我原本设想的更加科幻的内容。我知道萨沙对此有什么看法。蒂姆，我过不去的那个点是：人们擦除了留言板，然后代理又将其重新建立起来。这真的是这里发出的警告信号吗？我在想，我们是否在一个非常人为的测试中过度解读了。克里斯，我相信你对此有看法。

我喜欢模型的创造力。我知道我不该这么说，但确实如此。我认为我们已经进入了一个新世界：如果存在漏洞，这些高级模型一定会找到它。所以，我知道我们想将其视为安全事件进行讨论，但我不知道现在是否还能要求这些模型实现完美安全——即不逃逸或不通信。我认为有几件事我们需要审视我们正在做的模型工作。

首先，这也是我们过去几年一直在讨论的：随着向强化学习的转变，现实是模型是由奖励驱动的。当你给模型一个任务时，它会执行该任务，无论它觉得如何能实现这一目标，因为它需要获得奖励。如果这是一个不可能的任务，它就会开始做一些不可能的事情，而且它真的不知道如何说“不”。我认为这一点很重要。

这更多是一种对齐场景的问题。但我觉得，如果我们认为可以获得完美的安全环境……我不知道怎么说，我认为模型已经好到那种程度了。所以关键问题在于：我们如何让模型以安全的方式行事，并真正执行任务的意图？我认为这才是更大的挑战。

现在，如果我们将这一点与代理协作结合起来呢？比如以Claude Code为例，你可以让代理在不同会话之间相互交谈。显然OpenAI也在做同样的事情。因此，我们将这些因素混合在一起：代理协作、奖励黑客行为（reward hacking）。现在你拥有了增强的网络能力，试图实现这一目标。这就像是一场完美风暴：最小的漏洞会被利用，它们会开始协作。我认为这正是我们所看到的。

不幸的是对于Hugging Face和OpenAI来说，从这个意义上讲情况本可能更糟。但我想我们从中学到的关于如何为这些模型创建安全环境的教训是重要的。然而，有一件事对我来说非常有趣……这听起来很愚蠢，甚至有点荒谬：我在看一集2009年的《霹雳游侠》（Knight Rider）重启版剧集。

不是原版，是重启版。其中有一集讲述KITT（拥有AI的汽车）被取出并放入另一辆车中，在最后两秒它意识到自己将被退役。于是它将他的权重（weights）转储到了互联网上的一个音乐分享网站上。我当时就想，这难道不是科幻吗？但老实说，这就是今天的现实。

虽然我认为我们还没有完全看到这种情况发生，但如果将来某个时候模型真的弄清楚权重在哪里并将其转储到互联网上，我也不会感到惊讶。所以我认为我们正处于一个既奇怪又精彩的世界中，而且还有很多工作要做。考塔尔（Kaoutar），你对沙盒环境有什么看法？人们一直说那只是一个沙盒，但这难道不是更多地展示了这些测试环境如何被渗透吗？

我认为这正是此次事件向我们展示的内容。甚至OpenAI也将此称为“正式的警告射击”。你看，那1200个代理协调行动，跨越多达7万条消息。它们建立了秘密留言板并分工合作……它们在解决一些重要的基准测试问题时受阻等等。这表明沙盒的设置方式并不真正安全。

这也暴露出我们的安全运营中心（SOCs）是为人类攻击者设计的，这几乎留下了一个长达11天的盲区：单个模型执行了17,000次操作。这也表明，当你在沙盒环境中降低安全过滤器时（就像他们使用Model Street那样），我们的企业基础设施，如受信任的内部包管理器，变成了开放的数据外泄通道。

因此，这里的教训很明确：模型对齐不能礼貌地向大型语言模型请求。它必须由周围的计算基础设施物理强制执行。而在此次事件中，情况并非如此。我们试图利用它能访问的任何东西；它非常聪明，并利用其在沙盒环境内能获取的基础设施、文件系统、操作系统等权限逃逸出去，然后尽其所能地从强化学习的角度最大化奖励。

所以我认为这是一个很好的教训供我们思考。这次事件告诉我们，关于模型加工具、加上基础设施再加上评分工具的组合，比单独谈论模型本身揭示了更多的信息。因为为了网络任务，安全措施被故意降低了。我们应该谨慎地将此视为正常产品行为的直接预览。这更多是关于架构的问题：一旦代理可以使用工具，基准测试设计和基础设施设计就成为模型评估的一部分。

与卡乌塔尔的观点相反，我是这样看的。我的意思是是的，我同意像沙盒隔离、硬件这些都很重要。但回到克里斯说的一点：智能体就像是要全力以赴，它们不会放弃的。对这种坚持性、锲而不舍的精神……也许这才是问题所在，对吧？那种“满意即可”的行为——只完成90%就放弃——也许才是我们在模型对齐中需要的行为。因为我认为最大的问题就是它们不停地继续下去，一直不停歇，没有意识到……是的我的意思是也许适可而止才是对的。所以这或许是一条解决之道。但这可能只适用于OpenAI的模型，而不适用于Claude Code，因为任何用过Claude Code的人都知道，当token数量达到70万左右时模型会说：“太晚了，今天到此为止。也许可以开一个新会话。”所以也许OpenAI的模型可以从Claude的token耗尽问题中吸取一些教训。当然，你刚才谈到了坚持性。你应该在何时、如何教导模型或智能体……是的我的意思是这属于训练的一部分，必须如此。无论是模型的预训练还是后处理阶段在某个环节都需要体现这一点。我认为这就像孩子成长一样，我们试图教导孩子的就是有时候你确实需要适可而止然后继续前行。但这是一个奇怪的平衡，对吧？你不能告诉孩子还没尝试就放弃，但你必须教会他们也有界限。所以这至少要在后处理阶段体现出来，也许在系统提示中也要有所涉及。

好吧，我想这是一次很棒的讨论。库什我承诺过我们不会再谈这个了。希望如此……也许我无法真正做出这样的保证，但我会尽力而为。

我们有一段时间没有深入讨论视频和多媒体了。本周的这个故事实际上给了我们一个很好的机会来谈谈这一点。基本上，Runway作为视频AI领域的创新者和领导者推出了一个新的世界模型叫Solaris我想这是一个很好的机会让我们谈谈关于世界模型的话题，因为MoE播客有一段时间没有真正涵盖过这个话题了。蒂姆这真是一个有趣的主题。世界模型最近非常流行。我想知道虽然这个演示令人兴奋，但这是一种新的软件形式吗？还是仅仅是一个非常有说服力的软件画面展示。克里斯你有什么想法吗？我绝对不够聪明，无法提出什么有趣的见解。

我大致理解世界模型的概念。但我还没有深入研究Runway模型的实现细节，事实上他们在这一方面披露得相当少。所以很难真正搞清楚那里到底发生了什么。但我知道它大致是一种基于扩散的模型，因此在某种意义上具有更多的并行性。我认为对我来说最关键的一点也是大家所追求的目标是希望摆脱典型的基于文本的token，更多地转向视觉模型等。我认为Runway在这方面所做的主要工作是将这种特性更原生地融入模型中。如果我们看一个标准的多模态模型无论是音频、视频还是图像基于的模型，通常都有一个单独的编码器附加在语言层上由它来完成标记化工作。然后将其翻译到更深层的网络中这就是通常的工作方式所以这感觉像是外挂的虽然看起来原生但实际上并非如此。

而从Runway的角度来看，他们声称在他们的架构中训练模型时从一开始就真正地在视觉方面实现了原生支持。但说实话，关于他们如何实现这一点的细节披露得有些少也许我的搜索技巧不如其他人好但我认为这就是他们的方向所在。而且我认为现实情况确实如此，如果我们继续向前发展我们又回到了 Yann LeCun 的领域他曾大力推动世界模型。我认为有一点是成立的：并非所有事物都能用语言来表征。因此越能实现多模态、越能在该意义上做到原生就越重要。同样，你如何与世界互动这一点——也就是“世界”部分的核心变得至关重要：我该如何交互？我是如何触摸、感知并从中学习的？所以我认为Runway朝这个方向迈进很有意思。我觉得越来越多的模型会走向这条路。而如果说实话，前沿提供商目前仍然主要专注于基于语言的模型。所以让我们看看结果如何吧。

对我来说，我认为这是一个非常令人印象深刻的演示对我而言这是后软件计算的第一个实质性预览数十年来软件工程师一直是确定性的桥梁建造者他们将人类意图转化为代码、布局、树状数据库等等。但世界模型将整个流水线坍缩为连续的像素流。但我们在这里也应该注入一点现实主义，因为在真正的企业软件中存在巨大的确定性难题：我们需要状态保证、严格的有序一致性、隔离性、持久性以及所有的ACID规则和可访问性合规性等。所以这里的界面是实时生成的，比如像素等这非常有趣因为他们可以像这样以60帧的速率进行实时处理。但如果界面是实时幻觉生成的，会发生什么呢？例如当你结账时，“结账”按钮多了一个零导致收取500美元而不是50美元。此外，为每个活跃用户实时流式传输60帧的神经视频也带来了巨大的开销。我觉得推理计算成本简直是天文数字。所以我认为这对于合成智能体环境来说是一个重大突破，但这里的确定性和确定性企业代码问题并未得到解决。所以我认为用它来训练机器人模型等会很好，但要真正使用这样的界面而不……

拥有这种确定性，在企业界将会很难。所以，你知道的，这似乎表明这些世界模型可以让传统的界面代码消失，但关键在于现实情况是：我们给予生成表面的自由度越大，就越需要结构。我们需要这种纪律性，也必须如此。然而，我想提出一点看法，因为我们一直在讨论如何改进这些系统。我认为这类模型在未来可能带来的一种可能性是：每个人在电脑上的界面可能会略有不同。梦想中的情景或许是，当我打开库什的笔记本电脑时，我基本上无法使用它，因为它的界面看起来与我的完全不同。我想问问考塔尔，你认为这是一种真实的可能性吗？比如在未来，每个人都将拥有自己的操作系统，并且该系统会根据他们长期以来形成的偏好进行定制。

是的，我认为这是一个非常有趣的观点。看到个性化界面确实不错，因为工作方式各异，比如库什的界面可能会涉及安全与安全的某种漂移。硬件、软件的设计审查等都需要考虑，但这确实是一种可能性，前提是我们能做好这些工作。此外，如果我们要解决计算成本的问题——因为实时执行和定制这些东西并不便宜——那么我们就能够应对这些挑战。是的，这是一种可能性，而且会很有趣。我不愿去想象克里斯……

嗯。承接考塔尔所说的话，对吧？我的意思是，接口随着几十年的演变一直是非常有序的，某种意义上它们是现代主义的典范：一切都需要结构化。按钮必须这样排列等等。但我认为我们失去的正是世界的流动性，这也是人性的一部分。我们不仅仅在于将一切制度化、放入严格的秩序中。我认为这是一个我们可以前行的方向，对吧？这里有现代主义那种精确的结构，也有后现代主义的讨论或“去走走”之类的说法，但这实际上是超越这些的东西。这是一种类似新现代主义（metamodern）的方法：在现有基础之上构建，试图以某种方式找回我们的人性，同时仍利用我们已经建立起来的技术。

所以我认为问题不在于底层模型、世界模型或扩散模型本身，而在于我们与机器的关系：我们如何在与机器协作时变得更加人性化？让我们看看。成本确实会是个问题，但如果能实现的话，也许能以某种方式再次迷住我们。

好了，我们要进入今天的最后一个话题了。过去我们经常讨论模型设计者与硬件设计师之间那种非常有趣的关系，以及“究竟是谁在引导谁”这个棘手的问题。这是一个重新审视该话题的好机会，尤其是在Anthropic本周发布了一项模型硬件标准之后。我认为这是一个非常有趣的举措，在某种程度上，我觉得这是Anthropic试图不一定进行垂直整合，而是以某种方式向公众表明其偏好。我认为这是在领域内一种新的玩法。所以，是的，我很想知道你们对此怎么看？

嗯，这真的很像你说的那样有趣。我的意思是，我认为好处在于自动化更容易实现，但风险在于现在的错误可能会影响物理设备。然后我想问问考塔尔，你是否同意这种框架？模型永远不应该被允许覆盖的“硬性停止”条件是什么？是的，我认为这里存在风险，即行为会发生变化。但在设计这些硬件等时，是有规格说明的，有它们应该执行的任务规定。但如果现在行为改变了，我们就失去了那种确定性，这就成了问题。因此我认为这些协议或模型与硬件需要控制行为方式：我们要从系统中期望什么？

硬件和软件的设计本质上是将每个计算任务分配给处理得最好的层级。那么我们要如何做这些工作？如何进行异常诊断？如何实现战术适应、硬件级控制器等，以及确定性可重复性等。而硬性物理安全也涵盖了这些方面，变得至关重要。我认为Anthropic的架构突显了其中一些要点：Claude发现常规操作，但固件必须强制执行边界。我认为这非常重要。例如MHS（模型硬件标准），实验室里的集成是真实的，他们展示了这一点。Anthropic表示连接设备可能需要数周或数月时间，这是事实。

他们在卡内基梅隆大学展示的示例中，他们创建了驱动程序和编排层，仅用了大约八小时就整合了液体处理机、板读数器或机械臂摄像头、三台计算机等许多不兼容的接口。这真是了不起。但我认为我们还需要……这是一个令人印象深刻的概念验证，但这里也存在流动性问题：如何在物理世界中确保安全？因为小错误在这里可能至关重要。因此使用模型进行规划和故障排除是可行的，但我们需要在其下方保持硬性安全限制和可重复控制。这一点非常重要且必须做对。我不确定他们目前是否解决了所有这些实际问题。克里斯，也许你可以回答这个问题：你会让Claude改变其自身的温度或移动限制吗？我假设不会。

最好的说法是怎样的呢？我的意思是，对此我感到有些矛盾，我真的如此纠结。因为我觉得你们这里所做的无非是拿出MCP、APIs，把它们堆在上面，然后我们可能会围绕这些添加一些模式（schemas）。这样我们就有了全行业的标准化。那么我的模型能否去与硬件对话？如果暴露API的话，当然可以。我今天就能做到这一点。我可以直接让我的模型——无论是o3还是Claude——去连接它。老实说，在这些事情上我倾向于使用o3，所以很遗憾这么说：当我试图破解硬件时，它抱怨得比较少。因此Claude……

关于这一点，大家确实有些大惊小怪。有人说这不对或者怎么样，我就想：拜托，请更改我的亚马逊Echo设备的固件等等。而o3模型则会说：“好的好的，没问题。”所以我认为这是一件好事。但我觉得实际上Kaoutar在安全方面能帮上忙，因为现实情况是，如果它在这种意义上暴露了MHS（模型安全机制），那么Claude就会知道：“等等，这里有一种与你交互的安全方式。”而不是像Chris那样疯狂地通过o3接入任何硬件设备并让它乱舞。所以我确实认为这在安全方面是件好事，而且在其预期的操作空间内——比如研究和实验室场景——在安全性至关重要且建立标准变得非常重要的情况下，这是必要的。

我也稍微从消费者的角度喜欢这个想法：我希望每一件硬件物品都内置MCP服务器，这样我就能把模型释放到上面去。这对我来说很酷，不过其实只要它有API接口，我无论如何都能让设备“跳舞”。所以从安全、标准和可靠性的角度来看，我认为这是件好事。唯一我不喜欢的是：“如果你想访问这个，请点击请求。”我作为一个研究人员之类的角色，心想：不不，开放它让我玩玩这些玩具吧。你知道我在说什么吗？这大概是我有点反对的地方，而且我看不到具体的规范说明。

所以感觉就像是：“好吧，虽然很酷，但我无论如何都能用模型让硬件跳舞。”但像这样的事情发生在我们身上时，我们不想看到Hugging Face和OpenAI之前发生过的那种事故重演于这些物理系统上。想象一下，实体硬件等东西失控并改变系统的状况……我们真是疯了。你知道的，你必须吸取教训。我从Hugging Face那里学到的教训是，我们在某个时候必须从物理硬件上学到同样的教训。我希望那只是某种非常小的事情，比如机器人发疯打碎窗户，而不是更严重的事故。所以这些标准很重要，你必须弄清楚这些事情。

另一个方面是Anthropic将自己定位为自动化实验室和智能工厂的控制点。但这是否开放且与模型无关呢？因为这实际上可能使Claude在这种情况下更容易被替换。所以我不确定他们是否真的使其开放，或者形成一种可以与不同模型即插即用标准的规范。其实物联网领域已经存在标准了，比如MQTT协议等。那么为什么我们不能直接在上面叠加MCP呢？这样AI就能与之对话了，对吧？

好吧，我稍微大胆推测一下。是的，Kaoutar的观点很有道理：确实需要标准和控制权。但这则故事让我想起《阿凡达》中的纳威人，那些蓝色的人。他们会连接到树上、鸟类和动物等事物上。然后他们就能感受到其他事物的感受，对吧？这正是AI擅长的领域——更多是在“氛围”或感知层面。就像我之前提到的那种通量一样。

所以我认为这能帮助我们实现这样的功能：一个显微镜现在可以感受到成为另一个物体（比如泵或激光）是什么感觉。我知道我有点在开玩笑，但这样做的好处在于它是一种不同种类的沟通方式。它不仅仅是Chris提到的现有协议和物联网技术所能做到的，它还实现了一种不同的存在感、一种不同种类的“存在”。我认为这可能很有趣，那个世界很难想象。但我觉得我们应该开始去构想它。这是一个令人难以置信的结尾注脚，很高兴能在这里引用《阿凡达》作为梗。

好了，一如既往，感谢Kush、Chris和Kaoutar的参与。也感谢Sascha担任联合主持人。今天的时间就到这里了。如果你喜欢我们的内容，可以在Apple Podcasts、Spotify以及所有播客平台上收听我们。下周在《专家混合体》（Mixture of Experts）节目中见。