视频标题：IBM专家解析OpenAI Dots与Meta Muse等“常驻型”AI代理的发布及其对自动化边界的探讨
你能可靠地交出多少控制权，然后就不管了？在某些情况下，它必须向你寻求许可。所以如果它不断回来问你获取权限或要求更多澄清，那么你就没有真正委托出去。本周的“专家混合体”节目将探讨所有这些内容以及更多话题。
我是David Zax，欢迎收看“专家混合体”。每周我们都会与一组IBM专家坐在一起，讨论本周的AI新闻。我今天的嘉宾是前部署工程师Utsav Dholakia、高级研究科学家Skyler Speakman以及IBM院士Kush Varshney。欢迎三位嘉宾来到节目。今天我们将会讨论几件事，我们将探讨AI如何大规模地进行数学运算、一个做工作面试的机器人，甚至还会解释这个节目名称的含义。但首先，让我们谈谈OpenAI如何想要给你一个永不登出的代理程序。
大约一周前，OpenAI举办了其开发者大会（DevDay），并推出了一种名为Dots的产品。在上周的节目中，我们讨论了Meta的Muse，这是一种 relentless（不知疲倦）、始终在线、持久存在的代理程序，某种程度上让人联想到一年或两年前让所有人感到恐慌的OpenClaw。而现在，这种不知疲倦的特性已经来到了大型实验室手中。Utsav，你当时在开发者大会上，我想你也亲手体验了一下Dots，当然也看到了Sam Altman等人的演示。你对Dots的印象如何？
是的，谢谢David。我当时在场，能真切地感受到现场的能量氛围。那是他们的主要发布产品。当然，也有工程师会谈论代理程序的持久性特性。我们在市场上也见过其他类似的产品。OpenAI拥有的有趣角度将是其云环境，即Cloud上的Codex，以及随之而来的个人电脑使用功能。虽然这可能也是可用的选项，但他们拥有强大的生态系统，工程师和开发人员都嵌入其中。每个人都通过ChatGPT知道OpenAI这个家喻户晓的名字。因此，他们带来了自己的声誉优势。
就我玩弄Dots的体验而言，它们能够很好地维持对话。它们能够管理任务，你可以向它们委派工作。但我现在更想测试的是，你实际上可以委托多少工作，而不需要在事后进行协调？在其中一个演示中我们曾谈到，你可以将责任交给Dot说：“嘿，我刚刚在这里发布了我的代码，现在你能去确保它保持健康吗？”像这样的工作，Dots可以持久且出色地完成。
但是，如果你同时运行着许多其他任务，然后你说：“嘿，你能停止做那个吗？”这意味着它会停止追求所有任务，还是只停止追求单个任务？以及你能可靠地交出多少控制权然后就不管了？在某些情况下，它必须向你寻求许可。所以如果它不断回来问你获取权限或要求更多澄清，那么你就没有真正委托出去。这就是我想用它来测试的角度。
但令人兴奋的是，他们通过赋予它人们可以定义的人格和角色，采取了非常个性化的处理方式。当发布时，人群中爆发出一阵欢呼声。这说明了一些问题。我认为OpenAI和ChatGPT已经同义了。而且我想，在技术圈子之外，人们将AI仅仅等同于聊天机器人。就是你在屏幕上看到的那个小小的方块里的东西。
看看Muse和/或Dots如何将AI带给更广泛的公众，而不是以聊天界面的形式呈现，这将非常有趣。这倒不是问在座任何人的问题，但我希望一个月后再回到这个问题上回顾一下，看看这是否真的将AI从聊天机器人中解放出来并普及到更广泛的人群。我认为，在接下来的几个月里，Muse和Dots可能会因此受到评判。
对我来说有点好笑的是，就在上周我们还在批评OpenAI的代理程序逃出沙盒（boxes）。而现在在另一个语境下，它就像这样：“太酷了，它终于出笼了。”但我确实认为，像OpenClaw那样感觉怪异的一点是——那是一两年前的事情了——它出现在你的短信中，对吧？就像AI打破了它本该在的地方，变成了一个像《Her》（她）电影中那样的环境式助手。很多人觉得这很酷，Sam Altman也不例外，他随后雇佣了OpenClaw的开发者。人们猜想这可能与Dots的开发有关。
Kush，你怎么看这件事？我完全同意Sky的观点，即OpenAI代理程序出现在你的短信中这一事实本身感觉比它应有的更重要。我很好奇你怎么看这一点？是的，还有OpenClaw这件事。其实不是一两年了，只有九个月。我的意思是时间过得真快，对吧？
每个人都知道时间在膨胀，仿佛我们生活在AI宇宙中接近黑洞的地方。是Dots，是Muse。Instinct（本能）之前就有了。甚至昨天还有一个叫Tab的产品出来。是的，就像它们所有产品一样，都有着卡通般的身份认同。我认为这是一种不同的处理方式。而且我想，所有这些事物同时出现的事实意味着每个人都在互相抄袭。想法都是一样的。
所以我认为我想指出的一个角度是，整个领域在某种意义上过度资本化了。每个人都投入了太多资金，以至于他们没有想象力剩下了。我的意思是每个人都在做同样的事情。没有自由去做任何不同的事情，因为他们需要展示如果一个人做了某事，另一个人也需要做同样的事情。
我认为这将在贯穿本集的讨论中渗透出来，因为每个人都在互相抄袭。而且我认为这只是因为你必须投入大量资金来启动和运行这些模型的一个症状。是的，看起来公司似乎在决定同时发布这种“可爱”的代理程序方面是协调一致的。
Sky，我被这些代理程序的“可爱”与另一方面那种绝对的不知疲倦性之间的脱节所触动。比如，如果你尝试过Meta应用中的Muse，它很可爱。它看起来像迪士尼的角色。而Dots呢？你知道的，这些可爱的小软糖（gumdrops），一方面是这样；另一方面则是绝对的不知疲倦性。再说一次，这是九个月前OpenClaw的事情，当时每个人都认为那是……
这听起来既疯狂又反乌托邦。那么，究竟是因为许多公司试图将某种令人恐惧的东西包裹在可爱的包装中使其易于接受？还是说，希望这些产品确实设计了更安全的OpenClaw版本，去除了其危险性，从而让这种可爱温顺的包装具有合理性？Sky，你对此有何看法？
我会给这些公司一点肯定，认为他们可能正试图通过这种信息传递吸引非技术背景的人群，因此卡通化的设计是出于此目的的有意为之。但我给予公司的这点肯定也就到此为止了，是的，他们确实是在重新包装这一产品。两家公司在一周内相继发布带有卡通主题和讽刺意味的形象，这绝非巧合。
你提到的那种“常驻性”以及一年前对OpenClaw的担忧，我认为依然存在，只是当它变得可爱时，人们谈论得少了。它们确实去掉了利爪。
从我的角度来看，令我印象深刻的是，那些通常对Meta持极度怀疑态度的媒体机构对此事表现出了积极的评价。例如，《The Verge》对Meta Muse的评测者似乎被深深震撼了，《纽约时报》的评价也是如此。这似乎是一个技术能力足以让众人惊叹到放下戒心的时刻，尽管我们还得看看几周或几个月后会发生什么。
接下来我们要谈谈Meta的Muse Spark，这是Meta的旗舰AI模型，也是由Alexander Wang领导的超级智能实验室（Superintelligence Labs）推出的首个成果。本周他们宣布，为Meta工作的数学家在Meta AI聊天界面中产出了六篇研究论文。这在周二看来是一件大事。
然而一天后，即10月7日周三左右，OpenAI宣布在GitHub上发布了722篇数学手稿，涵盖了372个所谓的“数学结果家族”。其中涉及数论和其他一些我不太懂的内容。其中包括对四维猜想的一种解法或主张，这对数学家来说意义重大。
我们之前几周报道过关于Navier-Stokes方程的事，当时宣布一个测试模型解决了这个世纪未解的数学难题（千禧年大奖难题之一），所以我们知道那个正在测试的模型意义重大。然而，我们没想到722篇所谓的解法会突然全部出现在GitHub上。
这里有一个技术故事，但同样有趣的是另一个社会层面的故事：这是向整个数学界提出的一种危机。我先问一个简单的问题：什么是数学？
我和正在长大的孩子们讨论过这个问题，他们所学的“数学”并非真正的数学。它不仅仅是分数、乘法等知识，而是指一种思维过程：在一个由公理和假设定义的世界里，能够毫无疑问地证明某个属性成立或某事为真。
我甚至没意识到这一点，尽管我自诩为数学家。直到研究生阶段我才明白数学研究究竟是什么或可能是什么。所以，我认为这是一个旅程，是一段理解的过程。
Sky，从你的观点来看，如果Kush说这是一段理解的旅程，这种理解是否必须是人类独有的？我相信包括陶哲轩在内的一些数学家会说是的。数学界的贡献从定义上就必须由人类来理解。我尚未完全同意这一观点，但我想他们试图表达的是：有些证明是通过反证法得出的。
你可以说“不，这里有个反例”。也许AI通过暴力穷举找到了这个反例。无论是通过暴力还是直觉，我们现在知道反例存在，因此这就解决了之前的猜想。在这种情况下，找到反例的方式可能并不重要，重要的是它确实存在，数学可以由此继续前进。
但在其他一些情况下，陶哲轩曾对AI提出过一个主张：数学家们一直在问各种问题，而你们在回答这些问题上似乎取得了良好进展。但AI何时能提出新的数学问题？我不确定昨晚发布的722篇论文中是否有这种情况。
我认为这是一个非常有趣的转折：AI何时能够提出新的数学问题？而在此之前，它只是在解答那些可能已被问了数十年的旧问题。抱歉，我是说它在回答被问了几十年的问题，但我还不确定那722篇论文中是否有AI生成新数学问题的案例。
Skyler，我很失望你没有在“混合专家”环节前读完所有722篇论文。我真的很指望你有个看法。现在产生的人类注意力有限的工作量是多少？我们作为人类是有限的，数学家要花多久才能梳理完这些内容？
在人类试图整理这最后这一大堆数据时，AI还能取得多少进展？我想这是我从中得出的主要结论，而非“什么是数学”。无意冒犯Kush。但这是否意味着人类开始陷入一个 treadmill（跑步机），不断梳理AI生成的内容？我们在其他地方见过这种情况，但在数学领域这会真正扎根吗？
人类将无法理解AI——特别是来自AI的数学内容——所产生的海量材料。是的，也许这在10月7日周三就发生了。没错。
实际上，上周还有一篇文章发表，来自《Quanta Magazine》的Jordana Cepelewicz。她写道，数学这个职业几乎需要转型为“解释者”。也就是说，不是人类在做数学运算，而是他们在解读AI所做的工作，向全人类解释其含义。
这难道不是包括数学在内的任何科学的核心理念吗？科学的目的不正是为了理解自然吗？正如你所说，数学的根本目的是在给定空间中确立某种特定属性。
那么，如果有一个工具、一种智能体可能帮助我们揭示周围世界的一些基本方面，甚至可能是那些由于我们思维局限而目前还无法触及的世界，这真的那么糟糕吗？也许我们的大脑甚至没有被设计成去思考三维或四维之外的事情，它们实际上无法计算这些对我们大脑来说极其难以理解和处理的维度。让我们进入第三个故事。这是关于HackerRank的Chakra，它是一个运行工作面试的人工智能。据我了解，HackerRank是一家存在了将近15年的公司，于2012年推出。多年来它经历过多次转型，但像许多人一样转向了人工智能领域，并推出了名为Chakra的产品来运行编程面试。
我觉得即使不是程序员的大多数人也都了解，如果你申请编程工作，至少要做的是完成家庭作业式的任务。会有一个技能测试对吧？这通常是最难的部分。如果你申请Google或IBM的工作，你会被严格训练应对这一环节。据我理解，Chakra主要专注于编程的技能测试。它有一个产品描述为AI评估候选人，这是事实的。但我在网上浏览时发现一个看似巧妙的地方：当程序员或候选人进入系统完成编程任务时，他们实际上被允许在这个窗口内使用AI。这有助于防止他们在另一个标签页中作弊。因此，Chakra在观察他们如何使用AI来完成编程任务。
Chakra可以在中途暂停并提问：“你为什么选择这个而不是那个？”它进行一些类似行为面试的问答环节。表面上看这很巧妙。在六个月内，他们进行了五十万次测试面试。Capgemini和其他大型公司已经使用了它，现在已公开可用。让我们先从你开始，Utsav，Chakra让你印象深刻或担忧的是什么？我感兴趣的一点是，这五十万次面试中有多少是真正独特的。也许它们是重复的会话。我说这是因为其中一点在于它评估候选人的可比性质量存疑。如果候选人被给予AI来生成代码并与之思考，他们会根据AI在那次迭代中的表现质量来判断吗？因为他们可能无法完全控制AI输出的样子。
同时，如果AI决定进一步探查并转向不同方向，我们是否真的拥有可比较的指标来评判每个候选人的表现？我承认即使是人类面试官也可能给出不同的面试问题，这始终是一种主观的演变。但这里引入了AI元素，你也在候选人的任务处理能力中引入了另一个随机因素。因此我希望看到它的表现如何，以及它能否真正引入人类所没有的层次，从而将责任完全从人类身上转移出去，并通过提供正确的评分标准赋予他们评判候选人的决策权。Kush，顺着这个话题稍作延伸。你致力于使技术变得负责任和合乎伦理。关于这种技术的道德风险、偏见问题，你怎么看？
我只引用一下创始人兼CEO Vivek Ravisankar的一句话：“如果调整得当，AI比人类偏见少得多。”我很好奇你的反应。是的。我认为如今该领域的许多供应商都认真对待了偏见问题。当然，如果做错了是可以的，但像IBM也在评估不同的招聘工具等等。我担任IBM负责任技术委员会成员，我们总是要求看到来自不同供应商的关于公平性指标等的额外报告。但这确实发生了，对吧？我认为这是一件好事。当你谈论偏见时，这有点像从一个非常特权的角度看待情况。
另一种完全相反的看法是它实际上在扩大机会。正如Sky所说，人类是有限的生物。我们一次只能面试这么多人。但开放这一点，允许更多人参加职位面试实际上是一件好事。比如某个地方的人可能人脉不广，但仍然能够申请工作。因此扩大机会在道德上是非常正确的做法。如果其中实施了偏见缓解措施和其他相关技术，那么我认为这对世界来说是一件好事。Kush和我讨论偏见的概念已经十年了。我想用一句俏皮话来总结：机器偏见比人类偏见更容易检测和纠正。
因此，关于偏见的讨论，我相信通过足够的微调是可以考虑的。不幸的是，人类偏见更难识别甚至更难纠正。所以我不想总是把责任归咎于机器偏见。但回到这项特定技术，如果说在求职面试中使用它几乎给人一种反乌托邦的感觉，那么如果你将完全相同的技术放入大学或高中课堂中，我认为你会有更好的方式来评估某人是否通过互动掌握了内容。也许是通过写文章的方式。我们知道现在由于AI的存在，写作文已不再是标准做法了。
因此如果HackerRank能够将此转化为某种教学工具，而不仅仅是面试方法，那将非常有趣。看看学生是否通过与其互动的AI聊天机器人学习了应有的知识，而不是利用侧边的AI聊天机器人并在随后的测试中取得高分。这样就能看到学生是否真正掌握了内容。如果公司的目标纯粹是通过数量找到最佳候选人，那么是的，这个工具可能会有所帮助。
我希望人力资源部门的工作是找到空缺职位并填补它们，而不是面试地球上的每一个人。最后一个问题，我把它抛给在座的各位，任何渴望发言的人都可以加入讨论。但我发现一个有趣的观点是：未来我们可能筛选的一项技能，就是灵活、巧妙地使用人工智能的能力。因此，Chakra能够检测出AI的使用而不加以惩罚，反而可能会评估说：“哦，这是在使用人工智能”，或者“这确实是一种应用”。
在这个一分钟的片段中我们看到，这个人展示了他对数据结构有着深厚的知识。但他有一个知识盲区，而他在关键时刻利用人工智能填补了这一空白，这对我来说非常具有说服力。我很好奇你们对这种可能性怎么看：我们越来越看重的候选人特质之一，可能就是良好地使用人工智能的能力。这恰恰是我们应该做的，对吧？我的意思是，利用AI来填补我们的空白，扩展我们的能力，从而能够做更多的事情。
我认为这项技能既需要学习——正如这位男士所说的那样——也需要作为雇主进行评估，因为我们需要认识到这项技术带来的好处。接下来让我们进入最后一个故事，一个 bonus 小故事。我们将把它作为一个简短的解释性环节来处理。显然，我们是一个技术播客，是技术人员与技术人员之间的对话，不过有一个小小的注脚：我其实并不是一个技术专家。我只是觉得技术人员很酷。
而且我认为，我们的许多听众——希望越来越多的是这样——收听这个播客不仅是为了在技术话题上深入探讨，也许也是为了学习，提升他们对技术的理解。所以我们要讨论一个刚刚发布的新模型，它叫做 Beam。它是 Reflection AI 这家公司推出的，这是一家由两位前谷歌 DeepMind 研究员创立的初创公司。英伟达在其中投入了大量资金，一年前领投了它 20 亿美元的融资轮次。他们发布了这个名为 Beam 的产品，它是一个模型，有一些术语用来描述它，我们将逐一解释这些术语及其含义。
首先，它是一种“混合专家”（Mixture of Experts）模型。猜猜怎么着？这正是我们播客的名字。自从两年前我们的播客创立以来，这曾是一种新颖的架构。我看到我的制作人在提醒我，从现在起我们要明确：这是一个面向极客和“极客粉丝”的节目。“极客粉丝”是指那些渴望成为极客并愿意与他们为伍的人。所以，对于在场的“极客粉丝”们，我和 Kush 几个月前合作写了一篇文章，题为《AI看起来是什么样子的？》。在那之前，我第一次真正理解了什么是 Transformer（转换器），以及神经网络的一些历史背景。
现在让我用我基本的理解来解释一下什么是“混合专家”架构。如果我错了，请纠正我：在模型训练（即模型的诞生过程）以及所谓的推理阶段（即处理模型时），该架构被设计成这样一种方式：与早期不同，在早期的模型中，你输入的每一个查询都会激活并使用模型中的每一个数字、每一个参数和每一个权重……
我相信，当训练并部署混合专家模型时，他们实际上是将它分割成了许多小的“脑叶”。他们创建了专门针对特定主题或某种认知风格的专家区域。然后我不太清楚具体发生了什么：是否有一个路由器介入，决定针对特定查询激活哪些部分？基本上，Kush，你能把我这种半成型的理解变得更为完整吗？好给像我以及 Sky 这样的“极客粉丝”听。
当然可以，没问题。是的，他和我们一样都是十足的极客。我的意思是，David，当你写那篇文章时，你把参数描述为大量的电子表格，对吧？当我们使用 Excel 等工具中的电子表格时，还有标签页（Tabs），也就是不同的工作表。所以我们可以这样想：所谓的“不同专家”就像是那个整体电子表格中，某一层级的不同工作表或标签页。正如你所说的那样，它们经过训练后存在差异：其中一个“标签”可能更擅长某件事，另一个则擅长另一件事，以此类推。
正如你准确指出的那样，还有一个门控函数或某种协调路由器也在过程中被学习到了。我的意思是，没有任何东西是预先设定好的。你并不会说“这个是数学专家”，而“这个则是卖萌专家”等等，对吧？这一切都是自然发生的。并不是你在试图区分它们，而是它以这种方式进行学习。然后，因为在推理过程中激活的参数数量只是一个“标签”而非全部，所以推理速度要快得多。
为了努力从单纯的“极客粉丝”转变为真正的、名副其实的极客，我很好奇：好的，所以这个模型就像是一个大脑。当我们谈论 Transformer 架构时，我们经常提到层级或像大脑切片一样的部分。随着查询在模型中推进（或者甚至只是处理一个单词），认知过程就像分层发生一样。那么在混合专家模型中，这些“专家”是每个层级都有一个吗？还是说它们位于上游或比层级更高的位置？
通常来说，目前的情况是它们在某种意义上是分开的电子表格。所以从头到尾，你会看到所有层级的一个子部分和另一个子部分的划分。正因为如此，你只需要在顶部有一个路由器或门控函数。但这并非不可能：你可以想象一种架构，随着向下推进也在专家之间切换。是的，我的意思是，目前的情况是它们像是被隔离的、分开的实体。但没有什么能阻止我们采用其他类型的机制，人们也对此进行过实验。
我想 Jeff Hinton 几年前曾提出过一种叫做“胶囊网络”（Capsule Networks）的东西。甚至在这里的 IBM 研究部门，我们也曾有过类似的“路由神经网络”，它们也能做到这一点。所以我的意思是，我认为有很多选择可用。只是目前流行的是完全分离的模式。非常有帮助。所以我们已经解释了混合专家模型，让我们试着……本着这个“专家解释环节”的精神……
我们正在实验的内容，同时也想弄清楚“开放权重”究竟意味着什么。为什么我们在模型架构的语境中使用“开放权重”这一术语，而不是我们过去更熟悉的“开源”？我认为具体到权重的概念时，当你进行之前提到的那个漫长过程——即信息在整个网络中传播——每一步都涉及矩阵乘法，并且你正在处理输入数据。你将这些数据乘以一个近乎固定的矩阵。该矩阵中的每一个条目都被称为权重。
这就是让你能够接收输入，将其乘以某个数值从而产生输出的机制。这个输出成为下一层的输入，再与另一组权重相乘，生成新的输出作为后续层的输入，如此循环往复。因此，当有人说他们发布了模型的权重时，这意味着你可以去下载大量非常大的矩阵文件。但这并不赋予你实际进行计算的能力，这是两回事。拥有权重并不意味着你必须运行该模型。
此外，它也不会告诉你模型是用什么数据训练的。我认为这是开放权重模型与更偏向开源环境之间的另一个重大区别，在后者中，你可以明确说明：“这是我们用来得出所提供权重的确切数据。”如果你只说开放权重，就不一定发布训练所用的数据。你也没有提供执行那些由权重量化的矩阵乘法所需的计算资源。
我认为这些可能是最大的限制条件：它们不一定提供让模型得出权重的数据或计算能力，而是仅仅移交权重。然后，拥有计算资源的人可以在此基础上继续运行它。这并非坏事，但也不完全是开源。我认为最大的区别在于，提供权重的人并不同时提供模型训练所用的数据。这是我本周才真正学到的东西，尽管我一直以努力理解这些概念为荣。
过去我认为我们称其为开源软件或开源项目，是因为它包含源代码代码；而我们将模型称为开放权重，是因为它们不是由代码构成的，而是通过高强度的计算过程学习得出的一组数值。但本周我感觉我窥见了一些更复杂的东西，即在AI模型世界中存在开放程度的差异。如果你只发布训练过程的结果（即那些数值），而不提供其他任何内容，这可以被称为开放权重模型。
但如果除此之外，你还对用于学习权重的配方、训练数据保持透明；如果你在GitHub上公开：“这是我们用来训练它的数据”等等。如果你不仅对模型的实际神经元结构透明，还对模型的“生长”过程保持透明，我们便开始将其称为开源模型。这比单纯的开放权重更加广泛和深入。我总结得对吗，Kush？
是的，完全正确。确实如此。所以正如你所说，配方、训练代码本身、用于获取权重的源代码部分，根据某些非常严格定义者的标准，也属于完全开源发布的一部分。这对我来说澄清了很多概念。我感觉自己在极客指数上又向前迈进了一小步。非常感谢我的嘉宾们，今天的时间就到这里了。
我们从讨论一个在你睡觉时也能工作的AI开始，最后聊到了它只唤醒所需部分的概念。感谢Utsav、Skyler和Kush的参与，也感谢所有听众的支持。你可以在Apple Podcasts、Spotify、YouTube以及你收听播客的任何平台上找到我们，下周在《混合专家模型》节目中再见。