我至今尚未见过我的客户需要如此庞大模型的使用案例。今天“专家混合”节目将为您带来更多精彩内容,包括上述观点及更多话题。
我是蒂姆·黄,欢迎收看“专家混合”。每周,“MoE”都会汇聚一批在人工智能前沿工作的杰出头脑组成的专家组,为您梳理本周的新闻。在本期节目中,我们有Staff AI工程师奥利维亚·布泽克、IBM院士兼Aaron Baughman以及AI客户成功工程师Bri Kopecki。今天我的联合主持人是IBM的撰稿人David Zax。
我想我们今天将涵盖三个重大故事。我们将谈谈IBM在美国公开赛上的表现,还会讨论关于WeWorm的一些令人担忧的新闻。但我认为今天我想先从谈论我们从OpenAI看到的所有新闻开始。
有一个新模型,据报道在数学方面取得了重大进展。David,你想谈谈这个模型吗?这是OpenAI推出的大型新模型。如果您至少看过演示视频的话,这些演示如今已成为产品发布的标准环节。人们通常会走进一个房间,开始与模型对话。我主要得出的印象是:我真的想要一个大一点的AI洞穴,以便以这种方式与模型交流。
但在视频中,我们看到它们在将2D渲染转换为3D渲染的同时,还能订购UberEats并瞬间送达方面取得了令人难以置信的进展。在转向数学部分之前,我很想知道我们尊敬的专家组对Astra感到兴奋的是什么?正如英伟达首席执行官所暗示的那样,这是否真的是我们等待已久的AGI(通用人工智能)?这是一个质的飞跃吗?你们怎么看?
奥利维亚,例如。每次我看到像这样的大型新模型发布时,我经常会想到投入其中的计算能力。是的,也许它能做到那些事情,但我想知道在控制计算机时究竟使用了多少token?这真的是智能体模型在世界中运作的合理方式吗?我认为在使智能体真正能够接触世界方面,还有很多低垂的果实需要采摘。抱歉,我的意思是让智能体更容易地接触世界。
在过度兴奋之前——比如它能解决任意问题,我也能订DoorDash外卖——我可能也能编写一个框架来说服较低级别的模型去订餐。对我来说,这在某种程度上令人印象深刻,但在另一方面我只是想知道我们是否以正确的方式解决问题?因此最让我担心的是:作为人类,我们是正确地接近问题,还是仅仅在不深思熟虑实际影响的情况下,将越来越大的模型投入到问题解决中?这是一个很酷的演示,我只是怀疑它是否具有正确的现实世界影响。
Aaron、Bri,你们尝试过这些模型或见过Astra吗?或者有没有看到什么用例是你们认为非常新颖,或者是比这个模型更有效执行的?首先我想澄清一下:这真的是AGI吗?因为我认为我们需要理解,在社区中对于什么是真正的AGI并没有达成共识。如果我们定义AGI为一个能够接受新目标、理解问题、甚至去获取缺失知识的形式化系统,制定计划、使用工具软件执行工作等。也许那就是AGI,但我们甚至可能无法识别出AGI何时到来。它看起来可能就像一个非常优秀的数字员工,就像我们中的一些人一样工作。
但我希望我们正处于AGI的开端,因为原因在于成本是多少?如果这个数字是正确的,训练这个模型需要10万套Blackwell NVLink 72系统。这相当于整个美国大陆地区所需的电力级别,真是难以置信。它是如何消耗这么多资源的?
我想说的另一个观点是,真正的AGI测试应该是一个基准吗?不。它应该是系统或目标未曾见过的情况,来看看会发生什么。而我们要看的是基准测试成绩。Astra在该基准上达到了95.9%的准确率,而下一个最高的是GPT-5 SOTA(当前最佳),大概在80%多一点的水平。所以它在基准测试上表现确实很好,这个基准允许模型……
回到你的问题,有一个非常有趣的任务:给模型多个2D视图,让它生成可执行的CAD代码,理解该环境并构建3D对象,然后将其与实际几何形状进行比较。它能做到这些类型的事情确实很酷。我们正从向AI询问答案转向要求AI执行工作。
让我补充一下我的视角,这是以客户为中心的。我至今尚未看到任何用例——无论是今天、本周还是上周——我的客户需要立即解决纳维-斯托克斯方程。我们在企业日常解决的问题,并不需要那种类型的模型。当然,它可能会让速度稍快一些?是的,在企业环境中速度非常关键。但我喜欢奥利维亚说的观点:我们必须问自己,我们用它来做什么?我们在真正解决什么问题?
拥有这种能力是很棒的。所以我认为推动技术进步——无论是计算量,还是我们消耗了多少token——这都很好。但当然我们必须问自己:我们在解决什么?最高效的方法是什么?但我尚未将其投入实际用例。我确信它可能会被要求使用,我也将在某个时候尝试一下。看到正在发生的事情令人兴奋。我是英伟达的忠实粉丝,我认为他们拥有实力并不断突破自己的界限,就像当今大多数公司一样。
纳维-斯托克斯领域有哪些有趣的地方?难道AI已经解决了纳维-斯托克斯方程并创建了证明吗?是的,但它还使用了10,000个AI智能体来探索这个问题。这是一个由协调器管理的智能体社区,几乎像是子代理一样协同工作……
回应吧。它们可以接管一个MCP服务器,获取工具,并利用思维链运行各种不同探索。看到所有这些工作协同运作简直太酷了,就像一群被释放出来的智能体一样。不过,阿伦,如果你不介意的话,让我们先暂停一下,拉远镜头确保观众跟上我们讨论的节奏。
我们要谈的是纳维-斯托克斯方程(Navier-Stokes)。我听过无数种发音,但这是数学界所谓的“千禧年大奖难题”。2000年,克莱数学研究所宣布这七个数学问题是新的“奥林匹斯山”,数学家们应聚焦于此。谁解决它们,就奖励100万美元。在过去25年里只有一个问题被解决,而第二个就是纳维-斯托克斯方程,它与流体力学有关。
我不太懂这个,我称之为“爆炸水问题”,因为据说已证明水可以自发爆炸。听起来很酷,但基本上Astra解决了这个问题。这里还涉及一些肥皂剧情:纽约大学Anthropic的一些研究人员可能同时也解决了解题,正是因为有谣言称他们即将发表成果,OpenAI才开始投入10,000个智能体来解决这个问题。
阿伦,既然你对此很有研究,能多讲讲这个问题的细节、如何解决过程吗?我听说为了赢得这100万美元奖金,投入了价值数千万美元的算力。在深入探讨解决细节之前,我们还需要了解关于纳维-斯托克斯方程的哪些背景知识?如果有时间的话,还可以聊聊那个肥皂剧。
正如你所说,这是七个千禧年大奖难题之一,这些问题已经悬而未决近90年了。它研究的是当流体速度变得无界时会发生什么,即使系统初始状态非常平滑。就像水突然爆炸一样。起初很平滑,然后改变约束条件,找出何时变得无界。流体速度发生变化并移动,几乎像是升华了一样突然改变。
现在有了由Astra解决的证明,你可以去查看并提出一个问题:洗澡安全吗?这挺有意思的。但我认为我们需要谨慎对待,尽管有那个肥皂剧插曲,数学界仍需仔细审查Astra提出的解决方案。我们需要确保它被普遍接受为正确的解法,让我们拭目以待看最终结果如何。
其他数学领域的人也在争论说他们先解决的迹象表明,情况看起来相当不错。布里,你在智能体编排和人类与智能体交互方面很有 expertise。斯托克斯故事的一大重点是:并非AI解决了这个问题,而是人类管理AI去解决问题。首先是人类指明了精力集中的方向。
当Astra在某个阶段启动时,它解决了一个中间问题。当时它们同时在攻克所有七个千禧年难题,Astra解决了其中一个中间步骤。随后人类决定将所有精力集中在解决纳维-斯托克斯方程上。在这个过程中有很多人类决策参与。作为这种人机协作的努力,你有什么看法?
我很喜欢你这样框架化这个问题,因为它向全世界展示了:无论AI变得多么强大,解决这些巨大问题仍然需要人类的智慧、创造力和协作。这对那些担心下周因AI失业的人来说是个好消息,虽然我不认为那迫在眉睫,但我们可以另谈未来。
我认为这告诉我们人类大脑仍然极其相关,也反映了我们认为什么是重要的——将算力投入纳维-斯托克斯而非其他问题,说明人类认为这很重要。这让我对健康和医学的进步感到兴奋。如果我们能利用这一点,我相信我们将找到治愈几乎所有癌症的方法。
我曾听一位专家说,由于AI和量子物理的帮助,我们将不再死于疾病。初步解决方案花了88小时进行验证。我赞同阿伦的观点,他们使用另一种方法将证明转化为Lean(一种数学形式化语言)。虽然我不太熟悉这个概念,但验证那10,000个智能体的结果是否正确只花了17小时。
我相信他们还会进行额外的验证,但这令人兴奋,意味着我们离治愈疾病和找到解决方案更近了。想想全球变暖等大规模问题。这是一个乐观的注脚,我们很少听到关于AI如此积极的声音。接下来我们要转到下一个话题。
长期听众知道,当阿伦出现时我们通常谈论体育。现在我们要从治愈癌症和全球变暖快速过渡到IBM在美国公开赛上的工作。阿伦,我相信你想谈谈你一直在做的演示吧?是的。三十多年来,自1992年左右以来,IBM与美国网球协会(USTA)合作,旨在转变美国公开赛的数字体验。
这是将赛事数据和见解带给全球1400多万粉丝,其中只有一小部分人能亲临现场。今年,我们通过使用AI将这种合作提升到了一个新水平。
没错,所以我们讨论的这些技术中,有一部分是我们实际应用的。我们会预测比赛在开始之前的结果。我们理解比赛中发生的每一个细节,逐点识别改变比赛走向的时刻。同时,我们为每一位粉丝创造了个性化和对话式的体验。你可以询问在网球比赛进行中你心中最迫切的问题。
这真的是非常棒的第一次尝试,这是一个我们接手的重大挑战。我们将工作深入到底层,追踪和记录运动员的肢体动作,特别是针对他们的发球环节进行生物力学分析。我想借此机会向大家展示一些演示内容。大家现在可以在我的屏幕上看到实时画面,比赛正在进行中,将于下周日结束。
如果你访问美网源代码页面并查看比分,就能知道谁在获胜、表现如何。我选择了一场刚刚结束对阵纳瓦罗的比赛作为示例,从顶部开始查看预览部分。这里展示了赛前获胜概率预测系统的工作原理:我们对所有球员进行排名,使用三种比赛预报模型来评估媒体关注度、不同因素的情感倾向等。
此外,我们还会查看双方的历史交锋统计数据(如果有的话),并考虑不同因素的比例。例如球员在不同场地类型——硬地、红土或草地上的表现差异。本质上,这里使用了两种经典的机器学习模型:梯度提升树和逻辑回归,它们帮助预测赛前谁更有可能获胜。
结果显示我们猜对了:巴多萨的胜率被预测为77%,而她确实赢了。她的赔率相当不错,我们在赛前正确预测的概率大约在60%左右。当我向下滚动时,可以看到所有实际发生的统计数据,这有助于提供解释性说明。
现在我想看看这里,这是AR回放功能。我可以进入3D视角,可视化并观察他们的比赛方式。但在这样做之前,我想先展示一下比赛的总结部分。“Match Chat”是一个平台,你可以在比赛期间或之后提出问题,以便更好地理解发生了什么。
我们还有实时获胜概率预测功能,它基于赛前的初始胜率进行引导启动。随着比赛的进行,我们使用带有不同衰减因子的动量方程来调整概率,并根据当前局势应用不同的增强因子。每当一个分数产生时,系统都会实时更新某人获胜的概率。
这是一个实时系统。每当一分被击中、赢得或失去时,我们就会收到消息并计算赔率。与此同时,我们会通过Confluent发送其他消息到一个市场平台,该平台评估这是否是一个关键时刻。如果是的话,系统就会生成文本描述。
这里显示的是比赛结束时的一个关键瞬间:“以2比1的出色胜利击败纳瓦罗”。我可以回滚查看整场比赛的所有关键时刻,以便更好地理解比赛进程。这非常酷,就像第二屏幕体验一样,你可以在比赛进行时实时观看这些内容。
回到“Match Chat”,如果我想了解比赛中发生了什么,只需点击这里的按钮并接受条款即可。这将探索匹配聊天功能,打开另一种体验模式。它通过工具查询我们拥有的数据源和馈送渠道,并创建一个包含上下文的提示词。
然后系统会经过一系列图分层类型的代理程序,其中三个代理并行运行:一个是纯粹的生成式AI解决方案;另一个具有总结功能;还有一个使用数据合成器,这是为了应对我们巨大的负载规模。如果你想查看比赛详情,也可以做到这一点。
我有一个问题想问你们:我很好奇是否有信息表明哪类粉丝正在使用这种体验?因为在我家里,我有两种不同类型的球迷代表。一种只是喜欢收看比赛,看球来回击打;另一种则非常渴望像这样的深度数据体验。我只是好奇你们从使用中学到了什么?
我们确实这样做,我们为不同的用户角色创建这些体验。我刚才展示的“Match Chat”适合中等程度的球迷,既不是硬核粉丝也不是新手,而是处于中间位置。也许这位球迷希望看到数据从而转变为硬核粉丝;或者相反,他们可能太忙了,只想看表面信息,并可以随意提问。
我们确实收集分析数据,人们会登录系统并收藏喜欢的球员。我们能够利用这些信息,将其回溯到“Match Chat”中的问题类型,从而生成系统中使用的用户角色画像。
大家现在看到的是肢体追踪功能。我们引入了发球质量指标,并使用IBM的BOD构建它。我们在球员身体上追踪21个点,帧率为每秒50帧。在整个锦标赛期间,我们处理了12亿个数据点,并将其应用于全部254场单打比赛。
通过这样做,我们捕捉到了生物力学特征。如果我点击播放,你可以看到发球手击球的画面。我们要测量有效性(球是否进入多边形区域)以及效率(挥拍方式)。我们将发球分解为几个阶段:起始阶段、加载阶段、蓄力阶段(举起球拍准备击球)、加速阶段(挥拍向下至接触球)、减速阶段、完成动作以及随势跟进。
我们划分了这些阶段并应用规则来帮助我们进行测量。事实上,在“Match Chat”体验中,你可以提出问题……
关于服务的质量。然后在你的移动设备上,当你进入主页时,我们有一个为你量身定制的实时体验功能,我们会展示服务质量和一些相关的洞察信息。这非常棒,而且是首创的体验。我对将其扩展到其他类型的击球方式感到非常兴奋。
太好了。我很高兴你能来到节目,因为每次你来的时候,我都感觉平台在不断进步,我们能在MoE上一起见证这一切,这真的很酷。
好,我要把话题转到我们今天最后一个大致的话题了。我想我们已经聊过了体育,也聊过治愈癌症。在最后的环节中,我觉得我们要谈谈阴暗面。大卫,最近几天刚发生了一个非常有趣的故事,关于利用人工智能生成病毒并引发一种被称为“WeWorm”的现象,这让很多人感到担忧。
我现在提到人工智能让我担心水源安全,甚至不确定自己是否还能安全地淋浴。现在我真的对手机感到害怕,因为一家名为Calypso的安全初创公司利用人工智能发现了微信中的一个漏洞。微信是中国非常流行的即时通讯及全能应用,在中国拥有超过十亿用户。
这家美国公司利用他们的AI发现了这个漏洞。但这不仅仅是一个普通的Bug,这是他们针对微信开发出的东西。这被称为一种“蠕虫”。不仅如此,这是一种零点击漏洞(zero-click exploit),基本上意味着这种病毒可以自主地侵入一个人的微信应用,我认为是自动拨打其他联系人的电话。
接收这些通话的人不需要进行任何操作,但他们就已经被感染了,而且理论上这种感染可以呈指数级增长。这个漏洞是在七月发现的。当然,Calypso做了正确的事,他们联系了微信的开发商腾讯,警告了他们这个漏洞。
该漏洞已被修补。直到几个月后,这则新闻才刚刚爆发。尽管如此,我个人虽然不是技术人员,但我非常害怕,因为这似乎是一种在我们更熟悉的、由高度复杂的国家行为体所使用的高级别漏洞。
但是,看起来人工智能加速了发现Bug的速度以及生成这些漏洞利用程序的能力。作为一名普通的人工智能消费者,作为最终用户,我们知道我们与这些工具进行互动。我个人在上海生活的两年里使用过微信,所以我非常熟悉这款应用。
我甚至通过微信支付房租,那是在2015到2016年的中国。所以每当我与客户谈论安全和影响时,这总是讨论的一部分。我的意思是,我不需要为此失眠,但这确实是我们每个月都能看到越来越多的事情。
我相信至少有一个关于此类事件的主要故事,以及几个较小的案例。我认为这里的关键要点是:人工智能并没有使黑客攻击变得更强大——毕竟黑客事件始终是一个重大事件。它只是使其变得更加容易获取了。
所以这种情况会持续发生。我期待我们的安全专家——我不是其中之一——来解决这些问题。我有一个技术问题想问Olivia,这有点技术性。我了解到我们并不确切知道这个漏洞利用的具体情况。Calypso写道,该Bug是微信VoIP堆栈中的内存损坏问题。
他们还提到,这个Bug是很多即时通讯应用中存在的许多非传统攻击面(unconventional attack surfaces)中的一个实例。我在他们的时间线中还注意到一点,他们说“我们的AI发现了这个Bug”,但不清楚他们在多大程度上只是让AI在各种应用中漫游以寻找漏洞。
在我看来,这似乎指向了一个事实:我们身处的这个人工智能时代正在暴露出那些我们未曾完全怀疑存在漏洞的地方。也就是所谓的“非传统攻击面”。你能帮我们解释一下吗?为什么在人工智能时代,技术堆栈的新角落突然被发现存在漏洞呢?
好的。我之前几次聊过一些大型数学问题被人工智能解决的情况。我认为,看待这一点的方式是:重要的是要记住我们生活在一个动态系统和涌现系统中。人类创造的一切事物中始终存在粗糙的边缘。
事实上,作为人类的魅力之一就在于:我们创造的事物通常不是完美的物体。基本上有整条艺术流派都是关于这一事实的,比如金缮(kintsugi),我们将破碎的陶器拼凑起来试图恢复完整。有很多不完美之处。
我知道这听起来很哲学,但我希望将其拉回现实:所有软件肯定都有某种形式的漏洞。有些需要更高级的技术来利用,而另一些则有非常简单的缺陷。但构建完美的软件几乎是不可能的。所以我们可以很肯定地说,这很可能就是正在发生的事情。
然后我想让我们看看这些模型。在我看到的案例中,还没有出现过模型真正自主行动的情况。它们总是对提示做出响应。必须记住的是:基本上,模型没有能力自主行动。它们是在回应某种形式的文本或提示。
当然,随着这些模型能力的增强,它们在响应更简单、更简单的提示时能够表现出更具创造性的行为。所以以前可能需要说:“嘿,请探索这个代码库的表面,寻找这种类型的漏洞和那种类型的漏洞。”而现在可能变得非常简单:“去查找漏洞吧。”
但这种缺乏具体性的提示方式正以消耗大量资源的形式回报给用户。所以,是的,我们可以看到这样的事情发生。但与OpenAI的Astra解决纳维-斯托克斯方程(Navier-Stokes problem)不同,他们报告了所需的Token数量。
正如我们所说,解决一个价值100万美元的问题花费了大约1500万美元的计算资源。显然,在这种情况下经济账变得很奇怪。但无论如何,重点是它花费了……
我们并没有同样规模的数据,至少我还没有看到过相关数据。那么要攻破微信需要什么呢?也就是利用这些更复杂的蠕虫病毒。我的猜测是,所需的成本同样相当高昂。我认为这里存在真实的经济逻辑,而且我认为我们都必须面对的一个现实是:OpenAI 和 Anthropic 拥有如此丰富的资源,使得它们能够相对随意地应用这些技术。你可以从它们的谈论方式中看出这种随意性,比如它们会说:“哦,是的,我们只是决定去解决千禧年大奖难题。”我没有像从事 AI 工作那样的 1500 万美元预算,这真是遗憾。
我也做不到这一点。虽然我能访问这些模型,但我无法去制造蠕虫病毒。因此我认为我们需要在这个领域思考的是:是的,情况确实发生了变化,我们身处一个新世界、新类型的系统中。但它们仍然是非常复杂的系统,最终受到现实世界资源的限制。就我个人而言,我的恐惧程度与谁掌握这些资源以及他们的优先事项成正比。没错,他们拥有价值 1500 万美元的计算能力可以挥霍。
但在之前的时代,网络安全仍然是一个问题。如果你有一笔 1500 万美元的预算用来雇佣黑客,你也能够做成很多事情。
没错,完全正确。这始终是“专家混合”(Mixture of Experts)节目中非常精彩的一期,我们既得到了一剂希望,也得到了一剂恐惧,还获得了一些扎实的技术信息。Bri、Aaron 和 Olivia,很高兴你们来到节目中。David 作为联合主持人也非常出色。感谢所有听众的参与。如果你喜欢我们的节目,可以在 Apple Podcasts、Spotify 以及各大播客平台上关注我们,我们下周在“专家混合”节目中再见。