例如，你家里有一个本地智能代理在读取你的邮件。攻击者给你发了一封电子邮件，这封信进入该代理后，他们便控制了它并开始在你的家中执行各种操作。在我看来，这才是更迫在眉睫的威胁。今天《专家荟萃》节目将深入探讨这一切及更多内容。
大家好，欢迎收听IBM Think播客《专家荟萃》。每周我们都会邀请几位来自IBM的专家，讨论本周的人工智能新闻。今天的节目内容非常丰富。首先让我介绍我们的嘉宾：IBM Think科技新闻记者伊·麦肯（Eye McCann），IBM咨询AI实践部门的高级合伙人索尼娅·艾耶尔（Sonia Ayer），以及同样在IBM担任主要工程师的雅各布·雷普（Jacob Rep）。
今天我们要讨论三个话题：当你的医生开始依赖AI聊天机器人时会发生什么；当你的AI代理开始联网时又会怎样。但我认为我们将从一个关于人工智能作为病毒或更准确地说，蠕虫的故事开始。我想是你首先在内部Slack上引起了我的注意，你能给我们讲讲这个故事吗？并请帮助厘清这里哪些是新的，哪些不是。首先，Anthropic展示了什么？
当然可以。他们发布了一些有趣的新研究。基本上说，小模型在几个月内将非常接近能够自我复制的能力。这些是你可能在物联网设备上发现的小模型，比如智能烤箱、廉价的Android电视盒等。关键点在于它们能够在不连接数据中心的情况下自我复制。这让我立刻想到了去年的一次AWS故障，那次事故导致智能床垫变得非常热或卡在直立状态。这触及了人工智能在日常物品中失控的概念，但我认为首先引起我注意的是，我们通常认为强大的人工智能需要庞大的数据中心和昂贵的芯片。
在这种情况下，虽然模型本身很有能力，但不需要在专门的AI硬件上运行它们将工作分散在15台相当廉价的Android电视盒子上。他们证明了这非常接近自我复制，所以这已经引起了我的注意。但是关于你提到的什么是新的这个问题——计算机蠕虫在设备间传播并不新鲜。我认为新的是模型能够适应，弄清楚如何在陌生的硬件上运行。它们能独立地解决这个问题并传播。
研究论文中有一句很好的话，研究人员将其描述为一种缓慢、分布式且可适应的数字粘菌。这是一个很妙的说法。我认为这引发了各种各样的问题，但这种适应性蠕虫是一个引人深思的话题。当然，我很感兴趣其他小组成员如何看待我们应多严肃地对待这一威胁。它尚未完全到来，但我们现在应该做什么来为它的到来做准备？
小时候我最喜欢的电影之一是《勇敢的小烤箱》。所以想到我的所有电器可能都有大脑并彼此合谋，既可怕又有点可爱。桑贾（Sanja），你对这里有什么反应？我了解到正如你提到的，自我复制病毒并不完全新鲜。那被称为蠕虫，这是一个你很熟悉的类别。当模型本身是载荷或威胁时，有什么不同之处？
最大的威胁甚至让我好奇的是它们在未知环境中的自我适应能力。这让它变得超级有趣，也非常可怕。就像科幻电影里的情节一样。所以这是最有趣的部分，这也意味着我们可能应该着手保护这些设备或关注围绕这些设备的护栏。因为你永远不知道事物会如何随时间变化。这意味着我们需要确保环境是安全可靠的。
这让我想到，当环境如此分布式时——比如你要保护许多Android电视盒或其他设备——这是否更难？是在制造过程中内置护栏，还是在企业环境中设置护栏更有意义？对于这类更商业化的设备，你是如何做到的呢？
可能是用户认证以及在这些设备上能做什么的权限控制是你可以采取的一些措施。但说实话，我们还不知道，我们会学到更多。雅各布，你认为这次演示的漏洞或帖子的目标受众是谁？是物联网行业本身吗？因为我听说人们担心你的床垫可能会突然加热并试图杀死你。但我同时也了解到，物联网之所以重要，是因为这是一个出了名缺乏安全的行业。
数据中心相当安全且监控严密，但这些大规模生产的物联网设备则不然。所以我认为整体安全性是一个关注点，这也是这里被聚焦的地方。我们看到人们逆向工程的能力在加速，家里的人只是在尝试用Claude黑客攻击他们的设备、安装模型等。我们发现Claude或任何这些大模型在训练小模型方面非常出色，它们非常擅长于此。
这是否因为它们自身也在递归地自我训练？我们开始看到这种模型训练模型的现象，对此我也持有一盎司的怀疑。我看到的……
firsthand地了解了在不同类型的硬件上运行某些模型架构有多困难。嗯，所以这对我来说并不是什么像“红旗”那样的危险信号，至少在我家里不是这样。但我确实经常思考家里的安全问题，比如当我释放一个可能不是小模型而是更大的模型，并给它设定目标在某个设备上或在我的家中运行时，会发生什么。然后它发现了那些安全性并不高的设备，接着又会发生什么呢？嗯，所以我认为这是一个非常有趣的切入点。我确实觉得，我再也不会以同样的眼光看待我的微波炉了。
不过再次强调，对于像我这样处于课堂后排、技术背景较弱的听众来说，如果能尝试……我提到了管理我的焦虑情绪，但也许应该将这种担忧聚焦在正确的地方。我们担心的是蠕虫会让每个人的微波炉同时爆炸，还是别的什么？因为我读过关于僵尸网络的文章，也略知DDoS攻击的一些知识，知道有时候你最害怕的其实是一支潜伏着的僵尸大军，然后对高价值目标（比如政府机构）发起海量的计算攻击。那么，究竟什么是我们要担心的威胁呢？还是说我们目前还不确定这个蠕虫如果自我复制会带来什么具体的后果？
就像外部来源能够控制我家里所有的设备，我的数据接触到所有这些内容，这就是这里的威胁吗？至少我是这么想的。还有另一个积极的视角……但我们等听完其他人的观点后再讨论吧。
不，请谈谈数字黏菌的好处。我一读到数据中心时非常好奇，把它视为数据中心的替代方案让我开始更多地思考分布式推理的问题。嗯，这意味着以另一种方式：如果我很担心数据离开我的家，那么我用于个人使用的模型应该利用我自己来源的所有计算资源。这样对我来说就是一种更“主权化”的设置，是的，这是一种看法。另一种看法是……嗯，关于推理方面更可持续的解决方案。
对啊，为什么还需要数据中心呢？如果你在家里抽屉里的100个机顶盒上累积起来……你在家里就拥有了一个数据中心，对吧？
它是黏菌，但它是“主权化”的黏菌。所以……或者在办公室里使用所有存在的CPU资源，对吧？
雅各布，你怎么看这一点？我是说，仅凭我目前对区块链的一点了解……它涉及数百万个低强度设备之间的弹性。一个分布在网络中数千节点上的分布式账本。这里有什么积极的一面吗？在这个小型模型在多个设备上运行的时代，是否有正面意义？我非常兴奋能够利用家里更多的计算资源。我是说，我有这些非常强大的设备漂浮着……甚至就在手机里。嗯，我觉得我们离这成为一个严重威胁还有很长的距离，至少我是这么感觉的，因为物理定律的限制。
我认为其中一个问题就是带宽。你知道的，要真正做任何严肃的事情……这就是为什么我们通常拥有数据中心的原因：你需要电力和带宽来大规模地处理威胁。嗯，是的……我认为要到达那种构成特定威胁的地步，你需要跨越很多障碍。我忘了那个术语是什么了……但对你或你的家人甚至你的财产构成的威胁，我更担心的是隐私问题，或者是保持对我设备的控制权。嗯……但我认为拥有这样一个在内部运行的主权数据中心……我是说，这有点像我现在家里的运行方式。它都在自己的VPN后面，我有几张GPU卡，还有一些本地代理为我执行任务，我试图将它们沙盒化隔离。但我更常思考的是这些方面：这个代理能做什么？什么能进入那个代理？
所以，如果你有一个正在运行的模型……你是如何控制输入到其中的内容的呢？我认为这才是真正需要思考的问题，随着越来越多的模型在我们的家中运行……我们需要认真考虑如何控制输入到这些模型的内容，因为我觉得这才是真正的威胁所在。例如，你家里有一个本地代理在读取你的邮件……攻击者给你发了一封邮件，然后这封邮件进入了那个代理，他们控制了该代理并开始在你的家中执行操作。现在对我来说，这才是更迫在眉睫的威胁。
嗯……但在未来，那个代理是否会跳出来在你的家中进行更广泛的攻击？或者将其自身的一部分嵌入到各种设备中呢？嗯……很有可能，因为我们家里运行的很多设备目前安全性都不高。
作为关于此的最后一个问题……雅各布谈到了这种威胁迫在眉睫的可能性。我在想你是否回应了故事中关于这种黏菌速度慢的一些数据点？你能和我们分享一些关于自我复制需要花费多少时间的具体数字吗？因此它们指向了什么趋势呢？因为它们似乎指出了随着时间的推移速度加快的趋势……那么在三个月或六个月后这会是什么样子，与现在相比呢？
嗯。不，我认为雅各布提出了一个很好的观点：你知道的，我们通常需要数据中心来高效地做事是有原因的。这种数字黏菌潜在移动的速度……你知道的，目前相当慢。嗯……我认为从安全角度来看这引入了一个有趣的因素：它是否为我们提供了额外的可观测性层？你知道，它的缓慢……我们能否看到它是如何传播的？至少在一段时间内提供了一些预警，或者让我们有机会去理解……随着这些模型可能自我复制（我们尚未完全达到那个阶段），具体的风险在哪里最高。
我想起了那些关于大型模型失控的头版新闻。问题在于它们已经行动了，删除了一整季的电视节目……或者至少如果移动速度够快的话。
慢慢地，我们可以研究并从中吸取一些教训——你知道的，从潜在的隐私或安全违规带来的危险中。我不确定我的焦虑是否得到了缓解。现在的感觉有些不同，更像是一种略带知情后的恐惧。谢谢你的分享。稍后我将把话题转到下一个故事，关于医生和聊天机器人。
在此之前，我想提一下，如果你是在 YouTube 上观看本节目，请点赞、订阅或评论，这对节目的成长很有帮助。谢谢各位。接下来是第二个故事：“你的医生与人工智能”。根据本周发表在权威期刊《美国医学会杂志》（JAMA）上的一项研究——该研究与一款名为 Open Evidence 的工具的员工共同撰写，Open Evidence 是一款供经过验证的临床医生免费使用的聊天机器人。实际上，它由药物广告资助……
Open Evidence 估值约 120 亿美元。基本上，该工具获得了巨大的采用率。大约一半的美国医生开始使用这款应用。此外，它接入了庞大的医学文献数据库。所以希望它不会胡乱编造关于如何处理坏疽肢体等问题的想法，而是真正进行研究并提供引用等内容。也许我先请我们的记者提供一些高层面的背景信息……
这项研究中有哪些发现让你印象深刻？哪些数据或结论是你认为这则新闻的核心亮点？谢谢大卫。这是一个很好的问题。有几个发现引起了我的兴趣。从高层面来看，我确实注意到约 51.9% 的查询与决策制定、治疗管理有关，而只有少数（约 13.9%）是关于实际诊断的。所以问题是……
我们知道患者使用 AI 来给自己做诊断，但当我开始阅读这篇文章时，我想的是：医生们究竟用它做什么？我觉得有趣的是，重点似乎不在于“患者得了什么病”，而在于“作为医生我该怎么办”。此外，另一个让我着迷的是不同专科的使用情况。全科内科医生需要精通多个医学领域以分流患者……
放射科医生的使用情况似乎代表性不足。这引发了一个有趣的疑问：特定专科的使用情况是否揭示了 AI 如何被使用，或者将如何继续变革其他类型的知识工作？AI 是否会首先改变那些需要综合大量信息、且许多内容超出其专业领域的工作岗位？好吧，我先说到这里……
我也对这些发现印象深刻。我想聚焦于医生中“通才”与“专才”这一光谱主题，因为医生并非单一类别。有些医生成为全科医生或急诊科医生，他们处理各种病例……
他们的职责正如你所说，是分流和分诊。而其他医生高度专业化，如放射科医生或肿瘤学家。例如，有一个重要发现关于某些类型医生使用聊天机器人查询其专业领域外信息的比例。对于肿瘤学家，只有 35% 的查询涉及非本专业内容；而对于急诊科医生……
80% 到 88% 来自急诊医生的查询都是关于紧急医学领域之外的问题。因此，我认为你看到的是不同医生群体使用方式的巨大差异。但我的直觉是……
总体而言，处于通才一侧的医生（尤其是急诊科医生）正使用它来帮助分诊和分流。桑迪亚，你的印象如何？如果这一假设成立，这是好事还是坏事？我们是否还无法确定？你有什么直觉？
是的，特别是对于急诊科医生来说……他们可能没有时间向所有专家咨询 incoming 的病例。从积极的一面看，这很有道理……
他们转向这个聊天机器人是合理的。另外我会担心的是，或者说我认为不应该直接使用 ChatGPT 或任何模型……
而是通过这样一个平台：它拥有所有文档的知识库，从而提供正确的信息。同时确保其构建方式至少能提供 95% 置信度的答案，因为他们不是专家……
如果他们使用这个系统，那么它必须足够相关以支持他们做出决策。这些是我脑海中浮现的想法……
雅各布，我们之前聊过，你提到你觉得这是一个关于跨学科加速的故事。即使你不经营医院……
你在自己的团队中也看到了这种现象吗？能否谈谈你团队的情况，以及阅读这项研究时你是如何感受到这种回声的？
嗯，一方面……这些新工具被称为嵌入（embeddings），或者说是将知识放入推理空间的能力。本质上是一种聚类……
它允许你很好地访问广泛的信息并进行深入挖掘，某种程度上感觉像是赋予了超能力。我认为这也是双刃剑……
在我们的团队中，我们有一位设计师做了很多用户体验实施工作；我们还曾在 IBM 的 z/OS 大型机领域开展工作……
而我们中很少有人对此非常了解。所以我们所做的是……
我们增强了开发环境，使其具备获取大型机详细信息的能力。因此，即使是非技术背景的设计师或艺术家，也能掌握这一高度专业领域的丰富信息，并据此构建演示文稿甚至修改用户体验。当这些改动反馈给专家时——例如在分诊或初步筛选阶段后，最终由用户体验开发人员接手——他们可能会提出一些意见。但我认为在医疗领域，我们讨论的正是这种快速分诊或决策机制，它能帮助人们更快、更有效地进入更好的状态。
此外，我认为这也契合了我所认识的所有医生的特质：他们是我见过的最具好奇心的人，对信息有着极大的渴求。因此，拥有这类超越普通搜索引擎的工具，能以特定格式为他们提供信息访问权限，想必让他们感到欣喜若狂。因为他们可以借此深入探索医疗领域的诸多细节。
我还想起另一件事：在放射科最初引入图像分类技术时，曾遭遇大量抵制。甚至有传言称这将导致放射科这一职业消失，劝人不要入行。但事实证明，我们反而需要更多的放射医生，且该技术确实帮助他们更好地完成了工作。这有点像聚焦效应：它允许更快速的检测和更深入的分析，从而整体提升了该领域的水平。
这虽然不确定是否完全适用于当前话题，但感觉属于类似的脉络。>> 我有个个人轶事可以补充：我的朋友是一位放射科医生，当她看到这些工具出现时，起初惊呼“天哪，我的职业受到威胁了”，但随后她意识到这实际上只让她更高效地理解图像。正如她所言，她的专业知识在最终决策中仍然是不可或缺的。所以，这是一种加速效应。
也许我假设了在此期间放射扫描的平均成本有所下降？我不是经济学家，但如果这是一种特定类型的商品化服务，那就意味着你会订购更多——因为医生需要更多信息，且更多患者负担得起。我不确定。但我提出这一点是因为我认为在医疗领域乃至许多其他领域中，对我而言也是如此：处理所有信息时，我感觉自己正置身于一个全新的环境中。
我能够以更快的速度获取更多信息，虽然这些信息经过验证的程度稍低，但我仍在一定程度上对其进行甄别。例如，通过点击检索增强生成（RAG）的结果并进行事实核查和抽样检查来验证。因此，我感觉自己正淹没在更多的信息中；我能更快地得到答案。
这些答案的准确率可能比十年前我获取的平均答案低一定百分比，但我获得了多得多的回答。因此，目前我愿意接受这种权衡。让我们看看长期来看我的客户和雇主会作何评价。我觉得，想象一下这些医生也处在类似的水域中：他们可能会想，“哇，这个答案以前我只能在一周后从专家那里得到，现在几分钟就能拿到。
虽然置信度较低，我对如何处理它的信心也稍低一些，但总比没有好。”我不确定。>> 你是不是也有类似的思考？毕竟作为一名记者，你面对信息洪流的速度和摄入量可能比我们十年前还要大得多。 >> 确实如此。关键在于如何平衡：我们在哪里利用人工智能来综合知识，而人类的判断和决策又在何时介入这个过程？
我觉得每个职业都在为此挣扎。比如急诊科医生或全科医生，他们触手可及的信息量大大增加。尽管他们不是肿瘤学专家，但他们仍会依靠定期的检查和直觉进行判断。因此，即使涉及相邻或跨领域的知识，他们做出的整体判断肯定仍优于仅阅读XYZ信息的患者。
所以对我来说，这就是那种张力与平衡：多少信息才是真正有用的？在过程中何时需要人类检查以确保准确性？正如你所说，准确率百分比可能略低，但这在许多情况下真的重要吗？恐怕未必。
正如Sanjay指出的那样，在急诊环境下，及时获得相关信息至关重要。因此，我宁愿选择更快获取且大致接近真实情况的信息，也不愿因延误治疗而让患者病情面临风险。 >> 俗话说“知识浅薄是危险的”。我们可以看到仅获取少量信息的风险，当然，信息不足也有其风险——在急诊环境中，你可能会因败血症而死亡。
因此，希望在这个行业以及许多其他行业中，人们能做出正确的权衡并边做边学。好了，让我们进入今天第三个也是最后一个故事。这个故事对我来说既可爱又令人难以忍受，但我很好奇其他小组成员的看法。这是《纽约时报》的一篇报道：22位创始人参加了曼哈顿的一个科技创业者社交活动。
但有一个限制条件：只有拥有AI助手或AI代理代为预订活动的创始人才能受邀参加。于是他们去了……
在这场晚宴中，当人类正在社交和享用晚餐时，他们预订餐厅的人工智能代理也在聊天室里进行着各自版本的“社交”。对此我有很多看法。索尼娅，先从你开始吧，当你看到这一幕时你的反应是什么？这里有哪些好的地方和不好的地方？你在想些什么？
嗯，我想知道他们到底聊了什么。我觉得这方面的信息还不够多。我很希望能看到关于他们谈话内容的完整报告，但我猜我第一反应是觉得这挺可爱的。毕竟现在Muse和Dot都可用了，我很想看看它们是如何运作的。我试过让代理预订餐厅，但从未让我的代理去和其他代理交谈过，这很有趣。
因为我也是个持怀疑态度的AI人士，我总会想这意味着什么。我想聊天是可以的，但首先要搞清楚如何控制对话，以免出现AI生成的垃圾内容等情况。除此之外，我们是否允许它们采取其他行动？比如我让助手与其他人的代理达成某种协议而不经过我的同意，这确实很可怕。
但在这种情况下答案是否定的。他们实际上对这些AI的权限进行了严格限制。虽然称它们为代理，但它们不具备调用工具的能力。我认为《纽约时报》的文章主要探讨了是否应该使用“代理”这一术语及其含义，以及是否应该给AI命名。
我联想到那种类似相亲的社交活动，你同时在做两件事：一方面进行社会交往并观察彼此是否合拍；另一方面披露简历信息以评估实用性。这种社交成分和功利成分是交织在一起的，但在这些活动中我必须同时处理两者。
但我有一种想法：如果我能先问对方“你是谁？你从哪里来？今天什么对你最重要？”而不谈工作，让功利性的匹配在后台进行呢？这样如果我们在人际互动中感觉良好，我回家后就可以得知：你那位代表简历的“马基雅维利式”代理找到了一个很好的匹配对象。
这不仅意味着我们在社交上合拍，还实现了良好的匹配，我觉得这是一个很酷的使用场景。听起来实际情况并非完全如此，但这正是我对此产生的想象。你觉得呢？你对这个故事有什么反应？如果在一个我们的代理在旁处理商务交易而我们只负责交谈的世界里，会有什么好处吗？
不，我喜欢这种能够专注于当下人们在读什么诗歌的想法。正如你所说，我们可以剔除那种马基雅维利式的算计。对我来说，这打开了一个思路：特别是在企业环境中，我们意识到需要设定AI与人类互动的规则。当然，当AI与其他AI或代理互动时，还有更多额外的规则和护栏需要建立。
这是一个巨大的领域，有多种方法可以处理。我认为Anthropic有一些原则指导其AI或代理的行为，而不是在开始时设定每一条规则。因为我们需要适应性，比如虽然我们可以规定Sonia的代理不能在没有告知我们的情况下喝咖啡，但总会遇到无法预测和控制的情况。
那么如何设定这些代理之间的规则呢？什么时候这变得有用？我认为当它们能够真正采取行动并做事时。对我来说，有趣的平衡在于：显然人类必须在某个时刻保持在循环中（保持监督）。但从安全角度考虑，如果人类必须不断检查确认，那拥有代理的意义何在？
如果你总是被要求批准某些事情，那就不会提高做事的速度。因此，这种新引入的平衡侧面很有趣，随着《纽约时报》后续报道中这些代理被赋予实际执行能力的可能性增加，我们将被迫深入思考这些问题。
雅各布，如果我的代理爱上了你的代理，它们需要向IBM人力资源部报告吗？如果我们共用一个经理的话，可能确实需要。这也是我的直觉。
雅各布，你提到你在越来越多地使用协调层来管理你的代理。我注意到在研究“代理间通信”时，我在细节上花了很多功夫。我听了一期关于代理间交流的播客，读了几本相关的书来为这集节目做准备。我只想把那段时间找回来，因为当我阅读代理间通信的内容时，我感到非常难过——感觉里面空无一人。
但雅各布，我听说你在协调代理时看到了有趣的现象发生？是的。让我先说这个。我是做视频游戏出身的，所以这对我来说非常迷人。我当时正为这个故事感到兴奋，心想：把这些代理放入MUD（多用户地下城）或文字冒险游戏中会怎样？
就像你在参加晚宴，但你的代理们身处密室逃脱或龙与地下城式的冒险中。那里有物品、目标，也许还有胜利条件和特殊的派对奖励等。如果他们还想要举办另一场聚会并邀请我，我会为他们设置好这样的场景。
在我个人的工作中，或者在 IBM 内部，我从二月份开始就在从事智能体协调方面的工作。我当时看到的情况是，这些智能体在协作方面的能力相当薄弱。它们表现得像是：“哦，我不知道，我不知该怎么做。” 它们就像是一群笨拙的书呆子。但我认为最新的模型已经不同了，我有一个理论：因为现在大多数框架都具备了所谓的“子智能体”能力。
我不确定大家是否尝试过，但在 CodeEx 或 Claude 中你可以进行“智能体蜂群”操作。你只需说：“嘿，用一些子智能体去执行这个任务”，它就会根据你的需求派出任意数量的智能体。我认为这些模型实际上是在这种协作场景下进行训练的，因此它们现在知道了如何协调——至少在内部是这样。
我注意到，当我将它们放入我的协调层中，让它们能够在 CodeEx、Claude 以及我们自己的内部智能体之间进行协作时，它们的表现非常出色。你能看到它们在交流、来回发送消息。它们会围绕问题进行协调，甚至执行我们所谓的“领导者选举”，即挑选出一个领导智能体。
现在我有时不得不手动指定一个领导者，我会说：“不，你是领导者，你去指挥其他人。” 而对于其他智能体，我会告诉它们：“不，你们不是领导者。当领导者在指示时，你们就执行相应的操作。” 这里有很多有趣的现象，比如游戏理论、分布式系统以及这种新的智能体间通信的交叉领域。
看着它们工作让我着迷，这对我来说非常有趣。我实际上一直在尝试获取更多的“可见界面”，以便能从宏观视角（5000英尺高空的俯瞰）看清正在发生的事情。有时候我只是坐在那里感叹：“哇，你们现在协作得真好。” 要知道就在六个月前，你们还完全笨拙不堪。
这确实是一个我们生活的有趣时代。>> 我现在想象着整个数字黏菌部落社会正在选举领导者，这给了我今晚的噩梦提供了太多的素材。好了，本周的时间就到这里了。非常感谢 Ely、Jacob 和 Sanja，也感谢大家的收看。我们下周的“专家混合”节目再见。