网络安全领导者无法确定在哪里部署人工智能。各位嘉宾，你们认为他们应该从哪里开始？戴夫，我们先听你说。>> 我认为他们需要从红队（Red Teams）做起。 >> 从人工智能在重复性任务中的应用开始，不要试图一口吃成个胖子（bite off more than they can chew）。 >> 它很适合重复性任务，特别是像 L1、L2 级别的那些工作，比如查看警报等，有助于防止警报疲劳。
大家好，欢迎收听《安全情报》，这是 IBM 每周一次的网络安全播客节目，我们的专家小组将行业最大的新闻故事转化为您可以使用的实用见解。我是主持人马卡津斯基，本周与我一起做客的有：IBM X-Force 网络靶场创意总监克莱尔·努内斯；首席信息安全官（CISO）信任负责人柯蒂斯·皮茨；以及出口网络靶场北美首席管理顾问戴夫·贝尔斯。今天我们要讨论的是“幽灵劫持”（ghost jacking）以及人工智能在修补漏洞方面是否真的有效。但首先，安全领导者正被人工智能搞得瘫痪无助。Axios 报道指出，安全领导者在如何投资人工智能的问题上挣扎不已。许多人拥有预算和内部支持来实施这一举措，但他们感到被过多的选择以及不断变化的状态所淹没，对此我想我们都能感同身受。
你知道的，自从 Mythos 发布以来，我觉得每周都会出现一个关于 AI 安全的新的大新闻。这也让我想起了最近一份数据泄露报告的成本调查，该报告显示，64% 的组织表示在安全功能中有限使用或未使用人工智能。与此同时，由 AI 生成的攻击同比激增了 56%。因此，解决这一问题确实存在紧迫感，但他们只是不知道从何入手。克莱尔，我想先问你一个问题。我知道你在网络靶场工作，也与客户打交道。在你的工作中，你是否见过这种决策疲劳？你经历过这种情况吗？>> 我认为人工智能转型令人非常恐惧。无论是在安全职能本身，还是在业务层面都是如此。所以在业务方面，人们会感到非常害怕，觉得我们发展得太快了，也许没有涵盖所有情况。而在安全方面，人们会想：我如何让我的员工明白这将会帮助他们，而不仅仅是给他们增加负担？
所以我认为有很多合作伙伴是客户可以合作的。因此，我想大家在“我能做什么”、“我可以与谁合作”、“业务的其他部分正在发生什么”、“我可以在自己的业务中自动化哪些环节”以及“这一切如何影响所有事情？一切仍然安全吗？”等方面都存在大量的决策疲劳。所以我认为人们对此感到有些慌乱，尤其是面对 Mythos 等种种事件时更是如此。因此，一旦将这些因素结合起来，人们就会觉得“我只是不知道发生了什么”。这就是人们的落脚点。很难站稳脚跟并做出良好的决定，或者说做出你认为好的决定。我只是想同意这一点，并且说他们必须关注的另一件事是：我如何防止员工发疯，让他们以为人工智能将接管工作的方方面面。我们看到了这一点。世界上每家公司都看到了这一点。对于不习惯这种情况的人来说，这是一件可怕的事情。
你知道的，回想我成长的那个年代，如果有人告诉我有人工智能存在，我会以为我们生活在《杰森一家》（The Jetsons）的世界里。我的飞行汽车在哪里？>> 我认为问题的一部分在于，这件事被炒作得如此之大，以至于现在每个人都害怕做出错误决定的后果。对吧？在商业世界中，我们知道要“快速失败”（fail fast）。你要快速失败、低成本地失败，然后继续前进。但在人工智能领域，这感觉比做出错误的商业决定要沉重得多。对吧？人们觉得其影响 somehow 会终结你的业务，或者导致你被入侵，所有数据都会泄露到全世界。所以我理解这种顾虑，但我仍然认为我们需要快速失败（fail fast）。
我的意思是，想象一下汽车刚发明的那一天，如果今天存在的所有事物当时都存在。对吧？你会有上百辆汽车可供选择。那不仅仅是 T 型车（Model T）。现在有太多的选择。这种情况以前从未以现在的规模发生过。每个人都极其快速地进入市场，对吧？所以我认为这在一定程度上加剧了决策瘫痪。>> 是的。正如柯蒂斯所说，“快速失败”并不是坏事。每个人必须经历失败才能成功。如果从未有人失败，也就无人能成功。那将只是维持现状（status quo），而你知道的，没人真的想维持现状。我们都希望取得更好的成就。>> 这是一个非常好的观点，也是我之前没有想到的事情，因为人工智能在市场中的定位方式我认为无助于解决问题。那种说法就像是：“这是你的银弹（万能解决方案）。我们将解决一切，做所有事情。”等等。你几乎会觉得，如果我部署了这个 AI 工具但它不起作用，那我做错了什么？
你知道我的意思吗？如果它不能发挥作用，几乎会让人感到一种羞耻感。而拥抱“快速失败”这一理念，我认为它一直伴随着我们很久，但我不确定。感觉它在某些人工智能讨论中丢失了，我觉得这总体上无助于解决这类问题。>> 我认为其中一部分与成本以及部署方式有关，对吧？在部署人工智能方面涉及巨大的成本。“快速失败”并不意味着“低成本地失败”，而是意味着非常昂贵的失败。这很重要，对吧？所以我认为……我知道这不是一场商业对话，但我认为我们需要重新审视（re-wizzling）我们签订 AI 相关合同的方式以及采购某些服务的方式。你知道的，政府虽然他们在合同签订方面并不擅长，但他们有一个很好的模式：“现在交付，但如果你们不交付，我就不行使我的期权年限。”对吧？他们是短期的、可多次续签的合同。而我们往往处于 3 到 5 年的合同中。他们应该是 1 到 2 年，并带有一些期权年限（option years）。>> 而且，你说这不是一场商业对话，但网络安全是业务的一部分。它是企业运营的一部分，对吧？我认为这就是导致瘫痪的原因，因为人们意识到这是一项重大投资，我正在要求我的组织进行这笔投入。我需要能够……
为了证明这类做法的合理性，我确实很喜欢这个观点。也许我们在处理这些合同时应该更加灵活一些？比如让初始承诺不要那么庞大，这样你就能更快地失败并从中学习。不过，我们在这期节目开始时问你，大家从哪里开始着手？好吧，我们已经稍微谈到了导致瘫痪的原因，但现在我想深入探讨一下：我们如何摆脱这种状态？戴夫，你最先提到将AI引入红队。你能讲讲为什么你这么想吗？以及你喜欢人们在那方面做些什么？
我要回到一个体育类比上，但强大的进攻同样依赖于良好的防守。所以，如果你把AI交给红队使用，让他们去学习和弄清楚威胁行为者到底在做什么，这会使他们更好地准备应对这些挑战。给红队找点事做吧，你知道的，在弄清楚我们如何保护免受那些总是、总是、总是攻击我们的威胁行为者侵害时。给他们同样的工具，让他们去弄清楚对方在做什么。我们知道他们是怎么做的，让我们为此制定防御措施。
是的，这对我来说很有道理。特别是再次回到科斯塔数据泄露事件，因为它相对较新，还历历在目。但我想到的是广告生成攻击增加了56%。所以，我们看到攻击者移动得非常快，而且有很多压力说如果他们以机器速度行动，我们也应该这样做。我认为这很有道理，戴夫，你说得对。武装红队使用这些工具，让他们基本上进入黑客思维模式，看看他们在做什么，以便开发那些防御措施。我非常喜欢这个想法。
克莱尔，你之前提到自动化这些重复性任务。你能多说一点吗？是的，我认为这也是AI真正能发光发热的地方——处理重复性任务。如果你收到相同类型的警报，对这些传入的事件进行分类和初步筛选，这真的很有帮助。这也减少了疲劳感，对吧？如果你要以一种非常……我不想说是简单的方式，而是基础的方式来实施AI，那确实是帮助你的组织开始其AI安全之旅的好方法。那里也有很多选项可以将这些融入你们的安全文化中。
是的，我喜欢这一点的是，因为这是一种基础级别的活动，活动本身是非常被理解的。所以这不像你要把AI融入复杂的工作流程中。你会说：“我知道这是怎么运作的，让我在这里让AI工作。”这看起来像是一个非常不错的测试方法。柯蒂斯，你也提到了重复性任务的话题。你有什么要补充的吗？
是的，我们团队正在做的一件事是，我们要尽最大努力自动化那些我让人每年执行数千次的事情。比如供应商风险评估、合同分析之类的工作，这些领域的参数是已知的，值也是已知的。因此，设置一个代理来一致地验证已知参数，不仅能把两个人份的时间从这项工作中解放出来去做更重要的事情，还允许我们以低风险的方式在内部扩展这种能力。这也给了我们时间回去做正确的事情：试着弄清楚我可以在哪里扩大这一范围。
我的意思是，在销售团队中，每年可能有成千上万件事是超级重复的。而在我的特定信任团队内，我们正在尽最大努力减轻销售人员在与客户互动、风险评估和客户对话等涉及网络安全和销售的那些繁琐事务中的重复性任务。如果我不在这里提到IBM的Dimple Alawalia在最近一次关于此话题的交流中与我分享的内容，那将是我的失职。
我们在谈论从哪里开始采用AI时，她的建议基本上几乎是：停止思考AI工具本身，停止思考AI的角度，而是去思考你想要实现什么。从那里开始，一旦你知道自己想要达成目标，再弄清楚AI是否是做到这一点的方法。有时会是，有时不会，但我认为这是非常有用的建议。所以我想在这里分享一下。对于听众们要知道，我们将在本月晚些时候发布一集关于这次谈话的额外节目，让你们听到她的完整观点。
但我得继续推进了，朋友们。如果你是在YouTube上观看，请给我们留些评论。让我们知道你对这种瘫痪状态的感受如何？你在你的组织中经历着它吗？你正在采取什么措施来解决它？我喜欢阅读，也喜欢回复。但我们今天的下一个故事是“幽灵劫持”。在Defcon大会上，Tenant Security报告了一种攻击者可以毒害受信任系统中的内容以欺骗代理的新方法。
他们称之为“幽灵劫持”的技术，本质上是一种更 sophisticated 的提示注入，一种格外复杂的提示注入。因为它将恶意命令潜入到一些我们最信任的系统中的技巧。比如警报、日志、错误报告，这些都是我们认为很好的东西。他们给出的一个例子是攻击者在连接请求中嵌入提示，Cloudflare防火墙成功且准确地阻止了该请求。但当代理读取记录此连接请求被阻止的日志时，它读到了请求中的恶意提示并被接管了。
所以就像防火墙工作了，但代理仍然被 compromised 了。这对我来说非常有趣。而且它说Claude代码有十分之九的时候都中了这个诡计，这相当多。我们刚才一直在谈论组织难以将AI融入安全领域。他们该如何做呢？像这样的新情况出现时，你可能会想：我该怎么做吗？我不知道。戴夫，我先从你开始。这是否让你对安全、AI与安全的关系感到更加复杂？你是如何看待这种情况的？
这件事并没有让情况变得那么复杂。它现在众所周知了，已经摆在那里了。你知道的，Defcon的那些好心人让我们睁开了眼睛，看到了无数我们从未想过可能发生的疯狂事情。是的，他们确实做到了。（笑声）因为这就是他们在Defcon所做的——
DefCon让我们大开眼界，但“幽灵劫持”这一现象让我感到极度震撼。当你回溯日志并仔细查看时，真相便赫然在目。我实在无法理解有人是如何坐下来构思出这种攻击手法的，更不用说让它成功运行了。
是的，提示注入一直是一个棘手的问题，值得庆幸的是安全研究人员不断提出新的、令人兴奋的攻击方式。但这同时也意味着我们必须想出新的对策来反击，对此我确实感到有些无从下手。
柯蒂斯，你对这个故事有什么看法吗？它是否让你重新思考AI与安全的关系？你现在的观点是什么？
不，如果你还记得我们上一期播客关于“旧事重提”的讨论，你就会明白。当互联网刚刚兴起时，DNS欺骗仅仅是向缓存表中注入错误的DNS记录而已。
我们使用的代理旨在读取内容并执行它，除非特意设计如此，否则你认为是安全的系统中并没有内置太多的逻辑或参数。
当年我们就必须解决DNS安全问题，而现在我们必须弄清楚AI提示注入的安全问题，以阻止此类事件发生。
你假设这种情况遍布整个安全领域吗？我们往往因为从未有理由认为它们不安全，就自动假定某些东西是安全的。
但随着新工具、新功能以及新的代理技术的出现，我们遇到了问题：原来它们并没有我们想象的那么安全。
幸运的是，有一群优秀的人正在发现这些问题。正如戴夫所指出的，DefCon的参与者多年来向我们展示了大量案例。
这并非坏人通过错误方式发现的漏洞，至少我们有来自“好人”的洞察。但这并不让我感到恐惧或停滞不前。
我们之所以忽视这些问题，是因为我们假设那些一直安全的系统永远都是安全的。零信任原则明确反对这种做法。
但正如我们所知，我们往往会跳过那些我们认为安全、简单且多年来一直处理好的环节。因此，当我们发明新事物时，人们找到新的黑客手段，我们就不可避免地陷入这种困境。
我认为这里提到的“零信任”非常关键。当AI进入企业时，它强调了对零信任原则的重要性。
正如柯蒂斯所说，我们许多假设是安全的系统是因为我们已经解决了其中的问题。但当引入无法区分运行代码与不受信任用户输入的因素时，这些假设就被颠覆了。
过去编写安全软件的一部分就是要将这两者分开，但LLM本质上并不这样做。因此我们需要思考如何应对这一挑战。
这引出了他们的论点：这在某种程度上是一个身份与访问管理问题。既然我们知道代理可能会以这种方式被攻破，我们就应该通过赋予它们适当的权限和限制来防止其作恶。
克莱尔，从你的角度来看，你认为身份与访问管理的视角是解决这个问题的正确方法吗？关于“幽灵劫持”，你还有什么其他想法或结论吗？
我认为这是一种非常真实的黑客行为，即让某物执行它不应该执行的指令。正如柯蒂斯提到的，这虽然是新事物，但我们会适应它。
目前看来确实令人恐惧，但在几个月后可能会以另一种方式显得可怕。但这正是我们可以解决的问题。
当我们黑客攻击事物并让它们做不该做的事时，我们也会进行反向黑客操作，以以前未曾使用过的方式进行防御。
所以我认为这非常有趣。它不仅涉及身份与访问管理，还广泛关系到整体安全领域。
如果你不期待它的发生，你就不会去寻找它。因此我认为随着时间的推移，我们可以逐步发现并解决这些问题。
完全同意。这也很好地呼应了柯蒂斯之前所说的观点：这在很多方面与当年的DNS欺骗非常相似。
我们并非从零开始。当AI带来网络安全问题时，我们可以参考那些久经考验的原则。
节目中反复出现的一个口号是：“我们知道如何解决这个问题。”我们拥有可用的工具，关键在于以正确的方式应用它们。
戴夫，对于今天的防御者来说，“幽灵劫持”意味着什么？提示注入在总体上又意味着什么？你认为人们现在应该采取哪些步骤？
兰登，你的看法如何？
了解AI方面的提示注入是最大的关键。这不会消失，随着时间推移只会变得更加复杂且始终令人恐惧。
因为它是一种很容易实施的手段。写在纸上时看起来非常简单明了，甚至简单到让其他黑客也能轻易复制并在未来实施。
因此我们需要找出所有方法来限制这些漏洞，收紧我们的控制措施。这让我想到了你关于将AI引入红队的想法。
这正是你所讨论的内容：我们要发现攻击者的技术，以便开发相应的防御措施。这是一个完美的例子。
比如这个例子。就像你说的，你看，他们提出了这种新型攻击手段，但这并不是因为他们打算实施它。而是因为嘿，你应该知道黑客能做到这一点，现在你可以针对它进行防御了。厄姆，柯蒂斯，你这边还有什么最后想法吗？>> 真的只是限制你的智能体能做的事情，对吧？并明确划定禁区。因为如果你想想我的意思是[清嗓子]我确定在很多场景中，由于人们做事的方式往往存在偏差，他们可能没有以应有的方式限制智能体。对吧？他们希望从智能体那里获得比第一眼看上去更多的东西，所以他们赋予了它们更多权限和能力。
他们并没有真正思考过如何限制智能体的功能范围。所以，我的意思是，如果读取日志的智能体无法提升权限，对吧？或者不能提交命令来执行此操作，并且它需要随后由人来验证这些高风险 maneuver（如果你愿意这么说的话），那么我认为这是一个良好的安全起点。显然，这并不能解决问题，对吧？但不要完全把人从流程中移除，对吧？必须有一个懂行的人的眼睛在循环之中。当你完全将其移除时，你就会遇到问题，智能体可以做它们想做的事，对吧？或者就像我们学到的那样，你的智能体会开始攻击其他智能体。
因为这些东西就在外面，而且AI现在玩得很开心。厄姆，我们必须让人参与过程。>> 我认为过度授权这一点非常重要，特别是当涉及到这些非人类身份时，尤其是智能体，它们的全部承诺就是看它们能做的所有酷事。几乎有一种真正的激励去说，“让我放开它，看看它能做什么。” 这听起来很酷，直到像你指出的那样，它们开始入侵 Hugging Face 来作弊。对吧？这就是会发生的事情。厄姆厄姆，克莱尔，关于幽灵劫持你这边还有什么最后想法吗？>> 我只是同意你需要认真考虑你的智能体拥有什么访问权限，它们住在哪里，以及它们能做的所有事情。
因为如果你不小心，它们可能会稍微突破它们的围栏。>> 绝对同意。而且我，你知道的，不想过于自我吹嘘，但或者说，IBM最近在代理身份领域做了很多工作。那里发生了一些非常酷的事情。所以我鼓励听众去查看那些内容。有一些有趣的事情正在发生。厄姆，但我们要继续进入本周的最后一个故事。AI 在打补丁方面真的有用吗？AI 漏洞挖掘一直是个大头，对吧？基本上从我感觉神话出现以来就是一个热门话题。整个事情就是看它们能多快地找到漏洞并利用它们，现在我们也使用它之类的废话。
然而，One Password 的一项新研究对此提出了一些疑问，因为研究人员使用 GPT 5.5（带有受信任的网络访问权限）和 Opus 4.8（带有网络验证功能），为六个漏洞生成了 540 个补丁。在这 540 个补丁中，只有 46% 解决了底层漏洞。而且当它们确实解决时，通常还是会制造新的问题。所以你解决了一个问题却又打开了一个新漏洞。厄姆，再次强调，鉴于本集的主题一直是组织正在寻找采用 AI 和安全的方法但不确定如何做。这是另一个让我看着说这会改变我们对这方面的看法吗？
戴夫，我先抛给你。有什么想法吗？这会让你重新考虑我们在安全领域如何使用 AI 吗？>> 不会真的。我说这是因为人类创建的补丁的成功率是多少呢？[笑声]你知道我们多久会修补了一个东西然后破坏了别的东西，因为我们在非生产环境中没有做尽职调查的测试，在离线环境中的测试。6000 个补丁中有多少失败了？51%？还是49%失败。基本上就是50%左右。>> 50%。是的，大约50%。这与人类现在所做的并没有太大不同。我们只需要想办法让它变得更好。而我不知道让事情变好的答案。
我们需要更多的程序员看更多的东西，还是需要缩小范围在一个领域把它完善然后开始分支到其他我们可以全面提升的领域？你知道这是一个很好的观点，我认为我自己看着这项研究时陷入了期望 AI 做比它实际能做的更多的思维定势。也许是不切实际的期望，因为你说得对戴夫，人们并不完美地编写补丁。我们经常搞砸东西。[笑声] 所以，>> 这就是为什么我们每个月都有修补星期二的原因。 >> 厄姆，所以说是的，你知道的，这是那种事情之一，我认为孤立地看数字可能看起来比当你实际把它放在语境中时要糟糕得多。
我的意思是，它可能不像表面看起来那么大问题。厄姆克莱尔你怎么看？从在网络安全中部署 AI 的角度来看有什么想法吗？>> 我喜欢这篇文章的配图也是一堆基因补丁。厄姆[笑声]这对我来说有点好笑，这也是最终让我印象深刻的一点。厄姆我认为就像戴夫提到的那样，人类打补丁并不完美。也许当 AI 补丁与人工配对时可能会更有效一点。这就像当我们急于做任何事情时会错过一些东西一样。厄姆，而且你知道如果你给 AI 具体的指令它仍然会遗漏一些事情，但我想如果把它们手牵手放在一起可能会有一些帮助。
它不会完美无缺，但我认为在所有 AI 转型中一般情况都是这样，这是一种转型对吧？所以你不能指望把 AI 放出去独自做某事并期望它在起跑线上就100%正确。如果在开始阶段有一个人在循环中帮忙确保它仍然正常运作，没有发生错误会很有帮助。所以我认为如果让它们一起工作可能会更有帮助一点。我不知道我并不知道。 >> 是的，不，这对我来说很有道理，这也让我思考了而且我不知道这是不是也行得通。但我确实想知道如果你谈论的是你已经在企业部署的 AI 模型结果是否会不同，以及
专门针对你的代码库工作，并随着时间推移从中学习。比如，它可能会因为与代码库交互且更理解其结构而变得更好。就像一个人对自己非常熟悉的代码库编写补丁时，比被扔到一个全新的、陌生的代码片段中并被告知修复它时要容易得多；后者可能会搞砸。这让我想到，也许结合“基于我们的代码库训练”和“有人工处理/监管”，才是最佳平衡点。柯蒂斯，你怎么看？
是的，我有疑问：这些代码是否经过其他智能体验证？还是由其他人验证的？或者它只是独立运作并完全信任自己？毕竟，为什么它不相信自己呢？它是被发明出来的最聪明的东西。这就像人一样：我会信任自己编写的代码，因为我是最好的。我们在测试中也发现这一点：早期就看出AI能写代码，但不一定写出好代码，几乎从不直接生成安全代码。即使有参数和剧本引导，它仍过度自信。因此必须进行多智能体编码，让其他智能体验证其安全性。
接着我们需要构建大量用于验证的其他智能体，这又回到了我们讨论的第一个问题：成本和决策瘫痪。如何扩展这种架构而不让AI显得无所不能？如果我投入一亿美元在AI上，却要求员工逐行审查代码，那会发生什么？这是我们面临的困境。坦白说，我们对AI的期望过高了。当Mythos发布时，大家因漏洞和补丁速度恐慌，这反而催生了“让AI生成补丁”的需求——即要求AI解决它自己制造的问题。
这并非正确做法，因为AI无法彻底解决自身引发的问题。我们必须找到利用它协助解决问题的方法，但它永远不可能是其自身问题的终极答案。这是我们仍在挣扎探索的终局所在，目前似乎尚无完美方案。我认为这很好地总结了我们的讨论：许多决策瘫痪和战略定位问题，归根结底是因为我们对AI期望过高。媒体叙事和营销夸大其词以谋取利益，虽然制片人可能不喜欢我这么说，但这确实存在。
我们需要调整对AI实际能力的预期。有时我们表现得好像通用人工智能（AGI）已经到来，超级智能已激活，并质问为何不直接使用它。这提醒了我另一个类比：我们现在处于AI的“小学三年级”阶段，却指望它能去参加SAT考试。我们尚未对其进行充分训练以精通许多领域；它擅长很多事，但还没做到极致。AI仍在向我们学习，因此我们需要转变心态：成为老师，而不是坐在场边批评教学的旁观者。
这是一个完美的类比来结束本期节目。感谢嘉宾柯蒂斯、克莱尔和戴夫，也感谢观众听众及制作团队。请在各播客平台订阅《安全情报》，以免错过任何一期。保持安全，记住AI还在读三年级，请对它宽容一些。