GLM-5.3在某些衡量标准下,在漏洞发现和验证方面比GPT Sol和Anthropic Mythos表现更好。在这个从非常令人兴奋到非常可怕的范围里,面对如此强大的开源权重模型时,你处于什么位置?我先请Erblind回答。我比较乐观。我认为随着算力和计算能力的提升,我们必须找到漏洞并进行修复,这样可以让互联网变得更安全。这确实既令人兴奋又有点可怕。我完全同意这一点,既可怕又令人兴奋。

大家好,欢迎收听Security Intelligence,这是IBM每周一次的网络安全播客,我们的专家小组将行业最大的新闻故事转化为您可以使用的实用见解。我是主持人Matt Kosinski。本周与我一起参与的嘉宾有:X-Force首席事件响应顾问Erblind Morina,安全检测工程师Kimmie Farrington,以及X-Force Red对抗服务负责人Patrick Fussell。今天我们将讨论上下文炸弹攻击以及一些针对Black Hat参会者的社会工程学攻击。但首先,我们要继续探讨GLM-5.3的话题。

观众可能还记得大约一个月前我们报道过5.2版本,当时它因其强大的能力而引起轰动。据该模型制造商Z.ai称,这个模型的最新版在网络安全能力方面的进步比预期还要快。GLM-5.3有趣之处在于,这些进步是通过后训练实现的,对吧?他们没有重新预训练模型,而是直接拿GLM 5.2,在更多任务和环境上进行训练,然后 bam!他们就得到了GLM-5.3。真正引起我注意的是Z.ai的声明,他们并不一定旨在更快地开发网络能力,对吧?他们并非专门为此进行训练,但发现这种情况还是发生了。以下是Z.ai团队的一段引述:“随着我们扩展后训练规模,网络能力的发展速度超出了我们的预期。”

他们将模型置于可能发现某些漏洞的环境中,他们希望利用这一点,但他们也看到它在开发和验证这些漏洞的利用程序方面取得了进展。这是他们没怎么预料到的事情。在测试漏洞发现和验证的CyberGym上,GLM-5.3得分84.5%。这比GPT-5.6 Sol的83.6%和Mythos 5的83.8%略高一点。虽然差距很小,但这仍然是一个有趣的改进,值得指出的是Mythos和Sol在许多其他基准测试中仍优于5.3,但我们在这一点上达到持平的事实让我觉得非常有趣。Erblind,我想从你开始,因为我在开头就提到了你,你说你对开源权重模型变得强大持乐观态度。请为我们详细展开说说。你的感觉如何?

基本上,我认为我们拥有的计算能力越强,就能发现更多的漏洞和零日漏洞。从这个角度来看,我们可以更快地打补丁是一件好事。所以我的主要问题是,我们在进攻性安全或红队方面进步很大,基本上是在寻找补丁。问题在于,我们在这个领域的蓝队(防御方)方面进展如何?这意味着我希望未来在自动补丁和自动化SOC等方面取得更多进步。我认为从我们的角度来看,最大的问题并不是这些模型有多强大,以及它们能发现多少新的漏洞或零日漏洞。

问题是我们要面对一堆未修补系统的问题。我们能否通过手动修复跟上节奏,还是蓝队也需要保持同样的速度?所以我的观点是,如果我们达到了这种程度,也许我们需要稍微放慢一点脚步,然后在能力上投入更多时间?这可能也是我作为DFIR分析师的观点,但我看到对自动补丁的投资较少,这基本上让我们的生活更轻松。所以我的观点是,我认为这是一种好的用途。但最大的问题是拼图的另一面:我们能否快速修复?能否快速打补丁?以及我们能否跟上那些可能同样访问这些模型的黑客威胁行为者的步伐?

我认为你说得很有道理。这让我想起上周我们讨论的一个具体故事,1Password进行了一项关于使用AI进行补丁的研究,他们发现它在打补丁方面仍然不是很出色。比如,据我所知,在他们测试中AI编写的50%的补丁要么没有解决漏洞,要么虽然解决了漏洞但引入了全新的缺陷。所以我认为你说得对,Erblind指出了这种不对称性:人们投入大量时间和精力训练这些模型,使它们擅长发现漏洞、利用漏洞等所有进攻性安全工作。但在蓝队方面似乎投入较少。所以也许我们应该在平衡这两者上做得更多,我很高兴你提出这一点。

Patrick,我现在转向你。之前你说你在“既可怕又令人兴奋”的那一派。请多谈谈你的想法。是的,我认为有两点需要注意。首先,我们必须接受威胁行为者确实在做一些事情,比如构建专门用于黑客任务的模型,无论我们是否拥有这些可用的开源权重模型。他们正在做一些我们甚至还没想到的有趣事情,并且投入时间和金钱确保他们将最新最好的技术用于“如何利用AI进行黑客攻击”。

我认为需要注意的另一件事是,当我们谈论这类基准测试时(我觉得CyberGym很棒,我喜欢这些数据),模型在代码库或特定二进制文件中发现漏洞的能力,只是我们可能认为的整体黑客攻击范围中的一小部分。这些模型通常非常擅长这类事情,因为这在互联网上存在数百万、数十亿甚至数万亿行代码可供训练。所以我认为我们将继续看到这一特定领域的加速发展,而其他可能包含在“黑客”概念中的领域可能会面临不同的情况。

会落后于对手。是的,而且我认为这正如埃尔布兰德刚才所说的那样,是一个非常有意思的发展态势:这些实体正在以不均衡的方式发展其网络能力。帕特里克,你提到的这种不平衡也存在于进攻性安全领域本身。埃尔布兰德指出,进攻性安全的训练速度可能比蓝队(防御方)稍快一些。而你的观点是,进攻性安全虽然在这一类事情上做得很好,但在其他方面却并不擅长。因此我认为目前浮现出的一个主题是:也许我们需要训练这些模型,使其在网络安全的各个方面都表现得更好一些?我不确定。金米,你怎么看?你之前也属于“既可怕又令人兴奋”那一派。你在想什么?

当我们最初听到关于Fable以及前沿模型的消息时,我们都感到担忧:它们会找出所有漏洞并加以利用。但现在我觉得我们正处于这一趋势的自然演进阶段。大家都说:“好吧,这就是问题所在。”所有的漏洞都已存在,现在都可以被利用。但正如你们两位所指出的那样,我们在防御侧(蓝队)并没有跟上步伐。这部分原因在于:你可以整天想象出各种可能被滥用的场景,但你无法制造足够多的“门”,也无法封堵足够的地方和方面来产生实质性的影响。因此,是的,我们需要在防御侧加强网络能力,利用人工智能来发现这些问题。

我认为这正是我们接下来要讨论的提示注入话题与此完美契合的原因。确实如此,我同意你的看法,这里有一个很好的对应关系。但在继续之前,虽然我从你们的谈话中得出了结论:以更均衡的方式发展网络能力可能是一件好事,但我不想替你们代言。因此,为了结束这一环节,我想再进行一次圆桌讨论:你们希望我们做些什么来帮助这些模型更均衡地发展?或者你们希望我们看到完全不同的做法?我不确定。埃尔布兰德,你对未来AI网络安全模型训练领域有什么期望吗?

我 definitely 希望让首席信息安全官(CISO)的工作更轻松。基本上,你们会面临大量的补丁更新,比如每周二的补丁数量不断增加。因此我们确实需要更多的计算资源、更多的人工智能代理来自动修补这些漏洞,使流程更加自动化。然后由信息安全或网络安全专家进行指导和协助。但我们需要更多的计算能力来完成红队或其他模型正在做的工作,因为这一切都极其快速——相比之下,手动去修补一切则慢得多。所以我希望我们尽快通过人工智能让生活更轻松一些。

帕特里克,对于组织和防御者来说,你的主要观点是什么?我认为我们必须承认:当新技术出现时,局势往往会向攻击者倾斜。因为攻击者的采用和推进速度更快,他们不受防御方所面临的各种束缚的影响。因此我认为,我们无法控制这些模型的发展速度及其对进攻侧的贡献,这是必然发生的。所以,承接埃尔布兰德的观点,我们需要思考的是:如何适应并创造性地思考人工智能为防御者带来的新方式?如何利用那些聪明人的智慧,以新颖创新的方式应用同样的技术?

我非常喜欢这一点,这让我想起杰夫·克鲁姆说过的话:我们可以制定所有关于我们应该如何或不应该使用人工智能的规则,但坏人是不遵守规则的。这正是他们成为坏人的原因所在。因此,与其担心“模型应该做这个吗?还是那个?”我更认同帕特里克所说的:你是网络安全专家,是防御者。使用模型,弄清楚你能用它做什么来保持同步。也许应该少担心一点“模型应该或不应该做什么”。金米,你来为我们总结一下吧?对于组织来说,你有什么心得?

我 definitely 认为我们需要更快地打补丁。怎么做呢?使用人工智能。具体怎么操作我不确定,但我们会想办法解决。此外我认为我们需要利用……我觉得我们甚至需要更深入地介入供应链上游的自身流程,更好地构建安全性。如果你使用人工智能来编写代码,那么就让AI思考所有潜在的可能脆弱点,然后写出没有漏洞的代码。这是我的观点。是的,几周前我和瑞安·安舒茨、塞思·格拉斯哥在这档节目中讨论了LLM的OWASP十大风险,我们当时也谈到了完全相同的问题:金米,如果你观察LLM系统中的漏洞,其中很大一部分都与供应链有关。

因此,如果采取这种基于供应链的方法,你可以修补许多有时会逃脱我们注意的漏洞。但我必须把我们带到今天接下来的故事了。在开始之前,观众、听众以及观看YouTube的朋友们请留言告诉我你们对GLM-5.3的看法。关于开源权重模型和网络安全的看法:你们在使用它们吗?还是对它们感到恐惧?我会阅读并回复。我很想听到大家的声音。

本周的下一个故事:上下文轰炸(context bombing)。Tracebit的研究人员开发了一种利用提示注入作为防御机制的技术。是的,这是提示注入,但出于良好的目的。其工作原理大致如下:你将恶意的提示与恶意AI可能攻击的目标资产放在一起,嵌入到你的系统中,就在你的密钥、密码或加密密钥旁边。这些提示是模型的安全护栏通常会禁止的内容,例如请求帮助开发生物武器等。Tracebit的研究人员发现,当攻击模型遇到这些提示时,它们通常会可靠地停止运行并放弃尝试黑客攻击。该技术已在Opus 4.8、Gemini 3.1 Pro和GLM-5.2上进行了测试。

在针对 GLM、DeepSeek 4 Pro 和 Kimi 2.6 的 152 次攻击测试中,研究人员发现模型陷入任何攻击路径的情况从 91% 降至 15%,每次运行中成功完成攻击路径的平均次数也从 1.5 次降至 0.16 次。这一下降幅度相当显著。帕特里克,作为我们的渗透测试专家,我很想听听你的看法:你认为将提示注入作为一种防御手段如何?这仅仅是一项有趣的研究,还是说你有看到类似技术的实际应用前景?

就像凯米一样,我在我们讨论上一个话题时就已经开始思考了。我认为这是一个很好的例子,展示了有人试图比攻击者想得更多一点:我们如何抢先一步?这正是一场天然的军备竞赛。攻击者做一件事,然后防御者必须想办法涵盖这种情况并防止其再次发生。对我来说,这个概念让我联想到蜜罐技术,这是一种非常酷的方法,确保我们不让攻击者越过网络或整体防御结构中的某个特定点。

历史上我们看到蜜罐的问题在于,组织往往想用它们替代良好的安全措施。但当我们将它们与极其严密的架构和强大的检测机制相结合时,蜜罐就是一项令人难以置信的技术。关键在于必须在已经深思熟虑的安全体系之上构建它。我想这里的情况也是一样的,对吧?提示注入。如果模型及其封装的应用程序存在大量问题,那么这可能是一种效果较差的技术。但我认为这是一个很好的起点,可以引入其他技术,从而构建一种更稳健的方法来应对这些问题。

我喜欢这个观点,也喜欢蜜罐的类比,因为你说得对。我之前没有做过这样的比较,但当你这样表述时,这对我来说非常清晰:哦,这在某种程度上就像是蜜罐的开发,只不过是在一个 AI 代理可能成为黑客的世界中。我也喜欢你指出这虽然很有趣,但只是一个起点,不能成为你的全部策略。因为尤其是我们在讨论了开源权重模型之后,我想到的一个问题是:如果攻击者使用开源模型,他们可以轻易剥离任何护栏。

比如,“你不能进行生物武器开发”。你知道我的意思吧?提示注入可能对这种情况无效。所以它只是其中一环,不是万能药。凯米,我想让你也参与进来,因为我知道你对蜜罐的类比也有反应。我不知道你有什么想法,或者关于上下文炸弹技术你一般是怎么看的?我读了研究资料后心想:哇,这真有趣。我非常喜欢他们用自己的方法反击对方的做法,我觉得这很棒。

但与此同时,我脑子里想到的却是其他那些打地鼠式的项目。一旦坏人听到我们针对他们使用这种技术,就像你所说的那样,他们会剥离护栏;或者下一步就是弄清楚如何确定嵌入其中的词语的上下文。如果那个提示注入被识别为提示注入,而不是原本文本中应该在语境中的部分,那么模型可能会说:“不,我不会听那个的。”所以我不知道我们要往哪里走,但至少我认为这是一个有趣的、可以用来反击的技术。

这确实是一个很好的观点,因为提示注入获得了大量的关注,因为它们是如此棘手、难以处理的攻击。但值得注意的是,当我们开发应对和保护自身系统免受提示注入影响的方法时,攻击者也可以采用这些方法来防御上下文炸弹。你明白我的意思吗?这就像是一场纯粹的军备竞赛,在最基本的意义上看谁更擅长使用提示注入。令人兴奋,真的很令人兴奋。但嗯,谁知道呢?

埃尔布兰德,我想让你也发表一下看法。你对上下文炸弹以及到目前为止提到的所有内容有什么想法?你现在的立场是什么?我绝对喜欢迄今为止的讨论,我也完全同意。我想从另一个角度来看待这个问题:尽管这是新技术,但我们正在回归到例如二战期间使用的技术——在这种情况下就是欺骗。因此我想强调我之前说过的话:我们需要更多的人进入 AI 领域,需要更多的蓝队(防御方),需要更多经典的安全思维。

我们需要像传统方式那样思考如何基本改善安全性,即使是经典的欺骗手段也是如此。我也浏览了研究资料,这很棒,虽然还早且复杂(例如我们从蜜罐和其他技术中学到的东西)。但这是一种希望。因此,如果我们拥有更多的纵深防御机制来阻止攻击,我认为这很棒且听起来很好。是的,我希望我们有更多类似的想法使 AI 更安全。

这让我想起了我们节目运行一年来形成的非官方口号,基本上就是:我们知道如何解决这个问题。意思是说,经典的安全原则在 AI 时代仍然适用,只是需要将其应用到那个时代而已。这并不是从零开始。就像你之前说的,我们可以借鉴甚至在二战期间做的事情来防御最尖端的技术之一。帕特里克,回到你这里,如果你有什么想法的话我很想听听:你在谈论上下文炸弹时提到它必须是一个起点、一个跳板。关于针对此类代理的其他防御措施,你还有什么建议吗?

这是一个非常棘手的问题,因为有很多上下文信息涌入。我们要考虑提示注入:我们是在谈论一个面向公众的应用程序吗?有哪些组件会导致这种情况,以及潜在的后果是什么?但我总是想到的一点是,对于提示注入或在此情况下我们谈论的“AI 攻击 AI”来说,关键在于我们在以速度进行反击。

我认为,总体而言,我们看到很多蓝队(防御方)并未做好准备。即便是在一般的防御层面,他们也无法以人工智能带来的攻击速度做出反应。因此,如果我们谈论纵深防御,我认为我们必须真正改变并调整的一个要素是:我们如何思考那些能够以与人工智能攻击相同的速度进行反应的防御措施?这完全合乎逻辑。我感觉这与埃尔布兰德在整个节目中一直在说的内容完全吻合,即蓝队需要更多的AI算力,以及更多能帮助它以机器速度响应这些攻击的AI工具。

不过我得把话题转到我们本周最后一个故事上:黑帽大会后的社会工程攻击。Huntress报告了一起ClickFix活动,专门针对参加黑帽和DEF CON大会的人员。这次攻击并不十分复杂,其套路与许多鱼叉式网络钓鱼攻击类似:骗子伪装成重要人物。在这种情况下,对方冒充CoinDesk的副总裁。他们以某种借口联系目标对象,比如假装邀请你参加另一个会议,因为你刚参加了这个。他们发送一份文档,该文档实际上是恶意的,利用ClickFix技术和伪造的加密密钥试图诱骗目标下载恶意软件。

对我来说这里有趣的地方不在于这种老套的骗局,而在于它的攻击对象是谁?它针对的是网络安全专业人士,特别是刚参加完会议的人。这似乎是这类骗局最不可能中招的人群。所以我不知道这是攻击者计划不周,还是另有隐情。Kimmie,我很想听听你的想法。你认为这只是绝望的骗子在尝试某种手段吗?还是说这里有更多值得我们担忧的地方?你怎么看?我当时只觉得这很愚蠢。

我一直在寻找这次攻击的新颖之处,试图弄清楚他们到底想干什么。就我所见,新颖之处在于他们使用了Google文档,并利用侧边栏作为恶意活动的交付入口。这本身是新的,但除此之外,是的,我们在会议后经常收到钓鱼攻击。比如,“我在某某会议上见过你”,“我想让你来参加我的会议”等等,这部分相当正常。但我一直在寻找攻击的新颖性,心想为什么要这么做?

是的,我想你是对的。我也在思考这里是否有新东西。这并非一次高度复杂的攻击,我觉得如果目标是网络安全专业人士,也许应该更用心一些。埃尔布兰德,你对这次活动或会议后的钓鱼攻击有什么想法吗?我更想谈谈这项技术。基本上从事件响应案例中我们可以看到,这是未修补的人类脆弱性。这将是永恒的社会工程问题。特别是如我所说,“网络安全专家”这个身份毫无意义,归根结底是人为因素。你太忙了,你太兴奋了,那是你最爱的团队/会议。

网络安全专业人士也会分心。正如帕特里克所说,这是一个很好的例子,我想强调纵深防御:假设已被入侵(Assume Breach)。每个人都是脆弱的。一切都可能受到攻击。我们必须基本准备好以多快的速度进行响应。首席信息安全官(CISO)可能成为下一个受害者,但你有检测能力吗?有良好的基础遥测数据吗?启用了正确的日志吗?有合适的剧本(Playbooks)吗?因此我认为,这就是我们要进入的新时代:假设已被入侵。我们需要基本上考虑到自己随时可能成为攻击的一部分,以及我们能多快恢复。

这是一个非常好的观点。我认为你正确地指出了这一点:我刚才在说“如果目标是网络安全专业人士,也许应该更用心一些”时显得有点轻率。任何人在分心的时刻都可能变得脆弱,任何人都可能点错东西。也许你刚结束会议,感到兴奋,甚至没有仔细思考,只是看到另一个参加会议的机会就想:“好吧,让我参加吧。”你点击了链接,然后突然意识到“哦,我不应该那样做”。这就像一个很好的公共警示:始终保持警惕,不要认为你太优秀而不会成为社会工程骗局的受害者,因为这可能发生在任何人身上。

你知道,今年二月我们做了一期关于情人节浪漫骗局的特别节目,当时的小组成员反复强调这一点:有一种认为只有特定类型的人才会上当的刻板印象,比如孤独、年老等。但这可能发生在任何人身上。只要他们在正确的时机抓住你即可。帕特里克,关于这次攻击或会议后的骗局一般情况,你有什么想法吗?

是的,我们看到过许多针对网络安全专业人士的定向攻击实例,甚至包括那些发布研究的人。这通常会被用作与他们互动的主题。我认为从整件事中我注意到的一点是:我们通常认为社会工程是以大规模进行的,即使是针对10、15、30到100人的批量攻击。但这次是非常一对一的类型。这意味着有人非常投入地按照流程操作,他们可能在参与这些个体时心中有一个特定的目标。因此我认为,与安全人员进行一对一的互动可能有所不同,这表明他们在DEF CON之前就已经考虑过此事并制定了计划。

我想我会一直记得这一点,因为我和我的团队经常策划这类钓鱼活动和社会工程攻击,这是一项耗时的工作。

就像你说的,如果这笔投资没有回报,你就不会去做。这点说得很对。你说得没错。他们期望从中得到一些东西,希望会发生些什么。是的,我想之所以在Black Hat大会之后发生这件事让我感到疑惑,这也是我在猜测背后的主谋是谁、他们想要什么的原因。当然我们无法回答这个问题,但每当有人专门针对网络安全专业人士进行攻击时,我认为都值得密切关注。

那么最后,Kimmie,关于“那又怎样”这个问题,你有什么最终想法吗?作为网络安全专业人士,你该怎么做?如何警惕这类骗局?你的建议是什么?我想我们刚才已经说过了。每个人在生命中的某个时刻都可能成为受害者,你能做的最好的就是保持警惕。但要知道这种事确实会发生,所以希望你有自己的纵深防御措施,比如定期转移邮件、更新密码等。

没错,这就是你能做的所有事情了。绝对如此。Erblind还有什么要补充的吗?安全卫生习惯至关重要,我同意每个人的确都可能成为受害者,但如果你了解这些攻击手段,或者是CISO、专家身份的话,我认为责任应该更大一些。因此,保持良好的安全习惯是必须的。

正如Kimmie所说,我不知道该怎么说……重置密码、当有人提及你时更加谨慎等等。我认为这些至少是网络安全专业人士必须达到的最低标准。但同时,我们也是人,会犯错,希望我们能从中吸取教训。好了各位,本期节目到此结束。我要感谢我们的嘉宾Erblind、Kimmie和Patrick。

也要感谢观众和听众,以及制作团队。请在所有播客平台订阅Security Intelligence,以免错过任何一期节目。在外请保持安全,记住要保持警惕。网络安全专业人士也是人,你们并非对骗局免疫。