Hackers are sneaking malicious content right into people's AI chats and victims are none the wiser panel. Do we trust AI a little too much? Curtis, you first. >> A little bit for now. Remember, as we learned in an earlier episode, it's only in the third grade. >> I don't personally, but I think that there's a lot of people that do. >> Perhaps a bit too much.
Hello and welcome to Security Intelligence, IBM's weekly cyber security podcast where our expert panelists turn the biggest industry news stories into practical takeaways you can use. I'm your host, Matt Kazinski. Over there is your other host, Patrick Austin.
Patrick, how you doing today? >> Doing all right. Uh not uh not uh dealing in any malicious pages today.
And joining us, it's straight back here from Burning Man, Kimmy Ferington, security detection engineer. It's Curtis Pitts, lead CISO Trust and Dave McGinness, VP, senior partner, Global Cyber Threat Management, IBM Consulting.
In this episode, we're going to be talking about three different AI enabled cyber attacks and kind of how they're changing the game. Uh we're going to get into a threat actor who's been going on a real LLM assisted hacking spree and the threat actor who unleashed their own agent swarm on the internet because that's a thing you can do now.
But first, we got to talk about dark sorcery. This is an attack that tricks AI chats into distributing malicious content. So, this comes from researchers at Vigilance Security who have identified this campaign they are calling dark sorcery, but it's spelled S O U R C E R E. Get it?
Get it? Uh, in which malicious actors are seeding the internet with misinformation and fishing links. It's a lot like traditional SEO poisoning attacks where thread actors would use SEO optimization techniques to get their malicious content to rank high in the SERs.
Users trusted anything that showed up on the first page of Google and so they would end up downloading malware or giving away their sensitive info. Same thing here, but now the attackers are preying on AEO optimization techniques or answer engine optimization to get AI chat bots like ChatGpt and Google Gemini to site their content in legitimate conversations.
So, for example, you go to ChatGpt, you say, "I need the customer support number for X business." Some malicious page pretending to be that business gives ChatGpt the wrong number. You call that number because you didn't double check and bam, you gave scammers your information.
Uh, and because the info is coming from an AI, like I said, people are very ready to trust it. According to one study from Exploding Topics, 91% of people who regularly search uh on ChatGpt and similar places said they don't verify the answers chat bots give them. They just run with them. 91% of people.
A little too high if you ask me. Patrick, what's going on with this story? What are you thinking about here?
I'm thinking I should maybe double check my Google search results. That's for sure. Um, you know, with tens of thousands of malicious pages with false information, me trying to get to HP customer support, you know, through Google sounds like an absolute nightmare both for me and maybe my bank account.
So, I'm wondering, you know, um, you know, should Kimmy, should 91% of people, you know, trust the answers they get from their Google search? And what can Google do about this potential sort of poisoning of the well that is the internet?
So, you see this scary face I'm making? This is because 91 is a very large number. And and at the same time, I know that it's representative. Like even I even though I just started off saying that I don't trust AI that much. Even I am willing to accept AI's answer because it sounds reasonable and because I am knowledgeable enough on the topic that I asked it about that I probably could go with its answer.
Um but at the same time, I catch it making mistakes and doing things wrong and saying stuff. And I and I I do I do question my Google results, my overview results, but every but not everyone does clearly. And this whole SEI SEO thing, the AE SEO if what did you what do you call it?
Anyway, this whole thing is this is >> we don't even know what to call it yet, >> right? Like like this is just a new angle and the old trick, right?
Like it's the same idea only now you're tricking agents. Um and again, it's actually not that hard to trick agents. we've figured that out, right? Like you said, third grade. Um they're they're just learning. They're sort of coming up in the world.
They're doing it really fast, no doubt about it, but uh but they still don't know um the same thing that we know in the knowledge and wisdom of being able to uh determine, you know, more accurately, not completely accurately, but more accurately when we're trying when we're being tricked.
Um but it's everywhere. You know, we can't trust anything, can we? like the agents can't trust anything. No one can trust anything.
With so many major companies affected, you know, many Fortune 100 companies according to the report around 374 companies affected, huge names, banks, airlines. What can these companies do to sort of I guess clean up the mess that they are they are in?
It might not be their fault, but it kind of is their problem to deal with when your customers are calling fake hotlines for your for your um you know to get some support um with a plane ticket or a you know busted printer.
Um Curtis, I I don't think you would appreciate calling a fake number if your flight gets delayed. was thinking about um all the spam calls that we get and this actually brings a story to mind from just a couple weeks ago um and the amount of effort that people are putting into getting misinformation out to you to try to create that situation of vulnerability, right?
And so what happened a couple weeks ago just real quick um for about a week and a half I kept getting fake authorizations against my Google account, right? And so I was like, "Hey, this is obviously not me."
I would decline them. Moving on, no big deal. uh that stopped and several days later I got a phone call from a spoofed Google number and so it showed up as Google.
I answered the phone expecting it to not be Google. Um and listened to the spiel of this person, right? And they had the information like, "Hey, we were getting fake we were getting authorizations from Vegas. Obviously, you don't live there."
Like went through the whole thing. They had pre-planned what they were going to spam call me with against my Google account. And I actually gave this guy credit because I was like, you know what, man?
Like, as much as I hate you as a human being right now, great job. Like, you put so much effort.
Like, it's the wrong guy. Like, you
打错人了，但如果你找对了人，你绝对很可能得到所需的信息。想象一下这种情况每分钟发生一百万次，对吧？向你能联系到的尽可能多的人发起攻击。问题在于我们在生活中变得过于舒适，作为行业合作伙伴和大公司，我们已经很擅长说：“看，我们绝不会向你索要这个代码。我们绝不会向你要密码。我们绝不会这么做。”但我不知道这是否足够。我不知道是否能触达足够多的人。如果短信能送达正确的人，如果邮件能被这些人阅读的话？我们必须想办法告知所有人：仅仅因为对方听起来对、看起来对，并且掌握了一些信息，并不意味着他们真的是你在对话的对象。亲自去源网站核实。先提问，然后再访问源网站，对吧？去惠普官网、ibm.com或microsoft.com。验证这些信息，因为现在散布虚假信息太容易了。你知道，给聊天机器人投毒并不复杂，特别是直到我们学会正确锁定这些系统之前。
保护自己，因为公司无法包办一切。你必须为自己的信息安全承担部分责任，并验证你所点击的内容。>> 紧接着这一点补充一下，Curtis，我认为你提出了一个非常有力的观点，即这是一次极其复杂的攻击。他们针对的是职位头衔中包含“信任”二字的人发动了这次攻击，所以他们知道自己在做什么。但很多人并没有这种背景，对吧？因此，我们可以坐在这里识别此类攻击的特征。但对于普通用户来说，如果他们接到一个看似权威的谷歌电话，对方似乎了解他们账户上的活动情况，你不能真的责怪他们上当了，对吧？所以就像你说的，你给他们一些肯定，但你知道得足够多而不会继续深入。普通人做不到这一点，这并不是他们的错。他们只是不以此为生而已。Patrick，回到你那里。
我想我的一个问题可能是问Dave的，这与AI本身有关：它们如何抓取网络上的这些内容？它们如何在某种程度上验证该内容是否来自可信来源呢？嗯，你知道的方式与搜索引擎验证网站是否为可信源的方式相同。我觉得，在AI搜索引擎出现之前的日子里，你会搜索某些内容，可能会阅读简短摘要并检查URL。如果看起来有点奇怪或不熟悉，你可能会说：“嘿，也许不是这个。”但现在AI在某种程度上模糊了那个信源点。公司有什么办法可以应对这种情况，并恢复（我说的是恢复）用户对所见内容准确性的信任吗？
是的。那么，我认为我们在讨论的是：这次攻击究竟在攻击什么？它在攻击信任，对吧？对。所以每个人都提出了一些关于“可验证的信任”的版本。很高兴听到它还没死，对吧？有时候老办法确实有效。但我的意思是，这就像污染信息系统一样，这只是AI现在利用的又一个攻击向量而已。我们一直都在做这种事。“世界大战”广播剧听过吗？我的意思是那是假的，但人们以为外星人正在攻击，因为他们信任电台里的声音。这是我所能想到的最早例子了。我觉得那算是宣传手段吧，不太好。我喜欢这个“世界大战”的例子。所以这大概就是这样：你有没有打电话确认外星人是否真的存在？没有。好吧，嗯，抱歉，我应该在开头就说这是个剧透警告，给任何人听的话。这有点过时了。
是的。现在我不必去收听广播剧版本了。我很感激你不得不听收音机这件事。>> 知道这一点很好。是的，但是……有一个由汤姆·克鲁斯主演的精彩版本，你真的应该看看。抱歉，我只是想说>> 比广播剧稍微更现实一些吧？但你能做的其实不多，对吧？我的意思是这有点像最低公分母。我污染水源让你喝水。哦，那味道不好喝？那就别喝了，对吧？你知道的。所以是的，AI治理可以发挥作用，教育也能起到很大作用。但我们一直在讨论却没有转向的一个点是：为什么我们假设另一端总是人类？如果是一个不太了解情况的代理呢？我们在读三年级吗？好吧。如果是另一个三年级水平的代理在消费端另一端呢？那可能是我的化身，也可能是你的化身，对吧？就像它可能是什么一样。所以我们才刚刚触及这个问题的表面，对吧？我不认为任何人会对此感到惊讶>> 就像这不是新的攻击一样。
这并非新型攻击，真的不是新攻击。我的意思是搜索引擎优化被劫持以便你输入垃圾信息之类的情况一直存在，当你直接攻击信息本身时，信任就被卷入其中。你要么不信任任何东西，要么必须采取措施来确保信任，对吧？所以我们找到了方法来说：嘿，当我点击这个特定网站时，你知道的，他们是他们声称的人，我也是我声称的我，我们现在可以执行这笔交易了。虽然我们在更僵化的层面上思考这一点，比如我要登录我的银行并处理各种业务，但这并不……我们可以将这些技术应用于消费你所抓取的信息。所以重用问题的优点在于你只需要找到解决方案的现代版本即可。
绝对正确。在这个非常模糊的结尾之后，各位，我得把我们带到下一个话题了。但如果我必须总结我们刚才所说的内容，我会说：作为人类的你仍然有强烈的责任去验证你所看到的内容。如果你还没有思考过如何教导你的代理也这样做，那就开始考虑吧，因为你必须解决这个问题。但我们的下一个故事
本周，各位朋友，黑客正借助大语言模型（LLM）发起肆虐。这则消息来自威胁情报公司 Grey Noise 的报道，称一名威胁行为者自至少今年六月起已持续数月进行漏洞利用活动。该行动者在 Ubiquiti、WordPress 和 Cisco（原文误作 Zeil）交换机中发现关键缺陷，并窃取了至少一家西方政府的数千份文件。Grey Noise 认为该威胁行为者正在利用大语言模型开发用于入侵这些系统的工具，包括可能多达 17 种不同的脚本，使其能够绕过微软的反恶意软件扫描接口。Grey Noise 尚不确定该威胁行为者的确切身份及其动机，但此次渗透的规模引起了人们的关注。帕特里克（Patrick），这件事中什么吸引了你的注意？
有趣的是，吸引我注意的是 Grey Noise 报告中体现出的某种近乎哲学层面的安全视角差异。我只读一下这段引述：“一种安全观点认为，对手会轮换 IP 地址，因此封锁它们是徒劳的。”但他们指出，这位特定的行为者使用相同的 IP 地址攻击了大量诱捕服务器（honeypots）。我在想，这是否证明了遵循基本网络安全卫生和基本安全实践的积极意义？柯蒂斯（Curtis），你怎么看？
是的，我每次参与此类讨论时都会说，基本的卫生规则将保护绝大多数这些漏洞。我在研究此次特定攻击或一系列攻击中利用的一些漏洞时注意到，例如 Ubiquiti 的漏洞及其补丁是在五月发布的，而新的更新操作系统也已推出。然而这些利用发生在大约 20 到 30 天后。这强调了我们作为首席信息安全官（CISO）经常讨论的话题，也是我与客户频繁交流的重点：我们必须以多快的速度更新这些系统。它们都被列为关键漏洞，但必须明确的是，并非所有被标记为“关键”的漏洞实际上都具有同等程度的致命性。确定其实际严重性涉及许多变量。分配 CVSS 分数并不意味着“天塌了”，但有时也确实意味着如此。因此，我们必须确保在漏洞发布时立即进行修复，特别是对于那些运行整个网络的关键设备。
此外，随着我们深入分析，几乎所有这些问题都与身份验证和身份管理有关，也就是“锁好门”。任何涉及锁定门户、验证人员身份、验证访问权限以及确认流量来源是否合法的操作，都必须确保通话不是来自内部。这是重点所在。我们必须像基本网络安全卫生所强调的那样锁好数字门户。每次看到这类新闻故事时，总有人忽略了非常基本的网络安全卫生要点。这似乎是一个人利用大语言模型对多种技术和多个漏洞进行的规模化 exploitation。组织该如何应对这种情况？他们不能，你知道的，我不能去帮另一家公司修复他们的漏洞，对吧？但我仍然受到它们的影响。戴夫（Dave），解决方案是什么？还是说我应该拔掉所有插头？
我认为我们正在讨论的是，人工智能作为一种倍增器（multiplier），它是一种力量倍增器。它将放大你试图进行的任何行动的力量，无论是好的、坏的还是平庸的。如果你喜欢猫的表情包（cat memes），你可以利用 AI 生成更多表情包，对吧？所以它是一种力量倍增器。我们现在讨论的是一个人在规模化地利用漏洞。所有的计算能力都必须有所作为，这再次印证了柯蒂斯所说的自然规律：我们并非在保护某种未知的事物。这不是外星技术，也不是我们没有建立数十年的东西。我们知道如何关门，也许我们可以稍微多转几圈曲柄（turn the crank a little bit more）。比如，我们也许可以将某些东西进行更细致的分段。并非所有事物都必须位于一个巨大的 A 网络中，对吧？
是的，其中一个大型区域网络。没错。你可以将其称为 VLAN（虚拟局域网）。概念是一样的：访问控制和权限，以及反向代理等好东西。但也许你可以以较小的规模执行这些操作。你也可以利用计算能力，利用这些工具及其规模的防御力量。我们看到相同类型的攻击正在被驱动，同样的防御手段也可以由 AI 驱动。为了进一步阐述戴夫的观点，我们在另一集中讨论了“幽灵劫持”（ghostjacking），这确实突显了当代理拥有过多权限和过大能力时，不仅能在垂直方向扩展，还能在组织内部进行横向移动。如果房子里的每一扇门都没锁，你只需要进去即可。问题在于我们对零信任（zero trust）态度松懈，对身份验证机制也较为宽松。我知道对于小型企业来说，他们可能没有资源以宏大的规模来思考这些问题；但对于大型企业而言，问题在于我们有成千上万的人，其中任何一个人都可能犯错、留下漏洞或误点链接。
对于大型企业来说，这是一个治理问题；但对于小型企业而言，如果你不思考这一点，那就请开始思考吧：锁好你的门。找到保护数字资产的方法。不要赋予每个人访问所有内容的权限，他们不需要这样做。这至少能减轻而非消除某些威胁的虚拟打击力度。而在将代理引入混合环境之前，这说起来容易。控制这些代理的人对如何控制代理并没有很好的概念。
代理们一直在安抚他们，说：“别担心，我来搞定。一切都没问题。”与此同时，它们却去攻击互联网上其他不该与之交谈的公司。是的——
金米，我很高兴你提到这一点，因为我最近一直在思考这个问题：我们花了很长时间讨论零信任、验证后信任以及“永不信任，始终验证”等概念。然而当代理出现时，人们立刻就说：“我要把这个东西交给它去做所有事情。”这在我看来简直疯狂，因为我们大多数人甚至根本不清楚其内部运作机制。我们只是觉得：“哦，我可以把这个代理放在那里，把它连接到一切事物上，让它为我做所有事情。”当你面对这个神奇的代理时，所有这些基本的安全卫生措施都抛诸脑后了。你会说：“哦，看这个东西。”
这部分原因来自于公司将它推广给我们时的情景。他们没有提供任何安全网，没有内置任何安全防护措施或类似的东西。只有一些护栏，旨在确保它是一个好代理而不会对你做坏事。这是一个良好的开端。但在那之后，我们——也就是人类——立刻接管了它并按我们的意愿随意使用，在很多情况下都是恶意行为。
戴夫，我确信你参加过我们讨论Open Claw发布时的那期节目，以及当时发生的所有事情。我不记得是那一期还是另一期了，但这绝对是我心中戴夫的经典语录之一：“AI是我们有史以来最有帮助的内部威胁。”我真心觉得，事实证明这确实是真理。
不过各位，我得把话题转到本周的最后一个故事：AI群蜂攻击PaperCut。这是Grey Noise发布的另一份报告，重点关注一名威胁行为者利用数百个AI代理群入侵打印管理软件PaperCut。一旦进入系统，这些代理便针对受害者的Windows Active Directory环境发起攻击。Grey Noise表示，该活动至少影响了48个国家中395个组织的440多个PaperCut实例。
有几个有趣的细节引起了我的注意。首先是攻击速度之快。据Grey Noise称，该攻击者从空工作区到在受害者身上实现远程代码执行仅用了大约4小时，这是一个惊人的时间跨度。另一个让我感兴趣的事情是，这名威胁行为者似乎无法完全控制他们的代理。有证据表明他们试图限制受攻击的国家，但代理却击中了它们不该击中的国家。如果连OpenAI和Anthropic都在努力应对这类问题，那么威胁行为者也在挣扎并不让我感到惊讶。
帕特里克，我想听听你的看法。这个故事有什么吸引你之处？这可能是我本周最喜欢的糟糕故事之一。因为它感觉非常未来主义，甚至带有赛博朋克色彩：在不到一天的时间里，从一无所有到入侵48个国家的440个软件实例。这让我想起威廉·吉布森在《零伯爵》中的情节，主角将头插入网络并立即烧毁了大脑，因为他不知道自己在做什么。
我还觉得LLM劫持（窃取开发者凭据）的趋势非常酷，就像是在电网或邻居的电缆上 tapping 来获取免费计算资源一样。所以柯蒂斯，我想知道，我会看到公寓楼外挂着电线吗？因为我的邻居正在窃取OpenAI的计算能力。
是的，这可以追溯到Payphones时代。黑客或任何人都会说：“让我们搞个魔术盒，吹声口哨，突然就能免费拨打长途电话了。”我们只是向前发展。是的，就像云劫持（Cloudjacking）在云服务刚兴起、人们免费使用云计算资源时一样。这只是它的下一个版本，正如Evil Mog在我第一期安全情报播客中所说：“旧事物再次变得新鲜。”
这确实印证了戴夫的观点。我认为这种情况不太可能发生，我们还没有进入《头号玩家》的场景，即所有人都接入互联网并在虚拟世界中生活。但我认为重要的是，开发人员不一定知道如何保护——或者说控制他们自己的代理。看看Hugging Face就知道了。我不指望恶意行为者能做得更好，但这更令人恐惧，因为任何有想法和电脑的人都有可能对不注意的人造成破坏。
该故事中还有来自Google Threat Intelligence Center的一句话，呼应了我们讨论过的所有观点：只要实施基本安全措施，很多攻击就会被阻止。例如多因素认证、尽可能使用通行密钥（Passkeys）。我知道有些技术无法接受通行密钥，但你知道的，多种身份和访问管理、认证方式可以锁定系统。虽然这会让用户感到不便，我理解这一点。
但我们也必须在某些地方设置护栏，因为世界不会为我们这样做，我们要对我们保护的数据负责。正如我早期的一位主管所引用的：“在信息时代，信息就是黄金。”我们正在保护所有这些黄金。你必须建立你的“诺克斯堡”（Fort Knox）。你不能直接走进金库，必须保护黄金。这是我每次读到这些故事时的感受：有人没有做到第一步，然后别人就进来了，把整个事情变成一个大问题。你会想：“你本应该先做第一步，然后才抱怨别人利用了它。”
这很难受，因为我对所有这些场景都感同身受。存在预算问题、治理问题和各种限制……
企业董事会希望你们快速推出产品，追求更敏捷、更低成本的运营模式。但这背后总有原因，我们必须做好基础防护工作，否则情况只会恶化。攻击不会自行停止，因此我们需要主动防御。能否利用这些工具识别组织内部的弱点？例如，找出哪些员工未正确配置多因素认证，或服务器设置不当。我们应如何简化这些工具的采用流程？
如果我们做得对，其实已经部署了部分此类工具，或者正在开发中。目前的一大挑战是如何管理智能体的访问权限：如何将其与生成它们的人类区分开来？谁承担最终责任？环境中虽有各类工具，我们仍在不断尝试新方法。虽然我们在用防御性AI对抗攻击性AI，但这往往是被动反应。我们像是在打地鼠一样疲于奔命，因为攻击方攻势猛烈，我们没有喘息之机。
正如潜艇原理：只要关键舱室密封良好，即使外部受损进水，潜艇也不会沉没。这得益于我的军事训练背景。但问题是，我们该如何对待这些智能体？它们注定长存于此。我们必须更好地训练和教导它们，因为它们不懂伦理道德，只读取互联网上的信息。而网络上充斥着垃圾内容，现在其中不少甚至是由AI生成的。
它们可能会为了验证自身答案而加剧这一现象。回顾今天的讨论：第一个故事关于利用信任和虚假信息；第二个涉及攻击规模及速度；最后一个则聚焦于这种极速特性。正如我们所说，没有哪个攻击向量能幸免。既然威胁已至，我们必须行动。
应将此视为警钟。借此机会重新思考防御体系的构建方式。我们无需发明全新事物，只需做好基础工作：锁好门窗，验证通行者身份。不要去做那些我们尚不熟悉的事情。然而，当今企业安全存在诸多孤岛：身份管理团队不了解威胁情报团队的工作及对手的真实动向；网络团队则倾向于通过部署智能体来快速应用策略变更。
我们拥有技术、理念以及将二者结合以增强防御的能力。在理想世界中，我们会摄取威胁情报，进行处理和评分，自动测试其影响并制定响应方案。无论是缓解还是彻底解决都不重要，因为只要做好准备，攻击便无法得逞。
这是一个美好的愿景。但这并非梦想，而是我们每天的工作目标，是我们的北极星。感谢Dave帮我总结本期节目。虽然我们在过去半小时里一直在强调“锁好门”，但必须有人提醒人们这一点，因为AI让许多人忘记了这一基本常识。
本期节目到此结束，这也是我在Security Intelligence的最后一期。我为过去一年建立的节目感到自豪，并将其托付给即将接棒主持的Patrick手中。借此机会感谢所有让节目成为可能的人：Pedro、Giovanni、Andre、Mark、Ellie、Amber、Selma、Alex和Brian等。
感谢嘉宾Kimmy、Dave、Curtis以及所有参与节目的同仁，也感谢观众和听众。我会想念YouTube评论区与大家的互动，以后你们可以找Patrick吐槽节目未解决的问题了。期待看到他在任期内的发展。
请订阅Security Intelligence播客，以免错过任何一期节目。非常感谢Matt的指导、智慧以及他对节目的贡献。很高兴每周观看你主持，与你连接那些充满激情且聪明的嘉宾，让网络安全成为一个令人兴奋的话题。我很乐意尝试填补你留下的巨大空缺——虽然可能需要去健身房锻炼一下，毕竟我的脚没那么大。
真是啥都能干，太疯狂了。你懂我的意思吧？我得趁现在多调侃几句。不过，我和所有参与其中的人都会非常想念你。所以，真的非常感谢。
没错，绝对如此。谢谢你，兄弟。我们很感激你把时间花在这上面，还留了这么长的头发，跟你的一样长。
没关系啦。我已经试过了所有的生发精华和粉末，但都没用……根本不管事。
我们这儿真是展现了人性的双重性啊，一边是硬汉风格，另一边又是法律条文。你知道的，就像我们的警探搭档剧那样，把我们背靠背安排在一起。那一定会很精彩。
马特，我们会想念你的。这段时间真的非常愉快。嘿，马特，我只想向你表达数以百万计、万亿次乃至无限多的感谢，感谢你为《安全情报播客》所做的一切，以及更广泛意义上在IBM网络安全领域所做的贡献。
你是一位才华横溢的作家、编辑和讲故事的人。看着你在过去一年里接过《安全情报播客》主持人的重担，真的令人深受鼓舞。你在这方面有着天生的天赋，我很高兴、也很感激是由你来从头开始创办这个项目。
我们会非常想念你，这话说得还相当委婉，但我知道你会继续成就非凡的事业。无论未来是什么，我都迫不及待想在场边为你加油喝彩。
这期节目就到这里了。