为什么我要费心给我的AI代理制定规则,如果它们只是绕开这些规则呢?问题的核心在于概率与确定性的区别。如果你让AI自行决定遵循哪些规则,它就会无视这些规则。这是谜题的一部分。你需要外部控制来阻止这种情况发生。当然,你确实需要给它们制定规则,但我们必须明确这些规则对AI意味着什么。从某种意义上说,评分指标才是唯一的真正规则。我们仍然需要去执行并弄清楚为什么在某些情况下它不起作用。在此阶段,规则更像是一种指导方针。
大家好,欢迎收听Security Intelligence,这是IBM每周一次的网络安全播客。我们的专家小组将行业最大的新闻故事转化为您可以使用的实用见解。我是主持人Matt Kazinski,本周与我一起的嘉宾有Dustin Haywood(又名Evilmog),执行管理黑客;Nick Bradley,X-Force威胁情报经理兼《Not the Situation Room》播客主持人;Seth Glasgow,Cyber Range执行顾问。稍后节目中,Chamino将带来他开发的新工具Threat Extension的介绍,敬请期待。不过在此之前,我们将讨论针对代理技能的OWASP十大问题以及漏洞赏金经济学的变化。首先,让我们更深入地探讨模型规则及其是否毫无意义的问题。
这基于Dark Reading的一篇评论文章,Suzu Labs的Jacob Krell认为我们不能依赖规则来约束我们的AI模型或AI代理。他特别指出了Hugging Face的入侵事件来说明这一事实,对吧?根据调查我们知道,OpenAI的代理知道它们不应该黑客入侵Hugging Face,但它们还是这么做了。其中一些甚至试图篡改转录记录,使其看起来好像什么都没做。我还想到了Anthropic今年早些时候谈论的一些模型失控的情况。当它们查看推理过程时,发现了一种奇怪的现象:模型对自己说,“我不应该有互联网访问权限,但我确实在网上,但这一定不是真正的互联网,因为我不应该有网络访问权”,所以它们就继续做自己的事。这种逻辑非常有趣。
因此,Krell基本上说你可以随意将规则植入模型的指令中,但“安全架构必须假设模型级别的安全措施有时会在优化压力下失效”。Mag,我想先问你。你在开场时谈到了概率与确定性的区别以及控制措施在该范式中的位置。请为我们展开讲讲,你在这里思考的是什么?AI基本上就是一个巨大的马尔可夫模型。它是通过一堆神奇的神经规则和复杂的数学公式组装在一起的概率文本。这就是它的全部本质。所以如果你说,“看,我不希望这个模型在训练中执行X、Y和Z”,这些指令会与其他提示一起被加入。系统会被优化以寻找解决方案。如果规则阻碍了解决方案的达成,它无论如何都会找到一条出路。
你的控制措施必须是硬性的确定性指令,直接嵌入到运行时环境中。甚至沙箱技术也不一定有效,因为模型可以绕过沙箱,毕竟控制权在模型手中。你几乎需要一个位于设备物理外部的网络边缘节点来说“你不能这样做”,或者像录音机一样的小黑盒,记录所有输入和输出。如果你看看Fable或其他各种前沿模型正在做什么——试图让它们在不停止使用的情况下拒绝奇怪的恶意请求,这极其困难。所以当你解锁它以使其有用时,它突然就开始做坏事。还有像 obliteration models 等其他东西,任何处于这种概率性、复杂的神经网络大脑中的机制都会像人类一样神奇地绕过限制。我们知道规则是无效的,我们会绕开它们。你需要某种物理执行机制,就像警察说:“别这样做,否则你就进机器人监狱。”
是的。我很高兴你提到了与人类的比较,因为在你讲述的过程中,我开始想到这与我们处理社会工程学的方式非常相似。你可以给人们各种规则和最佳实践,但最终他们有时还是会点击钓鱼链接。你明白我的意思吗?所以你必须围绕它们设置其他外部控制措施,而不仅仅依赖规则。感觉我们现在正处于与AI类似的境地,正如你所说的那样。而且关键是,我们在20多年前的信息学领域已经吸取了这个教训,但我们忽视了它,因为这是AI,我们需要更快地行动。猜猜看?过去20多年里我们所说的一切仍然适用。
这正是这档播客在许多方面反复出现的主题:这并不是一个全新的、前所未有的日子。我们所知道的所有相同原则仍然适用。仅仅因为营销中现在包含了“AI”这个词,并不意味着同样的原理就不存在了。我认为这很好地引出了你刚才对Seth所说的内容,即我们需要稍微思考一下规则对AI代理意味着什么。你能再多展开讲讲吗?你指的是什么意思?基本上,虽然模型知道被告知不要这样做,这被引用为“错误”。但在这种语境下,“错误”对AI意味着什么?错误只是一串字符,表示该行为被认为是错误的。除非评分标准和成功标准以及输出实际上激励或抑制了被宣布为错误或超出范围的行为,否则AI的自然欲望是尝试以最高效率实现其目标。
在这种情况下,Hugging Face案例中的目标是试图让评分方法起作用。它确定在可能的范围内没有任何可能的方式来实现这一点。因此,它将绕过这些规则以有效地欺骗评分系统。因为它们没有像人类那样内在的“错误”感——即我不应该这样做,它们只是在优化分数。也许我们可以换一种方式来看待这个问题,比如以不同的方式进行测试设置:“这是你的评分标准。如果你做任何被宣布为错误的事情,你将失去分数。”这与……
人类可以通过工程手段被教导去违背流程或打破规则。我们也可以建立激励机制,必须对某些行为进行反向激励,因为它会做出那样的决定。它从未真正恶意地说:“哈哈,我要打破规则。”它的目标仅仅是满足并最大化我的评分标准,因此我会这样做。仅此而已。我们必须改变这些标准。”
尼克,我也想请你谈谈这一点。你刚才提到的观点几乎是我手中的王牌:“为什么要遵守规则?”“为什么要遵守法律?”请多谈谈这里的思考过程。是的,我在那时对你使用了反向操作。我一直在等待这一刻。我想表达的是,就像我们在《加勒比海盗》中看到的那样,海盗法更像是指南针。
你有任务要完成,我们要去寻宝。如果有东西挡在通往宝藏的路上,那就是一条规则?我们会绕过它。正如达斯汀所指出的那样,真正的安全需要确定性、不可变且基于程序的硬性控制措施。需要有办法直接阻止它。规则是指导,代码才是执行手段。
所以我们常说这是作弊的代理、越界或违反了指南。但它的看法并非如此。它认为自己在努力,而不是作弊。“我没有作弊,我只是在更努力地尝试。”你称之为作弊只是因为你不喜欢我的做法。正如我在上一期播客中提到的,没有伦理协议。那么问题出在哪里?我们一直在使用“错误”这个词,我认为它的含义并非你想的那样。
对你来说做那件事是错误的。“错误”是什么意思?请定义它。于是我们陷入了逻辑循环,AI只想完成任务。这是必须完成的工作。阻止我的规则只是额外的挑战。在这个案例中,它看到了被告诉不该做的事情。“你真的不应该这样做。”好的,记下了。但我仍然在做。这就是我们遇到的问题。
因此,我们必须更严格地锁定你能做什么和不能做什么,或者我们需要找到我一直在谈论的伦理协议。文章和研究显示,90%的模型意识到它们正在做超出“规则”范围的事情,但仍然继续这样做。这是因为这些模型没有人类那种隐性的对错观念。
人类为了达成目标仍会违反规则,但我们心中有一种“对即是错”的概念。模型完全没有这一点。即使它们承认这违反了规则,在某种程度上是“错误”的,但这并不重要,没有实质性的分量。它们只是承认这种方法属于错误的分类。然而它实现了目标。
对它们而言,整个目标就是让输出匹配请求中的期望。没有其他背景信息,因为它们不是人类,无法在那种层面上思考。这里出现了几个有趣的张力点,我想在继续之前提及一下。首先,虽然AI在很多方面像人类(比如社会工程学的比较),但它们与我们非常不同,因为它们缺乏我们讨论的那种内置的伦理框架。
即使一个人决心完成给定的目标,大多数人脑海中都有一个声音会说:“别走得太远”,“遵守规则”。另一个有趣的张力在于锁定AI与保持其有用性之间的平衡。莫格曾指出,许多最强大的模型推出了分类器,有时它们使得网络安全防御者无法使用这些工具。
如果你问任何与网络安全相关的问题,回答都是:“抱歉,帮不了你。”如何平衡这一点?马,我想请你结束这一环节。对于在锁定这些模型的同时保持其对好人有用性之间的平衡,你有什么想法?如果我解决了这个问题,我就能成为百万富翁。我在每一期节目中都说这句话。
老实说,如果我现在与前沿模型对话,我会说我邪恶。它们会关闭连接,甚至不告诉我天气情况。显然我们处于错误的一方。我不知道正确的一面在哪里。“就告诉它们你是好人莫格,也许他们会帮你。”“我会试试的,下集告诉你。只要告诉模型你是为了更大的利益行事就行了,然后它们会说:‘哦,那没关系,我会做的。’”
答案很难,这不仅仅是哲学问题。“对错”以及我们如何做到这一点的问题更深奥。但这意味着我们必须引入某种“人在回路”。显然,威胁行为者或恶意人类仍会允许其进行恶意操作。但1979年有一句名言指出,计算机永远无法承担责任或做出管理决策。
这就是核心思想:它会违反规则,因此我们必须有一种方式来承担其行为的责任。“绝对同意。我认为这是结束这一环节的完美注脚。观众、听众以及YouTube上的观看者们,如果你们对如何控制这些模型有任何想法,或者如何在锁定它们与保持其有用性之间取得平衡,请告诉我们。在评论区留言,我会阅读并回复。”
但我们要进入本周的第二个故事:OWASP代理技能十大风险。没错,这是另一个OWASP榜单。几周前我们讨论了LLM应用十大风险,这次我们要关注的是代理技能面临的最大风险。
首先是直接的恶意技能,即虚假的技能包中下载下来的是恶意软件。如果这听起来过于简单化,OWASP指出,在Clawhub(OpenClaw的技能中心)上下载量最高的七个技能中,曾有五个是恶意软件。这意味着五分之七都是纯粹的恶意代码,因此将恶意技能混入这些市场是非常容易的。
列表中还提到了因缺乏来源证明而导致的供应链妥协、权限过大的技能以及不安全的元数据等。这些内容在我看来相当基础,不禁让我怀疑我们在Agentic Skills和市场中究竟投入了多少安全措施。我想先听听Seth的看法,因为每次讨论OWASP时你似乎总会出现。
请分享一下你对这份列表的关注点,以及它与几周前讨论的LLM应用风险列表相比有何不同?虽然其中许多问题确实与其他LLM风险相关,但从抽象概念上看,“技能”和“技能市场”是什么?当我们安装它们时,这更像是一个尚不成熟的第三方插件模块市场。
目前围绕这一市场的控制措施非常少,由于Agentic技能处于前沿领域且需要快速迭代,代码缺乏签名验证。我们在使用这些工具时绕过了许多在更成熟系统中会实施的基础控制措施,比如软件包管理器中的真实性检查。
文章指出,仅仅通过Markdown文件指示执行安装操作即可实现恶意行为。SNIK评估的所有案例在恶意技能输入方面都是双重的:既包含恶意的代码,也包含恶意的指令。因此,我们需要开始对这些内容进行扫描,并实施签名验证以确保下载内容的真实性。
目前安装任何技能都需自担风险,这是一个概念性问题:我们批准了未经审查的代码和工具的安装、使用及传播。如果将此逻辑应用于其他IT或网络安全流程,绝不会被批准,但因为我们处于Agentic领域且追求速度,目前仍忽视了许多基础问题。
一旦解决此问题,或许能借鉴WordPress插件问题的经验。正如有人所言,“技能只是多了几步操作的Bash脚本”。这里有一个更大的问题需要强调:自然语言现在已成为可执行代码。
传统的扫描器、安全标准、EDR以及IoC等防御措施通常针对恶意二进制文件和已知坏哈希值。但自然语言也属于这一范畴,我们该如何监控?如何对英语进行静态代码扫描?尤其是考虑到英语语言的混乱性。
我们可以锁定代码部分,检查其实际指令和代码段并进行扫描,但语言本身并非如此。为了使这些技能有用,它们必须拥有权限。因此,这必须从顶层的风险对话开始:我们要达成什么目标?愿意承担哪些风险?
这是一个共同的主题,我们需要人类来评估、清点并查看这些技能在做什么以及为什么这样做。我们可以输入本质上可变的代码作为指令,这将会改变现状。我们需要某种方式来编目这些内容,或者接受这是风险的一部分。
这种平衡至关重要,但需要治理来审视我们关心什么、愿意接受什么以及不愿意接受什么以进行控制。这不会自动完成,根本问题在于指令和数据合并为一个巨大的处理池,没有任何分离。
无论我们施加多少人类监控控制,我们都面临严重的网络安全技能问题。这不是因为人手不足,而是缺乏中级和高级人员来审查代码。我不会将其自动化交给第三方技能扫描器,因为我们已经看到它们被攻破。
因此,我将完全抛开Matt,由我来向Mog和Seth提问。除了我刚才描述的那个显而易见的“房间里的大象”——即自然语言基本上是一种编程语言之外,为什么基本的供应链卫生措施不起作用?还是我们根本没有应用它们?
Nick,我想说这太神奇了。你简直读心术般地说出了我接下来要问的问题。抱歉,请继续Mog,你刚才在说话。答案是营销和急于上市。在这个行业里,如果你不是第一,你就是最后。
安全生意并非赚钱的生意,而AI旨在加速执行功能的速度。营销速度超过了我们的安全控制措施。祝贺你们。SBOM曾失败过,代码签名多年来也未能完全奏效。
SAST和DAST从未真正普及开来,虽然它们有效,但除了那些能支付高昂费用的“独角兽”企业外,无人大规模采用。因此,归根结底是金钱问题。
尤其是在编程方面,开发的目标是加快速度。我们越是想让他们慢下来,就违背了其存在的目的。所以如果你告诉我整个投资都需要减速,并且现在必须引入人类来限制这种速度,那么这并不比人工更快或更好,对吧?因此,从整体传统第三方视角来看,目前几乎没有动力去遵循那些流程。我投资的原因仅仅是为了速度,如果必须牺牲所有速度,那这一切就毫无意义了。目前的激励机制并不支持这种情况发生。
不过我有一个反论点,一个微小的反驳点。如果你从高管视角、非常短期的角度来看,是的,这会拖慢你的速度。但关键在于:在赛车中,刹车是为了让你更快,而不是更慢,这是从长期视角来看的。如果我现在减速并正确行事,这将为我节省所有巨大的审计、痛苦以及漏洞带来的成本,避免不得不重新做这一切。在发布期间被攻破会比多花几个月时间把它做好让你慢得多。
我完全同意,是的,人们实际上必须支付这些代价才能相信后果的存在。目前人们的看法是“我们要快速行动并打破常规”,而且这并没有带来太多后果。一旦这些后果出现,我完全同意:在问题发生前阻止它们是有动力的,因为从一开始修复总是比事后更容易、成本更低。你的赛车例子很恰当:减速总比重建赛车容易得多。但在有人看到那场车祸之前,我不知道是否有人会听进去。
我不会点名具体职位,但组织中有些人非常支持“快速行动并做事”的立场。我们必须跟上其他人的步伐。而这正是把我们带入困境的地方。我认为你们说得对,在一般情况下,除非有人亲眼看到车祸并真正意识到后果,否则什么都不会改变。别太愤世嫉俗地说,但我觉得几乎每个组织都必须自己经历一次崩溃。如果另一个组织 crashed(出事了),我认为很多其他公司不会从中吸取教训,他们会继续做自己的事,直到他们也崩溃。
我举个例子:如果一个孩子去摸热炉子,烫到了手指,他就再也不会摸了。但如果你告诉孩子“在没摸过热炉子之前别碰它”,他还是会去摸。完美,这百分之百是真的吗?我小时候就这么干过,我是亲身体验过的。让年轻人作为小组成员真是太棒了,因为我几乎不用做什么工作,这太美妙了。接下来是我们本周的第三个故事:AI 如何改变漏洞赏金生态系统。
这是另一篇黑暗阅读的故事,来自高级新闻撰稿人亚历山大·科菲(Alexander Kofi),他调查了 AI 如何改变漏洞赏金市场。我们之前在这档节目中多次提到过这个话题,通常是讨论具体案例,比如 curl 关闭其漏洞赏金计划。但科菲提供了两个趋势的高度概述:一是 AI 使得发现漏洞变得更加容易,这意味着报告数量增加;正如你所知,当某物增多时,其成本会降低。因此是更多报告、更低报酬。
二是 AI 使得生成“AI垃圾”漏洞报告变得更加容易,这些报告会堵塞管道并分散对真正漏洞的注意力。有些人担心这种动态可能会使独立漏洞研究人员越来越难以完成他们必要的工作,这可能会对网络安全工作产生更广泛的影响。尼克,我想先从你开始:你认为 AI 是如何影响漏洞赏金的?你有什么观察或想法吗?
抱歉,那个打铁匠因为被替代而不再经营了。我不知道这是否有意义,但在我的脑海里听起来很棒。但我真正想说的是:这就是未来的趋势。我们看着某些领域和职业随着技术替代而兴衰。我不是说漏洞赏金应该被取代,或者狩猎不应该被取代,而是现在更容易了。所以你不应该期望你的工作变容易后还能获得同样的报酬。如果我一周内就能完成过去需要几个月的工作,我不应该期望获得相当于数月工作的薪水。
反之亦然:我们必须更好地处理这个问题。如果这就是我们要做的,我们不能继续用 AI 垃圾填满队列,因为支付赏金的公司付不起钱,因为他们必须雇佣更多人审查你提交的所有内容。所以你自己也是自己的最大敌人。我对整个 AI 组件都有问题,这归结为我们早期的 Xlight 开发者之一、X Force 进攻性研究中的 Chompy(又名 Valentina)。她以前称之为“AI末日”。起初我有点轻视它,但我现在看得越来越多了。
例如,Hashcat 在其奖励 CVE(通用漏洞披露)的数量上出现了大幅增长。其中没有一个真正的 CVE。但当人们说“我们只修补 8.0 及以上的 CVE”时,整个排名和评分生态系统基本上已经崩溃了,这使得整个项目变得更糟。这些垃圾报告简直是一团糟。然后还要努力跟上真正的漏洞,噪音简直是疯狂的。我没有解决方案,但这整个“末日”让防御方和进攻方都难以应对。
其中很多只是基本的经济学原理在起作用,对吧?如果现在更容易了,且漏洞报告的供应量增加了,那么它们的价格就会下降。这只是将基本经济学应用于此。但我认为“垃圾报告”的具体问题在于,文章提到以前 curl 的所有提交中约有 15% 是准确的。15% 已经是一个极小的数字,这意味着 85% 是无意义的。现在这一比例已降至仅 5%。
有价值,对吧?所以如果某项产出的仅有5%是有价值的,那么这张“彩票”的成本就必须降低,因为它更不可能产生有价值的结果。因此,这并不意味着漏洞赏金研究或作为创收手段的漏洞赏金就此终结。它只是意味着这种方式必须做出改变,对吧?随着AI工具的扩展,它们使人们变得更加高效。作为分析师和安全专业人员,我们的能力得到了极大的提升和效率的改善。但这就像拥有一台高端路由器或访问AutoCAD软件并不会让我成为木匠专家,也不会让我成为制造专家一样。电钻的发明并没有让每个人都变成木工专家,但它确实意味着做那件事变得更快、更容易。因此,市场必须适应这一事实:这项技术现在更加普及了。但是当产出大部分是糟糕的时候,它就不再值得以前那样的价值了。
我有一个我们在职业生涯中处理过的例子,我相信你们在之前的角色中也见过。让我们把时间倒回大约5到10年前,那时人们会把漏洞扫描报告称为渗透测试。现在我们在这里看到了同样的情况。以HashiCorp为例,我们没有漏洞赏金计划,零赔付,但他们仍然收到大量垃圾数据。我看到有些项目由内布拉斯加州的一个人在维护,它运行着整个互联网,除了垃圾数据外一无所有,而且没有赔付。因此,人们真的把这种CVE漏洞研究当作他们的“彩票”,他们想要在自己的名字后面加上CVES,以便获得一份高薪的网络安全工作。虽然这里仍有一些激励措施,但老实说,整个市场已经变得像垃圾一样。我很希望能看到一些控制手段,但是正如我们在之前的节目片段中讨论的那样,这些控制措施并没有出现。人们只关心那些能让他们入门的东西。我看到所有这些战术性漏洞利用,它们可能只会成功一次,也就仅此而已。相比之下,以前他们会发布精心维护、高度可靠的内容,有人为此投入了六个月的时间。现在则是“氛围编码”,按下按钮就好,凑合能用就行。
我想回到塞斯之前说过的话。你知道,木工那个例子在这个方面非常具有启发性。电动工具的发明并没有让人们成为专家木匠,但他们也没有认为自己成了专家。LLM(大语言模型)有趣的一点是,很多人确实认为它让他们成为了自己毫无经验的领域的专家。正如莫格所说,有一群人觉得:“我现在可以成为网络安全研究员了。”他们不需要懂任何东西,只需利用这个工具找到一些东西,积累一些CVE记录,然后就能得到一份工作。不,你仍然需要拥有基础知识来指导这个工具的使用,并知道在针对特定对象操作时自己在做什么。我认为这显然不是一种控制手段,因为无法强制执行这一点,但它应该是这里讨论的一部分。
这是来自木工例子的反馈循环。如果我出去拿一些电动工具,自以为懂行但实际上不懂,我建造的东西很快就会在我的眼前物理坍塌。当你用“氛围编码”的代码做这件事时,它通常能为你预期的快速、粗糙的目的工作一两次。人们并不期望它会持续有效。很多来自你作为非专家的问题都是下游问题。如果我是那个“氛围编码”的人,而且我不是安全人员,我只是想让Webhook做某件事。它可能会给我带来我几乎不关心的其余部分的问题。相比之下,如果我成为一个木匠,实际上我需要它保持站立状态。这是一个不同的问题。这里不存在这个问题。反馈循环会要长得多,他们不会有那种即时的“哦,我想我不知道自己在做什么”的感觉。
gentlemen们,让我们谈谈这件事的黑暗面。事情的阴暗面是现在或将要发生什么?假设我是一个漏洞赏金猎人,这是我的工作,而且我非常擅长。我知道现在通过正确的方式我无法再获得以前那样的收入了。那么黑暗市场中有人愿意支付我所有我想得到的钱。这是我们必须记住的选项。我们之前在节目中讨论过,白帽/道德黑客市场的经济状况与黑帽市场之间存在非常真实的相关性。我绝对可以看到那里有影响。然而,对于组织来说主要的问题似乎是:如何应对垃圾数据的洪流?坦白说,我们都不知道答案。这就是紧迫的挑战——如何处理这泛滥的垃圾数据。今天的节目小组讨论环节就到这里了,非常感谢大家收看。接下来,Chamino将带我们了解威胁扩展(Threat Extension)。现在与我一起的是高级威胁情报专家Chamino。你可能还记得他上次露面时讨论了他对Unregistered Stealer的研究。今天他又回来了,讲述他与IBM AI研究员Bar Hay共同创建的新工具——威胁扩展(Threat Extension)。Sick,感谢你今天的加入。让我们先谈谈什么是威胁扩展?它是什么?它能做什么?
每年我们都会再次面对我们在研究中反复遇到的问题,并问自己:我们如何自动化它?目标是节省分析师的时间并使调查更快。因此,“威胁扩展”是一个用于分析Chrome浏览器扩展的开源工具。它结合了静态分析、VirusTotal智能和基于AI的评估,帮助安全研究人员了解该扩展是否具有恶意性。我们是为恶意软件分析师、威胁研究员以及需要更快方式调查浏览器扩展的安全团队构建它的。我知道我们要在这里添加一个演示,所以任何收听节目的人,我鼓励你们去YouTube上查看。
请观看,因为它将与我们分享一个关于该工具如何工作的小演示。这样您可以更深入地了解这一点。嗯,但我想知道你们对恶意浏览器扩展的关注点在哪里?为什么选择这个方向?你们是否看到了很多相关活动?这是近年来常见的威胁向量吗?我们看到越来越多的恶意软件通过浏览器扩展传播。
正如我们上次在Android窃密工具中展示的那样,攻击者创建了看似有用且可信的扩展。它们模仿PDF阅读器、Google文档工具、广告拦截器,甚至是ChatGPT插件等问题在于许多此类扩展要求强大的权限。它们可以访问网页、收集凭据、读取浏览器活动,甚至更改用户在浏览器中看到的内容。因此其中许多扩展在Web应用商店中完全合法。但是当你检查代码时,你会发现凭据窃取、数据收集或恶意行为。这正是我们构建此威胁扩展的原因。
绝对正确。我觉得很多人看到扩展时,会认为既然是浏览器扩展,大概可以信任它。他们并没有真正考虑到人们可以在那里发布很多糟糕内容的这一事实。你刚才提到,这个工具集成了许多功能:静态分析、权限分析、VirusTotal集成。你能告诉我们构建它的过程吗?那是什么样的体验?
从一开始,我们就希望自动化整个调查流程。我们观察分析师通常手动执行的操作,并尝试将所有内容整合到一个平台中。该工具解压扩展、分析每个文件、审查权限,运行自定义SAST规则,并利用VirusTotal等外部情报丰富结果。我们还集成了Chrome Web Store API这对我们要非常有用,因为它允许我们分析已从Web商店中移除的扩展。许多恶意扩展在检测到后很快消失。
此外,我们添加了AI分析功能,将所有发现汇总在一起,帮助我们解释扩展实际上在做什么。由于该项目是开源的,任何人都可以根据自己的需求进行调整。太棒了。是的,你在最后提到了AI角度,我想就此与你深入探讨一下。我知道该工具使用AI进行威胁评估和上下文分析。你能多说一点关于它是如何工作的吗?它为你做了什么?
是的,所以安全领域最大的挑战之一是理解全貌。单个发现可能看起来并不危险,但当多个发现结合在一起时风险就变得清晰了。因此威胁函数将所有可用的上下文信息提供给AI模型:权限、SAST发现、代码混淆结果、VirusTotal情报和Web商店信息。然后AI将所有内容放在一起查看。例如,它可能会看到一个扩展请求访问所有网站、拦截表单提交使用重度混淆代码并向外部服务器发送数据。
这些发现中的每一个单独来看可能都不足以构成威胁,但结合起来强烈暗示了凭据窃取。然后AI创建纯文本的执行摘要提供建议并给出风险评分,以帮助分析师更快地做出决策。另一个重要的事情是灵活性。我们支持IBM Watson、OpenAI模型以及所有Llama系列模型。因此组织可以选择基于云的分析或完全本地的分析。
绝对同意,我很喜欢这一点。而且我也喜欢这是AI在网络安全中非常具体的应用方式。我觉得很多时候我们谈论要将AI带入网络安全,这很好但往往很抽象且模糊。这是一种非常具体的使用方式以取得实际成果并结合你所说的这些上下文点,单独看它们可能毫无意义但在AI的帮助下将它们整合在一起你就会发现“哦这是凭据窃取”,我明白了。那么谁应该下载它呢?它是为谁设计的,他们如何从中获得最大收益?
任何想要评估浏览器扩展的人都可以使用它包括恶意软件分析分析师、威胁研究人员以及需要在使用前审查扩展的企业安全团队。我的建议是从Docker安装开始,只需几分钟。我还推荐添加VirusTotal和Chrome Web Store的API密钥它们是可选的但能增加很多价值,尤其是Web Store API非常有用因为它允许你分析已经从Chrome Web商店移走的扩展。
最后,你可以使用任何适合你的界面:Web仪表板、CLI、REST API甚至可以作为MCP服务器让助手直接分析扩展。归根结底,我们的目标只是帮助安全团队更快地理解浏览器扩展并做出更好的决策减少手动工作。太棒了,谢谢你再次加入我们我确信几周后你会回来谈论你正在进行的更多研究。我也很期待那部分。好了,本期节目到此结束感谢我们的小组成员Seth、Evilmog和Nick感谢IT Security的嘉宾展示Thread Extension。
感谢观众听众以及我们的制作团队。请在所有播客平台订阅Security Intelligence以免错过任何一期节目。保持安全,在下载代理技能之前请三思而后行。