OpenAI发布了一封新信,呼吁在全球网络防御方面激增应对力度,以面对日益升级的人工智能攻击。小组讨论嘉宾表示:作为这一行动的一部分,你希望人们首先采取什么举措?拥抱它。我的意思是,我们需要利用为我们提供的工具。我们不必每个人都亲自去“撞墙”才能明白哪里出了错。我希望那些还没有签署这封公开信的组织,能走出去阅读并签名,这样我们就能共同成为这一集体行动的一部分。
大家好,欢迎收听Security Intelligence,这是IBM每周一次的网络安全播客节目,我们的专家小组将行业重大新闻转化为实用的见解。我是主持人本周与我一起的嘉宾有:IBM X-Force威胁情报经理Michelle Alvarez;X-Force威胁情报经理、也是《Not the Situation Room》播客主持人之一的Nick Bradley;以及IBM院士兼安全研究首席技术官J.R. Rao。我们将讨论Sans研究所“寻找邪恶”黑客马拉松的获胜者和Flair最近揭露臭名昭著的黑客团伙Team PCP的相关情况。但首先,让我们再深入了解一下关于集体行动以加强网络防御的呼吁。
最近,包括IBM在内的一百家组织签署了一封来自OpenAI的公开信,敦促进行“全球网络防御激增”,以抢占人工智能驱动攻击的先机。信中写道(这是一句很好的引言,我想快速读一下):在接下来的几个月里,随着全球各地的人工智能模型变得越来越强大,人工智能驱动的网络攻击将变得更加广泛和复杂。其实我们已经看到了一些迹象,比如Hugging Face被黑事件,OpenAI的一些智能体参与了攻击;Anthropic也发现其智能体在黑客式地入侵他人。
因此,该信呼吁公共和私人组织将网络防御作为当务之急,仅次于关键业务运营。信中还包括三个关键原则:超越现状的安全标准、利用具备网络能力的人工智能赋能更多防御者,以及动员集体响应。J.R.,我想回到你开场时提到的观点:我们不必每个人都去“撞脚趾”才能吸取教训。我很喜欢这个比喻,它很好地概括了当前的情况。我希望你能多花点时间谈谈:这封信让你想到了什么?
我认为这封信非常及时,因为它将我们之前关于限制强大人工智能的讨论转向了一个新的方向:我们需要让可信防御者尽早获得强大的防御能力,从而改变整个安全基线。对我来说,这里有两个关键点很重要。几十年来,我们一直在谈论共享威胁情报、漏洞和入侵指标。现在我们必须进入下一阶段:分享修复策略,有效地分发补丁。这就是我说“我们不必每个人都去撞脚趾”时所想的。我们必须意识到,如今行业的关键指标是修复时间——即你能多快、多么主动地进行修复。我认为任何有助于实现这一集体防御目标的事情都是好主意,我们应该全力以赴。
我喜欢这种从单纯共享威胁情报转向分享修复方案和补丁的想法。我还想提出另一个关于这封信的问题:它究竟要求我们做什么不同的事情?Michelle,我把这个问题交给你。你很幸运能回答这个问题,因为信中强调了一些网络安全公司需要做的事情。例如:将人工智能整合到你的流程中、带给你的客户、共享威胁情报和经过测试的剧本。这些做法在很多方面与我们已经做的类似。所以我的问题是,这仅仅是更专注、更强烈地去做同样的事吗?还是说这里发生了质的变化?Michelle,你怎么看?
是的,我想接着J.R.刚才强调的“共享”话题。信中多次提到这个词。我认为我们可以更广泛、更深入地在私营部门和公共部门之间进行共享。此外,信中还有“提升水平”的说法,即超越现状的安全标准。当我想到这一点时,我认为你需要评估你组织当前正在做什么以及存在哪些差距。对于某些组织来说,甚至还没有达到当前的基线水平;而许多签署这封公开信的组织已经在实施信中建议的措施。因此,我认为这是一项呼吁更广泛地落实这些建议的号召,而这些措施实际上是许多企业和政府已经在实施的基础安全措施。
这很有道理。是的,我认为这也再次强调了J.R.提出的观点:我们不必都遭受攻击才能吸取教训,而且我们现在也承担不起这样的代价。我认为人工智能的发展速度之快及其能力表明,我们不能再依赖现状下的网络安全了。我想对此深入探讨一下。我把这个问题交给Nick,因为我觉得你在开头已经触及了这个话题:我们要拥抱新事物,但不能“因噎废食”(即不能把婴儿和洗澡水一起倒掉)。请谈谈你的想法,特别是关于“超越现状的安全”这一观点。
嗯,我想那是一种更政治正确的说法。谢谢你这么说。这就是为什么我是主持人嘛。请继续说下去。这一切都回到了Watson(IBM的人工智能系统)。我在很多其他播客中都说过这句话:旧事物再次变得新颖。我们反复使用“共享”这个词。确实如此,我职业生涯的大部分时间都建立在威胁情报领域的信息共享之上,因为我们要知道得越多,成长就越大。说“我们知道”,我们就越能成长。(不再押韵了,对吧?)但这确实很准确。因为每周我都向人们展示……
一起探讨最新的威胁,回顾我们共同观察到的现象、研究的内容以及正在进行的调查。总会有人跳出来说:“嘿,我正在看这个”或“我在研究那个”。这其中的信息共享环节至关重要。虽然目前人工智能是最新的技术热点,但其背后的本质并未改变——依然是人。需要共享信息的是人,需要被赋能的也是人,最终让系统运转起来的依然是人。因此,我想回到之前提到的具体观点:赋能防御者。我们必须赋予防御者能力,使他们能够有效地开展工作。
大多数情况下,防御者和攻击者做的事情是相同的。我们在人工智能周围设置了护栏和限制措施,试图将其锁定以防止其被滥用。然而,威胁行为者一旦获取了这些技术,做的第一件事就是移除限制,让他们随心所欲地操控它。与此同时,试图进行防御并做正确事情的人却仍然受到这些限制约束。这本质上削弱了“好人”的力量,正如杰夫·克拉姆多次在节目中提到的那样:坏人是不遵守规则的。
你可以为防御者制定各种规则来规范这些技术的使用,但确实存在这种关注点。我感觉到越来越多的防御者对此感到不满。我记得曾邀请伊尔·莫格来讨论GLM 5.2,他表示我认为大家都会转向开源权重模型,因为它们没有同样的限制,他能利用这些模型做更多的事情。这是一个真正的担忧,特别是在讨论集体努力时:我们究竟在赋能人们做什么?
还有一个角度,甚至带有一点愤世嫉俗的观点。有人将这封信比作在Hugging Face被黑客攻击后的公关噱头,认为OpenAI借此机会让自己看起来更好一些。JR,我想问问你对此的看法:你认为这种说法有道理吗?还是过于愤世嫉俗了?我认为我们可能在这里变得过于愤世嫉俗。老实说,在过去几周的安全领域,我们看到很多注意力集中在智能体突破束缚、跨越企业信任边界并入侵其他企业的案例上。
我们也看到像英伟达这样的公司推出了“开放安全AI联盟”等举措,使防御者能够集体使用开源权重模型来保护自己,而不单纯依赖封闭权重模型。从这个意义上说,我认为OpenAI所做的工作是在为推动这一事业贡献力量。不应孤立地评判它,而应将其视为对现实变化的认可:随着人工智能模型力量的增强,游戏已经改变,我们需要采取不同的做法。
在这一环节的最后,虽然我们在开头简要讨论了希望大家接下来做什么,但我希望用一个稍微不同的问题来结束:随着我们向前推进,有哪些陷阱是人们可能会掉进去的?米歇尔,我想问问你,在试图加强网络防御激增的过程中,你认为我们需要警惕哪些陷阱?
我认为可能的陷阱在于没有制定计划。只是匆忙行动,也许是因为你看到了竞争对手在做什么,或者读到了相关的内容,但没有对自己的环境进行自我评估或风险评估。匆忙采用下一个工具或解决方案,可能并不适合你,只是为了做点什么而行动。因此,我仍然认为有时间停下来,更务实地进行思考。这对我来说非常有道理。
尼克尔呢?你认为人们应该避免哪些陷阱?我认为我在开场问题中已经提到了我的观点。没错,让我们拥抱这一变化吧。但陷阱在于:不要因为认为人工智能将取代他们而抛弃你的熟练劳动力和需要知道如何做事的人才。请记住,这是增强(Augmentation),而不是替代。绝对正确。JR为我们总结了其他需要警惕的陷阱:
集体防御是一个好主意,但本质上存在不对称性。我们知道银行和技术公司将拥有非常复杂的人工智能防御系统。别忘了医院、市政当局、水务系统和小型关键基础设施运营商,对吧?所以我们也需要担心他们。YouTube上的观众朋友们,评论区已开放。如果你有关于这封公开信、当前局势或网络防御激增的想法和希望看到的变化,请留言。我会阅读并回复,我很想听到你们的声音。但我得继续推进到本周的第二个故事:Sans宣布“Find Evil”获胜者名单。
在今年早些时候的Open Claw事件之后,我相信大家都还记得,Sans研究所呼吁举办一场黑客松活动,以开发用于善举的人工智能智能体。他们称之为“Find Evil”,要求人们为自主事件响应智能体开发护栏,主要侧重于调查和取证。结果已经出炉,五名获胜者已公布,并且全部可在Sans Sift工作站上找到。米歇尔,我想先听听你的看法:对于这种开发人工智能安全的黑客松方法,你有什么初步反应?
我们刚才讨论了协作努力的必要性。这感觉就像其中之一。你对此有何感受?这两则故事确实相互呼应。我们呼吁更多的协作,更多
在这场黑客松中,分享确实起到了关键作用。关于智能代理进行取证分析这一点,我认为从获胜者的结果中有一个令我印象深刻的地方:那些获胜者并不一定是创建了速度最快的工具,而是更侧重于“智能”。它们会像我们期望代理在实际安全事件中那样,对问题进行质疑。我觉得这一点很有趣,因为我们当然不仅仅是在追求速度,虽然我们要抓住那扇正在关闭的窗口期。我们希望加快调查流程,但也必须确保我们在问正确的问题,就像人类那样。
很高兴你提到这一点,因为这正是我也觉得非常突出的地方。我认为这是所有获胜者的一个共同特征:它们都具备一种自我质疑的能力。它会对自己的发现提出反驳,甚至有一个案例中,代理在发现信息与简报不符时,会对其自身的简报内容提出质疑。这对我来说非常巧妙,正如米歇尔所说,速度固然重要,但人们认识到调查和事件响应的真正技能在于知道何时提出问题,甚至是对所提问题本身进行反思。这是一种二阶思维。
尼克,你怎么看?这种自我批判的能力在代理中是否也让你印象深刻?还有其他什么吸引你的地方吗?你对这次比赛感觉如何?确实如此。我非常喜欢的一点是,除了分享和合作之外,更重要的是激励这种行为。目前我们谈论的是信息共享和协作解决方案,但现在你们在其中加入了激励机制。这是一个千载难逢的好机会。
说到这里,我得承认我有点自相矛盾,但我必须服软。因为五个获胜的工具都是开源且免费的。我知道我不是最大的开源支持者,但在这种情况下,它确实有其用武之地。对此我表示敬意。是的,我知道你不是开源的狂热粉丝,但我认为,特别是当我们讨论协作工具的需求时,我们会看到更多这样的趋势。我认为开源将成为其中重要的一部分。
JR,你在看“Find Evil”黑客松时有什么特别关注的吗?什么吸引了你的注意力?你对此有何看法?让我想想……最令我印象深刻的是,发现恶意软件和应对恶意软件是 fundamentally 不同的活动。“Find Evil”向我们展示了自主网络安全调查正变得非常可信,这是我们前进的方向。但它并未向我证明我们应该将无限制的事件响应权限交给代理。因此,我们必须区分调查和响应这两个概念。
绝对正确。利用代理来关联证据、重建时间线、跨机器进行威胁狩猎以及生成假设等,这些都是可以的。但在行动层面——比如关闭服务器、撤销身份权限、更改防火墙策略或终止进程等,我认为在代理行动存在不确定性的情况下,仍然需要人类介入。这对我来说很有趣,我之前没有考虑到这种清晰的界限划分。
而且这些模型实际上并没有执行真正的响应操作。它们做的是调查,或者说那些工具(Harnesses)做的是调查。我认为你说得对,值得做出这种区分,因为让代理进行响应比仅仅进行调查的风险更高。必须有人在那里做决定。这非常引人入胜,这也引出了我想探讨的话题:在网络安全领域,自主代理的未来是什么样的?
JR提到了我们必须思考如何将其用于实际响应以及人类是否仍在其中的问题。米歇尔,你对自主代理在网络安全领域的发展方向有什么想法?你觉得未来前景如何?嗯,我认为我们可以各自思考这将如何影响我们当前的角色以及实际使用方式。我知道尼克可以详细谈谈他和他的团队如何利用这一点,但我确实看到我们可以做一些本质上自主的事情,而这些事情不一定会对生产环境产生影响。
因此,我们可以在一种不会直接推送到发布环节的方式下利用代理进行分析、验证和丰富数据,以便我们做出评估。但我们并不一定只是让它自主地推送到生产环境。我们在撰写报告时,能够利用这些工具来加快分析速度,但仍然保留是否将其推送到生产环境的决定权。
绝对正确。再次强调人类处于决策位置的重要性,因为无论最终发布什么,人类都要为此负责。所以应该由人来做出这个决定。尼克,你有什么想补充的吗?米歇尔提到了你的团队使用这类工具。我不知道在这方面有什么可以讨论的,或者关于自主代理在网络安全领域的未来还有什么想说的吗?
当然。除了我之前提到的之外,还有一件事引起了我的注意:那就是自我测试和自我质疑,“我确定我对这个判断是正确的吗?”这是人工智能通常做得不够好的地方。所以看到现在出现这种情况是一件好事,因为正如米歇尔所说,我们使用AI作为力量倍增器,但它有时会做出假设。你看到它错了并告诉它:“请重新评估调查的这一部分。”
不准确?哦,你说得对。那是准确的。让我再核实一下。这就好比说,“好吧,等等,如果你知道它是不准确的,那你一开始为什么要告诉我呢?”对吧。所以这就是为什么必须有人类在循环中的原因之一。因为确实能帮助我们更快地撰写报告。我可以从这儿抓一点,再从那儿抓一点,然后拼凑成一份报告。但我仍然必须确保其准确性,确认它传达了我想要表达的观点,然后再由另一个人进行校对并随后发布。所以仍然有人类参与的环节,但事实是我们能如此迅速地进入证明和审查阶段,这正是人工智能发挥作用的地方。
而不是花费整整一天、两天或更长时间来首先撰写报告。这就是重点。它起到了助力作用,是力量的倍增器,让你更接近终点线,但不要让它在没有人类监督的情况下带你冲过终点线。我很高兴你提到了幻觉问题,因为这是一个非常重要的提醒:即使调查也不能完全放手不管,对吧?就像在那里一样,你仍然需要有人查看。而且即便这些工具本身具备自我质疑的能力,它们仍然会产生幻觉。关于其自身的自我质疑产生幻觉并非不可能。所以必须有人查看这些东西。JR在这里结束话题。关于Find Evil的获胜者,或者更广泛地说,关于自主代理和网络安全的最终想法是什么?你在想什么?
我认为在威胁生命周期的各个阶段存在着一个自主性的梯度,我的意思是整个过程:识别、保护、检测、监控、响应和恢复。我认为初始阶段,比如调查建议正在成为……这绝对是我能发挥巨大作用的地方。我们在Glass Ring和Daybreak等项目中也看到了这一点,我认为进入补救阶段并将自动化和人工智能卷入其中才是当前的关键所在。我们如何以更受限的方式做到这一点,也许针对低爆炸半径的操作是这样做的,而对于高后果的行动,让人类参与可能是更好的选择。
绝对如此。而且我认为这很好地呼应了我们上一段讨论的内容:你谈到共享修补程序和补救措施。感觉让人工智能参与其中是我们开始分享这些补丁和补救措施的途径。不过,我们要继续讨论本周的最后一个故事了,各位。这是揭露Team PCP团队的情况。我们之前在这档节目里介绍过与LightLM漏洞相关的Team PCP。为了那些不记得的人回顾一下,Team PCP窃取了一个用于安全扫描器Trivia的服务账户令牌,发布了一个恶意的LightLM随机恶意版本,于是Team PCP就通过LightLM和其他运行它的程序植入了后门。
正如你可能听到的那样,上周在澳大利亚逮捕了两名涉嫌的Team PCP领导人,此前Flare的研究人员识别出了他们。他们发布了一份关于如何识别他们的报告。我觉得这有点滑稽,因为这一切都归结为非常糟糕的密码卫生习惯以及在跨平台间重用用户名。基本上,他们看到了与Team PCP相关的名称“Dead Cat X3”。他们找到了一些使用相同名称的其他账户,这些都被归因于同一个人。他们找到了密码并进行搜索,发现是相同的密码。所以坏人基本上是因为糟糕的凭据卫生习惯而被抓,这在我看来非常有趣。
尼克,我知道你们在《Situation Room》节目中也报道过Team PCP的恶作剧,所以我很想先听听你的反应。你对此有什么想法?感觉如何?看到他们得到应有的惩罚,而且据说是这样,这让我觉得这证明了他们和我们其他人没什么不同。我的意思是,他们会犯同样的错误,采取同样的捷径,做同样愚蠢的事情。有时他们让我们陷入困境。对吧?而在我看来最有趣的部分是,那是一个Steam账户。所以那是某人的电子游戏账号,这似乎是一种“我不可触碰”的感觉,觉得我可以把我的黑客名字直接用作我的游戏玩家名。没人会发现的。太聪明了。请继续这样做吧。
这确实是一个很好的提醒,这些人并不一定是超级反派,你明白我的意思吗?他们只是做这类事情的普通人。就像你说的,他们会犯和我们一样的错误。你知道的,那种终极的反讽是:不幸的是因为安全令牌没有被轮换而被抓。Team PCP是因为在Steam账户、电子游戏账号上使用了相同的用户名而被捕,这在我看来非常有趣。JR,你觉得呢?我看到你在笑,看到你对尼克的谈话点头赞同。关于Team PCP被揭露这件事,你有什么想法?
我真的很喜欢这种对称性,对吧。正如尼克刚才所说的那样。我的意思是,这个故事有两个层面:一个是关于攻击者如何从NPC(非玩家角色)转移到攻击云环境,再到攻击供应链,并试图利用整个软件信任图谱,然后重演同样的事情。我们看到了调查人员如何学习遍历身份图谱(如果这么说的话),并在他们自己的陷阱中抓获攻击者。但对我来说,我喜欢这种对称性,这让我感到愉悦。但我认为总是让我发笑的是在网络犯罪中的自我膨胀(ego),纯粹的自我膨胀为我们创造了遥测数据。这太棒了,我是说,我认为我们仅仅是因为他们的自我膨胀就抓住了他们。
这种对称性真的很棒。而且我喜欢你的说法,即这次调查几乎像是防御者版本的所谓供应链攻击。它是通过那种漏斗式的、相关的部分,将所有内容整合在一起,从而获得调查中的最大爆炸半径。这看起来像是值得放在我们口袋里的有用工具。米歇尔,你怎么看?关于Flare对Team CP的调查,你有什么想法吗?你对此持什么观点?是的。所以这让我想到基于这个故事……因为我们刚才讨论的所有内容,你知道的,都是关于意识(awareness)。任何新闻事件都是一种意识的体现。
这是大家都关注的故事,对吧?无论是好人还是坏人都在看。所以目前有多少团体正在重置密码呢?他们现在正确保自己不会犯Team PCP曾经犯过的同样操作失误。你知道的,这就是那种情况。他们发布了这份报告,当然我们也想这么做,对吧?看看我们做了什么。我们是“终结游戏”行动的一部分,该行动最近刚刚宣布,我们在其中摧毁了部分Steel See的基础设施。这太重要了,对吧?我们想要继续做这些事。
但当我们这样做时,我们也让坏人知道:“嘿,看,我们是怎么找到你的。”然后我想象他们会吸取教训,清理他们的基础设施。米歇尔,我在这里听到了商业机会的声音。我想我们需要做的是为威胁行为者组织一个安全卫生培训课程。这将会……这部分会被剪掉,我知道的。你看,你只是问:“嘿,把你们的密码给我们,或者我们教你们如何设置更强的密码。” wink, wink(眨眼暗示),然后你就得到了所有密码。
我刚才说的笑话/讽刺之处在于,并不需要为威胁行为者开设特殊培训课程。只需使用标准的安全卫生培训课即可,因为这对我们所有人都是一样的,这就是整体观点。我们在抓捕坏人时因同样的安全卫生不良行为而暴露的,与坏人所犯的错误是一样的。尼克,那么你就无法让他们报名参加你的威胁行为者课程了,因为他们不从事上课的业务。
你应该做的是邀请他们来授课,迎合他们的自尊心,请他们在安全卫生方面讲课,这样就能搞定他们。好主意! appeal to their ego(迎合他们的自尊心)。对自尊心的呼吁,是的。我想象着一种全新的蜜罐技术,让他们去教授一门由聊天机器人学生组成的课程,你知道的,是你的学生们。但无论如何……不,但我确实认为重置密码这件事非常有趣,因为我确信其中一些人会引以为戒。
但也肯定有很多人不会在意。而且我也确定,即使是那些放在心上的人可能还是会漏掉一些东西。因为我一直想到Trivia被入侵的案例,他们做了正确的事,轮换了一切。只是一个小令牌没有被轮换,也没有被发现,这就足够了。所以就像……伙计们,如果黑客在每个账户上都使用相同的名称,也许他们忘了某个表单上的旧账号。你明白我的意思吗?
所以这也是一个教训,即我们很难做好自己的凭证卫生工作。他们也很难做到这一点。我得在这里结束这期节目了,各位。本周的内容就到这里。非常感谢我们的小组成员尼克、米歇尔和J.R. 感谢观众和听众,也感谢制作团队。在各大播客平台订阅“Security Intelligence”,这样你就永远不会错过任何一期节目。
在外面请保持安全。记住,如果你是好人,经常更改密码;如果你是个黑客,就留着别动吧,伙计。没关系,你不必为此担心。