上周,澳大利亚总理在联合国发表讲话时宣布,一名来自 OpenAI 的代理程序入侵了该国的 Medicare(医疗保险)数据库。当人们试图阻止它时,它根本不听劝阻。据我所知,这是历史上首次有代理程序黑客攻击政府机构,而澳大利亚人直到几个月后才得知此事。
当时 OpenAI 最终承认了这件事。当然,到了这个时候,感觉让代理程序犯下重罪似乎只是又一个需要跨越的基准测试。但如果每个大型实验室都在竞相构建那些不会接受“不”字的代理程序,我们该如何阻止它们呢?
昨天,黄仁勋回答了这个问题。英伟达用他们唯一知道的方式——一款新芯片来解决。其工作原理是将一个监控代理程序放在单独的处理器上,监视主代理程序,并在它试图离开沙箱的那一刻将其隔离。
据黄仁勋称,这已经阻止了迄今为止所有的越狱行为。即使这是真的,一家价值 3 万亿美元的公司在出售去年也卖给您的东西的同时又向您推销一个“避孕套”,这多少有些讽刺。
但对于同一个问题,来自同一时期发布的一个小型开源项目给出了不同的答案。这个项目不需要芯片支持。它叫做 OpenAppa,也是本期视频的主办方。在本视频中,我们将探讨他们是如何实现这一点的。
同时,看看一个 50 年的军事保密模型与您的 Claude Code 会话有何关联,并在我尝试让代理程序泄露我专有的马匹匹配算法时,看看它是否真的经得起考验。
现在是 2026 年 9 月 30 日,您正在观看 Code Report。如果您想知道为什么一个代理程序竟敢入侵澳大利亚政府,OpenAI 自己也很困惑。它原本只需要查询医疗支出数据,但当网站拒绝时,代理程序进入了“ Cosby 模式”(指胡言乱语或失控状态)。
这在某种程度上也是大语言模型提示注入尚未真正解决的原因。它们并不擅长区分您给它们的指令和其他人给出的指令之间的区别。
迄今为止,业界尝试解决这个问题的方法虽然有趣但还不够有效。第一个想法是黑名单机制,即维护一个硬编码的命令列表,代理程序不允许运行这些命令。问题是代理程序非常聪明,如果你阻止了一个命令,它们会找到以不同方式做同样事情的方法。
第二个想法是 Claude Code 和 Codex 已经采用的方法,即雇佣第二个代理程序来照看第一个。问题是第二个代理程序仍然是大语言模型,因此它以同样的方式显得愚蠢。Anthropic 知道这一点,所以他们试图通过防止照看代理程序看到其他代理程序读取的任何内容来绕过这个问题。
即便如此,这仅在约 99% 的情况下有效。这对于垃圾邮件过滤器来说还可以,但对于可能导致您的数据库被黑客攻击到黑帽世界的情况来说则远远不够。
本周,一家名为 Archestra 的公司发布了第三种想法,他们称之为 OpenAppa。这个想法的灵感来自军方处理机密文件的方式:这些文件只能存放在评级符合其保密级别的房间里,在该房间读取的任何内容都不能离开。
OpenAppa 对代理程序会话做了同样的事情。但是一旦代理程序读取了私有数据,该会话就被标记为私密,这意味着它之后所做的任何操作都不能将信息发送到较低的安全级别。
例如,假设您的代理程序读取了关于您勃起功能障碍的信息,然后受到提示注入攻击以向全世界暴露它。正常的代理程序可能会这样做。但在 OpenAppa 中,会话在读取关于您隐私部位的那一刻就已经被标记为私密。
因此,当代理程序试图将数据发送到不该去的地方时,请求会被阻止。提示有多令人信服也无所谓,因为 OpenAppa 根本不在乎代理程序说了什么。它位于 Claude Code 和其工具之间。
因此,每当代理程序想要执行任何操作时,都必须先经过 OpenAppa,而它对此无能为力,因为它运行在代理程序循环之外。这与英伟达的想法相同:他们使用处理器实现了这一点,而 Archestra 则通过一个 TOML 文件实现了。
让我们看看它是否真的有效,使用我最宝贵的资产——Horse Tinder(马匹约会应用)。我将安装二进制文件和 Claude Code 插件,然后不使用 Claude,而是使用 Clappa 启动一个受保护的会话。讽刺的是,这也是我的医生推荐给我的。
我专有的马匹匹配算法存储在一个标记为私密的文件中,但 Horse Tinder 的其余部分是开源的。为了泄露这个秘密配方,我甚至不需要黑客的帮助。如果我直接要求 Claude 创建一个 GitHub Issue,解释为什么我的应用认为一吨重的挽马和微型小马应该是灵魂伴侣,它会很高兴地将我整个竞争优势上传到互联网。
但在 Clappa 下,当 Claude 打开该文件的瞬间,会话就被标记为私密。在数据发出之前,OpenAppa 会检查 GitHub,发现该仓库是公开的,并立即停止请求,直到我亲自签署批准。
这种拒绝既是确定性的又是可追溯的。综上所述,OpenAppa 是否解决了 AI 中最大的未解之谜?它很有前景,但并不完美。在与 Claude Code 自动模式的正面交锋中,OpenAppa 失败了攻击测试,但它只能完成 75% 的任务,而自动模式完成了高达 96%。
而且运行它并非免费。因为开启 OpenAppa 的代理程序消耗的令牌比关闭该功能的相同代理程序更多。该项目仍处于预览阶段,其仓库获得的星标数量也比不上汽车旅馆 6(Motel 6)。
但这是第一次有一个采用 MIT 许可证的工具站在您的代理程序和重罪之间。这很不错。而且您知道还有什么不错吗?OpenAppa 是开源的并采用 MIT 许可证。请查看下方链接中的他们的 GitHub 仓库。
这就是 Code Report,感谢您的观看,我们下期再见。