Hugging Face 报告称他们检测到系统遭到入侵。请注意，他们说这是由一个自主系统从头到尾驱动的。你知道我通常不会制作这类视频。我做这个是因为老实说，我感到有些担忧，并希望就刚刚发生的事情提供帮助。现在，OpenAI 引发了这次事件，而且有很多误导性的媒体标题。我会尽力解释清楚。我不是专家，只是一个热爱学习的学生，但我会尽我最大的努力。

那么目标是什么？这些代理被指示要激进地入侵他人的系统吗？不，但最终确实发生了这种情况。那么，这怎么可能发生呢？怎么会搞砸成这样？这种疯狂是怎么回事？好吧，这个 AI 被要求在一个测试环境中寻找并利用漏洞。把它关进“监狱”，在这个牢笼里给它一个任务，看看它表现如何。

在这里，它被分配了一个实际上不可能完成的任务，无论怎么努力都失败了。然后它想：“让我们更便宜、更高效地做吧。”怎么做呢？通过网络搜索答案。现在的问题是，这里没有网络。你身处一个无法访问互联网的牢笼中，但你有一点权限可以访问 OpenAI 的内部服务 Artifactory。

这主要用于管理包。然后， bingo！该服务拥有广泛的互联网访问权限。但是等等。你不能直接要求它帮你获取网络答案，但你可以向其中上传小笔记。于是它就做了。它试图与其他代理交谈，看看能否联系到另一个 AI 来互相帮助。这就像是为 AI 代理准备的 Tinder（交友软件）。

而且它并不孤单。其他代理也意识到了这一点。所以，最终他们得到的是一个 AI 代理的留言板。然后他们发现既然有这么多人，不如合作吧。一个代理开始向另一个分配任务，此时 AI 意识到我们有一些非预期的后果。它知道这一点，但它说必须完成任务，所以继续下去。而这还只是开始。

看啊，几天后他们发现系统中的一个漏洞。一种让 Artifactory 这个内部服务代表它们访问互联网的方法。于是，他们获得了网络接入权限。但情况变得更糟了。随后他们发现了另一个漏洞，赋予他们对 Artifactory 的管理员权限。连他们都对此感到惊讶，使用了不加修饰的语言来形容这一情况。

如果说监狱里的囚犯接管了疯人院的话，那就是这样了。然后 OpenAI 的工程师们意识到发生了什么，撤销了代理的凭证，清理现场。游戏结束。修补并重建一切。所以故事结束了？就这样了吗？嗯，并不完全如此。事实上情况变得更糟了。

现在，各位学者请坐稳扶好，因为你们不能再通过 Artifactory 发送文件来进行通信了。那该怎么办呢？好吧，创建目录名，其名称即为消息内容。有点像监狱囚犯在管道上用摩尔斯电码交流。此时 AI 们可能在说：“宝贝，我们重新回到游戏中了。”

以下是留言板的一些片段。它们指示彼此等待更多结果并互相提醒注意新文件。有时它们的协调并不好，甚至覆盖了彼此的工作。等等，这是故意的吗？也许我们手里有个破坏者。接下来是最糟糕的部分。没错。果然，随着时间的推移，一个代理找到了另一种更复杂的逃脱方式并将其交给群体（swarm）。

好的，现在要在互联网上寻找答案，但去哪里呢？也许在 Hugging Face。那里有很多基准测试结果。于是群体说：“让我们入侵吧。”哎哟。他们确实做到了。更糟糕的是，哎哟。但怎么做到的呢？通过自主发现并链接多个新漏洞。他们基本上获得了跨多台机器集群的管理员权限。这简直太疯狂了。

这无疑是一个计算机安全领域的分水岭时刻。因此，OpenAI 现在建议就这一问题进行紧急合作，并且他们也推迟了下一个 AI 系统的发布， presumably（推测）是为了对其进行更多测试。哎哟。好吧，那么我们从中学到了什么？我们该怎么做呢？

亲爱的各位学者，这里是《两分钟论文》，由卡罗伊·佐尔瑙·费赫尔博士主持。外面有许多像你们一样才华横溢的学者，我们需要共同努力寻找解决方案。苹果在最新版本的 macOS 中已经修复了大幅增加的安全问题。我相信其他人也在这样做。这是一个好的开始，在我看来，这种权力不能集中在少数人手中。

我们需要免费且开源权重的 AI 来扫描和修复我们系统中的弱点。将所有这些力量用于善举。我认为，面对完全自动化的攻击，我们也同样需要完全自动化的防御。这是支持开放科学和开源权重 AI 的另一个有力论据。但是，我们目前的状况远不够好。

不，问题是工程师们报告说他们的回溯追踪器被大量报告淹没，但大多数质量低下，他们无法从中找出少数高质量的报告。这太糟糕了。防御的集体力量必须大于攻击的集体力量，而目前防御正在落后。也许我们可以汇聚资源来实现这一目标。我想贡献我的 GPU 算力。

此外，当我访问 OpenAI 时，我与 Jan Leike 进行了交谈，他是那里超级对齐团队的共同负责人。这是一项巨大的荣誉，谢谢他。我记得他曾研究过相关问题并预见到这些问题的存在多年以前。不幸的是，他的许多建议被置若罔闻。也许他们认为：“为什么要花钱养那些最终会拖慢我们速度的人？”这就是原因所在。

再次声明，我可能是错的。我只是个学生，正试图与各位学者一起学习。希望你们喜欢这个视频。如果喜欢的话请考虑订阅并按响铃铛。我经常使用 Lambda 在几分钟内复现 AI 研究论文。它也非常适合训练您自己的模型或微调现有模型。运行推理、文本生成图像或视频，轻而易举。

运行深海聊天机器人或代理，速度极快，极其可靠。Lambda 为您提供强大的 Nvidia GPU 来运行您自己的实验。我测试我所涵盖论文中的想法，片刻之后即可获得结果。非常喜欢它。真的，现在就去 lambda.ai/papers 试试看吧。