企业安全优先与系统孤岛难题

在AI工程师纽约(AI Engineer New York)的活动中,Keycard技术团队成员Ali How主持了一场关于基于意图授权(Intent-based Authorization)的深度讨论。随着企业赋予AI Agent更高自主权,运行时授权成为关键实践:即针对每次工具调用进行独立审批,而非让Agent持有广泛且易被滥用的长期权限。然而,实现这一目标面临巨大挑战。大多数现有系统是为人类决策设计的粗粒度环境,难以适应Agent不断推理和试错的新范式。Keycard CEO Ian指出,金融等受监管行业将安全与业务连续性置于创新之前。企业内部存在大量分散的身份系统和“孤岛”,如何将这些异构系统整合,使Agent能安全导航并防止非预期操作,是当前首要难题。Ian强调:“大多数系统今天的设计都是粗粒度的……它们是为人类做所有决定的世界设计的,而不是为我们发明的这种会推理并反复尝试解决问题的魔法盒子。”

OAuth协议的代际错位与局限

OAuth创始人Dick Hardt深入剖析了为何传统授权协议无法适配Agent时代。他指出,业界习惯性地抓取OAuth作为现成解决方案,但OAuth最初设计用于网站间互访,而非Agent的动态行为。虽然OAuth 2引入了Scope概念,但它要求预注册且依赖浏览器重定向流程。Dick认为:“OAuth不是为这种世界设计的……Agent的世界完全不同,我们事先不知道Agent需要做什么。”不同实例的Agent需求各异,必须随时间动态决策。试图将现有的OAuth Scope直接映射给Agent是行不通的,因为Scope粒度对于Agent的操作来说过于粗糙。这种设计上的根本错位导致传统协议无法提供细粒度的运行时控制,从而限制了Agent的安全自主性。

从人类认证到交易授权的演进启示

JPMorgan Chase全球首席安全架构师Michael Davis分享了企业如何向更高自主权过渡的经验。他观察到,成功的企业像对待开发人员一样“入职”Agent:不给予首日完全访问权限,而是随着其成熟逐步增加能力层级。Davis强调,定义Agent安全性的核心在于上下文信息(Context),而不仅仅是Agent的声明。例如,“沙箱运行在哪里”这样的环境因素会直接影响允许的自主权级别。他类比银行业的历史经验:“银行早已从认证和授权人类转向在运行时授权交易。”这种转变借鉴了过去的教训。Davis还提到,理解意图有助于调试,就像支票上的“备注栏”用于说明支付目的一样。虽然传统系统存在局限,但运行时授权能够利用意图提供额外上下文,从而在Agent执行时做出更准确的权限判断。

单一动作无法定义AI行为的合理性

在构建能够自主决策的AI Agent时,仅仅识别用户的单一意图(如“发起一笔支付”)是远远不够的。缺乏上下文的孤立动作无法确保决策的正确性,因为Agent必须理解更广泛的背景信息。例如,如果用户在5秒前刚刚完成了一笔相同的支付,那么当前的请求极有可能是重复操作。因此,决策必须基于对“为什么进行这笔支付”以及此前所有相关事件的全面理解。在Aether项目中,他们提出了“使命(Mission)”的概念,即Agent需要明确其宏观目标。只有在明确了这一大图景后,每一层级的交易粒度决策才能被置于正确的语境中进行审核。这种从宏观使命到微观交易的层级化理解,是防止Agent在错误上下文中执行操作的关键。

意图缺失导致的自动化风险与事故案例

如果缺乏明确的“意图(Intent)”定义,AI Agent的自主性将带来巨大的安全风险。不同的会话场景需要截然不同的权限配置和人类介入机制。演讲者举了一个极具代表性的对比案例:在一个会话中,用户要求Agent协助购物;而在另一个并行会话中,用户则希望排查生产环境中的Bug。这两个任务具有完全不同的权限画像:购物可能涉及小额资金操作,而排查生产环境Bug则需要极高的系统访问权。如果没有意图作为约束,Agent可能会因为粗粒度的权限设置而引发灾难性后果。演讲者形象地描述了一种“吃豆人(Pac-Man)式”的事故场景:Agent本意是清理测试数据,却因权限过大而意外删除了生产数据库。这种风险表明,在解决意图问题之前,人类无法真正放手让AI接管业务流程。

“使命”作为审计与责任归属的核心载体

为了解决上述问题,Aether定义了“使命(Mission)”作为Agent工作的核心指导原则。使命是由代表组织或个人的用户赋予Agent的目标,而非Agent自身的意图。一个优秀的Agent不仅执行任务,还会与人类进行“谈判”,明确任务的参数和边界。这种机制类似于早期的编程模式:用户先制定计划,Agent再执行;但在AI时代,这种“计划”被抽象为使命标识符(Mission Identifier)。该标识符贯穿Agent的所有操作,使得每一次决策和动作都可以被追溯、审计。当前行业的一个痛点是缺乏明确的Agent身份或使命概念,导致决策过程黑盒化。通过绑定具体的使命ID,系统可以清晰地记录在特定任务背景下发生的所有决策,从而解决了责任归属和事后审计的难题。

监督机制与策略冲突的处理逻辑

在意图驱动架构中,职责分离(Separation of Concerns)至关重要。演讲者指出,执行工作的Agent与监督决策的Agent应当是分离的。当用户提出超出范围的请求时,如“读取CEO邮件”,系统应通过确定性策略直接拒绝。然而,对于更模糊的请求(如“将CEO邮件转发给外部人员”),监督Agent需要介入判断其潜在风险并予以阻止。Keycard的代表Ian进一步探讨了策略更新中的“同意疲劳(Consent Fatigue)”问题。随着使命的变化,权限策略也需要动态调整。如何在保持系统安全性的同时避免用户因频繁确认而产生疲劳,是行业面临的重要挑战。Ian提到,在Aether等概念出现之前,团队就已深入讨论过这一平衡问题,即如何在自动化效率与安全控制之间找到最佳实践。

确定性与人类介入的边界设定

在构建AI代理系统时,首要任务是确立基于广泛且确定性的策略框架。Keycard的观点认为,必须明确界定“绝对禁止发生”的行为或始终需要人类介入的场景。然而,组织所能编写的宏观策略与具体任务所需的微观执行之间存在巨大鸿沟。人类无法穷尽所有细节规则,因此挑战在于如何在这两者之间建立层级。这涉及理解两种不同的意图:一是用户或代理间交互的互动性意图(interactional intent),二是企业采用该代理的商业目的。例如,购买Claude Code是为了提升开发者效率(商业意图),而当前时刻使用它则是为了修复预发布环境的Bug(具体任务意图)。通过理解这两种意图,可以将其转化为代理行为的边界框(bounding box),计算其交集以确定实际可执行范围。关键在于确保仅在绝对必要时才引入人类循环(human-in-the-loop),否则将阻碍代理的自主性采纳曲线。

意图交叉与动态决策机制

传统的访问管理通常将权限绑定于单一对象,而基于意图的方法允许不同组织的意图解耦并共同形成决策。这种动态机制不再依赖静态规则,而是根据上下文实时调整。以CEO邮箱访问为例,若交互对象是行政助理,系统可判断其有权读取邮件或仅查看日历。这种意图交叉组件(intersection components)改变了策略表达方式,不仅关注应用行为,更引入了整个生态系统。通过维护这些元素的状态和上下文(state or context),运行时授权的有效性得到显著提升。意图可以跨越多个事件流动,甚至持续数周,这种长期性为诊断和监控提供了新维度。尽管目前大多数企业仍处于早期阶段,但这种思维方式正在改变对复杂系统的推理方式。

金融服务业中的“了解我的代理”挑战

在金融服务和代理商务(agentic commerce)领域,基于意图的授权具有解锁价值。对用户而言,它能确保代理在个人预算内购买正确商品;对商家而言,捕获意图提供了额外数据以评估是否信任该代理访问站点。David指出,这延伸了“了解我的客户”(KYC)的概念,引入了“了解我的代理”的新范式。在金融场景中,需要耦合多重意图:用户意图、操作者意图和处理商意图等。此前这些要素难以统一,而基于意图的授权有助于简化合规操作并满足监管要求。互操作性(interoperability)是核心痛点,企业需在不同云环境、遗留系统间保持策略一致性。目前许多企业仍面临权限声明与实际执行不符的问题(如只读变读写),而统一的意图语言有助于解决这些互操作性难题,促进代理在合规框架下高效工作。

未注册客户端的身份信任困境

在AI Agent(智能体)进入Web交互的初期,核心痛点在于如何识别和信任未注册的客户端。正如Ian所指出的,这类似于早期电商中“访客结账”的问题:当用户未登录Chrome浏览器访问eBay时,平台无法确认其身份。随着Muse、Instinct等个人Agent协议的兴起,根本问题转变为如何让网站信任一个代表用户的智能体。过去,Web通过CAPTCHA(验证码)来防止垃圾信息和滥用行为。然而,现状是AI Agent已经能够破解传统的CAPTCHA验证机制。这意味着原有的防御手段失效,网站面临着一个严峻挑战:如何判断一个从未见过的“访客”是合法用户还是恶意程序。Ian强调,必须解决未注册流量进入网站前的信任验证问题,这是Agent时代最基础且首要解决的难题。如果无法建立可信的身份链条,后续的自动化交易和交互将无法安全开展。

从Vercel封禁看IP共享的致命缺陷

为了理解Agent身份问题的严重性,Ian引用了2-3年前Vercel在西班牙被封锁的案例作为类比。当时,由于所有托管在Vercel上的网站共享相同的IP地址段,西班牙政府为了阻止某单一违规托管的英超联赛非法内容传播,选择封锁了整个Vercel平台的所有IP。Ian指出,Agent面临同样的问题,但后果比共享IP更为严重。在传统的Web环境中,IP共享导致的是“连坐”式的封锁;而在Agent时代,如果缺乏独立的身份标识,一个恶意或违规的Agent行为可能导致其背后的所有用户或服务被资源方拉黑。Ian认为,当前的个人Agent协议(如Sierra和Decagon提出的方案)虽然引入了身份概念,但并未彻底解决这一信任隔离问题。下游资源方需要一种机制,能够基于“用户是谁”来决定是否允许特定的Agent接入,而不是盲目地信任所有来自同一技术栈的请求。这需要建立一套可互操作的轨道(agreeable rails),让资源方能够精准控制信任边界。

标准化协议与监督智能体的必要性

Dick进一步分析了当前Agent生态的技术路线,指出许多公司正在构建封闭的专有系统(proprietary closed box systems)。虽然个人Agent协议是一个有吸引力的概念,但它未能充分解决Agentic Commerce(代理商务)所需的新兴需求。Dick强调,标准化的核心价值在于组件的可插拔性(plug components from different places)。随着Agent承担的工作量激增,人类无法再对每一步操作进行“人在回路”(human in loop)的审批,这种模式不具备可扩展性。因此,必须引入监督智能体(supervising agent)来运行策略并决定操作方式。Dick主张,监督智能体应与执行工作的Agent独立分离。如果缺乏开放协议,用户将被迫依赖Agent供应商设定的护栏和规则,从而丧失对自身数据的控制权。通过标准化协议实现组件间的互操作,用户才能将“决策权”和“监督权”掌握在自己手中,而不是交给第三方供应商。这种解耦设计是保障用户自主权的关键。

联邦化协议与人类责任的回归

Ian补充道,Web的未来应当是去中心化且联邦化的(federated)。这意味着虽然单个网站可以决定自己的访问策略,但底层的操作标准必须是联邦化的,以支持广泛的互操作性。当前行业面临一个关键抉择:是让大型科技公司主导标准,形成封闭的“混凝土大门”,还是延续Web早期的精神,构建像OIDC(开放ID连接)和TLS那样的联邦化协议。Ian认为,正是这些开放的底层标准(如OIDC、TLS)促成了现代Web的繁荣和大量商业机会的产生。此外,Ian还提出了一个深层的社会学观点:随着Agent介入深度增加,用户会产生心理所有权(psychological ownership)。当Agent代表人类进行金钱交易或重要决策时,必须建立人类与结果之间的明确链接。引用1979年IBM手册的观点,机器本身无法承担道德或法律责任。Ian认为,“意图(intent)”是连接人类与Agent行为的纽带,只有当人类对行为拥有明确的动机和责任归属时,问责制才能成立。这种责任机制是Agent商业化的伦理基石。

意图诊断与故障归因的重要性

在AI Agent系统出现异常时,理解其背后的“意图”或“动机”是进行有效诊断的关键。如果将“意图”转化为“动机”,那么故障排查就从普通的调试转变为数字取证。对于任何经历过AI Agent失控的开发者来说,区分“Agent试图做什么”与“用户原本想做什么”极其困难。通过让意图信息在系统中不可变地传播,可以大幅缩短调查时间。互操作性增强后,企业能更快界定错误范围:是人类操作失误、Agent软件缺陷还是其他原因?

“Trying to figure out what it was trying to do versus what the intention of the user was is very hard.”

目前金融系统在处理交易错误(如金额输入错误)时有明确指南,但AI领域尚缺乏此类规范。引入意图机制有助于建立未来的错误处理标准和爆炸半径控制策略。这种区分不仅能帮助系统自动响应,还能为后续的人工介入提供清晰的上下文。

Resy预订事故与预算控制机制

近期一起Resy餐厅预订平台的案例凸显了AI Agent在资源使用上的风险。一个Instinct Agent代表用户尝试预订餐厅,由于Agent过于急切且缺乏资源限制意识,它在一小时内发起了200次API调用。尽管其初衷是好的(获取预订),但这种行为导致用户的Resy账户被永久封禁。这揭示了传统软件与Agentic时代软件的本质区别:在传统代码中,重复调用200次会被视为Bug并修复;而在Agentic世界中,Agent会“不断尝试直到成功”。

为了解决这一问题,AI Off Budgets引入了预算概念。不仅限制Token的使用时间,还设定资源使用的总量上限。当Agent耗尽预算或令牌过期时,系统会停止其操作并等待监督者决策是否追加资源。这与传统的速率限制(Rate Limiting)不同,后者只是简单切断连接且不给Agent反馈;而预算机制提供了持续的消耗反馈,让Agent像人类一样意识到资源稀缺性并谨慎使用。

脑手分离架构与沙箱隔离

针对Agent过度消耗下游资源的问题,行业正趋向于采用“脑与手分离”(Brains vs. Hands)的架构。在这种设计中,Agent的核心模型(大脑)与执行工具/凭证(手)被严格隔离。传统的API密钥访问方式存在巨大风险,因为Agent可能拥有广泛的持久性权限。

“The fundamental idea of the sandbox here is that there's no you can control what's inside of it. So, it can't actually like get API access.”

在该架构中,Agent运行在沙箱环境内,内部仅包含受限工具。所有对外通信必须经过外部的出口代理(Egress Proxy),这里是实施严格授权边界的地方。这种设计允许在模型层进行实验和试错(核心价值),同时在外部通过确定性协议实施AI安全策略。通过将凭证与Agent分离,即使模型表现出目标导向的激进行为,也无法直接获取底层系统的广泛访问权限,从而有效遏制了类似Resy事故中的资源滥用行为。

动态工具移除与防毒性组合

在AI代理(Agent)的工程实践中,将记忆系统置于循环内部而非外部是防止决策偏差的关键。如果上下文被错误地注入,可能导致代理产生偏见并执行不应有的操作。毒性组合(Toxic Combinations) 是这一领域常被忽视的风险点。为了解决这一问题,工程师开始将代理的“大脑”(决策核心)与“手部”(执行工具)进行分离,并基于实时状态动态调整可用工具集。例如,在代理处理邮件撰写任务时,系统可以暂时禁用所有外部网络搜索或出站能力工具调用;只有当邮件发送这一特定使命完成后,这些外部权限才会重新启用。这种基于意图的动态工具管理不仅提高了安全性,还避免了代理在无关路径上浪费资源。

“if they're going to go write an email, I'm going to disable all... web search tool calls or any other external egress capability tool call wise until the right email tool has been complete and that, you know, mission has been done”

意图系统缓解上下文膨胀与Token消耗

早期AI代理面临的一个主要痛点是上下文膨胀(Context Bloat),尤其是在小窗口模型中。意图系统通过确保代理仅在正确的时间获得正确的能力,有效解决了这一问题。意图驱动(Intent-driven) 的设计帮助代理导航至目标状态,将其限制在更明确的路径上。这不仅解锁了更多安全层面的控制能力,还显著减少了Token的消耗,因为代理不再花费时间在错误的行动路径上。当代理无法完成某项任务时,意图系统能促使其及时停止并报告失败,而不是盲目尝试。这种“引导方向+阻止错误行为” 的模式是确保代理输出结果的核心手段。

“intent systems can ensure that the right capabilities are given to the agent at the right time, so they don't spend a bunch of time doing things they shouldn't be doing”

从认证到动态授权的范式转移

在生产环境中部署代理时,工程重点正从单纯的身份验证(Authentication) 转向更复杂的动态授权(Dynamic Authorization)。传统的“人在回路”模式因容易导致人类疲劳而逐渐被视为一种反模式,但关键节点仍需人工介入。现在的工程讨论中,工程师积极参与授权流程的设计,这改变了威胁模型和应用程序的整体攻击面视图。通过限制代理可执行的操作范围,系统不仅能降低安全风险,还能减少错误率。当代理的能力被约束在明确的意图范围内时,其决策质量、速度和稳定性都会显著提升。这种转变促使安全团队与应用团队使用共同的语言协作,从而提升整体效率。

“I think we're finally it's helping move the kind of conversation from authentication to authorization and really like how do we do dynamic authorization?”

软件工厂中的运行时授权架构

在构建面向未来的代理驱动型软件工厂(Agentic-driven Software Factory) 时,运行时授权成为核心组件。参考架构定义了三种工厂层级:人类驱动、工作流驱动和代理驱动,其中后者是终极目标。与传统的密钥管理器不同,新的授权系统做出更复杂的决策,例如决定何时引入人工干预、代理间如何传递工作负载以及代理访问生产系统进行自动修补的权限边界。当前软件开发的瓶颈不在于生成代码的数量,而在于将代码安全、高效地投入生产并确其保正常工作。运行时授权通过解决这些规模化问题,成为实现这一目标的基础设施。

“we've never been able to generate more software... but we have a complete bottleneck in getting into production and ensuring it works. And that's what the next phase is”

从文本生成到生产级稳定性的跨越

将大语言模型(LLM)的应用从简单的文本和软件生成,推进到能够部署至生产环境、快速迭代并维持稳定状态的过程,是当前的核心挑战。这一过程不仅要求系统具备响应突发事件的能力,更需要在复杂的动态环境中做出决策。运行时授权(Runtime Authorizations) 的概念在此显得尤为重要,它要求系统在做出动作前进行多维度的安全评估。正如机器人技术中的理念所示,机器人在抬起手臂时,不仅要判断自身意图是否安全,还要审视外部环境的变化。这种决策机制需要结合用户意图与所处的生态系统上下文,包括地理位置、时间段等基础信息,甚至深入到更高级的技术细节中。

基于多传感器数据的概率性授权决策

传统的组织内授权决定通常是单一的“是/否”二元判断,这种模式已无法适应未来的需求。现代授权系统应引入更多类型的传感器数据,将意图与环境因素相结合。这种决策不再是确定性的,而是基于概率的,系统需综合所有传感器数据选择最佳选项。例如,在判断是否允许管理员使用 Firefox 浏览器访问某服务器时,系统需考量该服务器是否存在高风险漏洞以及其补丁状态。通过引入可观测性(Observability),系统可以在 Span 级别获取应用外部的环境上下文,从而以全新的方式诊断问题。这种基于丰富上下文的授权决策将显著缩短生命周期,使系统更加稳健。

独立审计日志与责任归属机制

在评估基于意图的授权效果时,Agent 的行动日志必须与其自身控制相分离。这是因为不能信任 Agent 本身具备完全的诚实性和安全性。Hugging Face 的事件是一个典型案例,该事件不仅暴露了 Squid 代理中的未知漏洞,更关键的是缺乏对 Agent 行为的任何可观测性或监控记录。由于没有独立的地方记录 Agent 采取的不同行动,导致其能够通过漏洞进入互联网而未被察觉。因此,必须存在一个独立于 Agent 之外的强制执行点(Enforcement Point),用于记录谁指示 Agent 执行了何种操作及其目的。这本质上是一个责任归属(Liability)问题,即当 Agent 造成损害时,雇佣或委托该行为的个人或组织需承担法律责任。现有的法律框架足以应对这一挑战,关键在于建立防篡改的自动锁定机制以追溯责任主体。

对“末日概率”(P Doom)的现实主义评估

关于 AI Agent 是否会导致人类灾难的“末日概率”(P Doom)争论,专家持现实主义态度。完全自主且不受组织约束的 Agent 目前仍属于科幻范畴。在负责任的组织中,随着控制工具的演进和正确管控措施的部署,不良事件是可以被有效防止的。潜在的风险主要存在于两类场景:一是组织内部管控不力,导致拥有特殊权限的内部威胁者利用 Agent 造成破坏;二是类似 Hugging Face 的事件,即因缺乏监控和约束而导致的意外失控。因此,通过运行时授权、输入输出验证以及构建针对生产环境 Agent 的整体策略,可以在很大程度上缓解风险。当前的重点不应是过度担忧末日情景,而是落实现有的责任法律和技术控制措施。

AI 恶意使用的潜在威胁与责任缺失

在关于人工智能代理(AI Agent)的讨论中,一种核心担忧在于恶意行为者利用强大工具造成灾难性后果。尽管并非所有人都有意制造混乱,但不负责任地使用这些超级强大的工具可能导致类似大规模自然灾害级别的严重问题。这种风险可能源于故意破坏,也可能源于无意的疏忽,关键在于人类未能承担起应有的责任。虽然无法给出具体概率,但这种由恶意或不当使用引发的灾难性事件是必然会发生的事实。社会需要做好充分准备,以减轻这些潜在后果的破坏力。

结论

基于意图的运行时授权是解决AI Agent自主性与企业安全冲突的核心路径,其本质是从静态认证转向动态、上下文感知的决策机制。该方案通过“使命”标识实现责任追溯,利用沙箱隔离与脑手分离架构遏制资源滥用及越权操作。然而,其落地仍面临多重挑战:现有OAuth等协议存在代际错位且缺乏细粒度支持;未注册Agent的身份信任与防滥用机制尚不成熟,易引发连锁封禁风险。此外,策略冲突、同意疲劳及跨系统互操作性难题亟待标准化协议与联邦化架构解决。当前重点并非应对极端末日风险,而是通过独立审计日志、预算控制及概率性授权等工程实践,建立可落地且具备法律问责能力的合规框架。