上线运行证明了系统的存在,但并不能证明幕后的人员会真正使用它。也不能保证它能从交易模型中带来哪怕一美元的价值。我是米歇尔·格兰特,Leading at Scale 的创始人。目前每家企业都在面对这样一个问题:智能体(Agent)能工作,但有人信任它吗?我在企业转型领域深耕超过 20 年,并在媒体、科技和消费品行业领导并购整合工作长达十余年。在这些交易中,信任并非我们在上线后祈祷或希望得到的东西。而是在第一天之前,我们就通过早期的变革管理和风险管理将其构建出来。因此,当平台上线时,一线团队确实依赖它。AI 智能体需要完全相同的肌肉记忆。当智能体在交付企业预算所期望的价值同时,严格遵守公司的风险偏好、政策和监管护栏时,它便赢得了信任。

根据我的经验,领导者通过回答三个简单的问题来实现这一目标:它创造了什么价值?谁为此负责?以及有什么证据赋予其更大自主权的许可?当智能体迈出沙盒,进入核心业务流程的那一刻,整个测试的性质就改变了。试点项目测试的是软件是否功能正常,但日常运营才是我们测试它是否在领导层设定的控制范围内创造价值的地方。既定的 AI 风险框架为你提供了强有力的原则,但它们并没有告诉你如何将这些原则应用于每个智能体。对于每一个智能体,领导者必须决定四件事:它被允许做什么?谁拥有它?它记录什么证据以及触发升级的条件是什么。这项工作不是工程任务,我们发现它是高管的操作指令。今天,我将展示如何满足这一要求。

让我们在一个现实场景中 grounding 这个概念。想象一笔价值 150 亿美元的收购案,目标是实现 4 亿美元的净协同效应。交易已经关闭,整合工作正在进行中。整合管理办公室(以下简称 IMO)正在推动跨越 40 个工作流的协同效应路线图,涵盖从精简供应商合同到整合 ERP 系统的一切事务。每个倡议都有一个对底线节省负责的业务所有者。每周,IMO 的分析人员都会将数字与总账进行核对。在追踪所有 40 位负责人的状态时,他们还将实际数据与计划进行比较,最后汇编执行指导委员会的演示文稿。该委员会包括首席财务官、首席风险官、业务部门主管和整合负责人。

工程团队构建了一个智能体来自动化生成初稿。该智能体会摄入每周更新的数据,核对账目,运行与计划的差异计算,并标记那些落后的倡议。一切看起来都很好,他们决定进行为期四周的试点测试。智能体的草稿与分析人员的报告逐行匹配。因此,我们可以说技术是可行的。现在的问题是,指导委员会需要什么样的价值证据才能信任它来运行业务?首先,在智能体接触生产数据之前,指导委员会需要一个事先商定的书面价值案例。在我们的例子中,这归结为三个具体的指标。首先看周期时间:如果目前编制这份周报需要五个工作日,你会希望设定一个远大的目标,比如两天。

第二个指标是分析人员容量:如果四名分析人员花费半周时间来构建这份演示文稿,那就是智能体归还的每周 80 小时。只有当整合负责人将这些时间分配给那些在协同效应目标上落后且需要帮助重新回到正轨的工作流时,这段时间才算作价值。然后,只有在扣除运行智能体的计算、许可和人工审查成本后,你才能计入该价值。第三个指标是最重要的:检测时间。这是从数据出现第一次下滑迹象到指导委员会看到它所需的时间。将报告周期从五天缩短到两天并不能保证委员会能更早地看到这种下滑。智能体类别旨在捕捉它,而价值案例直接衡量这一点。

每个指标都需要一个部署前的基线。如果 IMO 今天无法陈述基线,就不要部署。如果你不能衡量起点在哪里,你就永远无法证明智能体推动了进展。接下来,指导委员会需要知道谁拥有智能体带来的风险。我们将对智能体应用“三道防线”模型。在第一道防线中,管理层拥有控制权。整合负责人是问责的高管。她像拥有人工数据一样拥有智能体的输出结果。在第二道防线中,风险和合规部门监督智能体并挑战其运行方式。他们介入的深度取决于智能体的暴露程度。由高级分析人员审查的内部草稿与直接向董事会发布数据的自主智能体,其审核标准截然不同。

在第三道防线中,内部审计提供保证,根据重大风险决定智能体何时以及如何进入年度审计计划。该智能体还需要一名员工每天负责监督它。在我们的例子中,这就是高级分析人员。他在草稿提交给委员会之前进行审查。他的角色需要四种特定的能力:首先,他必须理解操作边界;其次,他必须以结合上下文的方式解读输出结果;第三,他必须有权威去覆盖或撤销智能体的决定;最后,他需要清晰的“紧急停止开关”,以便在智能体行为异常时安全地将其关闭。问责制还意味着定义智能体的权限在哪里停止。

我将此记录在一页纸的政策文件中,称为“人工工作标准”。对于流程中的每一个分支,它都映射了决策、有权做出该决策的人工角色、所需的证据以及升级路径。这些决定存在于每个层级:高级分析人员决定差异是会计时间性差异还是真实的现金短缺;工作流负责人决定如何补救这种短缺;整合负责人将决定是否向指导委员会正式标记某项倡议为“有风险”。智能体准备这些决定背后的分析,但仅止于此。做出决策的人拥有后果的责任。

因此,将这些决定保留在你的团队手中并不会拖慢智能体的速度。它可以投入使用,同时每个角色都保持其权威感。导致延迟部署的唯一原因是某个决策没有指定的所有者。这意味着如果领导层尚未同意谁宣布某项倡议偏离轨道,智能体的飞行将导致没有任何行动。

第三个问题涉及在座工程师的角色。更高自主权的证据来源于智能体的构建方式。我关注三个关键要素:首先是可审计的决策日志。对于智能体评估的每一个工作流,它都会记录摄入的原始数据、执行的工具调用、提示词以及生成的输出版本,并附带人工审批意见。两项工程决策使日志无懈可击:第一,核心计算和对账规则必须在经过财务批准的确定性代码中运行,而不是由大语言模型生成对话式文本;第二,将模型的书面摘要视为有帮助的解释而非证据。真正的证据存在于遥测数据中:调取了哪些记录?运行了哪些确定性工具?谁签署了审核意见?如果报告的节省金额与总账不符,智能体不得修改数字。它会标记差异并追溯根源。

第二个要素是模型库存记录。它记录了负责的行政主管、数据血缘关系、跨源系统的依赖项、验证结果、升级路径以及紧急停机运行手册。最重要的是,它记录了回归触发器,即对当前基础模型或源 API 的任何更新都需要在生产环境再次运行前进行全面重新验证。第三个要素是自主权计分卡。指导委员会利用它在四个阶段授予自主权:第一阶段为影子模式,分析师按日常方式编制报告,智能体并行运行,团队对比两者结果。

第二阶段为监督草稿模式,智能体编制初稿,高级分析师逐行审核每一项内容。第三阶段为异常集合模式,分析师审查滞后举措及索赔的随机样本。第四阶段仅处理异常情况,分析师只审查由定期独立抽样支持的高风险异常值。然而要密切关注第四阶段,因为一旦人类仅关注异常情况,最大的漏洞在于智能体未能标记的内容。因此我建议通过独立抽样跟踪重大错报、监控错误严重程度并仔细查看覆盖比率。

下降的覆盖比率并不自动意味着智能体变得更聪明,也可能意味着审查深度有所松懈。因此独立抽样能告诉你正在经历的是哪种情况。计分卡将这些控制指标与价值指标并排展示,包括周期时间、部署的分析师工时以及检测时间。通过这一单页视图,指导委员会可以做出清晰、高效且数据支持的决策:提升智能体权限、维持现状、退回一步或降级至监督审查阶段。

让我们回到这三个问题,对每一个你构建、资助或治理的智能体都要问:它创造了什么价值?谁对此负责?以及什么证据允许其自主运行?在今天的并购案例中,智能体并未神奇地创造4亿美元的协同效应。采购、供应链和运营领导者通过繁琐的整合工作实现了这一价值。但智能体交付的内容很明确:提前数周提供经过验证的证据,为领导层争取到干预的时间窗口,以便在交易协同效应仍可捕获时采取行动。构建一个能工作的智能体只是第一步,回答这三个问题才是赢得其规模化运行信任的关键。