[音乐]

早上好，我是Druid AI开发者社区负责人Michael，这位是我们的联合创始人兼首席产品官Dan。简单介绍一下背景：Druid是一家对话式AI初创公司，在EMEA（欧洲、中东和非洲）及美洲地区拥有数百家客户，我们已运营数年。正因为与众多将AI代理投入生产环境的客户紧密合作，我们反复听到同一个问题：究竟如何判断我们的AI代理是否有效？哪些指标才重要？应该检查哪些产出物？此前并没有现成的清晰答案。因此，我们构建了自身的参考模型和测量框架，并用于帮助客户评估他们的代理。

在向客户解释这一概念时，我们使用了一个简单的类比：实习生。毕竟谁不喜欢实习生呢？今天我们将通过这一视角展开讲解。设想一个业务场景：你在一家银行客服中心担任经理，暑期雇佣了两名实习生。两人团队相同、职位描述一致。到了八月，仪表盘数据显示：实习生A处理了80%的对话，将20%转接给高级银行家；实习生B处理了96%，几乎不转接，仪表盘显示为绿色。此时你只有一个转正名额给谁？乍看之下，实习生B似乎是明显人选，因为他几乎独自处理了一切，没有频繁打扰高级银行家。

然而令人惊讶的是，给实习生B的录用通知是错误的决定。以实习生A为例还原真实情况：早上7点，客户在移动应用上完成身份验证后询问提前还清抵押贷款需要多少费用。代理能回答数学计算、提取余额并给出包含所有定义要素的完整回复。但这个问题是一个信号：客户正在重新考虑其抵押贷款，这涉及再融资，是潜在的真实收入机会。因此银行制定规则：回答客户后，将上下文转接给高级银行家。这种设计中的交接环节构成了实习生A那20%的指标，即“无人工干预处理对话百分比”。

这一指标易于测量且出现在每个仪表盘上。这正是客户反复遇到的陷阱，也是我们要构建参考模型和评分卡的原因，接下来由Dan详细介绍该框架。谢谢Michael。这是我们建立的框架，因为客户和潜在客户询问我们如何知道代理是否真正胜任工作、是否有效。该框架基于六大支柱，分为两组，并在所有支柱上贯穿治理机制。“配置组”指代理运行前已存在的基础；“运行时”指代理在运行中执行的任务及产生的输出。

在所有组别之上是治理层，从业务角度看涉及预期边界、错误容忍度、风险（至关重要）、合规性、可观测性、准确性与幻觉，以及语气和情感。总共26个组件共同观察和分析代理的整体行为。有了这一框架，你不再争论代理是否“感觉”准备好了，而是基于事实进行讨论，拉平各方立场，依据数学规则做出决策。让我们深入细节：每个组件分为三个等级评分。

若相应组件缺失，得0分；若能测量、吸收并观察（不一定自动进行，人工手动同样有效），得1分。最佳情况是“已管理”，即被跟踪、观察并随时间分析，得2分。因为一切都在动态变化：昨天发生的情况今天可能不同。为汇总这些指标，我们根据重要性赋予权重。你会发现治理集群最重要，因为我们从业务角度分析代理有效性——即是否产生预期的业务成果。

因此治理组占39%权重，其次是“使命”（mandate）26%，平台12%，输出9%，依此类推。你会注意到技术方面虽被测量和贡献，但权重较低，因为我们聚焦于代理的业务有效性。基于这些指标，我们将看到起初看似获胜的绿色“高处理率”，在衡量所有组件后可能得出截然不同的结论。让我们深入每个集群内部：治理至关重要，却常被忽视，往往一开始只关注技术方面，事后才观察业务影响。

使用此框架则相反，我们从治理开始着手，这在愿景规划阶段也大有裨益。例如选择哪个职能部门率先引入AI时，我看到项目中各部门因董事会指令而激烈竞争谁该优先吸收AI。框架帮助他们做出决策。因此，每当我定义一个代理时，首先设定其边界：可接受的容忍度是多少？你可能会说零分或完美主义，但我们知道AI并非总是完美的。有时50%的容忍度也是可以接受的。

在自主代理中，我希望设定更高目标，因为没有人在回路中参与决策：要么完美执行，要么取消任务。而在人机协作场景中，最终决定权在人手中，AI生成内容后由人类决策，因此60%的错误容忍度可能是可接受的风险。我与所有其他部门协同合作，明确代理应在何种风险蓝图下运行。若查看此处测量的数据，该代理得分为97%，因为已定义风险与合规性。

合规性良好：我们评估该代理符合SOX 2及备份政策，得分优良。可观测性也良好：我观察到代理记录了从输入、推理决策到调用集成的所有内容，得分优良。漂移（drift）控制良好：我们仍处于边界和基准范围内。

首次上线日期已确立，系统会测量并跟踪准确率、幻觉率等指标。其中部分由自动判定完成，另一部分则通过人工标注进行验证。总体而言，准确率和语调及情感都会受到测量与跟踪，因为这些代理是对话式智能体。我观察并提取对话中的语调与情感信息。综上所述，共有七项关键指标被测量：代理任务授权至关重要。我知道系统提示词中规定了边界，但这仅仅是定义的一部分——即该代理应做什么、不应做哪些无限制范围的事。

我们需要控制幻觉，明确业务影响以及构建此代理的目的。我们并非仅仅在实验技术，而是期望该代理实现70%的合同续约率，这代表了投资回报率（ROI）。我们将在期末通过衡量业务成功度来评估这一目标。代理应基于哪些事实进行推理？这些政策边界包括隔离上下文，即相关文档和连接的系统。安全性同样重要：代理被允许接入哪些系统？

我非常希望每晚都能安心入睡，确信我的代理仅访问这三个端点。我不给它接入拥有4000个工具的MCP服务器，因为我不知道它会做什么。这是隔离上下文的第一层含义；第二层是谁被允许与我的代理交互？最后但同样重要的是，我要控制预算。我不希望一周后出现意外，发现我的代理消耗了20K资源并与各种工具进行了交互。

这五大支柱共同构成了代理的任务授权（Agent Mandate）。平台能力方面，我们希望代理能协同工作，而不是重复造轮子。如果一个代理表现良好，是因为它正确管理了记忆、人工交接以及技能编排，我希望所有代理都能表现出同样的行为。因此我也对此进行测量，这非常关键：交接机制。

我不希望每个代理自行处理其自身的交接工作。我希望有一个中央行动中心，让人能够与组织内的所有代理进行交互。因此我会评估每个特定代理是否与这一上级服务进行沟通。虽然涉及一些影响总分的技术细节，但它们都归属于治理和业务目的之下。是的，技能是定义的，但关键在于它们的粒度、可发现性、编排方式以及提示词中组合多个技能的紧密程度。

这些技能是来自中央仓库，还是即时构建或人工编码？有哪些工具可用？在最终评判中你会发现，表现优异的代理并非拥有最多工具的代理，而是能有效使用工具的那个。因此这一方面也非常重要。至此我完成了定义的阐述。那么在运行时会发生什么？我需要记录日志，根据任务授权创建并执行任务。

任务是明确写出的吗？输入是否被记录？所需的上下文是否存在？我如何知道成功标准是与任务共同制定的？因为如果我看到代理续签了合同，我想衡量这次续约是否真正成功。如果没有将成功标准与单个合同关联起来，就无法做出判断。因此代理应解释其所做的每一件事，这就是任务主题的内容。

最后我要验证输出结果，有一个综合评分来评估代理是否成功。综上所述，结合所有指标，A代理得分为83%。如果你记得开头提到的数据，它的拦截率是80%，升级处理了20次；而B代理仅升级4次。然而，观察并测量治理、任务授权及最终结果后，综合评分有利于A代理。

如果查看各个集群的表现，在每一个单独的类别中，A都优于B，除了技能方面。B拥有更多技能，但在可解释性、成功追踪以及治理合规性方面存在不足。综上所述，该框架给出了真正的赢家。现在交还给Michael。

谢谢丹。这七大支柱和评分卡构成了我们使用的框架，我们在多个客户那里应用此框架效果良好。客户通常反馈说，他们终于有了衡量部署代理有效性的某种框架，并能与业务利益相关者进行智能讨论。这里回到实习生隐喻的部分对你有利：当你雇佣一个人时，面试就结束了；但当你雇佣一个代理时，这个过程永无止境。

你每周都要在实时流量下重新运行它并与人类基准进行对比，评估、改进、再测试。回到丹之前提到的漂移问题：右侧的绿线代表全年持平92%的面子工程仪表盘；而青色线条显示轮询得分从83分滑落至60分，因为你是按周测量的。同一个代理、同样的绿色仪表盘，但随时间变化的指标却不同。

一旦开始与业务利益相关者（如首席财务官）接触，第一个问题通常是关于投资回报率。恐惧随之而来：人们担心代理会取代谁的工作？这种恐惧持续存在，因为我们大多没有衡量替代方案。我们尝试与客户一起重构这一认知：优秀的实习生能减轻你的工作负担，常规工作转移到你桌上，让你更专注于剩余的高价值工作。

对代理也适用同样的测试：它从你手中拿走了什么？释放的时间让业务能够做什么？例如，代理在早上7点和9点处理余额查询。银行家第二天上午便去会见正在重新考虑抵押贷款的客户。代理让银行家更擅长银行业务，这应该列入你的评分卡中。这也是我们尝试与客户一起做的事情之一。

关于开头的实习生比喻，我要坦白：那并非假设性数据。那个80/20的拆分比例是2026年金融服务行业AI采用率的基准数据。你刚才听到的所有内容都基于我们匿名的聚合式AI代理生产数据。相同的指标——拦截率，在不同行业有不同的正确答案：金融服务为80%，医疗健康为87%，人力资源和IT为93%。

高等教育行业的拦截率高达99%。当你查看这些数据时，高等教育的表现尤为突出……

这并不比银行业更好。银行只是在他们的代理式AI设计中增加了更多的交接环节，这就是你所等待的结果：将每个代理的表现与一个通用数字进行对比。然而，不同行业的数值是不同的。这是Druid 2026年AI采用基准报告。我们收集了15个月的生产环境AI代理数据，其中包含许多有用的行业间对比数据。该报告可免费下载。

请看下一页幻灯片。这里有一个二维码，你可以扫描它来下载报告。我们开发的框架主要涉及定义任务范围、合同以及边界，对代理的整个运行过程进行评分。我们每周将其与人类基线表现进行对比，这是我们通常与客户合作使用的框架。

我们希望向大家展示这一框架，并免费供所有人使用。最后一点是，我们的展位位于LG11号，就在OpenAI和微软展位的对面。欢迎大家前来交流，我很乐意与各位进行对话。非常感谢大家。