政策作为系统的原始指令与状态分离

Evan Kormos 拥有 20年软件开发经验，其中 15年在企业金融服务领域。作为 Coinbase 的 Player Coach，他提出信任 AI Agent 的核心在于 政策（Policy）。他将政策视为组织的“原始系统提示词”，它定义了工作如何完成，特别是风险与合规规则。政策通常使用“必须（must）”、“可以（may）”和“应该（should）”等语言来界定规则。为了有效管理，必须将 构建状态（Build State） 与 运行状态（Run State） 分离。政策是相对静态的规则定义，而系统是动态运行的；尽管系统随产品驱动快速演变，但仍需受政策约束。在企业模型中，Agent 被视为跨越人员、流程和技术的 操作模式，特别是在 Agent 与流程交汇的地方设定边界并建立信任。

“Think of policy as the original institutional intent or the original system prompt.”

工作流建模：从串行到并行图结构

传统的工作流往往被设计为严格的门控方向，例如变更需批准或客户需验证。然而，通过引入 有向无环图（DAG） 概念，我们可以重新审视并行处理的可能性。DAG 是一种表示步骤及其依赖关系的方法，确保流程向前推进且不自我循环。Apache Airflow 是此类开源软件的代表。Kormos 指出，以前因成本或协调复杂性而无法并行处理的工作，现在可以独立审查并汇总结果，同时保留必要的检查点。这种图结构可用于定义多种政策驱动的流程，如商业贷款、特定区域的代币上市以及受监管的软件交付流程。通过 DAG，企业可以在保持控制的同时增加并行容量。

“Previously some work used to cost too much or be too complex to coordinate in this way. But now we can run independent reviews alongside each other... So this is a directed acyclic graph or a DAG.”

循环处理与异常流：DCG 的应用

在具体的流程节点内部（如代码审查），工作往往不是线性的，而是呈现为 有向循环图（DCG）。这是一个迭代过程：工作经过审查，若未达标则根据反馈进行修正，直到“足够好”才进入下一环节。LangChain 和 LangGraph 等工具可用于管理这种复杂的状态循环。然而，并非所有情况都按计划进行，因此必须设计 异常流（Exception Flows）。例如，如果代码被取消或不符合安全标准，系统需要能够监控并处理这些情况。Kormos 强调不应为每个边缘案例设计流程，但必须监控异常以了解潜在风险。随着 Agent 的加入，处理速度加快会导致流程中的 体积转移（Volume Shifts），即上游加速迫使下游环节也必须提速，否则会产生瓶颈。

“The exception flows will monitor and see kind of what happens if you're shipping code that gets canceled or doesn't meet security standards... we start to develop more and more bottlenecks.”

运营可见性与输入质量的关键性

在 Agent 增强并并行化的流程中，整体过程的运营可见性变得极其重要。Kormos 认为，这种可视化的重要性甚至超过了工作流工具本身的编写和构建。随着效率的提升和并行度的增加，瓶颈会不断转移和产生，因此必须通过指标来监控整个流程。此外，AI 工程面临的一个主要挑战是 输入和输出的变异性。高质量的输入能带来更好的输出并降低计算成本，但定义“高质量输入”本身就是一个难点。在复杂的图结构中，确保每个节点（无论是人还是 Agent）都能获得清晰、标准的输入，是维持流程稳定性和可预测性的关键。只有当运营层面对整个 DAG/DCG 有清晰的透视时，才能有效管理由 Agent 引入的动态变化。

“The operational visibility of the process is extremely important much more important than the authoring and the building of your workflow tool.”

构建可信赖的上下文与输入质量

在讨论 AI Agent 的输出质量之前，必须首先确立高质量的输入环境。演讲者指出，虽然我们可以将底层模型称为“上下文模型”，但当前的重点应放在输出结果上。为了确保 Agent 能够理解其在更大业务版图中的位置，一种有效的策略是将 DAG（有向无环图）的状态注入到 Agent 中。这种机制让 Agent 清楚自己处于流程的哪个环节，从而更好地服务于长期目标。随着引入更长时间跨度的目标，优化循环的成本和效率变得至关重要。只有建立了可信的上下文基础，后续的自动化决策才具备可靠性。

"Ideally we've established a trusted context for our agent... inject the DAG state into our agent and let it know kind of where it fits into the bigger picture."

从传统软件测试到 AI 评估的范式转移

在传统的软件开发中，我们依靠测试用例和单元测试等置信机制来确保代码变更不会破坏现有功能。然而，AI Agent 具有概率性特征，相同的请求可能产生不同的答案，且多个答案都可能是可接受的。因此，仅靠精确的输出对比是不够的。我们需要构建代表性的数据集，并通过重复系列的评估来进行统计分析。这种统计分析与运行时追踪（Traces）相结合的方法，构成了补充传统软件测试的新型置信机制。通过查看输出量的整体表现而非单一结果的比对，我们才能真正定义什么是“好”的标准。

"The agents are probabilistic... exact output comparisons alone really aren't good enough. We need to build a representative data sets and evaluate them... this is statistical analysis, right?"

基于 DAG 节点的自动化决策与渐进式部署

在贷款审批等复杂流程中，我们可以利用DAG 和 DCG（有向循环图）理论来规划 Agent 的介入点。对于每个节点，我们需要评估其是否适合自动化：例如，是否能轻松对照政策检查？是否在有限循环内运行？是否可以追踪并回退到人工干预？如果这些问题的答案都是肯定的，则该节点更适合自动化。但关键在于区分“AI 辅助”与“AI 接管”。例如，最终决策节点通常仍需人工驱动以进行政策合规性检查。因此，实施策略应遵循“外部保持确定性，内部实现适应性”的原则。

"The recipe really is to keep it deterministic on the outside and make it adaptive on the inside."

从监督到无人值守的三阶段演进路径

实现 Agent 无人值守工作并非一蹴而就，而是需要经历三个阶段的渐进式演进。第一阶段是“第一天”的监督模式：人类与 Agent 共同工作，手动验证输出质量，由领域专家定义“好”的标准并完善数据集。第二阶段是采样模式：当测量置信度达到政策阈值时，人类仅检查部分输出切片，同时通过系统性追踪确保未查看部分也符合质量标准。第三阶段是例外处理模式：一旦清除置信度阈值，人类仅作为参与者处理异常情况，继续优化数据集。这一过程强调了质量是团队运动，AI 工程师需利用 MLOps 管道整合多方信号。

"When measured confidence reaches a policy threshold, we can move towards sampling... finally, once you clear the confidence threshold, humans handle more of the exceptions."

结论

实现 AI Agent 无人值守工作的核心在于构建以政策为约束、DAG/DCG 为结构支撑的混合系统。其优势在于通过并行处理提升效率，并利用“外部确定性、内部适应性”原则平衡自动化与合规性。然而，该模式高度依赖高质量的输入环境及全流程的运营可见性，以应对 Agent 带来的概率性输出和体积转移风险。适用条件包括节点需具备可追溯、易回退及政策检查明确性，且必须经历从人类全量监督到采样验证、最终仅处理异常的三阶段演进。唯有建立统计评估与 MLOps 管道，才能在确保风险可控的前提下逐步释放无人值守潜力。