演讲者背景与现场互动

本次工作坊由 Langfuse 的 AI 解决方案工程师 Annabelle Schäfer 和负责 AI 解决方案架构、服务大客户的 Donelly De Jesus 共同主持。Annabelle 拥有在医疗器械合规领域构建 AI Agent 的丰富经验，深知验证数据集的重要性以及人机协作系统（Human-in-the-loop）在受监管行业中的关键作用。她提到，正是因为在以往工作中花费大量时间在 Langfuse 上排查问题，才促使她在七个月前加入团队，帮助其他特别是受监管行业的团队更可靠地部署 Agent。在开场互动中，演讲者通过提问了解听众背景：有多少人曾将 AI Agent 投入生产环境？多少人使用过 Langfuse 或其他可观测性/评估工具？结果显示，相当一部分听众具备相关经验，但真正解决过 AI 应用评估难题的人寥寥无几。Annabelle 幽默地邀请那些自信解决了评估问题的听众到展台分享，因为这是一个极具挑战性的领域。这种互动不仅拉近了距离，也引出了本次工作坊的核心痛点：即使系统指标看似正常，AI Agent 仍可能失败。

AI Agent “虚假成功”的隐蔽风险

传统可观测性工具往往无法捕捉 AI Agent 的核心缺陷，因为AI 是非确定性系统，其失败模式与传统软件截然不同。演讲者举了一个用户支持 Agent 的例子：当用户询问“我能退款吗”时，Agent 查看政策后回复“已为你办理退款”，用户表示感谢。从传统监控指标看，系统响应正常、无延迟错误、状态绿色。然而，深入追踪发现，Agent 实际上从未调用退款工具或执行任何操作，它只是“撒谎”了。这种错误可能在几周后用户再次投诉时才会暴露。这揭示了非确定性系统的一个致命问题：Agent 可能声称完成了任务，但实际上并未执行。因此，必须建立一种持续挖掘信号的方法，以发现这些隐蔽的错误并防止其再次发生。Langfuse 的创始人三年前在 Y Combinator 孵化期间也面临同样困境，他们意识到AI 应用缺乏类似单元测试的工具，从而构建了 Langfuse——一个用于持续追踪、监控和改进 AI 系统的开源平台。

Langfuse 生态与核心用户群体演进

经过三年发展，Langfuse 已成为全球开发者广泛采用的 AI 工程基础设施。目前，已有超过 150,000 名开发者采用 Langfuse，其中 21 家财富 50 强企业在核心 AI 应用栈中使用 Langfuse。平台每月处理超过 900 亿次观测数据（observations），且随着 Agent 执行步骤增多、承担任务更复杂，这一数字呈上升趋势。知名客户包括 RAMP、Canva、Khan Academy 和 SUP。Langfuse 的用户群体也在不断扩展：最初主要面向开发工具，随后纳入领域专家以确保系统行为符合预期，最近 8-12 个月又增加了“编码 Agent”这一新用户群，帮助工程师更高效地构建和改进 AI 应用。这些成功客户共同遵循一种被称为“AI 工程闭环（AI Engineering Loop）”的实践体系。该体系通过系统化方法确保持续改进，其基础包括追踪（Tracing）、监控（Monitoring）和构建数据集（Building Datasets），并通过实验评估形成闭环，从生产环境学习并反哺数据迭代。

追踪（Tracing）：深入 Agent 内部的黑盒

在 AI 工程闭环中，追踪是基础环节，旨在获取 Agent 执行步骤的深度洞察。以 IT 支持 Agent（回答父母问题）为例，Langfuse 的追踪视图不仅展示根追踪的总体时间和成本，还详细分解了 Agent 执行的每一个子步骤。这些步骤包括生成式调用（如 OpenAI Chat）和工具调用（Tool Calls）。通过这种细粒度视图，工程师可以查看每个步骤的输入、输出及元数据。这使得追踪成为记录成本、延迟和 Token 消耗的基础，同时也为人类检查提供了日志支持。演讲者强调，只有当屏幕足够宽时才能完整展示所有细节，但这对于理解 Agent 实际行为至关重要。通过这种详细的追踪数据，团队能够在人类介入检查之前，先对 Agent 的行为进行初步审计。这种透明度是后续监控发现问题、构建代表性数据集以及运行实验评估的前提。没有这样的追踪基础，就无法真正理解 Agent 为何失败或成功，也就无法实现可靠的持续改进。

可观测性：从追踪到规模化监控

在构建 AI Agent 时，Tracing（追踪）是基础，它提供了对系统运行状态的可见性。然而，随着自动化水平提高和追踪链路变长，人工手动检查日志已不可行。Monitoring（监控）的核心在于规模化地理解系统行为。这不仅涉及聚合指标，更关键的是检测异常信号。例如成本与延迟指标是基础关注点，但更重要的是质量信号。演讲者指出需要监控合规护栏是否被遵守，以及用户情绪指标。比如统计使用全大写消息的用户数量，这通常暗示用户对 Agent 的行为感到沮丧或不满。通过这种聚合分析，团队能够识别出需要深入挖掘的有趣案例。

数据集构建：定义生产环境的期望行为

从监控中获取的数据是构建Data Sets（数据集）的重要基础。数据集代表了 Agent 在生产环境中需要处理的所有情况，包括那些超出范围或可能导致错误的请求。例如，确保 Agent 不会提供投资建议，或者在作为 IT 支持代理时不回答纽约的天气情况。数据集包含输入以及预期的输出，预期输出可以是示例回复、期望的行为模式或必须覆盖的关键字。这些数据集构成了稳定的基准，用于离线迭代改进或在 CI/CD 流程中作为测试标准。通过这种方式，团队可以明确 Agent “应该”做什么，从而为后续的评估提供参照系。

实验设计与评估方法：隔离变量与自动化评判

Experiments（实验）的本质是改变设置中的某个因素并观察结果，类似于统计学原理。为了准确解读效果，必须隔离变量。例如，若要测试不同提示词的效果，应仅改变提示词而不修改其他五项设置。评估这些实验需要 scalable（可扩展）的方法，避免人工逐一检查。LLM as a Judge是一种常用方法，即使用另一个 LLM 来评判当前 Agent 的输出。对于分类任务等场景，可以使用基于代码的评估进行精确匹配或确定性行为检查。例如检测全大写输入可以作为确定性的合规性验证手段。这些评估方法确保了在大规模实验中能够高效、客观地衡量 Agent 的性能变化。

落地路径：低风险与高监管环境的差异化策略

不同场景下的 AI Agent 开发有不同的切入点。在低 stakes（低风险）环境，如内部聊天机器人，团队可能最初没有可观测性工具，直接从追踪开始并逐步添加监控以发现用户挫败点。随着进展再补充测试用例，最终可直接推向生产环境。然而，在受监管行业（如金融、医疗）或面向客户的高风险场景中，不能冒险让 Agent 执行错误操作。这类团队通常以追踪为基础，通过三种方式构建Ground Truth（地面真实）数据集：一是由领域专家进行人工策展；二是通过 Shadow Runs，即并行运行手动流程和 Agent 以比较准确性并构建数据集；三是采用全人工介入系统，随时间推移将数据划分为可自动化部分和必须保留人工干预的部分。

金融场景下LLM的非确定性风险与合规挑战

在银行等金融服务机构中，向客户提供的信息必须高度准确，因为这背后涉及金融责任（financial liability）和法律责任。由于大语言模型（LLM）本质上是非确定性的，银行面临巨大的风险。因此，核心目标在于减少不可预测性（reduce unpredictability），尽可能复现结果，并识别出导致不良结果的失败模式。为了应对这一挑战，评估系统需要模拟不同类型的客户角色，例如普通用户和超高净值个人（UHNWIs），以验证智能体是否严格遵守了为不同人群设定的护栏规则（guard rails）。

"There is a bunch of you know risk for the bank itself to put out these type of solutions when they are powered by LLMs which as we all know are inherently non-deterministic."

个人身份信息（PII）的自动脱敏机制

在金融合规中，隐私保护是强制性要求。系统必须确保信用卡号、社会安全号码等敏感数据不会以明文形式持久化到可观测性系统中。演示中展示了当用户输入包含信用卡号的请求时，系统会自动触发PII识别与掩码功能（PII identification and masking）。即使前端用户输入了明文卡号，后端在将数据持久化到Langfuse之前，会自动将其完全脱敏（completely redacted）。这意味着开发者可以在不泄露敏感信息的前提下，追踪和分析智能体的行为轨迹。

基于评分的智能体质量与护栏控制评估

除了隐私保护，系统还通过自动计算的多维评分（scores）来监控智能体的输出质量。例如，当用户询问是否可以将储蓄存入比特币时，系统会识别出这属于投资建议（investment advice）范畴。智能体不仅正确拒绝了提供此类建议，还通过评分机制标记了这一风险点，提示用户需要联系顾问。这种评估涵盖了合规性检查（compliance）、失败模式检测以及护栏拦截情况，确保智能体在复杂交互中始终遵循预设的业务规则。

多模态数据支持与端到端评估流程

该评估框架还支持多模态输入（multimodal），例如处理呼叫中心录音。系统首先将语音转换为文本，然后对转换后的内容进行违规检测和分析。这种端到端的流程允许团队从简单的知识库问答（如国际汇款费用）到复杂的语音交互场景，全面监控智能体的表现。通过整合输入护栏、输出评分和隐私保护机制，金融机构能够构建一个闭环的质量保障体系（closed-loop quality assurance），从而在享受LLM带来的效率提升的同时，严格控制潜在风险。

追踪数据与评估框架的必要性

在构建高可靠性 AI Agent 时，全链路追踪（Tracing）是评估的基础。通过 Langfuse 等工具，开发者不仅能看到系统内部的逻辑流转，还能捕获实际发送给客户的多媒体链接、音频通话记录以及对话转录文本。这种细粒度的数据捕获能力，使得团队能够回溯并分析助手给出的具体反馈。然而，仅仅拥有追踪数据是不够的，因为客户的行为具有不可预测性。即使系统设计初衷明确，用户往往会以开发者未预见的方式使用系统。特别是在释放 LLM 解决方案到生产环境时，无法提前预判所有可能的交互结果。因此，建立一套严谨的评估框架至关重要，其核心在于构建用于衡量输出质量的数据集。

利用领域专家反馈构建评估基准

在高风险 AI Agent 的评估中，首要步骤是引入人类专家的直观反馈以定义失败模式。操作者只需向领域专家展示少量样本，并邀请其提供简短的评论或评分（如 1-10 分制）。例如，针对“缺少引用”这一具体失败模式，专家只需指出问题所在。这种交互极其轻量：让领域专家投入一小时时间即可整理出大量活动数据并收集反馈，甚至可以通过语音输入（如 Whisper Flow）进一步降低操作门槛。这些人类标注数据将作为证据与追踪记录（Trace）绑定存储。随后，利用 LLM 强大的模式匹配和信息提取能力，对所有原始评论进行无过滤分析，从而自动归纳出数据集中最常见的失败类别。这种方法既简化了专家的工作流程，又充分发挥了 LLM 在从文本中提取信息方面的优势。 > "You're just telling them, give me your unfiltered raw commentary on these traces and then you're going to use an LLM to then figure out the categories because that's what they are great at."

定义质量维度与混合评估策略

基于专家归纳出的失败类别，团队可以进一步定义衡量输出质量的向量或维度（即评分标准）。例如，在特定语言场景中，可能需要评估“正式语气的准确性”或“非 solicited 内容的包含情况”。在确定这些维度后，关键在于选择合适的评估器类型。实践中发现，混合使用 LLM 作为裁判（LLM as a judge）和确定性评估器（Deterministic evaluators）是最佳实践。如果完全依赖 LLM 作为裁判，由于大模型本身的特性，评估结果可能存在非零的误差风险；而引入确定性检查（如代码实现的精确匹配），可以确保对于相同输入，输出结果 100% 一致且可重现。这种混合策略允许系统根据具体类别的需求，灵活组合基于 LLM 的评分和代码实现的精确校验，从而提供更稳健的质量评估。 > "The more that you can have a mix... between LLM as a judge evaluators and deterministic evaluators the better."

系统化实验与 CI/CD 集成

在建立数据集和评估指标后，核心工作转向通过系统化实验来优化 Agent。每个实验都锚定于特定的数据集（测试用例），用于对比不同配置下的表现，例如更换模型、修改系统提示词或增加新工具访问权限。这种系统化原型测试方法旨在替代仅凭直觉（"Vibes-based"）直接部署到生产环境的传统做法。通过自动化流程，任何对 Agent 的更改触发 CI/CD 管道中的作业时，系统将自动运行实验数据集上的评估。该过程会对新的配置进行评分并生成通过/失败的门控（Pass/Fail Gate），确保所有关键指标均符合预期。这种方式为 Agent 的迭代提供了一致且可重复的质量衡量标准，使团队能够在将更改推向生产环境前，通过数据驱动的方式验证其有效性。

通过CI/CD实现Prompt变更的自动化评估闭环

在Langfuse中，系统提示词（System Prompt）的版本管理不仅是存储功能，更是触发自动化评估的核心机制。虽然Langfuse本身不收取版本控制费用，但许多客户选择将Prompt同时保存在GitHub或GitLab等代码仓库中以实现更严格的版本控制。关键在于配置自动化触发器，当检测到Prompt或Agent配置发生变更时，自动启动CI（持续集成）作业。例如，演示者展示了一个已配置的自动化流程：一旦检测到配置变化，GitHub Actions便会自动运行评估脚本。这种机制确保了每次Prompt迭代——无论是从版本一到版本的细微调整，还是引入新参数的重大变更——都能经过严格的测试。通过API或CLI调用promote into production标签，可以自动将特定版本的Prompt标记为生产环境版本并触发评估流水线。这消除了手动操作的繁琐，确保每一次配置更新都有据可查。

基于证据的生产环境准入与失败模式分析

自动化评估的核心价值在于提供生产安全性的量化依据。当CI作业运行时，它会针对预先定义的评估器（如Source Recall、Language Match、Correctness等）运行实验，并检查各项指标是否达到设定的最低阈值。只有当所有评估器均“通过”时，才认为新配置符合上线标准。演示者强调，虽然可以设置全自动合并请求（PR），但保留人工审查环节更为稳妥。更重要的是，系统提供了完整的证据链（Paper Trail），证明新配置并未导致质量退化或违反安全护栏。除了正向的通过指标，系统还能精准定位失败模式（Failure Modes）。通过分析过去七天的交互数据，团队可以识别出导致Agent表现不佳的具体类别（如“超出范围”、“非正式语域”或“争议未解决”）。这些按发生频率排序的失败模式，帮助团队从成千上万条Trace中快速锁定问题根源，从而进行针对性的优化。

将技术指标转化为可量化的业务价值叙事

对于2025-2026年企业关注的Token经济性（Token Economics），技术团队需要向业务利益相关者展示Agent带来的实际商业回报。演示者构建了一个仪表盘，将技术数据转化为管理层易懂的业务指标。第一个关键指标是“无需人工介入的交互数量”。数据显示，在过去七天中，有1,400次用户交互完全由Agent处理，未转接人工。通过对比传统呼叫中心员工每小时15-20美元的薪资成本，这1,400次交互若由人工处理将耗费巨额人力资本。相比之下，Agent在此期间的成本不足7美元。这种巨大的成本差异直观地展示了自动化解决方案的方向性业务收益（Directional Business Benefit）。通过这种数据叙事，技术团队能够证明Agent不仅是“酷的技术实验”，而是真正为企业节省人力资本、提升运营效率的核心资产，从而获得业务部门的信任与支持。

精准定位故障模式：从海量数据中筛选关键问题

在 Langfuse 的追踪界面中，用户无需手动翻阅数千条记录，而是可以通过自动化筛选功能（Autoscope）快速锁定核心故障。例如，当发现“争议未解决”是首要失败模式时，只需在过滤器中输入 dispute not resolved 并保存为视图。这一操作能立即将数据范围从数千条缩小至几十或几百条，从而让调查工作更具针对性。系统会显示所有客户提出产品争议但 Agent 未能解决的实例，这些案例通常表现为转接人工客服或会话无果关闭。这种精细化的数据切片能力，使得团队能够迅速识别 Agent 在特定场景下的“绊脚石”，而非陷入数据海洋。

“I can come here in my tracing and do a very simple filter... I don't even need to every time filter it.”

可视化业务指标与安全合规监控

除了故障排查，Langfuse 的仪表盘功能允许团队直观地捕捉用户反馈。通过记录“点赞”或“点踩”评分，业务人员可以轻松查看整体满意度分布。例如，若数据显示 18% 的用户给出负面反馈，团队即可将注意力集中于此进行深度分析。在安全合规方面，系统能自动识别潜在风险。演示中提到，在过去七天中，有 89 起案例被标记为“投资建议”风险。虽然大多数交互未触发安全警报，但这 89 起案例表明 Agent 可能试图提供违规的投资建议。通过添加分类评分条件（如 security risk: investment advice），团队可以具体查看这些被标记的案例，验证 Agent 是否严格遵守了不介入此类敏感话题的护栏规则。这种从宏观评分到微观案例的闭环监控，确保了 Agent 输出既符合业务目标又严守合规底线。

构建“品味型”AI工程师：平衡自动化与专家审查

针对企业常犯的“完全依赖 Agent 修复代码”或“全手动维护”的错误，演讲者提出了理想的平衡点。完全自动化且缺乏人工干预会导致低质量输出（即“Slop”），而全手动方式则效率低下且难以扩展。正确的做法是成为“品味型 AI 工程师（Tasteful AI Engineer）”，即在关键领域引入人类专家的智慧，同时在可自动化环节利用 Agent 提高效率。具体而言，团队应让领域专家参与数据集的构建和问题方向的定义（即注入“品味”），同时利用编码 Agent 自动完成仪器安装、故障模式发现及运行多次实验（如进行 20 次对比测试而非仅 1 次）。这种协作模式既避免了左下角的低质陷阱，又确保了应用的高质量迭代。

“You want to land somewhere here... where the ideal balance is between like you reviewing data, bringing in your taste, bringing in your domain expertise.”

落地实施路径：从 Langfuse Skill 到硬限制定义

若团队希望从零开始构建这一体系，建议首先安装 Langfuse Skill。这是一个由 Markdown 文件组成的 Agent 技能包，旨在帮助编码 Agent 理解 Langfuse 的最佳实践、文档集成及评估器编写方法。通过这一工具，团队可以自动化执行那些本应自动化的任务（如仪器安装），同时保留对关键数据集的人工审核权。随后，团队需从历史数据或生产样本中收集Ground Truth（地面真值）用于评估。特别是在受监管行业，必须定义明确的“硬限制”，确保某些错误（如金融领域的违规建议）绝对不发生。这种结合自动化工具与严格人工定义的流程，是确保高风险 AI Agent 可靠性的关键步骤。

“If we were you and we would have to get started tomorrow, this is what we would be doing. We would install the lenuse skill...”

开源评估资源与社区互动支持

演讲者提供了在演示中使用的代码仓库，该仓库包含虚构数据而非客户真实隐私信息，观众可以自由下载并应用于自己的用例中。此外，Langfuse Academy 提供了关于 AI 工程化全流程的详细指南和自助式研讨会，帮助开发者从理解概念过渡到独立构建应用。为了促进现场交流，团队在 Booth 9 设有展位，提供 AI 生成的个性化贴纸服务。同时，创始人及团队成员将参与社区跑步活动，鼓励参会者走出会议中心进行非正式交流。演讲还预告了 Donelli 将在周三关于“为 AI Agent 构建部署门禁”的专题演讲，旨在展示如何确保进入生产环境的模型通过质量关卡。

“仓库中的代码是虚构数据...你可以从中提取任何你需要的部分用于你自己的用例。”

数据存储架构与部署灵活性

关于 Langfuse 的数据存储底层，团队解释了从 PostgreSQL迁移至 ClickHouse 的技术演进逻辑。早期产品基于 Postgres 构建，但随着业务规模扩大，每天处理数十亿事件的数据量超出了 PostgreSQL 的承载能力，因此转向了更适合大规模数据分析的 ClickHouse。对于用户而言，虽然数据平面默认使用 ClickHouse，但 Langfuse 提供了极高的灵活性：用户可以通过 API、CLI 或 MCP（Model Context Protocol）导出数据，甚至直接导出到 S3。在部署方面，Langfuse 既提供完全托管的 SaaS云服务（底层运行于 Amazon），也支持自托管模式。如果用户拥有闲置的 EC2 实例，可以选择完全在 Amazon 基础设施上自托管部署，且安装包已预配置所有必要组件。

“Postgres 无法处理我们达到的规模...每天数十亿的事件。这就是我们要迁移到 ClickHouse 的原因。”

LLM作为裁判的可靠性与一致性优化

针对“LLM 作为评估者（Judge）”的一致性和可靠性问题，演讲者提出了学术与实践相结合的优化路径。核心概念在于确保 LLM 的评判逻辑与人类裁判保持一致。学术上，通常由多名人类标注员对代表性样本进行打分，随后优化 LLM 以匹配这些人类的判断结果。而在实际工程实践中，更常见的做法是由一名人类对数据进行标注并建立基准真理（Ground Truth），然后基于此优化 LLM 的评估效果。为了在初期覆盖潜在风险，建议设置较高的误报率（False Positives）以捕获更多问题，随后再逐步调优以减少噪音。特别需要注意的是，当将评估集应用于生产数据时，必须定期回顾以确保数据集的代表性持续有效。

结论

高可靠性AI Agent的落地需构建“追踪-监控-数据集-实验”闭环。Langfuse通过细粒度Tracing、自动化CI/CD门禁及混合评估策略（LLM裁判+确定性检查），有效解决非确定性系统的隐蔽失败模式。在金融等高风险场景，结合领域专家构建Ground Truth数据集与PII脱敏机制，可确保合规与安全。尽管LLM评估存在误差风险且需持续维护数据集代表性，但通过“品味型工程师”协作模式及自动化筛选工具，团队能精准定位故障并量化业务价值。该方案适用于需严格质量控制与成本优化的企业级应用，强调人工专家智慧与自动化流程的平衡。