企业级AI代理面临的落地挑战

在将AI Agent从实验阶段过渡到真实的企业生产环境时，许多项目失败的根本原因在于基础控制机制的缺失。Harish Gaggar指出，核心痛点首先在于缺乏统一的网关（Gateway），导致Agent无法通过正确的认证提供商进行身份验证，进而无法正确重定向至相应的MCP（Model Context Protocol）服务器。其次，现有的MCP服务器往往缺乏执行查询所需的正确工具支持。此外，企业还面临追踪与评估体系不完善的问题，即无法确保每次发送给Agent的查询都被记录并对其响应质量进行有效评估。对于长期交互场景，系统是否具备记忆管理能力以召回过往对话内容也是一个关键疑问。最后，上下文优化措施不足导致Token消耗过大，以及缺乏内部生产环境的安全防护机制（防止密钥泄露至LLM或记忆数据库），都是亟待解决的开放性问题。

基于LangGraph与MCP网关的架构设计

为解决上述挑战，Credit Karma构建了一套分层治理框架。首先，在Agent层面选用LangGraph框架（由LangChain社区提供），该架构允许基于具体查询构建任务特定的节点，并支持轻松接入市场插件、技能和提示词（Prompts），从而确保Agent能根据查询高效响应。其次，开发专用的MCP网关以处理服务账户的安全认证与路由。第三层是定制的MCP服务器，内置执行查询所需的专用工具。审计机制被部署在操作之上以监控实际行为。Gaggar强调：> "We're going to talk about like different framework that you can build to address this." 这套组合拳旨在通过标准化的基础设施解决碎片化问题，确保从认证、路由到工具执行的闭环控制。

本地开发与CI/CD流水线标准化流程

在基础设施层面，Credit Karma推行严格的注册与模板化开发流程。开发者需首先在系统中登记Agent用例并生成唯一ID，随后通过内部门户（Dev Portal）提交技术细节。该门户会自动创建一个包含多重框架的标准化仓库，不仅涵盖LangGraph或LangChain等Agent框架，还强制集成记忆管理、追踪评估、上下文优化及PII（个人身份信息）屏蔽框架。这种做法确保了全公司范围内基础设施的一致性。开发者克隆仓库后，将Agent构建为Docker镜像并在本地测试输入输出。追踪数据可存储于SQLite或BigQuery等数据库中验证功能完整性。

持续集成与集中式注册管理

当本地测试通过后，开发者提交Pull Request（PR）进入CI/CD流水线。这一过程的关键步骤包括：首先将Agent注册到集中式Agent注册系统（Centralized Agent Registry System），该系统提供唯一的长度URL以便追踪所有日志；随后CI/CD流水线接管部署流程。Gaggar指出：> "Once you have that repository, so developers basically... clone that repository, they can build their agent as a Docker image and containers"。这种自动化流程确保了从代码提交到生产部署的每一步都经过严格审查，避免了因开发者仅关注单一框架而忽略安全与监控组件的风险。通过这种高度结构化的流水线，企业能够实现对AI Agent全生命周期的可视化管理与风险控制。

Dev Portal 自动化构建生产级 Agent 资源

在将 Docker 容器镜像投入生产环境之前，系统会执行严格的安全扫描以确保无漏洞。一旦安全团队批准，镜像将被推回注册中心，随后由内部编排平台部署至 Kubernetes 集群的指定命名空间中。这一过程的核心在于 Dev Portal 不仅负责创建代码仓库，还会自动初始化一系列关键的生产资源。这些资源包括工作负载身份（Workload Identity）、内存数据库、用于追踪和评估的表格，以及 Agent 密钥管理服务。通过这种方式，当内部编排器部署 Agent 时，工作负载身份与 Google Service Account (GSA) 的绑定已经预先完成。这种预置机制确保了 Agent 在启动时即具备访问所需资源的权限，从而能够顺畅地与其他后端服务进行通信。

MCP Server 的安全构建与工具审查机制

对于处于空气隔离（air gap）环境的企业，强烈建议自行构建 MCP Server 而非依赖外部服务。开发框架支持利用 FastMCP Server 包或包装器来构建服务器，并在此之上创建不同的工具集。安全团队必须对 MCP Server 中定义的每一个工具进行彻底审查，以确保只有经过授权的工具才能进入生产环境。这种严格的审核流程旨在实施过滤器和限制措施，阻止不必要或敏感字段被传递给 LLM。通过这种方式，企业可以有效控制哪些信息可以被获取，防止数据泄露。此外，必须确保 MCP Server 具备完善的认证机制，当流量从客户端经过网关到达服务器时，用户服务账户必须首先通过 MCP 网关的认证，才能访问相应的 MCP 工具以获取授权信息。

MCP Gateway 的集中式鉴权与路由流程

MCP Gateway 作为中央认证和路由枢纽，确保任何代码辅助工具或 Agent 必须通过网关进行适当认证后才能访问端点，严禁直接提供对任何端点的访问权限。当用户向 Agent 提交首次查询时，系统会发送一次性认证请求至 MCP Gateway。网关识别请求后，将会话状态保存至 Redis，并向客户端返回 JWT 访问令牌。客户端收到令牌后，会在请求中携带该 Bearer Token，向特定的命名空间（如 Artifactory 或 GitHub）下的 MCP Server 发起工具调用。MCP Gateway 接收请求后，解析 JWT Token 以识别目标命名空间和服务，剥离并附加用户令牌，随后将请求转发至相应的 MCP Server。MCP Server 使用 ID Token 向最终服务发起 API 调用，并根据用户授权范围返回数据。最后，MCP Server 将兼容 MCP Gateway 格式的有效载荷发送回客户端。

基于 OpenTelemetry 的全链路监控与追踪体系

AI Agent 缺乏持续的监控、评估和反馈机制是不可信的。因此，系统构建了完善的 MCP Gateway 监控系统。当调用发生时，所有操作日志会被发送至日志存储库（如 ELK、Loki 或 CloudWatch），记录诸如“过去10分钟内的所有401错误”或 OAuth 令牌刷新失败等详细信息。同时，实时追踪和指标数据通过 OpenTelemetry 收集并处理后分流：追踪数据（Traces）存入 Tempo，用于分析哪个工具在请求中响应缓慢、调用来源是 Agent 还是 IDE，以及失败调用的具体错误详情；指标数据（Metrics）存入 Prometheus，用于监控如工具的 P95 延迟或特定时间段内认证拒绝是否激增等关键性能指标。这种分层监控确保了系统运行的透明度和可追溯性。

"The good part here is that this dev portal is not just creating the repository, it also do create um bunch of other production resources..." "This There should not be direct access provided on any endpoints. They has to go through the MCP gateway through proper authentications before they're reaching to the MCP server and the endpoints." "AI agent cannot be trusted without continuous monitoring, evaluation, and feedback..."

MCP 网关与企业级 Agent 框架的协同机制

在构建受控的企业 AI Agent 时，MCP Server Gateway（模型上下文协议网关）与 LangGraph 框架的结合是核心架构。MCP Gateway 负责统一处理认证、监控及可视化数据聚合，而 LangGraph（由 LangChain 社区提供）则提供了基于图架构的复杂多 Agent 工作流支持，具备循环、分支和状态管理能力。当用户提交查询时，系统首先对问题进行解释分类，判断是只读操作、修改级变更还是敏感删除操作。随后系统会调整整体结构并生成执行计划，该计划本身作为一个子图（Sub-graph），负责调用 MCP Gateway 进行身份验证，再通过正确的工具从 MCP Server 获取数据并生成证据。> "The agent framework... provide a graph based architecture that support loops, branching, state management for complex multi-agent AI workflows."

安全策略执行与人机协同审批流程（HITL）

数据获取与证据生成后，系统会进入严格的安全策略检查阶段。对于只读操作，系统在验证无误后直接执行并将记录点保存至审计日志；而对于写入或敏感操作，则必须经过 HITL（Human-in-the-Loop，人在回路）审批流程。只有获得批准后才会执行，无论批准与否，所有决策结果均会记录在审计日志中以确保合规性。从基础设施视角看，Agent 与 MCP Gateway 通信，Gateway 再重定向至相应的 MCP Server 执行查询并调用 API。这种架构确保了所有 Agent 的提交和调用都经过统一网关认证，从而实现对底层工具调用的集中管控和安全隔离。> "If it is a right and sensitive operations, definitely it will go through the HITL process where you wait for an approval."

Agent 记忆管理与状态持久化方案

为了支持复杂的多轮对话和长期工作流，Agent 记忆管理（Memory Management）是不可或缺的基础设施。该机制通过保存和恢复工作流状态，确保跨查询运行的耐久性和无缝恢复。具体实现上，每次提交查询都会生成一个 Thread ID（线程ID），初始问题会创建 Run ID。当用户在同一线程下提出后续问题时，系统会根据上下文定位到 LangGraph 中的特定节点执行查询，并在该节点保存检查点（Checkpoint）。在数据存储选型上，本地开发环境推荐使用 SQLite 数据库以简化部署；而在生产环境中，特别是基于 GCP（Google Cloud Platform）的架构中，强烈建议使用 Cloud Spanner 以应对高并发和大规模数据需求。Azure 和 AWS 平台也有各自对应的数据库解决方案可选。

全链路追踪、评估与可观测性体系

除了基础的工作流执行，建立完善的 Agent 级追踪和评估（Tracking and Eval）体系对于长期运维至关重要。这与 MCP Gateway 的基础监控不同，Agent 级追踪关注的是具体的查询内容、响应质量、所使用的 LLM 模型、Token 消耗成本以及评估标准。> "We do this because we really want to track that what query you have been submitting... and what's your evaluation criteria looks like."

随着 Agent 规模扩大，例如拥有 100+ 个 Agent 时，每个 Agent 都会产生独立的追踪项目和评估表。这种细粒度的数据采集使得团队能够在数月后回溯历史表现，通过聚合所有数据生成高管仪表盘（Executive Dashboards），从而量化 Agent 的性能、响应质量和资源消耗。这种从第一天就开始的数据存储策略，是确保企业级 AI 应用可解释、可审计和可持续优化的关键。

构建企业级 AI Agent：追踪与评估体系

在将 AI Agent 推向生产环境时，首要任务是建立完善的追踪和评估（Tracking and Eval）机制。Credit Karma 的框架包含六个核心数据表，其中作业追踪表（Job Tracking Table）记录了查询内容、响应结果等基础信息。当用户提交第一个 Agent 查询时，系统会生成唯一的请求 ID、会话 ID、Agent 名称以及模型使用情况。为了全面评估运行质量，系统在每个运行周期中执行八项质量检查（8 quality checks per run）。这些指标包括成功率、延迟、成本、工具准确性以及安全性等，并汇总为一个 0 到 1 之间的综合评分。此外，系统还深入记录工具调用（Tool Invocations）的详细信息，如每个 MCP 工具的运行时长和成功状态。更重要的是，系统维护了Agent 轨迹（Tool Agent Trajectory），以步骤化的方式记录 LLM 的每一次调用及图状态变化（如计划、总结等），从而提供完整的运行故事线。>

工具执行的安全管控与人机协同机制

在将 AI Agent 投入生产环境时，首要任务是建立严格的工具执行管控体系。对于每一个特定的查询请求（query），系统必须确保有完善的监控措施和完整的审计日志记录，以便追踪工具调用的全过程。这种透明度是保障系统安全的基础。确保对每一次工具执行都有完整的监控和审计，能够防止不可控的操作风险。此外，必须始终贯彻“人在回路”（human in the loop）的原则，特别是在处理每一项行动项和高风险项目时。人工介入不仅是最后一道防线，更是确保决策符合业务逻辑和企业合规要求的关键环节。始终让人类参与高风险项目的每一个行动项，可以有效降低自动化带来的潜在危害。

可观测性与成本优化的双重保障

除了安全管控，系统的可观测性（observability）和审计能力也是生产环境不可或缺的组成部分。只有当系统具备清晰的可视性和追溯性时，团队才能及时发现异常并进行干预。可观测性与审计机制必须到位，这是维持系统稳定运行的前提。与此同时，成本优化同样重要。在 Agent 的运营过程中，必须引入上下文优化器（context optimizer），以证明并控制为这些智能体所投入的成本。通过精细化的上下文管理，企业可以在保持 Agent 性能的同时，避免资源浪费。始终保留上下文优化器以合理化对智能体的成本投入，是实现可持续 AI 应用的关键策略。

资源分享与后续交流渠道

为了帮助更多从业者深入理解这一领域，作者最近发布了关于 MCP（Model Context Protocol）的书籍。该书在 Amazon 平台提供免费下载，Kindle 版本完全免费，同时也提供了纸质版的购买选项。这一资源旨在为读者提供系统性的知识补充。近期发布了免费的 Kindle 版 MCP 书籍，方便读者随时查阅。对于在观看视频或阅读过程中产生的任何疑问，作者鼓励观众通过 LinkedIn 或 Twitter 等社交平台直接联系他。作者表示非常乐意回答相关问题，并感谢观众的观看与支持。欢迎通过 LinkedIn 或 Twitter 联系作者提问，以促进更深入的交流与探讨。

结论

Credit Karma的实践表明，企业级AI Agent落地的核心在于构建基于LangGraph与MCP网关的分层治理架构。该方案通过标准化Dev Portal、集中式注册及CI/CD流水线，解决了认证碎片化与工具执行不可控的痛点。MCP网关实现了严格的身份验证、路由隔离及全链路OpenTelemetry监控，结合HITL审批机制与细粒度追踪评估体系，确保了操作的安全合规性与可观测性。尽管该架构在复杂工作流管理与成本优化上表现稳健，但其有效性高度依赖完善的记忆管理基础设施及严格的安全审查流程。此模式为高合规要求场景提供了可复用的生产级范式，证实了标准化治理是AI Agent规模化部署的关键前提。