RAG的核心价值与局限性
检索增强生成（RAG）技术的核心在于在回答时提供相关的外部证据。传统的LLM仅依赖参数中编码的信息，而RAG系统通过检索文档或段落作为上下文来生成回答。这种机制使答案更具领域特异性且无需因信息更新而重新训练模型，同时通过保留来源引用提高了答案的可审计性。然而，RAG并非真理的保证。检索器可能遗漏关键证据，模型也可能误解或夸大所检索内容。
"A strong design evaluates retrieval quality and answer grounding together."
一个强大的设计必须共同评估检索质量和答案的落地情况。如果仅关注生成结果而忽视证据来源，系统容易陷入幻觉。因此，面试官需要理解RAG不仅是检索+生成，更是一个涉及证据匹配与事实核查的复杂闭环。
传统RAG流水线的关键阶段
一个标准的RAG管道通常包含查询、检索、可选的重排序或融合以及生成四个主要阶段。在数据预处理阶段，文档需经过准备和索引；在实际运行时，系统接收问题后由检索器找到候选段落。随后，系统选择、排名或组合最有用的证据传递给语言模型。
这种分阶段的设计使得调试变得更容易。当回答错误时，工程师可以明确排查是证据未找到、选择不当还是生成阶段未能忠实使用上下文。这种模块化思维对于构建可维护的AI系统至关重要，也是区分初级与高级工程师的关键点。
密集检索与混合搜索策略
密集检索器（Dense Retriever）通过将文本转换为数值向量（嵌入）来支持语义搜索。在索引时，文档块被嵌入并存储；查询时，用户问题也被转化为向量，系统通过余弦相似度或点积比较两者。这种方法能捕捉不同措辞下的相似含义，例如将"降低模型训练成本"与"高效模型优化"关联起来。
然而，密集检索在处理精确标识符、产品代码或专业术语时可能失效。因此，它常与基于词汇的BM25算法结合形成混合检索。BM25通过考虑词频、文档长度和术语信息量来奖励精确匹配。面试官应强调，混合检索的价值需通过代表性查询进行测量，而非假设其必然优于单一方法。
重排序与上下文优化的权衡
交叉编码器（Cross Encoder）用于对检索到的短列表进行重排序。与第一阶段的快速但粗略的检索不同，交叉编码器将查询和候选段落一起评估，允许更细致的文本交互，从而提升排序精度。尽管计算成本较高，但"两阶段设计（快速检索+精确重排）"在质量和效率之间取得了平衡。此外，HyDE技术通过生成假设性文档嵌入来引导检索，但需警惕其可能包含不准确陈述；而上下文检索（Contextual Retrieval）则通过丰富文档块周围的语境来减少因片段化导致的信息丢失，但需避免引入过多无关文本干扰核心信息。
检索系统评估指标的选择逻辑
在构建和评估RAG（检索增强生成）系统的性能时，选择合适的量化指标至关重要。Mean Reciprocal Rank (MRR) 主要关注第一个相关结果的位置，它给予排名靠前的正确结果更高的权重。这意味着当快速找到一个高质量答案比找到多个一般性答案更重要时，MRR 是一个极具信息量的指标。相比之下，Normalized Discounted Cumulative Gain (NDCG) 能够处理多个结果之间的分级相关性。它不仅奖励出现在列表前部的高相关项目，还会对列表中较低位置的项目贡献进行折扣。NDCG 通过标准化处理，使得排名更容易与理想排序进行比较。
"These metrics answer different questions. MR is especially informative when finding one good result quickly is important. NDCG is useful when the quality and ordering of several results matter." 这句话清晰地指出了两者的适用场景差异。选择指标不应盲目，而应基于用户如何消费检索到的证据。如果应用场景强调单一精准答案的快速获取，MRR 更为合适；若需评估多个证据源的整体质量和排序合理性，则 NDCG 是更佳选择。
LLM应用中的工具调用与安全边界
Tool Calling（工具调用）允许大语言模型生成结构化的请求，以使用外部函数或服务，如搜索工具、计算器或数据库查询。应用程序接收该请求后执行操作并将结果返回给模型，从而扩展了LLM仅凭提示词生成文本的能力。然而，模型提议工具调用，但周围软件控制执行过程。这是一个关键的区别：应用程序必须验证工具名称和参数、强制执行权限处理失败，并避免将任意模型输出视为可信代码。
"A crucial distinction is that the model proposes the tool call, but the surrounding software controls execution." 由于模型输出并非自动可信，应用必须在执行前验证工具调用。安全运行时需检查请求的工具是否存在、参数是否符合预期模式，以及用户是否有权执行该操作。对于高影响或不可逆的操作，可能需要额外的保障措施，如用户确认、速率限制、审计日志和清晰的错误处理。可靠的智能体系统需要模型能力与软件级控制的结合，应用逻辑必须强制执行“允许做什么”，而不仅仅是依赖模型的决策。
智能体工作流与ReAct模式解析
单轮LLM响应通常只涉及输入和输出，而智能体工作流（Agentic Workflow）可以通过多个步骤持续进行。它包括解释当前状态、决定行动、调用工具、观察结果并决定下一步操作。这种循环支持需要多个来源或动作的任务，例如先搜索信息、检查结果，再执行第二次搜索以填补空白。ReAct 模式结合了面向推理的任务分解与收集信息或影响环境的行动。系统决定做什么，采取行动（如搜索），然后观察结果。这种反馈循环至关重要：如果搜索结果不完整，系统可以优化查询；如果工具失败，它可以恢复或停止并解释原因。
"A system should not simply keep acting indefinitely. It needs limits, a way to detect progress, and a clear condition for deciding when a task is complete or when it should report uncertainty." 观察步骤在智能体循环中不可或缺，因为行动本身并不告诉智能体是否成功。系统需要检查结果以发现有用证据、工具调用失败或缺失输入。没有观察，智能体可能基于错误假设继续操作并累积误差。
固定管道与Agentic RAG的权衡选择
在决定使用 Agentic RAG（智能体检索增强生成）还是固定管道时，需权衡复杂性与收益。固定管道通常在请求遵循可预测的检索路径时更简单、更快且易于测试。而 Agentic RAG 在系统可能需要重新表述查询、搜索多个来源或使用额外工具时变得有用。例如，面对复杂问题，智能体可以检索初始段落集，发现缺口并执行另一次搜索。这种适应性可以提高任务完成度，但也增加了成本和延迟。
"The best choice is evidence-based. Compare the agentic design with a simpler baseline on the same representative tasks and determine whether the improvement justifies the added complexity." 最佳选择应基于证据。应在相同的代表性任务上将智能体设计与更简单的基线进行比较，确定改进是否值得增加复杂性。常见的失败模式包括无限循环、错误假设的累积以及对未信任内容的误处理，因此需要明确的完成标准和安全的回退行为。
强化Agent系统的过程监控与容错机制
在构建基于代理（Agentic）的AI系统时，开发者必须正视Agent可能出现的多种失误。这些风险包括选择错误的工具、检索到微弱的证据、重复无用的搜索步骤，甚至误读结果或在任务未完成时过早停止。此外，外部数据源本身可能存在冲突或包含误导性指令。为了应对这些挑战，工程实践中需要实施严格的控制措施：首先应限制迭代次数并定义清晰的停止条件，确保系统不会陷入死循环；其次要检查检索到的证据是否真正支持最终答案，并全程追踪数据来源。当证据不足时，系统必须提供安全的回退机制（safe fallback）。
"It is also important to evaluate more than final answer quality. Measure tool call correctness, task completion, latency, and cost."
评估体系不能仅关注最终答案的质量，还必须涵盖工具调用的正确性、任务完成度、延迟以及成本。当系统发生故障时，正确的做法是检查执行轨迹（trace）以定位具体哪一步骤导致了错误，而不是简单地将问题归咎于语言模型本身。这种细粒度的故障排查是提升系统稳定性的关键。
降低RAG系统中幻觉的多维策略
减少检索增强生成（RAG）系统中的幻觉问题，需要从数据源头到输出端进行全链路优化。第一步是提升检索的覆盖率和排序质量，确保模型能够接收到高度相关的证据片段。在生成阶段，应向模型提供简洁的上下文，并引导其区分受支持的声明与不确定性内容。引入来源引用（Source references）不仅有助于用户审查重要陈述，还能增强系统的透明度。更重要的是，系统应具备在证据不足时明确声明“无法回答”的能力。
"Evaluation should test whether answers are actually grounded in the retrieve material, including difficult cases where sources are incomplete or contradictory."
评估环节必须测试答案是否真正扎根于检索材料中，特别是要涵盖那些来源不完整或存在矛盾的高难度案例。尽管这些技术能显著降低风险，但并不能完全消除幻觉。模型仍可能误解证据，检索器也可能遗漏关键信息。因此，真正的可靠性来自于结合检索改进、接地生成（grounded generation）、严格评估以及合理的回退行为的综合工程实践。
Agentic RAG系统的全面基准测试与价值验证
在决定采用更复杂的Agentic RAG系统之前，必须进行严谨的基准测试。评估指标应同时包含任务成功率、答案接地性（grounding）、检索质量、工具调用正确率、延迟和成本。测试数据集必须具有代表性，不仅要包含常规查询，还必须涵盖缺失证据、文档冲突以及工具故障等边缘情况。核心原则是：将新系统与更简单的基线模型在相同的评估集上进行对比。
"Additional agent steps are valuable only if they produce a meaningful improvement that justifies their operational cost and risk."
额外的Agent步骤只有在能产生足以证明其运营成本和风险合理的实质性改进时，才具有价值。为了持续优化系统，开发者应按阶段检查失败案例：是检索环节遗漏了证据？Agent选择了次优的下一步行动？还是生成器做出了缺乏来源支持的声明？这种基于阶段的故障分析能将评估转化为指导系统改进的实用指南。总结而言，RAG结合外部检索以增强推理时的证据相关性，而Agentic AI则在此基础上扩展了规划、工具使用和迭代决策能力。两者均非自动可靠，强大的工程实践意味着理解权衡、测量完整工作流，并仅在证明有益时才增加复杂性。
结论
RAG与Agentic AI并非自动可靠的解决方案，其核心价值在于通过外部检索增强证据相关性，以及利用智能体扩展规划与工具调用能力。RAG的优势在于领域特异性、可审计性及无需重训即可更新知识，但受限于检索遗漏和模型误解风险。Agentic RAG通过多步迭代处理复杂任务，虽能提升适应性，却显著增加延迟、成本及陷入循环或错误累积的风险。
实证表明，额外智能体步骤仅在产生足以抵消运营成本的实质性改进时才具价值。系统可靠性不依赖单一技术，而取决于全链路工程实践：包括混合检索策略、严格的过程监控、基于证据的基线对比测试，以及在证据不足时提供安全回退。开发者必须权衡复杂性收益，通过细粒度故障排查持续优化工作流，而非盲目堆叠功能。