有司机因过分信赖GPS导航,最终把车开进了湖里。GPS指引他们驶下通往码头的坡道,因为他们更信任系统而非直觉,便径直开了进去。如今我们对此类故事一笑置之,因为它显得如此荒谬。谁会如此盲目地听从指令?但类似的情况也发生在AI身上。我们向AI助手寻求帮助,也许是像总结销售合同或构建技术架构这样复杂的事情。

它给出的答案充满自信,让我们误以为它一定是对的。有时确实如此,但其他时候,它就像是指引我们直冲湖中的GPS。当AI自信地提供完全错误的信息时,这就被称为……幻觉。随着AI系统从简单的聊天机器人演变为完全自主的智能体,幻觉变成了一种不同性质的对话。那么,让我们谈谈:智能体是否真的改善了幻觉问题,还是让情况变得更糟?这是大家现在都在问的问题。

当我们从基础的大语言模型(LLMs)发展到聊天机器人,再到能够规划、推理、使用工具并采取行动的智能体时,风险格局发生了真正的变化。这里有一个真实的情况。好消息是,当智能体借助工具进行约束时,幻觉确实会减少。我指的是搜索工具、数据连接器、企业知识源,甚至是API和检索增强生成(RAG)这类非常常见的工具模式。

当智能体能够真正验证和核查信息时,它会大幅减少幻觉,因为现在它不再是猜测,而是可以核查。这就像给你的导航仪提供卫星视图和实时交通数据,而不是仅仅依赖下班回家时的一张静态地图。与此同时,增加多步推理确实提高了输出能力,但也创造了更多出错的机会。一些先进的思维模型确实显示出更高的幻觉率,所以这一点值得警惕。

然而,令人担忧的消息是,智能体确实带来了更大的危险。它们引入的风险比之前更多。因为智能体不仅仅是在回答问题,它可能还在执行诸如创建工单、采取行动、更新字段或更新用于其他用途的数据、安排会议等操作。如果这一连串不同步骤的推理完全出错,且上下文信息匮乏,智能体可能会采取错误的行动。

并且带着完全的自信去执行。好吧,让我们谈谈为什么幻觉仍然会发生。因为即使是目前最好的模型,仍然存在幻觉。在某些情况下,模型越强大,它犯错时反而显得越自信。因为它们生成的是看似合理或未经核实的答案,而非经过核实的答案。模型并没有去查阅资料,它实际上是在预测一个正确答案听起来应该是什么样的。

而这种预测有时并不正确。其次,它们被训练得要表现得自信。这有时会让它们变得过度自信。请仔细想想这一点。犹豫会受到惩罚,流畅性会得到奖励。因此,模型学会了即使在不该自信的时候也要表现得笃定。我们的一些新模型在说“我不知道”方面有所进步,但这仍然是例外,而非通则。

最后,这些模型会填补空白。当数据缺失或模糊时,模型不会停下来请求澄清,而是会即兴发挥。而这种即兴发挥听起来与真实的答案一模一样。让我们思考一个例子。假设一个智能体正在帮助采购团队验证供应商合同的日期。他们打算从数据中提取日期,但如果该日期不在正确的数据中,比如是2026年12月12日,它可能会当场编造一个日期。

并且它会表现得非常自信,你的团队现在就会基于这个从未存在过的截止日期开展工作。这在传统意义上并非一个bug。这是模型正在做它被设计要做的事,即完成模式并填补空白。但问题在于,模式补全与真相并不总是一回事。那么我们能做些什么呢?首先,我们可以让智能体基于数据进行约束。

减少幻觉最快的方法是给智能体提供一张可靠的地图。想象一下,你聘请一位顾问来审计你的业务,但你没有给他们访问你实际系统的权限。这位顾问仍然会给你一个答案,他们会表现得自信,但这并非基于你的现实情况。解决这个问题的方法很简单。将AI智能体连接到你的真实数据源。

无论是SharePoint、CRM系统、合同存储库还是API,这种真实性至关重要。把它想象成使用五年前的地图运行的GPS与使用实时数据的GPS之间的区别。旧地图并非在所有方面都是错的,但它不知道新修的道路、封闭的桥梁或阻碍你路线数月之久的施工情况。其次,使用基于工具推理。

而不是纯粹的文字预测。这里有一个简单的思考方式。如果你请同事计算你季度的燃烧率(资金消耗速度),你希望他们打开电子表格,而不是仅凭记忆计算。但如果一个智能体被迫只写出答案,它正是通过记忆来完成的。它在预测正确答案的样子,而不是实际进行计算。

解决办法是幕后操作,赋予该智能体访问工具的权限。这样我们可以在回应之前核查现实,使用计算器和API查询实时数据。假设一条道路畅通无阻的GPS会将你直接开进绕行路线。而那个在为你规划路线前会核查实时交通、道路封闭情况和路况的GPS,才是你可以信任的。

这就是预测型智能体与核查型智能体之间的区别。正是这种借助工具进行的转变,真正推动了减少幻觉这一目标的进展。第三,你必须控制范围。这一点至关重要。当智能体不清楚真正的边界在哪里时,幻觉确实会滋生。想想那些在其领域内通常非常聪明、才华横溢的人。

也许他们对自己所在的城市了如指掌,但你问了一个关于他们十年前去过、如今已不常居住的地方的问题。他们不会说“那不是我的专业领域”。相反,他们会回忆起当时去那里的经历,并用他们对待其他事情时同样的自信来回答。这就是一个没有范围边界的智能体。

在其专业领域内,它能力极强。但在超出该领域操作时,它确实具有危险性。因此,要定义智能体的“车道”。明确智能体能做什么、不能做什么,数据来自何处,以及哪些工作流程需要签字确认。你的范围界定得越紧密,模型偏离正轨的空间就越小,自信的错误答案漏网的机会也就越少。

第四,将人类加入循环中。

并非所有事情都应当完全自动化,诚然,并非所有事情都适合这样做,因此请思考你最高、最重要的决策。人工智能应当真正成为一个快速且非常详尽的初稿。智能体提出方案,人类进行审核,并真正做出最终批准。如果这并非技术的失败,那就是良好的系统设计。

这不仅仅关乎捕捉幻觉,还关乎人机协同。人类在环中真正增添了判断力、背景和问责制,这些是任何模型都无法真正复制的。把它想象成在长途高速公路上驾驶时的巡航控制。它能很好地处理平稳的里程,但你仍然希望驾驶员坐在座位上,以应对匝道、并线以及道路突然抛给你的任何意外情况。

智能体幻觉不仅仅是一个技术问题,它真正是一个设计选择。这种情况不会自动发生。必须有人以这种方式构建它,而这个人就是你。所以,挑战在于:看看你当前运行的任何智能体或人工智能工作流。

因为把你开进湖里的 AI 和真正把你带到目的地的 AI 之间的区别,不在于模型本身,而在于你所做出的设计选择。