在每一次关于人工智能治理的讨论中，你都会听到这句话。当有人对AI做出高风险决策表示担忧时，另一个人会说：“别担心，我们有‘人在回路’机制。”于是房间里的紧张气氛便缓和下来。我想问你一个问题：当我们说“有人工审核”时，通常意味着什么？意思是会有人在AI的输出结果进入公共领域之前查看它。这听起来不错，但这是我学到的：有人工审核并不等同于系统得到了治理。事实上，大多数时候情况恰恰相反。
AI生成输出结果，人工进行审核，然后做出决策，听起来很简单对吧？除了我们几乎从不问的一个问题：当人类审核这些输出结果时，他们实际上看到了什么？
当你信任另一个人的判断力——就像你真正信任某人那样——你是依靠什么呢？你依赖他们的可信度。他们是否基于真实证据做出判断？你依赖他们的可靠性。你能预测他们的推理过程吗？你依赖他们的一致性（Dependability）。他们在做这个决定时是否使用了正确的方法？你还依赖于他们的自我导向性（Self-orientation）。我们都曾与这样的人共事过，他们的自我导向完全局限于内部：每个人都是他们的错，每一个错误都归咎于你。最后，你还依赖他们的一致性/正直（Integrity）。他们是否还是昨天那个值得信赖的人？
可信度映射到透明度。模型是用什么数据训练的？采用了什么方法论？那些经过验证的选择是什么？可靠性映射到可解释性。为什么模型在今天对这个人产生了这样的输出结果？一致性（Dependability）映射到可观测性。这对于代理型AI尤为重要：随着条件的变化，系统是否仍在正确运行？自我导向映射到算法优化。这个模型实际上是为了什么目的、为了谁而优化的？至于正直，它映射到对敌手的鲁棒性：这个模型是否被篡改过？这五个属性，五种映射关系，全部都很重要。
但同样真实的是，“人在回路”带来了一种任何模型都无法复制的东西：解读情境的能力，而不仅仅是数据。能够识别出案件档案讲述的故事与一个人真实生活之间的差异。提出的问题不只是“这个输出结果说了什么”，而是“这项决定对这个身处特定生活中的人意味着什么”。
社会工作者、伦理学家、历史学家、心理咨询师，这些人在过去几十年里被告知他们的专业知识不够“技术性”，因此在技术决策中无关紧要。与此同时，我们构建了影响数百万人生活的系统，却忘记了纳入任何研究人类生活的人。
所以，当你声称拥有“人在回路”时，问问自己：你是否真正具备了所有四个要素？可见性、权威、正确的衡量标准以及反馈回路。还是说，你只是把凑数的人头算作治理？这是一个起点。但一个能够看清推理过程、叫停流程，并带来任何模型都无法复制之特质的“人”，那才是治理的开端。