核心误区:易建性与风险控制的对立

近期与一位公共部门领导者的对话揭示了一个普遍存在的认知偏差:许多人认为当前构建AI系统极其容易,甚至可以直接让AI去生成另一个AI。这种观点虽然部分正确——因为确实有很多东西可以“糟糕地”被快速构建出来,但它混淆了易建性(Easy to build)与风险适配性(Risk appropriate AI)这两个截然不同的概念。大多数团队在开发AI时往往采取错误的逆向思维:先构建系统,然后再询问谁应该对其进行监督。这种架构上的本末倒置导致在治理失效、需要解释模型决策、出现模型漂移或造成人员声誉损害时,团队才惊觉其架构从未被设计用来支持他们声称想要的监督机制。

"There is easy AI and there is risk appropriate AI. And those two, they are not the same thing."(存在容易构建的AI,也存在风险适配的AI。这两者并不相同。)

真正的关键关系在于:风险应当决定需求,需求进而决定架构,而不是反过来。如果忽视这一逻辑链条,无论AI构建得多么快速,都无法满足高风险场景下的合规与安全要求。因此,评估一个项目是否可行的标准不应仅仅是“能否构建”,而应是该架构是否能承载相应的风险责任。这要求我们在设计之初就将风险控制作为核心驱动力,而非事后补救的附加项。

认知层级:从数据到知识的鸿沟

为了深入理解为何简单的概率模型不足以应对高风险场景,我们需要重新审视数据的本质。作者提出了一个关于“数据”的生动定义:数据是人类经验的产物。想象你在街上捡到一张从螺旋笔记本上撕下来的纸,上面有一些个人笔记。这就是数据——它孤立存在,缺乏背景。当你继续前行并找到那本完整的笔记本时,你看到了这张纸前后的内容,从而理解了它的上下文。此时,数据加上语境等于信息。如果你进一步翻到封面看到作者是你姐姐的名字,并意识到这是她的日记,你就理解了谁写了它、为什么写。此时,数据加上语境再加上关系等于知识。人类自古以来通过讲故事来传递智慧,故事正是将数据、语境和关系结合在一起的载体。

"Data plus context equals information... Data plus context plus relationships. Equals knowledge."(数据加语境等于信息……数据加语境再加关系,等于知识。)

然而,大多数现有的AI系统仅停留在第一层级,即处理孤立的数据点,却假装自己拥有第三层级的知识。它们缺乏对“为什么”某些数据存在、以及这些数据之间深层关系的理解。模式识别(Pattern recognition)与知识(Knowledge)之间存在巨大差距。当AI仅基于概率进行预测而缺乏语境和关系支撑时,它无法提供真正可审计的解释。这种认知层级的缺失是许多AI系统在高 stakes(高风险)应用中失效的根本原因,也是架构设计必须弥补的核心缺口。

案例实证:书架照片与NSA的误判

为了证明仅有数据不足以产生知识,作者邀请读者进行一个思想实验:拿出手机拍摄家中的书架照片,上传给通用的大型语言模型(LLM),并让AI猜测你的职业。作者的书架上包含大量关于人工智能、数据科学、科幻小说的书籍,还有一整排密码学(Cryptography)相关的书。此外,作者喜欢绘画和焊接,因此也有相关书籍,甚至包括《 Calvin and Hobbes 》漫画。

当作者将这张照片上传给AI后,AI判定作者在NSA(美国国家安全局)工作。这是因为模型过度加权了密码学书籍这一单一特征,而忽略了其他语境线索(如科幻小说、绘画书等),并错误地假设所有书籍都属于同一个人。作者明确表示自己并不在NSA工作,且如果真在那里,绝不会向聊天机器人确认或谈论此事。这个案例清晰地展示了AI看到了数据(书籍),但无法理解为什么这些书会出现在那里。它缺乏对“所有权”和“兴趣组合”的关系推理能力。这种基于概率的模式匹配在低风险场景下可能尚可接受,但在需要精确解释和问责的高风险场景中则是致命的缺陷。

"The AI, it saw the data. It saw the books. But it couldn't understand why certain books were there."(AI看到了数据,看到了书籍。但它无法理解为什么某些书会在那里。)

这个案例揭示了纯概率系统在缺乏语境和关系时的局限性。当AI用例依赖于填补这一认知鸿沟,即解释决策背后的“为什么”而非仅仅是“是什么”时,仅依靠数据输入的概率模型是不够的。如果缺乏对语境和关系的建模能力,AI就无法提供真正有意义的解释,这使得其在需要透明度和可追溯性的场景中变得不可靠。

原则落地:从意图声明到操作化需求

许多组织在AI治理中常犯的错误是将“原则”(Principles)视为解决方案。公平性、透明度、可解释性等原则通常出现在网站或框架文档中,甚至拥有独特的字体设计。然而,原则仅仅是意图的声明(Statement of intent)。你无法基于意图声明构建系统,无法审计一个原则,也无法将其写入合同。原则需要的是操作化(Operationalization)——即转化为具体的、经过风险校准的功能性和非功能性需求。这些需求是构建者用来实施的技术语言,也是购买方用于合同约束的法律语言,更是治理委员会进行审查和拥有的管理工具。

"A principle is a statement of intent. You cannot build a system from statements of intents."(原则是意图的声明。你无法基于意图声明构建系统。)

以“可解释性”(Explainability)为例,我们需要根据风险等级将其操作化为不同层级的要求。如果仅停留在原则层面,团队将无法知道具体该构建什么功能;只有将其转化为可执行的需求,才能确保架构真正支持治理目标。这种从抽象原则到具体需求的转化过程,是连接AI伦理与工程实现的桥梁。风险校准的需求定义确保了资源被投入到真正关键的领域,避免了过度设计或设计不足。

风险分级:基线、增强与警惕性可解释性

为了具体说明如何根据风险确定架构,作者提出了三个层级的“可解释性”标准。首先是基线可解释性(Baseline Explainability),适用于低风险场景。例如Netflix推荐电视剧时,AI只需回答“基于你之前的观看历史”。这种解释在后果仅为浪费90分钟时间时是完全可以接受的。其次是增强型可解释性(Enhanced Explainability),例如Netflix指出“观看你凌晨2点重播的那五部相同剧集的人也会看这部剧”。虽然它展示了来源和数据谱系,但仍无法展示完整的推理过程或“工作步骤”,适用于中等风险场景。

"Baseline is fine when the consequence is 90 wasted minutes."(当后果仅仅是浪费90分钟时,基线解释是可以的。)

最高层级是警惕性可解释性(Vigilant Explainability),专为高风险用例设计。想象一名护士使用AI进行患者分诊决策。在这种情况下,输出的解释必须包含数据谱系(Data lineage)、数据来源证明(Provenance)、测试与重测可靠性,以及与该患者当前时刻相关的可追溯解释。这是一种根本不同的架构负担。并非所有用例都承担相同水平的风险,也并非所有原则都适用于每个系统。所需的严谨程度完全取决于利害关系(Stakes)。这种分级方法确保了架构资源与风险等级相匹配,避免在低风险场景过度投入或在高风险场景准备不足。

架构决策:风险决定一切与问责前置

当有人声称“AI现在很容易构建”时,关键问题不在于他们能否在今天下午构建它,而在于鉴于风险等级,他们是否能以该用例要求的方式构建它。我们不应仅争论构建成本,而应追问:团队是否具备在给定风险下正确构建AI的技能?是否为失败做好了准备(Built for failure)?是否进行了红队测试(Red teaming)?是否在部署前而非部署后结构化地确立了问责制?治理良好的AI团队清楚地知道:系统分配的风险等级决定了必须构建的架构、所需的技能组合以及最终治理AI的人员资质。

"The risk level that you assign to a system determines the architecture that you have to build."(你分配给系统的风险等级决定了你必须构建的架构。)

对于低风险场景,带有基线可解释性的概率AI可能完全足够。但对于高风险场景(如临床决策、福利判定、公共安全),如果人们需要一个可追溯、可质疑且可辩护的决策,架构必须承担这种负担。这不仅是技术选择,更是法律和道德要求。如果风险很高,而架构无法提供必要的透明度和可审计性,那么无论模型多么先进,该部署都是不可接受的。风险应决定AI架构,而非预算、紧迫性或构建的难易程度。这一原则确保了系统在长期运行中能够经受住审查和问责。

结论

本内容核心论证了AI架构设计必须遵循“风险决定论”。通过区分数据、信息与知识的认知层级,揭示了纯概率模型在缺乏语境和关系时的局限性。作者通过书架案例证明,AI的模式识别不等于人类的知识理解,因此在需要解释“为什么”的高风险场景中,仅靠数据输入是不够的。进一步地,内容强调了将AI原则(如可解释性)操作化为具体、风险校准的需求的重要性。通过基线、增强和警惕性三个层级的可解释性标准,展示了不同风险场景对架构的不同要求。最终结论是:AI系统的构建不应仅考虑技术可行性或成本,而必须根据风险等级确定架构复杂度、团队技能和问责机制。只有当架构能够承载相应的风险负担时,AI系统才是真正可用且合规的。风险应始终作为决定AI架构的首要因素。