我最近与一位公共部门领导人进行了对话。他们告诉我,现在构建人工智能非常容易。我们可以让一个人工智能去构建另一个人工智能,而他们说得没错。很多事情很容易做得很糟糕,因为存在“容易的人工智能”和“风险适配的人工智能”。这两者并不相同。大多数团队的做法本末倒置,他们先构建系统,然后才问谁应该负责监管。
当治理失效、有人需要解释、模型发生漂移,或者某人或声誉受到损害时,他们才意识到该架构从未被设计用来支持他们所声称想要的监管。这才是关键所在:风险应决定需求,需求应决定架构,反之则不然。让我通过一个真实的例子来展示为什么这很重要。
我对“数据”一词最喜欢的定义是:它是人类经验的产物。想象一下,你在街上散步时捡到一张纸,看起来像是从螺旋笔记本上撕下来的。这就是数据的一个例子。上面有一些个人笔记。你继续往前走,找到了那本被撕去一页的笔记本。
现在你可以看到之前和之后写的内容了,你有了上下文,确切地知道那页纸来自哪里。数据加上上下文等于信息。然后你把书翻过来,看到封面上有你妹妹的名字,你知道这是她的日记,你确切地知道是谁写的。数据加上上下文再加上关系等于知识。
自人类文明伊始,我们就通过讲故事将智慧代代相传。这结合了数据、上下文和关系中的故事元素。数据不等于信息,信息也不等于知识。大多数人工智能系统都在第一类中运作,假装自己是第三类。现在我要向你证明,通常仅仅拥有数据是不够的。
我想让你拿出手机,去你家或公寓的书柜前拍张照,上传到你最喜欢的通用大型语言模型。让它猜你的工作是什么。我的书架上有AI和数据科学的书,有很多科幻小说,还有一整排关于密码学的书籍。我喜欢绘画和焊接,所以我有相关的书,哦对了,我想里面还有《卡尔文与霍布斯》。
人工智能判定我在国家安全局工作。也许它过度关注了密码学书籍。我不在国安局工作,即使我在,我也绝不会向聊天机器人确认这一点,或在这类视频中谈论此事。人工智能看到了数据,它看到了书籍,但它无法理解为什么某些书会在那里。
它假设所有这些书都是我的,这就是模式识别与知识之间的差距。当你的AI应用场景依赖于填补这一空白、解释决策的原因而不仅仅是结果时,一个仅看到数据而没有上下文和关系的纯概率系统可能还不够。当需要可审计的解释时,这不是模型问题,而是架构问题。
大多数团队都有AI原则:公平性、透明度、可解释性。它们印在网站上,写在框架文件中,甚至可能有自己的字体原则只是意图的陈述。你无法根据意图声明构建系统。你不能审计一个声明,也不能将其写入合同。原则需要的是操作化:经过风险校准的具体功能性和非功能性需求。
这是构建者可以用来实施、知道该建造什么的语言;是买家可以据此签订合同的语言;也是治理委员会可以拥有和审查的语言。让我通过仅用一个原则的例子来展示这一点:可解释性,但最终你会对所有原则这样做。我将从基线开始:基线可解释性。
想象你在与Netflix交互,它为你推荐一部电视剧供你观看。而你想知道为什么?为什么要推荐这部剧?基线可解释性可能就是人工智能仅仅说:“因为你的过往观看历史。”当后果仅仅是浪费90分钟时,基线是可以接受的。
该场景的增强版本可能是Netflix回答说:“观看你凌晨2点重看的相同五部剧的人,也观看了这部。”是的,它可以显示你的来源,可能有一些数据线和溯源信息,但你仍然无法展示推理过程,也无法展示你的工作逻辑。
警惕性可解释性适用于最高风险的应用场景。想象一下,一名护士在现场使用人工智能来确定如何对患者进行分诊。那些输出、那些解释将需要数据 lineage(谱系)、数据溯源、测试和重测可靠性,以及与该患者在此时刻推荐相关联的可追溯解释。
这是一种根本不同的架构负担。并非每个应用场景都承担相同水平的风险,也并非每项原则适用于每一个系统。所需的严谨程度——无论选择基线、增强还是警惕性——完全取决于利害关系的高低。所以当有人告诉你现在构建AI很容易时,问题不在于他们能否构建它。
问题在于:考虑到风险,他们是否能以该应用场景实际要求的方式构建它?我们不争论建造成本。我们要问的是:考虑到风险,你是否有能力以这种方式构建此AI?你是否为失败做好了准备进行了红队测试在部署之前而非之后建立了问责制结构吗?
善于治理AI的团队非常清楚地明白一点:你分配给系统的风险等级决定了你必须构建的架构。它决定了具备所需技能以正确构建它的团队,也决定了最终治理此AI甚至定义围绕此AI的系统的人员所需技能。
如果风险较低,具有基线可解释性的概率型人工智能可能完全没问题。但如果风险很高且人们需要一个可追溯、可质疑且有辩护空间的决策,你的架构必须承担这种负担。对于高风险应用场景——如临床决策、福利认定、公共安全——这些都不是空想,而是需求所要求的。
问题不在于你今天下午能否构建AI。问题是:六个月后你是否仍能为你构建的内容及其构建方式进行辩护?风险应决定你的AI架构,而不是预算、紧迫性或容易程度。