一家银行拒绝贷款,没有解释,没有上诉机会,只有一个AI的决定。现在问问自己:是谁验证了这个模型?部署后又是谁在监控它?当出现错误时,谁来承担责任?大多数公司都不知道这些问题的答案,这就是目前的缺口。我们需要的是一个能够治理这一切的AI管理体系。好消息是,我们确实有一个这样的体系。

如果你像我一样从事网络安全工作,你可能至少听说过国际标准化组织(ISO),特别是他们的一项标准——27001,这是信息安全管理体系的国际标准。因此,ISO 27001规定了组织如何建立、实施、维护并持续改进信息安全体系。现在,他们推出了一项名为42001的新标准。它基本上对AI做了ISO 27001在安全领域所做的事,即建立一套AI管理体系。

现在ISO 42001不仅仅是一份控制措施的清单,它是一个用于持续管理AI风险的体系。它是可审计的、可认证的,并且围绕整个生命周期的持续改进而构建。这是治理层面的问题,而非模型架构的问题。与其他ISO标准一样,42001遵循“计划、执行、检查、行动”(PDCA)模型。

在这种情况下,我们通过定义AI政策、范围和风险标准来进行“计划”。然后进入“执行”阶段,在此阶段我们开发并部署带有适当控制措施的AI系统。接着是“检查”结果、监控性能、寻找偏见漂移和意外后果的阶段。最终,我们根据发现采取行动,基于这些发现持续改进,从而使整个过程成为一个持续的改进循环。

ISO 42001中的所有内容都依赖于一种基于风险的方法,因为并非所有风险都是平等的,也并非所有的系统都是一样的。因此,我们需要根据我们感知的风险水平投入适当程度的控制措施。它明确考虑了多个层面的风险。例如,数据风险是一个领域,其中涉及数据本身的偏见或质量问题,这将影响结果。

我们也面临模型风险,即信息的准确性或结果的解释性受到质疑的情况。还有系统层面的风险,涉及组件之间的集成以及安全方面,这些也需要在此考虑。此外是使用风险,我们需要考虑滥用和意外后果可能会给系统引入什么影响。

ISO 42001采用了标准的ISO高层结构,让我们看看其中的一些主要部分。首先我们要看的是“背景”。在背景中,我们试图定义AI系统的范围,识别利益相关者。我们要确定可能存在的任何监管义务,这取决于你所在的行业或国家,这些要求可能会有所不同。

接下来讨论的是“领导力”。我们将分配AI责任归属:谁对此负责?如果没有人负责,那么这项工作就无法完成。我们定义AI政策并在此部分建立某种治理结构。然后下一节涉及“规划”。在规划步骤中,我们将进行AI风险评估。

我们要查看一种方法论来确定我们面临什么样的风险?我们的风险偏好是多少?我们对风险的容忍度如何(你可以从不同角度看待这些)?什么是风险处置计划?我们将采取哪些类型的行动?因为我们不会消除所有风险。在某些情况下,我们可能会决定接受某些风险。

可衡量的AI目标都将包含在这个步骤中。然后我们将进入“支持”组件。在这里,我们将提供文档、意识培训和整体沟通,说明我们希望如何运营该系统。接着是“操作”部分,在这里我们将定义生命周期治理、变更管理。系统不会永远保持不变,所以我们需要为变化做准备,因为变化是唯一的常数。

供应商、AI监督等所有内容都需要在这一节中涵盖。然后我们要进行“评估”。在评估组件中,我们监控、执行内部审计、查看管理评审等所有相关工作。最终进入“改进”阶段,我们将处理所有这些事项:进行事件处理、采取纠正措施并进行持续改进。

我们一直在谈论ISO 42001标准,我预计许多人将把它作为AI管理体系和认证依据的标准。但市场上还有其他东西。你可能听说过其中一些,并想知道它们如何比较和对比?例如,美国国家标准与技术研究院(NIST)有一个AI风险管理框架。这听起来至少与我们刚才讨论的ISO 42001有些相似。

然后是欧盟,EU有他们的AI法案(AI Act),其中也有一些相似之处和重叠部分。所以让我们来看看这三者之间的比较与对比。我们将从NIST风险管理框架开始。首先,这是自愿性的。你可以选择做或不做,完全由你决定。它是灵活的,因此留给用户很大的空间来决定如何执行某些事情,可以将其更多地视为指导方针。

它基本上是在告诉你作为设计指南:你应该做的事情有哪些?你可以这样理解,它在告诉你好是什么样的。这就是它的目标。现在,正如我之前提到的ISO 42001是可以认证的。你实际上可以获得一份文件,表明有人来审计过我们,并针对该标准颁发了证书。这样你就可以证明你符合其要求。

而对于NIST框架,你是无法做到这一点的。这个框架在性质上也非常具有规定性(prescriptive)。它规定了结构,并基本上告诉你如何管理你的AI基础设施以及如何以一致的方式满足你可能有的义务。然后我们有欧盟的《人工智能法案》(EU AI Act)。

这一项则完全不同,它有很多“牙齿”(即强制力)。这是一部法律。如果你身处欧盟,这绝对不是自愿的。它基于风险,并具有分层的风险结构,其中不可接受、高、有限和最小等类别都有明确规定。这项法案是强制执行的,如果你不遵守将面临处罚,它将定义你必须做的事情。

所以这是基本上告诉你如何合规的那一个。可以这样思考:NIST AI风险管理框架用于风险建模和最佳实践;ISO 42001用于……

治理、可审计性与认证。欧盟《人工智能法案》是你必须满足的法律约束条件。它们并非相互竞争,而是互补的层级结构,能够为你提供更强大的AI系统。将人工智能治理仅视为打勾任务的组织将会举步维艰,而不对其人工智能进行管理的组织将面临更大的困境。但是,那些将其融入管理体系的组织将能够更快、更安全地扩展规模。ISO 42001是首个将此形式化为完整系统的国际标准。妥善治理你的人工智能,你就能利用它创造惊人的成就;如果不这样做,你会感觉像是被锁在后备箱里,任由它带你兜风。

谢谢。