如何建立值得信赖的AI？

可信赖的人工智能评估清单（试点版）摘编

上期IT周刊介绍了欧盟出台的《可信赖人工智能道德准则》。准则中提出，实现可信赖人工智能需要满足人的能动性和监督，技术强大性和安全性，隐私和数据治理，透明度，多样性、非歧视性、公平性，社会和环境福祉，问责制7大要素。

在这7大要素的基础上，准则中还列出具体但非详尽的评估列表实施要求，供利益相关方在开发、部署或使用AI时采用，目前该评估表为试点版本。欧盟邀请开发、部署或使用的利益相关方，在实践中使用这份评估列表，并就其可实施性、完整性以及特定AI应用或领域的相关性等做出相应反馈，欧盟将在2020年初提出可信赖的人工智能评估清单的修订版。

人的能动性和监督

基本权利：

1：您是否在AI对人类基本权利产生负面影响的情况下进行过影响评估？是否确定并记录了权利之间的潜在平衡？

2：AI是否与终端用户（即人类）在采取某些行动或某项决策时有相互作用（或一致或排斥）？

（1）AI是否会通过以一种无意识的方式干扰终端用户决策的自主权？

（2）您是否考虑过AI系统应该与终端用户沟通某些行动或某项决策的内容，并通过AI算法给出建议？

（3）使用聊天机器人或其他智能会话系统的终端用户是否会意识到，他们正在与非人类的代替工具互动？

人类的代理：

1：AI系统是否被使用于人类工作或者劳作中。如果是，那么您是否考虑过AI系统与人类之间的任务分配是在有意义互动并且在人类的监督和控制下进行的？

（1）AI系统被使用于人类工作或者劳作时，AI系统本身工作能力是否得到增强？人类的能力是否得到增强？

（2）您是否采取了保护措施来防止人类同AI系统协作时对工作流程过度自信或过度依赖AI系统？

人为疏忽：

1：你是否考虑过针对特定的AI系统或领域，建立适当的人为控制机制且控制级别可调控？

（1）您可否描述目前您参与的AI系统开发、部署、使用中，人类对AI系统的控制是何种程度？

（2）您认为，人类干预AI系统的时刻是什么？采用的方式是什么？

（3）您是否已经制定了确保人为控制或监督AI系统的机制和措施？

（4）您是否拥有任何措施用以启动审计解决和管理有自主性的AI系统？

2：您目前是否已经使用存在自主性或可自学的AI系统？如果是，您的具体控制、监督机制分别是什么？

（1）哪些检测和反应机制可以用来评估出现问题的AI系统？

（2）在确保AI系统以安全状态运行的同时，您是否在操作中使用过“停止按钮”或启动“停止程序”？“停止”这一步骤是完全终止了运行过程，还是将部分的控制委托给人类？

技术强大性和安全性

抵御攻击和安全的能力：

1：您是否评估过AI系统容易受到攻击的潜在形式有哪些？

（1）您是否考虑过不同类型或性质的漏洞，例如数据污染对AI系统网络攻击的影响？

2：您是否建立了一些系统或制定一些措施可确保AI系统抵御潜在的攻击？

3：您是否了解AI系统在意外情况中会出现哪些行为方式？

4：您是否考虑过您的AI系统在多大程度上可以兼用？

后备计划和普遍安全性：

1：AI系统如果遭遇对抗性攻击或其他意外情况（例如：切换程序或运行过程中对操作人员忽然提出要求），您是否确保系统继续运行有充足的后备计划？

2：您是否考虑过AI系统在特定领域或使用中引发风险？

（1）您是否制定了相关程序来衡量和评估风险性与安全性？

（2）如果AI系统存在人身安全风险，您是否向终端用户提供相关的信息？

（3）您是否考虑过使用保险政策处理AI系统可能造成的损害？

（4）您是否发现了其他可预见的技术用于排除AI系统潜在的安全风险？是否有计划来减轻或管理AI系统潜在的安全风险？

3：您是否评估过AI系统对用户或第三方造成损害或伤害的可能性？您是否评估了伤害潜在的影响和严重程度？

（1）您是否考虑过明确AI系统的责任和其对消费者的保护规则？

（2）您是否考虑过AI系统对环境或动物的潜在影响以及安全风险？

（3）您对AI系统的风险分析是否包括网络安全相关性的问题，也就是说，分析由于人工智能系统的无意行为可能带来的安全风险或损害？

4：您是否估计过，当AI系统提供了错误、不可用或存在歧视性、偏见性的决策时，可能会对您造成影响？

（1）您是否定义对一些结果或行为准则提出了区间值？是否已将治理程序置于警戒状态？或开启后备状态？

（2）您是否定义并测试了一些后备的计划？

准确性：

1：您是否评估AI系统精确度、所需的准确度级别以及使用的案例？

（1）您是否对衡量和保证AI系统准确度这一机制进行过评估？

（2）您是否采取措施确保衡量AI系统准确度的数据是全面的且最新的？

（3）您是否制定了相应的措施，例如用额外的数据、案例提高评估的准确性？

2：如果AI系统做出不准确的预测，您是否验证了会造成什么危害？

3：您是否采用了各种方法来衡量AI系统能够不接受不准确预测？

4：您是否采取了一系列措施来提高AI系统的准确性？

可靠性和可重复性：

1：您是否制定了监控和测试AI系统的程序来了解其能否符合目标和预期应用？

（1）您是否测试过AI系统需要考虑特定的环境或特定条件实现它的可重复性能力？

（2）您是否采用验证方法来衡量和确保AI系统在不同方面的可靠性和可重复性？

（3）您是否制定了某种程序用来描述AI系统在某些情况下无法设置？

（4）您是否清楚地记录并操作这些程序对AI系统的可靠性进行测试和验证？

（5）您是否建立了通信机制，以确保终端用户可靠地使用系统？

隐私和数据治理

尊重隐私和数据保护：

1：根据AI系统使用情况，您是否建立了一种机制，允许其他人在AI系统的数据收集和数据处理过程中标记与隐私或数据保护相关的问题？

2：您是否评估了数据集当中数据的类型和范围（例如：它们是否包含个人数据）？

3：您是否考虑过开发在没有或极少使用潜在敏感或个人数据的情况下AI系统的训练模式？

4：实践中，依据个人数据建立通知和控制机制，如同意或撤销数据的可能性？

5：您是否采取措施保障AI系统的隐私，例如通过加密或匿名等方式？

6：如果存在数据保护官(DPO)，您是否让其参与程序建立的早期阶段？

数据的质量和完整性：

1：您是否将AI系统与相关标准，如ISO、IEEE等保持一致性的管理？

2：您是否建立了数据收集、存储、处理和使用的监督机制？

3：您是否评估过您所控制、使用的外部数据源质量如何？

4：您是否采用程序确保您所使用数据的质量和完整性？您是否进行过验证，您的数据集是否遭受过入侵？

访问数据：

1：您遵循哪些协议、流程和程序进行数据治理？

（1）对于谁可以访问用户的数据，您是否对此进行了评估？

（2）您是否能够确认那些可以访问用户数据的人员具备了解数据保护政策的必要能力？

（3）您是否确保采用监督机制来记录何时、何地、如何、由谁以及为何访问目标数据？

透明度

可追溯性：

1：针对AI系统透明度，您是否制定了可追溯性措施？这可能需要用到以下方法：

——用于设计和开发算法系统的方法：

基于规则的AI系统所使用的编程方法或模型的构建方式;

基于学习的AI系统所使用的训练算法。

——用于测试和验证算法系统的方法：

基于规则的AI系统用于测试和验证的场景或案例;

基于学习的模型AI系统用于测试和验证数据的信息。

基于算法的结果产生的其他潜在决策。

解释能力：

1：您是否评估过：

（1）可以在多大程度上理解AI系统所做出的决策和结果？

（2）AI系统决策在多大程度上影响人类组织的决策过程？

（3）为什么在特定区域部署某特定AI系统？

（4）系统的业务模式（例如：它如何为项目组创造价值）？

2：您是否可以解释，AI系统是如何做到让用户理解AI系统的决策？

3：您从一开始就考虑过设计人工智能系统的可解释性吗？

（1）您是否研究并尝试使用最简单的模型解释有问题的申请？

（2）您是否可以分析您的训练模式和测试数据？随着时间的推移这些内容都是可以更新的吗？

（3）您是否评估过在模型训练后能否检查其可解释性？

交流：