360发布《AI安全风险白皮书》

众所周知，深度学习是人工智能技术的核心卖点：通过模拟人脑机制，机器也能够像人那样，自主学习海量高深的知识，从而获得常人无法企及的技能，帮助人类实现更为曼妙和科幻的场景。不过，憧憬虽然美好，但是随着一批深度学习应用逐渐开始变成现实，安全问题也渐渐显现出来。

日前，360安全研究院结合过去一年对深度学习系统安全性的详细研究，出具了《AI安全风险白皮书》。白皮书从深度学习系统软件实现的复杂度、深度学习系统模型的逃逸攻击和深度学习系统数据流中的安全威胁三个角度，详细解读了AI系统的安全威胁。

当前人工智能应用面临多方威胁

2017年以来，每次有关人工智能的新闻报道都会让很多网友由衷的感叹。比如谷歌AlphaGo与李世石、柯洁等国际一流围棋大师对弈，将这些围棋一流好手“挑落马下”。像围棋这种复杂多变的棋盘游戏，几乎代表了人类的顶级智慧。AlphaGo能够在千变万化的棋局中，选择对自己更为有利的步数，继而赢得棋局，靠的便是深度学习算法对场上局势进行研判。

不过，像AlphaGo这样的人工智能应用并不与外界有直接的交互，或者是在封闭的环境下工作，因此受到的安全威胁相对较小。然而，随着人工智能应用的普及，安全威胁会不断增加，更多的应用会把应用的输入接口直接或间接暴露出来。同时封闭系统的攻击面也会随着时间和环境而转化。

图1：深度学习算法与安全所考虑的不同输出场景

目前公众对人工智能的关注，尤其是深度学习方面，缺少对安全的考虑，这是人工智能安全的“盲点”，近期很多对于深度学习的讨论主要停留在算法和前景展望的层面，并没有考虑人为恶意造成或合成的场景;深度学习软件层面，很多是实现在深度学习框架上。然而系统越是复杂，就越是可能包含安全隐患。任何在深度学习框架以及他所依赖的组件中的安全问题都会威胁到框架之上的应用系统;另外，正如安全人员常说的，魔鬼往往隐藏于细节之中，任何一个大型软件系统都会有时限漏洞。考虑到深度学习框架的复杂性，深度学习应用也不例外。

深度学习逃逸攻击让AI系统迷了眼睛

同时，白皮书以逃逸攻击为例，解析了深度学习模型所存在的一些安全问题。所谓逃逸攻击，指的是攻击者在不改变目标机器学习系统的情况下，通过构造特定的输入样本以完成欺骗目标系统的攻击。只要一个机器学习模型没有完美学到判别规则，攻击者就有可能构造对抗样本以欺骗机器学习系统。

图2：稍加干扰因素 深度学习系统会将熊猫误认为长臂猿

白皮书中列举了Ian Goodfellow在2015年ICLR会议上提出的著名逃逸样本，样本使用了谷歌的深度学习研究系统，该系统利用卷积神经元网络，能够精确区分熊猫和长臂猿等图片。

不过，攻击者对熊猫的图片“稍加改造”，增添了一些干扰因素。虽然这细微的差别并不会影响人类的判断，不过深度学习系统却把熊猫误认为了长臂猿。试想在具有图像识别功能的AI系统中，如果判断失误，AI系统就很有可能做出截然不同的选择，有可能导致非常严重的后果。

此外，基于机器学习的逃逸攻击主要是分为白盒攻击和黑盒攻击。白盒攻击需要获取机器学习模型内部的所有信息，然后直接计算得到对抗样本;黑盒攻击则只需要知道模型的输入和输出，通过观察模型输出的变化来生成对抗样本。

深度学习需谨慎降维攻击

此外白皮书指出，在深度学习的数据处理流程中，同样存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下，只利用深度学习数据流中的处理问题，就可以实现逃逸或者数据污染攻击。

图3：降维处理可能导致深度学习系统“指鹿为马”

比如，白皮书引用了Caffe平台自带的经典图片识别应用案例，案例使用了一张羊群的图片，识别所用的神经元网络是谷歌发布的GoogleNet，数据来自著名的ImageNet比赛。不过令人遗憾的是，Caffe的深度学习应用将羊群误判为狼。究其原因，还是由于深度学习自身算法的问题。由于深度学习模型真正用到的数据都会是维度变化过的图片，即对图片进行了一些算法处理，其中包括最近点抽取、双线性插值。这些处理的目的就是降低算法的复杂程度，并尽量保持图片原有的样子。

但是这些常用的降维算法并没有考虑恶意构造的输入。上面的攻击例子，则是针对最常用的双线性插值构造的恶意攻击样本。根据白皮书的初步分析，几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险。对于降维攻击的防范，用户可以采用对超出异常的图片进行过滤，对降维前后的图片进行比对，以及采用更加健壮的降维算法等。

当前，人工智能的风潮席卷而来，人们醉心于新鲜事物带来的全新体验，却往往忽视了暗流涌动的安全问题。随着人工智能的普及，人工智能将面临来自多个方面的威胁：包括深度学习框架中的软件识别漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。未来，作为国内最大的网络安全公司，360将以更为开放、分享的心态，致力于帮助行业及厂商解决人工智能的安全问题，为我国人工智能的蓬勃发展保驾护航。