百度安全亮相BlackHat Europe 2018，AI时代重现大卫·科波菲尔的魔法

英国当地时间12月3日-6日，BlackHat Europe 2018在伦敦召开，来自百度安全实验室的“感知欺骗：基于深度神经网络（DNN）下物理性对抗攻击与策略”的最新研究报告成功入选。百度首席安全科学家韦韬博士、百度安全实验室资深研究员Zhenyu Zhong博士、Yunhan Jia博士受邀出席发表主题演讲，分享了百度安全实验室在AI时代下机器学习算法安全领域的研究与实践。报告展现了让物体在深度学习系统的“眼”中凭空消失，在AI时代重现了大卫·科波菲尔的经典魔法。针对深度学习模型漏洞进行物理攻击可行性研究，这个领域的研究有着广泛的用途，在自动驾驶领域、智能安防领域、物品自动鉴定领域都有重要的实际意义。百度安全实验室的这个研究也启示了工业界及学术界需要更加迫切的研究人工智能感知系统的安全问题，共同探索与建设安全的AI时代。

BlackHat是国际安全工业界的顶级会议之一，具有广泛的影响力。BlackHat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会，会议聚焦于先进安全研究、发展和趋势，并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来，百度安全多次登上BlackHat的舞台，分享在AI安全、移动安全等领域的研究与实践成果。

机器学习容易受到对抗样本的攻击，这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动，就可以“欺骗”机器学习模型做出错误的分类决定，指鹿为马，甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack)，一个典型的场景，假设恶意攻击者通过篡改数据，生成对抗样本使得机器学习生成模型对输入数据产生错误的判定，继而应用到人脸识别、无人驾驶等领域，这将破坏整个人工智能生态应用的进程与基本信任。

Figure 1不同L_p 范式数字扰动对YOLOv3的影响

在会场报告中，Zhenyu Zhong博士系统介绍了模型安全可靠性的重要性，以及当前基于视觉感知的物体识别所依赖的深度学习模型的漏洞。Figure 1展示的是通过三个具有代表性的攻击算法（FGSM， JSMA， CW2）所生成的扰动在与原图叠加后的效果。普通人几乎无法区分它们与原图的区别，但这些叠加后的图却能使得YOLOv3失去对车辆的正常识别。

然而，这类攻击需要对输入图片的bit级精确控制。在现实世界中，此类针对深度神经网络进行精确数据输入的篡改以实现机器学习错误分类的手段是否依旧可实现，业内一直存在争议。据百度安全实验室的最新研究成果表明，在物理世界中，对抗样本在机器识别领域是一个实际存在的威胁。针对机器学习模型漏洞进行物理攻击可行性研究，这在历届BlackHat上尚属首例。

报告中Zhenyu Zhong博士提出了为实现物理攻击而设计的威胁模型及策略：在假设攻击者无法对输入流数据以及数据处理环节进行篡改的前提下，仅允许向目标对象上做图像贴片，以使得深度学习感知系统产生误判。在实际物理环境的限制之下，原本理论上精确数据篡改可以达到完美欺骗的攻击效果往往失去了作用。

Figure 2物理攻击的挑战

百度安全专家在报告中对不同距离，角度光照条件，色彩失真，目标对象补丁位移等等因素（Figure 2）进行了技术攻关，并制定了系统的技术手段克服了可变的物理环境对攻击的影响。并在现场演示中展示了针对车辆的物理攻击效果。

Figure 3展示了AI时代的神奇魔法，这里百度安全专家成功复制大卫. 科波菲尔让自由女神像消失的奇迹。在时间t0的时候，当在车后显示器中显示正常logo时，YOLOv3可以正确识别目标车辆。而在t1时，我们切换到扰动后的图片时，它可以立刻让目标车辆在YOLOv3面前变得无法辨识。在t2时，我们切换回正常的图片，YOLOv3重新可以识别目标车辆。其次，百度安全研究员进一步演示了在动态变化的情况下（多角度，不同距离如Figure 4所示）的物理攻击，从t0到t2之间，摄像头经历了由远到近，由左到右的位移变化。在此时间段内，在车背后显示的扰动后的图片保持不变。在绝大多数时间内，攻击扰动样本让YOLOv3无法识别目标车辆。这是首次针对车辆的物理攻击的成功展示，从攻击目标的大小，分辨率的高低和物理环境对攻击效果的影响和难度来说和以往的学术文章所针对交通标识的攻击相比更是一个新的提升。

Figure3固定距离，固定视角物理攻击

Figure 4不同距离，不同视角的物理攻击

人工智能在拓宽传统产业格局框架的同时，也重塑了安全的防线边界，传统的安全防御已无法应对新时代的挑战。百度安全实验室的研究证明，人工智能时代不仅要面对曾经的云管端的安全问题，机器学习算法自身的安全性亦存在漏洞，存在现实威胁性。如若被恶意利用则可延伸到人身和公共安全层面。企业需要针对AI模型进行安全防护能力和效率的提升。百度安全实验室针对人工智能算法安全性的研究，包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外，百度安全始终倡导通过新一代技术研发与开源，实现对安全问题的快速响应与对抗，百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案，目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台，可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用，加固业务AI模型，为模型安全性研究和应用提供重要的支持。

包括对抗样本工具包AdvBox在内，百度安全今年将首创的七大技术——KARMA系统自适应热修复、OpenRASP下一代云端安全防护系统、MesaLock Linux内存安全操作系统、MesaLink TLS下一代安全通讯库、MesaTEE下一代可信安全计算服务和HugeGraph大规模图数据库——开源汇成“七种武器”，全面解决云管端以及大数据和算法层面的一系列安全风险问题，实现由传统安全时代的强管理向AI时代的强技术支撑下的核心管理的转变，全面应对AI时代下层出不穷且日益复杂的生态安全问题及挑战。