神经网络可以被劫持？谷歌大脑研究员演示AI黑客行为

本文由人工智能观察编译

译者：Sandy

计算机视觉算法并不完美。上个月，研究人员证明了一个流行的对象检测API可能会被愚弄，在一些情况下，算法可以将猫识别为“疯狂的被子”，“迷彩”，“马赛克”和“拼凑图”。当然，这还不是最糟糕的情况：它们还有可能被劫持，执行本不该做的任务。

谷歌的人工智能研究部门Google Brain的研究人员在一篇名为《神经网络的对抗重组》的论文中，描述了一种本质是重新编程机器学习系统的对抗方法。这种转移学习的新形式甚至不要求攻击者指令输出。

对此，研究人员表示：“我们的研究结果首次证明了针对神经网络重新编程的敌对攻击的可能性。这些结果表明，深层神经网络带有令人惊讶的灵活性和脆弱性。”

其工作流程是这样的：攻击者获得了一个参与对抗神经网络的参数后，这个神经网络正在执行一个任务，然后以转换为输入图像的形式引入干扰或对抗数据。当敌对的输入被嵌入到网络中，他们就可以将其学习的特性重新设计为另一项新的任务。

科学家们在6个模型中测试了这个方法。通过嵌入来自MNIST计算机视觉数据集的操作输入图像，他们成功获得了所有六种算法来计算图像中方块的数量，而不仅仅是识别像"白鲨"或"鸵鸟"这样的物体。在第二个实验中，他们强迫其对数字进行分类。之后第三次测试，他们使用了识别来自cifar 10的图像的模型，这是一个对象识别数据库，而不是他们最初接受的ImageNet语料库。

攻击者可以利用此类攻击进行计算资源窃取，举个例子，在云托管的照片服务中重新编程计算机视觉分类器，以解决图像验证码或者挖掘加密货币。尽管论文作者并没有在一个反复出现的神经网络（一种通常用于语音识别的网络）上展开测试，但他们假设一个成功的攻击可能会导致此类算法会执行“大量的任务”。

研究人员表示：“对抗程序也可以被用作一种新的方式来实现更传统的计算机黑客行为。”比如，随着手机逐渐成为人们的AI助手，通过将手机暴露在敌对的图像或音频中，或许可以重新编辑某人的手机也是很有可能的。由于这些数字助理可以访问用户的电子邮件、日历、社交媒体账户和信用卡等，这类攻击产生的后果也会非常严重。

但幸运的是，这也不全然是一个坏消息。研究人员注意到，随机神经网络似乎比其他神经网络更不容易受到攻击，反而针对机器学习系统，这种敌对攻击会更容易进行重新设计，并且更灵活、更高效。

即便如此，他们还是提醒到：“未来的研究应该解决敌对变成的特性与局限性，甚至是潜在的防御方法。”

（文中图片来自网络）