哪种特征分析法适合你的任务？Ian Goodfellow提出显著性映射的可用性测试

选自arXiv作者：JuliusAdebayo、IanGoodfellow等机器之心编译参与：GeekAI、张倩显著性方法被广泛应用于突出输入中与学到的模型的预测结果相关的特征。现有的显著性方法通常是以图像数据的视觉吸引作为指导的。本文提出了一种可行的方法来评估一个给定的方法能够/不能提供什么样的解释。研究发现，仅仅依赖于视觉的评估可能会产生一些误导性的结果。

论文链接：https://arxiv.org/pdf/1810.03292v1.pdf摘要：显著性方法已经成为了一种流行的工具，被用于突出输入中被认为与学到的模型的预测结果相关的特征。目前研究人员提出的显著性方法通常是以图像数据的视觉吸引作为指导的。本文提出了一种可行的方法来评估一个给定的方法能够提供/不能提供什么样的解释。我们发现，仅仅依赖于视觉的评估可能会产生一些误导性的结果。

图2：在Inceptionv3（ImageNet）上的级联随机性。此图显示了Junco鸟的原始解释结果（第一列）以及每种解释类型的标签。从左到右的过程显示了网络权值（以及其他可训练的变量）全部的随机性，直到包含「块」。我们展示了随机性的17个块。坐标（Gradient，mixed_7b）显示的是从Logits开始直到mixed_7b的顶层已经被重新初始化的网络的梯度解释。

图3：级联随机性。对于ImageNet上的Inceptionv3模型、FashionMNIST数据集上的卷积神经网络、MNIST数据集上的多层感知机的从顶层开始的权值连续重初始化过程。在所有的图中，y坐标是原始解释和由直到该点所代表的层/块的随机性所推导出的随机解释之间的秩相关性，而x坐标则与DNN从输出层开始的层/块相对应。

图5：对真实模型和用随机标签训练的模型的解释的对比。左上角：将用于卷积神经网络的MNIST测试集中数字0的掩膜的绝对值可视化结果。右上角：用各种颜色显示的用于卷积神经网络的MNIST测试集中数字0的显著性掩膜。

图21：对Corn进行独立随机性测试

图23：对在MNIST数据集上训练的CNN分别进行独立、连续的重初始化工作。