打开神经网络的黑箱子

卷积神经网络

每个卷积核提取不同的特征。每个卷积核对输入进行卷积，生成一个feature map，这个feature map即体现了该卷积核从输入中提取的特征，不同的feature map显示了图像中不同的特征。

1. 浅层卷积核提取：边缘、颜色、斑块等底层像素特征；
2. 中层卷积核提取：条纹、纹路、形状等中层纹理特征；
3. 高层卷积核提取：眼睛、轮胎、文字等高层语义特征。

最后分类输出层输出最抽象的分类结果。

上图就是一个浅层卷积核提取出来的特征，我们可以看到，有的卷积核是提取形状的，有的是提取颜色的。它就是一种类似gabor滤波器的卷积特征。

上图是中层和深层卷积核提取出来的特征，在中层卷积核提取的是较大块的颜色，纹理；在深沉卷积核提取出来的特征可能就有人类或者一些具象化的东西。

CAM可解释性

上图中，输入的原始图像经过层层卷积，到最后一层的时候，会有512个卷积核得到512个通道，即提取了512个深层特征，经过GAP(全局平均池化)将每一个通道特征算出一个平均数，再通过FC(全连接层)层会得到每一个特征值的权重(系数)——($W_1、W_2、W_3、...、W_n\$)，每一个类别都可以得到一个分数值(score)，它是通过

($score=W_1*蓝色特征值+W_2*红色特征值+...+W_n*绿色特征值\$)

得到的，最后通过softmax来计算一个概率值，这是一个CNN分类的过程，对于CAM热力图而言，主要就体现在特征值权重$W_1、W_2、W_3、...、W_n\$上，它表示最终的分类结果对不同特征的关注程度。

• CAM的缺点

1. 必须得有GAP层，否则得修改模型结构后重新训练
2. 只能分析最后一层卷积层输出，无法分析中间层
3. 仅限图像分类任务

GradCAM

在GradCAM中可以不使用GAP层，完全可以使用FC层，通过全连接层来输出分数(score)，用$y^c\$表示。