卷积神经网络
每个卷积核提取不同的特征。每个卷积核对输入进行卷积,生成一个feature map,这个feature map即体现了该卷积核从输入中提取的特征,不同的feature map显示了图像中不同的特征。
最后分类输出层输出最抽象的分类结果。
上图就是一个浅层卷积核提取出来的特征,我们可以看到,有的卷积核是提取形状的,有的是提取颜色的。它就是一种类似gabor滤波器的卷积特征。
上图是中层和深层卷积核提取出来的特征,在中层卷积核提取的是较大块的颜色,纹理;在深沉卷积核提取出来的特征可能就有人类或者一些具象化的东西。
CAM可解释性
上图中,输入的原始图像经过层层卷积,到最后一层的时候,会有512个卷积核得到512个通道,即提取了512个深层特征,经过GAP(全局平均池化)将每一个通道特征算出一个平均数,再通过FC(全连接层)层会得到每一个特征值的权重(系数)——(W_1、W_2、W_3、...、W_n\),每一个类别都可以得到一个分数值(score),它是通过
(score=W_1*蓝色特征值+W_2*红色特征值+...+W_n*绿色特征值\)
得到的,最后通过softmax来计算一个概率值,这是一个CNN分类的过程,对于CAM热力图而言,主要就体现在特征值权重W_1、W_2、W_3、...、W_n\上,它表示最终的分类结果对不同特征的关注程度。
GradCAM
在GradCAM中可以不使用GAP层,完全可以使用FC层,通过全连接层来输出分数(score),用y^c\表示。