可选择性与不变性：关注边界的显著性目标检测

概要

上一次我们介绍了 CVPR 2019 的BASNet，CVPR 2019 的那篇 BASNet 主要通过引入结构相似性损失

使网络更关注边界。这次的 ICCV 2019 有一篇“撞车”论文，可选择性与不变性之关注边界的显著性目标检测（文中称其网络为 BANet），是北航、北大和深圳鹏城实验室的文章。

其实比引入关注边界的 loss 更加暴力，它的亮点就在于直接增加一条分支网络提取预测边界，后面结合显著性目标的内部共同组成特征做监督训练。在效果方面其实两篇关注边界的都相差不大，MAE 方面似乎 BANet 要比 BASNet 低一点，但是Fβ的评价下，BASNet 要比 BANet 要高一点。

两个问题

Fig 1. 不同区域的显著性检测需要不同的特征

SOD（Salient Object Detection）是关于人眼注意的显著性物体的任务，存在着两个问题：

一个大的显著性物体内部存在很大的外观变化导致很难当做一个完整的物体，如 Fig1 中的 (a) 和 (b)；

显著性物体的边界很混杂很难从周围背景中分辨出来，如 Fig1 的 (c) 和 (d)。

其实这就关系到了一个Selectivity-Invariance dilemma，就是可选择性与不变性的困境，用传统的分类任务来理解，就是同一只狗在不同背景下差别很大，而在相同背景下狗和狼的差异不大，想要把前一组图片中的狗放在一个类别，就是Selectivity-Invariance dilemma。

这时候的解决方法就是需要一组特征，能够选择性的响应图片中的重要部分，而对图片中的不重要部分的变化保持不变性。这对特征的划分要求很高，如果想让网络完全学出来响应变化可能会导致网络十分敏感，对不重要部分变化（如背景的改变）产生很大反应。

模型架构

Fig 2. BANet 的网络结构

这个网络结构的特点：

前面是普通的特征提取器

后面分成三个分支：

边界定位分支

转变补偿分支

内部感知分支

本文前面的 backbone 特征提取器使用了 ResNet-50。

边界定位分支使用了多层特征至记为，通过上采样和拼接融合特征经过简单的两层卷积得到边界预测，然后使用 Sigmoid 层生成可选择性置信度图（selectivity confidence map）。文中指出使用多层次特征和简单的特征映射子网络是为了使物体边界具有强的可选择性，其损失函数定义如下：

其中损失函数 E 只是简单的交叉熵，为Ground truth真实标注边界数据。

内部感知分支只使用了具有强语义的高层特征，

强调的是较大显著性物体的内部特征不变性，所以只使用了高层特征和较复杂的子网络，也使用了 Sigmoid 层导出不变性置信图（invariance confidence map），监督损失函数与相似，如下：

其中其网络较为复杂，使用了ISD（integrated successive dilation）模块。这个模块在后面介绍。

转变补偿分支是为了平衡内部和边界之间的可转换区域需要可选择性和不变性。

如 Fig 2 所示，⊗ 是 element-wise product，其实类似交集操作，首先是内部图，是边界图，二值化的图像意思是白色的像素值为 1，黑色的像素值为 0。

M 由三部分组成，加法的第一项，就是背景图，是两者都认为是边界的地方。是非边界的区域，加法第二项就是两者都认为是内部的区域。加法第三项是表示两者都认为是背景的区域。这样的 M 就是综合了三个分支的特征以及三个分支的置信图的 map，最后只需要监督下面这个:

最后最小化三个 Loss 的和：

ISD模块

Fig 3. ISD的结构

ISD (Intergrated successive dilation)，即整合连续膨胀模块，其目的是帮助内部感知分支和转换补偿分支提取嵌入在不同上下文区域中的不变性特征。ISD 可以在一系列尺度上有效聚合上下文信息，增强特征不变性。

橙色块均为卷积层，1x1 的卷积目的是用作通道转换的，第二层的卷积带有rate部分是膨胀卷积（也称空洞卷积），比例从左边到右边的

，总共 N 个分支，Fig3所示为ISD-5。第一个分支的特征在经过膨胀卷积之后，与原特征横向相加，然后也会送入第二分支继续做连续的膨胀。这样通过不同连续的膨胀卷积可以感知不同大小的局部上下文。

实验结果

400x300 的图片在 3.60GHz 的 CPU 和GTX 1080ti GPU下跑了效果为13 fps。可能因为分支多，而且ISD 模块是连续叠加的所以比BASNet要慢一倍。

Fig 4. BANet与目前16种state-of-arts的方法在6种数据集上的对比

Fig 5. BANet的检测质量与state-of-arts的算法比较

总结

转变补偿分支的 M 的公式是比较有技巧的一个地方，整个检测分成了三个分支，如何综合利用，在选择性与不变性中权衡动态的地方，总体来说效果不错，但是暴力地分离边界必然导致计算的复杂，也是暴力美学的一种形式，因为文章标题与BASNet的相似，与其对比在所难免，是结构改变还是 loss 的计算改变更优雅更接近真理，其实很难断定。