论文| Fusion and Binarization of CNN Features for Robust ...

2016-Fusion and Binarization of CNN Features for Robust Topological Localization across Seasons

发表期刊/会议： IROS

等级： CCF-C

发表时间： 20161001参考引用： R. Arroyo, P. F. Alcantarilla, L. M. Bergasa and E. Romera, "Fusion and binarization of CNN features for robust topological localization across seasons," 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea (South), 2016, pp. 4656-4663, doi: 10.1109/IROS.2016.7759685.

关键词： 特征融合；二值化；

阅读程度： 全文

更新时间： 20231201

Ⅰ. 主要内容

本文在视觉定位中使用预训练的 CNN 特征进行地点识别。

为每一层随机选择一定比例的特征，以尽可能保留不同粒度的卷积特征融合所提供的多分辨率。

然后将每个卷积层获得的特征进行融合，产生图像特征；

最后将产生的图像特征进行二值化，使用 Hamming Distance 计算图像相似度。

特征融合公式：

Ⅱ. 创新点

CNN 计算成本和内存资源耗费较大，无法保证实时性

改进CNN网络结构，主要使用5层卷积，在不同数据集中对CNN进行预训练。

局部性和平移不变性

将每个卷积层获得的特征进行连接，以保存每个卷积层提供的多分辨率信息，产生最后的图像表示。

融合后输出的特征向量较大，不利于位置匹配

对每个卷积层获得的原始特征进行随机选择，压缩特征数量，并在后续所有的描述中应用相同的选择来匹配相关特征。

将最后的图像表示特征进行二值化，使用 Hamming Distance 计算图像相似度。

Ⅲ. 实验评估

3.1 数据集

Nordland dataset

CMU-CVG Visual Localization dataset

Alderley dataset

3.2 对比基准算法

WI-SURF 和 Brief-Gist（使用基于 OpenCV 库提供的 SURF 和 Brief 描述符的实现）

FAB-MAP （OpenFABMAP toolbox）

SeqSLAM （OpenSeqSLAM）

ABLE-M

On the performance of ConvNet features for place recognition

3.3 评价标准

precision-recall curves

Ⅳ. 实验结果

4.1 Nordland Dataset

数据集有季节变化。

使用卷积层特征融合的方法比从各个层提取的特征效果更好。Fig. 3(a)

特征可以被高度压缩并保持卓越的性能，初始CNN特征减少到2048字节（压缩率99.59%），仅损失约2%的精度。Fig. 3(b) TABLE 1

4.2 CMU-CVG Visual Localization Dataset

数据集有季节变化和视角变化。

对不同级别和粒度的 CNN 卷积特征的融合提供了相对于基于各个层的方法更高的局部和平移不变性。

4.3 Alderley Dataset

数据集有季节变化和极端光照条件变化。

本文提出的算法具有可接受的准确性。

Ⅴ. 具体细节

5.1 特征归一化8位整数格式

中包含的不同特征最初由 CNN 以浮点格式返回。为了便于后续二值化，通过以下等式将这些特征转换为归一化的 8 位整数格式

其中

，

5.2 网络输出尺寸

输出描述符的长度

可以通过下式计算，其中$h_{\text {conv }n}, w{\text {conv }n}, d{\text {conv }_n} $是每个卷积层的高度、宽度和维度。

5.3 距离矩阵

使用汉明距离来获取特征之间的相似度，这比L2范数或余弦距离更加有效。基于此，对CNN描述符进行二值化，最后，通过使用汉明距离匹配所有二进制特征

来计算距离矩阵