使用深度神经网络提取局部特征的大规模图像检索算法

每天一分钟，带你读遍机器人顶级会议文章

标题：Large-Scale Image Retrieval with Attentive Deep Local Features

作者：Hyeonwoo Noh ，Andre Araujo，Jack Sim，Tobias Weyand，Bohyung Han

来源：ICCV2017

播音员：刘畅

编译： 杨小育

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

我们提出了一个非常适合大规模图像检索的局部特征描述子，称作DELF(DEep Local Feature)。这个新的描述子是基于卷积神经网络的，并在只有图像级注释的路标数据集上进行训练。该图像检索方法的架构如下图所示：

图1 文中图像检索方法的架构

为了识别图像检索中具有语义信息的局部特征，作者还提出了一个关键点选择的机制，这个机理会共享更多网络层的描述子信息。这个框架可以用来替代基于特征检测和特征描述的方法，并会提高特征匹配和几何验证的精度。本文的方法有非常高的可信度，避免假阳性情况的发生，特别在数据库中没有正确的匹配时，该方法依然非常健壮。作者为了评估他们所提出的这个描述子，建立了一个新的大规模的数据集——Google Landmarks dateset，这个数据集中存在着如背景杂乱、部分遮挡、多路标点、可变尺度目标物等富有挑战性的情况。最后文章中展示了DELF描述子在大规模场景中表现，它的表现远超过了目前最先进的全局和局部描述子的表现，并且该方法还有很大的提升空间。

Abstract

We propose an attentive local feature descriptor suitable for large-scale image retrieval, referred to as DELF (DEep Local Feature). The new feature is based on convolutional neural networks, which are trained only with image-level annotations on a landmark image dataset. To identify semantically useful local features for image retrieval, we also propose an attention mechanism for keypoint selection, which shares most network layers with the descriptor. This framework can be used for image retrieval as a drop-in replacement for other keypoint detectors and descriptors, enabling more accurate feature matching and geometric verification. Our system produces reliable confidence scores to reject false positives—in particular, it is robust against queries that have no correct match in the database. To evaluate the proposed descriptor, we introduce a new large-scale dataset, referred to as Google-Landmarks dataset, which involves challenges in both database and query such as background clutter, partial occlusion, multiple landmarks, objects in variable scales, etc. We show that DELF outperforms the state-of-the-art global and local descriptors in the large-scale setting by significant margins.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。