深度学习＆目标跟踪

相关阅读

引用格式

葛宝义，左宪章，胡永江. 视觉目标跟踪方法研究综述[J]. 中国图象图形学报, 2018, 23(8): 1091-1107.

DOI:10.11834/jig.170604

随着卷积神经网络框架在目标分割、识别领域的广泛应用，卷积神经网络得到迅速发展。尤其是近年来计算机技术的不断发展，为CNN(convolutional neural network)网络框架提供了良好的实现基础，CNN网络得到极大的发展，应用也越来越广泛。

将深度学习方法运用到目标跟踪领域中来，对于提高目标跟踪的精度与鲁棒性具有重要意义。目前深度学习在目标跟踪领域的应用可分为2类，一类是结合相关滤波方法，以深度学习作为特征提取方式，以相关滤波作为跟踪框架的目标跟踪方式；另一类则是完全基于神经网络框架的目标跟踪方法。

1 神经网络特征提取

CNN网络由于其具有极高的目标特征提取与表达能力，因此将CNN框架运用到目标跟踪领域中提取目标特征，对提高目标跟踪精度和鲁棒性具有重要意义。

图1 分层卷积特征

文献[

6

]利用在红外数据集上训练的CNN神经网络，并结合HOG和Gist特征[7]获得较为鲁棒红外目标特征，然后利用相关滤波跟踪方法进行目标跟踪。

2 深度目标跟踪

深度学习方法在目标识别领域的应用越来越广泛，将深度学习网络框架应用到目标跟踪中来，结合神经网络框架的优势，对目标跟踪将是极大的提升。文献[8]首次将深度学习框架运用到目标跟踪领域中，通过构建栈式降噪自编码器(SDAE)训练获得目标特征通用提取框架，目标跟踪时通过目标图像对网络进行微调，然后分类得到目标位置来完成跟踪过程。首次提出线下网络训练，线上微调的跟踪策略，减少了网络框架对目标样本数的需求，提高了跟踪性能。

CNN网络在目标分类中的性能在近些年取得极大的提升，将CNN网络运用到目标跟踪中来，是对目标识别优秀框架的拓展与应用[9-10]。但目标跟踪不同于目标检测和识别，目标跟踪中目标样本数较少，训练样本不足，而且跟踪中不需要精细分类模块，因此常采用训练通用目标特征提取框架方式进行目标跟踪。文献[9]首次将CNN网络框架应用到目标跟踪中，通过缩小输入图像大小，精简网络结构来加快跟踪速度。作者首先通过大型数据集训练CNN网络框架，然后提取目标不同尺度图像输入网络，输出目标位置概率图，最终确定目标位置，同样采用预训练与在线微调方法相结合方式。

通过线下预训练网络模型，线上微调的方式进行目标跟踪的方式，结合了目标本身的特性，可针对特定目标进行网络调整，但由于在跟踪过程中不断进行网络微调，因此跟踪速度受到限制。文献[12]通过构建新的CNN跟踪框架，首先利用卷积层提取目标与候选目标特征，然后在全连接层用基于回归的方法代替分类器，确定目标位置。该方法直接通过大量离线带标签的视频和图像训练网络模型，同时跟踪过程中固定网络权值，避免在线更新耗时，算法在GPU条件下取得了大于100帧/s的跟踪速度。

文献[13]提出全卷积目标跟踪框架，利用CNN提取到的特征在不同层次对目标定位的作用不同，分别选择高层卷积层用于区分类别间目标同时对于变形和遮挡鲁棒性较强，底层卷积层用于区分干扰目标。首先通过CNN卷积层，在底层和高层两个层根据目标回归模型筛选相关度强的图谱，然后将底层和高层图谱分别送入2个卷积层分别用来判断类间和类内目标类别，生成热度图谱，最后结合热度图谱确定目标位置。为避免噪声影响，固定高层卷积层图谱，在线微调底层卷积层图谱。由于模型复杂，参数较多，跟踪速度比较慢。

图2全卷积孪生网络

文献[17]提出相关滤波网络，用CNN网络提取目标与候选目标特征，然后通过相关滤波方法，在频域中进行计算完成目标跟踪，速度更快，特征分辨力更高。但网络受到边界效应的影响，检测区域有限。

随着神经网络的不断深入研究，目标跟踪的效果也得到极大的提升。但目前基于神经网络的跟踪算法普遍实时性较差，而且需要大量训练数据作为支撑，限制了其在目标跟踪中的应用。因此对其进行相关改进是以后研究的重要方向。

参考文献