R-C3D 视频活动检测的经典算法

原创

CV派

修改于 2019-09-17 02:41:44

1K0

文章被收录于专栏：Paper阅读Paper阅读

主要贡献

1）论文提出了活动检测模型，即R-C3D,这是一种端到端活动检测模型，结合活动建议和分类阶段，可以检测任意长度的活动。

2）通过在建议生成（proposal generation）和网络分类部分之间共享全卷积的C3D特性，实现快速检测速度（比当前方法快5倍）；

3)对三个不同的活动检测数据集进行了大量的评估，证实了该文提出的模型具有普遍适用性。

存在问题

连续视频中的活动检测是一个具有挑战性的问题，不仅需要识别，还需要及时准确地定位活动。当前存在的方法在处理连续视频流的活动检测时，存在以下问题：

1）这些现成的表示可能不适合在不同视频域中进行定位活动，从而导致性能的地下。

2）现有方法依赖外部建议或全面的滑动窗口，导致计算效率地下。

3）滑动窗口无法轻松的预测灵活的活动边界。

基本思想

受目标检测方法FasterR-CNN的启发，论文中提出了一种区域卷积3D网络（RegionConvolutional 3D Network,R-C3D）如上图,该方法先进行3D全卷积网络对视频帧进行编码处理，之后提取活动时序片段（actionproposal segments）,最后在分类子网络（action classificationsubnet）并对结果进行分类和细化。

论文细节

该网络可以用于连续视频流中进行活动检测。其网络结构图如下，由3各部分组成，共享的3D ConvNet特征提取器，时间建议阶段（temporalproposal stage）以及活动分类和细化阶段。

为了实现高效的计算和端到端训练，建议和分类子网共享C3D特征映射。这里的一个关键创新是将Faster R-CNN中的2D RoI pooling扩展到3D RoI pooling,这样做的好处就是，该文的模型能够提取各种分辨率的可变长度建议框的特征。

论文中通过共同优化两个子网的分类和回归任务来训练网络，Softmax损失函数用于分类，平滑L1损失函数用于回归，所以本文的目标函数结合两部分损失函数为：

上式中 $N_{cls}$ 和 $N_{reg}$ 分别代表批量大小和anchor/proposal段的数量, $\lambda$ 为损失权值参数,设置为1， $t_i=\{\delta \hat{c}_i, \delta \hat{l}_i\}$ 表示anchor或proposals的预测相对偏移量， $t_{i}^{*}=\{\delta c_i,\delta l_i\}$ 表示anchor或proposals的ground truth的坐标变换。其变换如下：

实验结果

Experimentson THUMOS'14

Table1是在THUMOS'14上的活动检测结果。在表1中作者在IoU阈值0.1~0.5（表示为a）上对当前存在的方法和R-C3D进行活动检测性能的评估比较。在单向缓冲设置（one-way buffer）的R-C3D,其mAP@0.5为27.0%比当前最先进方法高3.7%。双向缓冲设置（two-waybuffer）的R-C3D的mAP在所有IoU阈值下都有了提高，其中mAP@0.5达到28.9%。

Table2展示了R-C3D与其他方法在数据集THUMOS'14上的每一类的AP(Average Precision)。表中可以看出R-C3D在大多数类别中的AP优于其他方法，在一些活动中甚至超过了20%，比如Basketball Dunk, Cliff Diving等。图(a)显示了在数据集THUMOS'14上的两个视频的定性结果。