论文标题:《Object Detection for Aerial Images With Feature Enhancement and Soft Label Assignment》
论文发表:2022 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 论文链接:https://ieeexplore.ieee.org/document/9780146
@article{yu2022object,
title={Object Detection for Aerial Images with Feature Enhancement and Soft Label Assignment},
author={Yu, Ying and Yang, Xi and Li, Jie and Gao, Xinbo},
journal={IEEE Transactions on Geoscience and Remote Sensing},
year={2022},
publisher={IEEE}
}
Name | Value |
---|---|
标签 | #遥感 #特征增强 #标签分配 #旋转目标检测 |
数据集 | DOTA1.0;DOTA1.5;HRSC2016;UCAS-AOD; |
目的 | 解决遥感图像中旋转特征不对齐以及正负样本不平衡的问题 |
方法 | 提出旋转特征精炼,类感知上下文聚合以及软标签分配策略 |
作者提到,航拍图像目标检测任务存在目标方向任意以及前景与背景极不平衡的问题。并且提到Anchor-Based方法受超参数影响较大。因此作者的工作主要基于Anchor-Free模型实现。
(1)目标方向任意 由于航拍图像的鸟瞰视角,目标具有任意方向的性质。因此,通过标准2D卷积的水平感受野所获得特征并不能准确描述旋转目标的特征。下图可见,水平感受野和OBB不能很好的对齐。
(2)正负样本 作者发现不同空间位置的正样本展现出不一致的检测能力。下图可见,在不同位置检测出的OBB在IoU和Cls Score得到的结果差距很大。
并且作者发现遥感图像中前景和背景不平衡问题极其突出,导致模型不能学到很强的(strong)、公正的(unbiased)特征。下图可见,遥感图像中的前后景不平衡,导致的FP。
为解决上诉问题,作者提出了FSDet,其包含: (1)旋转特征精炼(oriented feature refinement,OFR),利用几何信息解决特征未对齐问题 (2)类感知上下文聚合(class-aware context aggregation,CCA),提高类内前景特征的分辨能力 (3)软标签分配(soft label assignment,SLA),解决训练过程中不同位置样本得到结果不一致问题
FSDet基于FCOS构建,并加入了其所提出的OFR,CCA以及SLA模块。
目标框表示方法为d=(l,t,r,b,\theta),如下图所示:
损失函数如下:
其中分类损失为focal loss,回归损失包括HBB损失(使用的GIoU loss)以及角度损失:
OFR:利用旋转目标框的空间几何信息,学习更有效的特征表示。 OFR包括辅助回归分支和框特征注意机制。
首先特征图F输入到辅助分类分支得到粗糙的分类结果\hat{c}={p_{i,k}|k=1,…,C},然后输入到一个门函数(gating function)来抑制负样本和低质量正样本,如下图:其中t是预设阈值,A是放大系数,默认20。然后得到新的分类结果\hat{p} _ {i,k},使用它来聚合每一层上此类的特征:之后使用 v_{k} 表示获取了更多类内语义信息的特征。同时为了计算每个位置的上下文特征,挖掘分类和位置的联系,使用每个位置i的特征f_{i}和类别c^{\ast}以及聚合特征v _ {cls},计算两者的相似性:并且希望f_{i}和其他类的相似性低于f_{i}和c^{\ast}。在计算特征的相似性后,得到类感知上下文特征z_i。并且作者验证了CCA模块的有效性:
由于高质量样本能够产生比低质量样本更准确预测的结果,SLA对每个样本的损失分配了一个软权重,使模型更关注高质量样本点。样本的质量Q_{i,n}定义为:其中p_{i,c^{(n)}}代表样本i属于第n个Box的类别的概率,IoU(\hat{B} _ i,B_n)代表预测OBB\hat{B} _ i和真值OBBB_n之间的IoU值。超参\alpha\in[0,1]用于控制分类和回归之间的权重。x表示坐标(x,y),G_{n}(x)代表高斯分布:其中\mu和\sum代表均值和高斯分布的协方差矩阵。其中R代表旋转矩阵,\Lambda代表特征值的对角矩阵。特征值\lambda_{1}和\lambda_{2}分别是椭圆半轴的平方,将OBB内切椭圆外的位置的G_{n}(x)值设为0。高斯分布将高值分配给靠近物体中心的位置,而低值分配给远离中心的位置。根据样本的质量Q_{i,n},可得正样本权重:负样本权重:加权后的损失:辅助分支的损失:总损失:
(1)消融实验:
(2)不同层的正样本权重可视化:
(3)其他实验
(4)对比试验