怎么样去处理样本不平衡问题 | （文后分享大量检测+分割框架）

背景

2020 Happy New Year

《Residual Objectness for Imbalance Reduction》。样本不平衡问题感觉近期研究的论文相对较多，如：2019 AAAI GHM，2019 CVPR AP-loss， 还有2019 DR loss， 2019 IoU-balanced loss，two-stage中也有Libra RCNN，都是关注样本不平衡的问题。该论文给出了一种可行的方案，即采用学习的方法来处理样本不平衡问题。

论文地址：https://arxiv.org/abs/1908.09075

动机

之前所有处理样本不平衡问题的论文都是采用reweight或者采样的方法，并且都是基于手工调优的，例如RetinaNet需要设置FL的参数，GHM则要设置bins的数目和momentum的大小。该论文则提出了一种基于学习的方法来处理样本不平衡问题，不仅性能更好，而且能自适应不同的数据集。

模型框架

RetinaNet-Obj

作者首先引入了另一种不同于Focal Loss处理样本不平衡问题的方法，即借鉴YOLO的方法，在head部分同时引入Objectness subnet的分支，在推理的时候采用如下公式：

通过公式推导，该方法最后和FL loss的效果基本是等价的，在实验结果中基本也是相同的。

Residual Objectness

分析RetinaNet-Obj中Obj分支同样存在样本不平衡的问题，自然地想到继续采用另一个obj来处理第一个Obj的样本不平衡问题。在这里，作者引入了res-obj结构：

通过residual来修正原有的obj分数，公式如下：

注意此处其实只针对大于一定分数的obj来做（分数为正例中分数的最小值），这样就能够提高正例的分数，相当于给正例加了权重，从而解决obj中正负样本不平衡问题。具体算法如下：

实验结果

从最终结果来看，该方法迁移到不同方法上均有性能提升，在RetinaNet中有1个点的提升，和GHM相当；在YOLOV3和Faster RCNN中也有1个点的提升。如下：

检测+分割

目标检测

1. 生成正边界框以平衡目标检测器的训练 《Generating Positive Bounding Boxes for Balanced Training of Object Detectors》WACV2020 作者团队：中东科技大学
2. 优于BN/GN/LN和IN！谷歌提出新的归一化方法：FRN 《Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks》 作者团队：Google Research
3. 目标检测中主动学习的自适应监督框架 BMVC 2019 Date：2019 Author：印度理工学院&东京大学---An Adaptive Supervision Framework for Active Learning in Object Detection》
4. 用于目标检测的轻量级RetinaNet Date：20190527 Author：亚利桑那州立大学 --- 《Light-Weight RetinaNet for Object Detection》
5. SkyNet：低功耗目标检测的冠军模型（DAC-SDC 挑战赛） 注：SkyNet超越 Tiny YOLO，YOLOv2，SSD，MobileNet等组合算法，实时运行在TX2（GPU）+ Ultra96（FPGA）上 Date：2019 Author：IBM & Inspirit IoT --- 《SkyNet: A Champion Model for DAC-SDC on Low Power Object Detection》
6. #显著性目标检测# Contour Loss：用于显著性目标检测的边界感知学习 注：专门用于显著性目标检测的损失函数 Date：2019 Author：中山大学 ---《Contour Loss: Boundary-Aware Learning for Salient Object Segmentation》
7. #3D目标检测# SS3D：使用IoU Loss的单目3D目标检测 Date：2019 Author：查尔姆斯理工大学 & Zenuity AB ---《Monocular 3D Object Detection and Box Fitting Trained End-to-End Using Intersection-over-Union Loss》
8. #视频目标检测# STCA：具有时空上下文聚合的视频目标检测 注：STCA超越MANet、STSN等视频目标检测算法，但不明白为什么只在ImageNet VID数据集上进行比较呢？Date：2019 Author：华中科技大学&地平线 ---《Object Detection in Video with Spatial-temporal Context Aggregation》
9. #基于深度学习的目标检测最新进展（2013-2019）# 注：这才是目标检测综述！40页，256篇参考文献，从2013 OverFeat到2019 NAS-FPN/CenterNet/DetNAS，涵盖检测机制、学习策略和应用方向等内容。还给出VOC/COCO数据集下的算法全面对比 Date：2019 Author：新加坡管理大学等 ---《Recent Advances in Deep Learning for Object Detection》
10. #目标检测# 检测11000类目标：没有细粒度边界框的大规模目标检测 《Detecting 11K Classes: Large Scale Object Detection without Fine-Grained Bounding Boxes》ICCV2019 Date：2019 Author：亚马逊
11. #(已开源)目标检测# NDFT：研究无人机图像的目标检测：深度 Nuisance Disentanglement 《Delving into Robust Object Detection from Unmanned Aerial Vehicles: A Deep Nuisance Disentanglement Approach》ICCV2019 Date：2019 Author：德克萨斯A&M大学 & 美国陆军研究实验室
12. #3D目标检测# Fast Point R-CNN 注：在 KITTI 上 mAP SOTA，速度可达 15 FPS ！Date：2019 Author：港中文&腾讯优图 ---《Fast Point R-CNN》
13. C-RPN：通过RPN的级联结构改进目标检测 《C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks》 注：解决样本不均衡问题/hard example mining Date：2019 Author：北京大学&鹏城实验室
14. 交通标志检测系统的深度神经网络评估 《Evaluation of deep neural networks for traffic sign detection systems 》 注：本文比较各目标检测算法在交通标志检测和识别任务中的综合性能。一共比较了8种模型(Faster R-CNN, R-FCN, SSD和 YOLO V2))，用5项指标（mAP/FPS/参数/内存/FLOPS）进行评价 Date：2019 Author：塞维利亚大学等
15. 面向高分辨率的显著性目标检测 ICCV2019 注：开源一个高分辨率显著性目标检测数据集：HRSOD Date：2019 Author：大连理工大学&Adobe---《Towards High-Resolution Salient Object Detection》
16. #3D目标检测# CBGS：类均衡的分组和采样，用于点云三维物体检测的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date：2019 Author：旷视&中科院&清华
17. 通过特征重新加权进行Few-shot目标检测 《Few-shot Object Detection via Feature Reweighting》ICCV2019 Date：2019 Author：新加坡国立大学&加州大学伯克利分校
18. SCRDet：检测小型和旋转的物体 《SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects》ICCV2019 注：在DOTA数据集上，性能优于RRPN和R2CNN等算法 Date：2019 Author：中科院&国科大&上交
19. #3D目标检测# CBGS：类均衡的分组和采样，用于点云三维物体检测的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date：2019 Author：旷视&中科院&清华
20. #视频目标检测# RDN：关系蒸馏网络，用于视频目标检测 《Relation Distillation Networks for Video Object Detection》ICCV2019 注：RDN 在 VID数据集上，81.8% and 83.2% mAP with ResNet-101 and ResNeXt-101 Date：2019 Author：中科大&京东 AI 研究院
21. #FisheyeMODNet#：用于自主驾驶的环视摄像机上的运动物体检测 《FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving》ICCV 2019 Workshop Date：2019 Author：法雷奥等
22. #3D目标检测# StarNet：点云中目标检测的目标计算 《StarNet: Targeted Computation for Object Detection in Point Clouds》 注：性能优于VoxelNet、SECOND和PointPillars等算法 Date：2019 Author：Google Brain & Waym
23. TTFNet：用于实时目标检测的训练时间友好网络 《Training-Time-Friendly Network for Real-Time Object Detection》 Date：2019 Author：浙江大学&飞步科技
24. FreeAnchor：Anchors 匹配进行目标检测 《FreeAnchor: Learning to Match Anchors for Visual Object Detection》NeurIPS 2019 Date：2019 Author：中国科学院大学&厦门大学&鹏城实验室
25. SSSDET：用于航拍图像中车辆检测的网络 《SSSDET: Simple Short and Shallow Network for Resource Efficient Vehicle Detection in Aerial Scenes》ICIP 2019 Date：2019

语义分割

1. 对语义分割模型的稳健性进行基准测试 Date：2019 Author：海德堡大学 ---《Benchmarking the Robustness of Semantic Segmentation Models》
2. #视频目标分割# RANet：快速视频目标分割的排序注意网络ICCV 2019 注：RANet 性能优于 FAVOS、FEELVOS等算法，速度可达30FPS！在 DAVIS_16 数据集上表现 SOTA。Date：2019 Author：悉尼大学&IIAI&西安交大&南开--- 《RANet: Ranking Attention Network for Fast Video Object Segmentation》
3. #实例分割# InstaBoost：通过概率图引导"复制粘贴"来提升实例分割性能 ICCV 2019 注：不做其他修改的情况下，将R101-Mask R-CNN的35.7 mAP 提升至 37.9 mAP Date：2019 Author：上海交通大学 -- 《InstaBoost: Boosting Instance Segmentation via Probability Map Guided Copy-Pasting》
4. #点云语义分割# 综述：点云语义分割 《A Review of Point Cloud Semantic Segmentation》 Date：2019
5. KSAC：Kernel共享Atrous卷积，用于语义分割 《See More Than Once -- Kernel-Sharing Atrous Convolution for Semantic Segmentation》 注：KSAC相对于ASPP，提高 mIoU的性能更强！Date：2019 Author：悉尼科技大学&华东师范大学
6. CBS：基于类的样式，具有语义分割的实时局部风格转换 《Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation》 Date：2019 Author：不列颠哥伦比亚大学
7. MTN：通过掩模迁移网络实现快速视频对象分割 《Fast Video Object Segmentation via Mask Transfer Network》 注：在DAVIS数据集上，速度高达 37 FPS！性能 SOTA！Date：2019 Author：新加坡国立大学&山东省人工智能学会
8. SPGNet：场景分割的语义预测指南 《SPGNet: Semantic Prediction Guidance for Scene Parsing》 Date：2019 Author：伊利诺伊大学厄巴纳-香槟分校 & IBM研究院等
9. #全景分割# 用于全景分割的模块化方法：生成器评估器 - 选择器网络 《Generator evaluator-selector net: a modular approach for panoptic segmentation》 Date：2019 Author：多伦多大学&哈佛大学
10. Gated-SCNN：用于语义分割的Gated形状CNN 《Gated-SCNN: Gated Shape CNNs for Semantic Segmentation》ICCV2019 注：Amusi 认为Gated-SCNN是目前最强的语义分割算法之一，在Cityscapes数据集上test mIoU 82.8%（not use coarse data），超越DeepLabv3+和AutoDeepLab等算法。Date：2019
11. #3D语义分割# LU-Net：三维LiDAR点云语义分割的高效网络，基于端到端学习的3D特征和U-Net 《LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net》 注：在 KITTI 表现 SOTA！速度可达 24 FPS！Date：2019
12. #视频目标分割# COSNet：使用联合注意孪生网络进行无监督视频对象分割 《See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks》CVPR 2019 Author：IIAI & 上交
13. #实例分割# SSAP：具有Affinity金字塔的Single-Shot实例分割 《SSAP: Single-Shot Instance Segmentation With Affinity Pyramid》 ICCV2019 Date：2019 Author：中科院&国科大&地平线等
14. #3D语义分割# PASS3D：3D点云的精确和加速语义分割 《PASS3D: Precise and Accelerated Semantic Segmentation for 3D Point Cloud》IROS-2019 Date：2019 Author：浙江大学
15. #NAS# #语义分割# GAS：图引导架构搜索的实时语义分割 《Graph-guided Architecture Search for Real-time Semantic Segmentation》 注：性能优于BiSeNet、ICNet等实时语义分割算法，73.3% mIoU with speed of 102 FPS on Titan Xp Author：商汤&浙大
16. #医学图像分割# SegNAS3D：3D图像分割的网络架构搜索 《SegNAS3D: Network Architecture Search with Derivative-Free Global Optimization for 3D Image Segmentation》MICCAI 2019 Author：IBM Research
17. DGCNet：用于语义分割的双图卷积网络 《Dual Graph Convolutional Network for Semantic Segmentation》BMVC 2019 注：在 Cityscapes和Pascal Context上，表现 SOTA！Author：牛津大学&北京大学&DeepMotion
18. 用于实时语义分割的特征金字塔编码网络 《Feature Pyramid Encoding Network for Real-time Semantic Segmentation》BMVC 2019 注：68.0% mIoU，0.4M，102 FPS（TITANV） Author：曼彻斯特大学
19. DS-PASS：通过SwaftNet进行细节敏感的全景语义分割，以用于周围感知 《DS-PASS: Detail-Sensitive Panoramic Annular Semantic Segmentation through SwaftNet for Surrounding Sensing》 Author：浙大&卡尔斯鲁厄理工学院
20. MinneApple：用于苹果检测和分割的基准数据集 《MinneApple: A Benchmark Dataset for Apple Detection and Segmentation》 注：数据集和代码已经开源！Author：明尼苏达大学
21. OCR：用于语义分割的目标上下文表示 《Object-Contextual Representations for Semantic Segmentation》 注：在Cityscapes, ADE20K, PASCAL-Context上表现SOTA！其中在Cityscapes test上可达83.0，排名第二！Author：MSRA&中科院&国科大
22. #医学图像分割# RAUNet：用于白内障手术器械语义分割的残差注意力U-Net 《RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical Instruments》ICONIP2019 Author：国科大&中科院等
23. 点云语义分割的分层点-边交互网络 《Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation》ICCV 2019 注：性能优于PointNet++和PointConv等算法 Author：港中文&腾讯优图
24. #语义分割# ACFNet：用于语义分割的注意类特征网络 《ACFNet: Attentional Class Feature Network for Semantic Segmentation》ICCV 2019 注：在Cityscapes数据集上 81.85% mIoU，优于DenseASPP、PSANet等算法 Author：中科院&国科大&百度