FDDWNET:模型参数仅为0.8M，速度和准确率综合性能在轻量级分割网络中达到SOTA

论文链接：https://arxiv.org/pdf/1911.00632v1.pdf

一、主要思想

本文介绍了一种用于实时精确语义分割的轻量级卷积神经网络FDDWNet。相对于近年来轻量级网络更倾向于采用浅层结构的发展，FDDWNet在保持较快的推理速度和较高的分割精度的同时，努力设计更深层的网络结构。网络使用深度因式膨胀可分离卷积（FDDWC）来学习不同尺度感受野的特征表示，模型参数较少。此外，FDDWNet有多个skip的连接分支，用于从中间卷积层收集上下文线索。实验表明，FDDWNet的模型尺寸仅为0.8M，在1024×512输入图像的单台GTX 2080Ti GPU上实现了60fps的运行速度。综合实验表明，论文提出的模型在Cityscapes和CamVid数据集上，速度和精度权衡方面达到了SOTA。

现有构建轻量级分割网络的方式主要可以分为三类：

（1） 基于网络压缩的方法通过剪枝技术去除预训练模型的冗余以提高效率。

（2） 基于低比特的方法使用量化技术来提高效率，其中学习的模型权重由少量比特表示，而不是由高精度浮点表示。与基于压缩的方法不同，这些模型通常不会改变网络结构，但往往以分割性能差为代价。

（3）直接设计轻量级的网络架构（深度可分离卷积）以提高效率，其中卷积因子分解通常用于减小模型大小。

二、创新点

1、先前的一些语义分割网络经常消耗大量资源，这不适合内存有限并且限制和降低了计算能力的边缘设备（如手机、机器人和无人机）。

2、FDDWNet结构可以达到很深，表示能力增强，分割精度提升。

3、EERM单元利用识别映射和FDDWC，在保持小模型尺寸的情况下，无梯度消失和爆炸，促进模型训练。此外，EERM的所有操作都是可微的，这表明整个FDDWNet可以端到端地训练。

4、实验表明，FDDWNet的性能在速度和准确性之间优于现有最轻的网络。FDDWNet参数本身只占用0.8M，在单个GTX 2080Ti GPU上达到60 FPS的运行速度。FDDWNet在不使用任何其他后处理的情况下，在CityScapes和CamVid数据集上分别实现了71.5%和66.9%的mIoU性能。

三、模型结构

FDDWNet的整体结构如下所示：

其中EERM结构如下图（e）所示：

针对FDDWC：

1、对输入feature map使用空洞卷积下的深度可分离卷积，执行两个独立的一维卷积运算（1xn和nx1）

2、紧接着1x1的逐点卷积

其实思路还是比较简单的，但是却降低了参数，这样就允许参数一定的情况下，可以尽量的加深网络。

四、实验结果

轻量级分割网络准确率、参数和速度对比：

CityScapes数据集上的性能对比：

实际分割效果：

上述内容，如有侵犯版权，请联系作者，会自行删文。