深度学习理论篇之 ( 十八) -- DenseNet之囊括万千

：科普知识

国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI）是人工智能领域中最主要的学术会议之一，原为单数年召开，自2016年起改为每年召开。有时还会和其他地区性的人工智能会议(‘xxCAI’)一起召开，常为该年举办地的所属的地区性质会议，如PRICAI(环太平洋人工智能会议)，ECAI(欧洲人工智能会议)等。

# 前言

SEP.

上一期文章中我们介绍了深度学习中深层网络代表中的ResNet网络，它以其独特的跳跃链接使得构造更深层次的网络成为了可能。其实，根据标题翻译，其为残差网络，实际上在网络中学习的是残差（网络输出与输入相减即为残差），由此，虽然网络构建很深，但是如果我们的网络在前面几层就可以学习好特征的时候，网络的后几层我们可以称之为恒等映射，即输入就是输出，相当于当前的残差块没有学习东西，它们的权重值可以约等于1。

今天我们继续来介绍另一篇开创性工作--DenseNet，该文章是集ResNet推出之后的又一大作，说是直接对标ResNet也可以，因为该文章作者多少受到了ResNet的启发，下面我们就一起来解开DenseNet的真实面目吧！

DensNet

今天分享文章的标题为：Densely Connected Convolutional Networks，标题翻译过来就是：密集连接的卷积网络，该网络的提出层一度霸榜多个分类任务。该网络与ResNet有相似的地方，都有利用了上一层结构的特征，不同之处在于，ResNet只用到了前一层的输入x，但是DenseNet却用到了前面的所有特征，而且利用的方式却不是求和，而是在通道维度上进行拼接。

论文截图：

论文地址:https://arxiv.org/pdf/1608.06993.pdf

1.网络提出的缘由

对于该文章提出的缘由，我们是首要关注的，其次才是其贡献点。文章在摘要中很简单的这样提了这一句：最近的研究表明，如果卷积神经网络中包含一个输入与输出之间的较短链接的话神经网络可以更深，更准确，更高效。作者很欣然的接受了这一观点，在此基础上提出了DenseNet.

2.网络解决了什么问题

1. 缓解了梯度消失的问题：之前的文章介绍说ResNet网络在一定程度 上 解决了梯度消失的问题，而DenseNet却利用了前面所有的特征，所 以，其在一定程度上也可以缓解梯度消失问题。

2. 加强了特征传播：由于后面的网络层中都包含了前面所有层的特 征，相当于低级特征与高层特征一直共存，因此特征传播得到了加强

3. 鼓励特征重用：正是由于底层特征一直被传到后面的网络层，因此 特征实现了重用机制，没有被丢弃掉。

3.网络结构

由上图可以看到，DenseNet与ResNet类似，都是由基础块构建而成的网络，但他们的基础块是不一样的，Dense Block中每一个节点（层）都包含了前面的所有信息（通过将特征图在通道维度上进行拼接）。DenseNet包含了不同的层数：121，169，201，264.其中用得最广的是121层，为啥其它不常用?老铁们可以猜猜（卡不够？）.

值得注意的一点是，每一个DenseNet后面都有一个过渡层，它的作用十分重要，我们将在后续的实战篇进行讲解，希望大家保持关注哦。

END

结语

本期的分享结束了，DenseNet以其特征复用的操作使得网络可以更深，更高效，同时比之前的效果更好，可以说善于总结和发现往往是成功的基石，但是如今做任务的时候，我们大多数还是首先考虑ResNet网络，大家猜猜是为啥呢，我们下期实战接着聊。

编辑：玥怡居士|审核：小圈圈居士