U-Net 和 ResNet：长短跳跃连接的重要性（生物医学图像分割）

本文为 AI 研习社编译的技术博客，原标题 ： Review: U-Net+ResNet — The Importance of Long & Short Skip Connections (Biomedical Image Segmentation) 作者 | SH Tsang 翻译 | 斯蒂芬二狗子 校对 | 酱番梨 审核 | 约翰逊·李加薪 整理 | 立鱼王 原文链接： https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43

这次，我们来聊一聊用于生物医学图像分割的的一种全卷积神经网络，这个网络带有长短跳跃连接。

上次，我已经回顾了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)（这是2018年的TCSVT论文，如果有兴趣，请访问我的评论。）在RoR中，通过使用长短跳跃连接，图像分类准确性得到提高。实验结果证明了使用长短跳跃连接的有效性。

这一次，作者还提供了一种通过分析网络中的权重来展示其有效性的方法，而不仅仅是展示实验结果。

尽管这项工作的目的是进行生物医学图像分割，但通过观察网络内的权重，我们可以更好地理解长短跳跃连接。它发布于2016年DLMIA（医学图像分析中的深度学习），引用次数超过100次。 （SH Tsang @ Medium）

电子显微镜（Electron Microscopy，EM）图像分割

文章概要

1. ResNet中的Skip连接，跳跃连接
2. 长和短的跳跃连接
3. 损失函数
4. 结论
5. 权重分析

1.ResNet中的跳跃连接

ResNet 建立的模块

• 在ResNet中，使用连续的ResNet网络构建模块。
• 仅使用短跳跃连接。并且没有长连接。

2.长和短的跳跃连接

（a）具有长跳跃连接 的ResNet，（b）Bottleneck块，（c）Basic块，（d）Simple块。 （蓝色：可选下采样，黄色：可选上采样）

（a）具有长跳跃连接的残差网络

• 下采样（蓝色）：这是一个收缩路径。
• 上采样（黄色）：这是一个不断扩展的路径。
• 这是一种类似U-Net的FCN架构。
• 从收缩路径到扩展路径有很长的跳跃连接。

(b) Bottleneck Block

1. 用1x1Conv-3x3Conv-1x1Conv这样的结构，因此它被称为瓶颈。它已经在ResNet中使用。
2. 在每个Conv之前使用BN-ReLU，这是来自Pre-ResNet的idea。

(c) Basic Block

• 两个3x3Conv，同样ResNet使用过

(d) Simple Block

• 一个3x3Conv

(b)-(d)

• 所有块都包含短跳跃连接。

详细的模型架构说明

3.损失函数

考虑了2种损失函数

3.1. 二元交叉式损失函数

• 标准的交叉熵损失函数

3.2. Dice Loss

• Dice Loss是生物医学图像分割的另一种常见损失函数。

4.结果

4.1数据集

• 训练集：30个电子显微镜（EM）图像，大小为512×512。 25个图像用于训练，留5个图像进行验证。
• 测试集：另外30张图片。
• 图像是全分辨率输入到网络。
• 没有后处理步骤。

4.2 长和短的跳跃连接

随着epoches的损失/准确性：（a）长和短连接，（b）仅短，（c）仅长

最好的损失值

• 如上所述，在上述3种设置中，同时使用长和短连接可以获得最小的损耗或最高的精度。

4.3 与最先进的方法进行比较

ISBI EM分割挑战

(http://brainiac2.mit.edu/isbi_challenge/)

• 在ISBI EM分段挑战中，Vrand和Vinfo值用于排名评估。
• 前景限制Rand评分值：它是Rand分割分数得分和Rand合并得分的加权和的均值。分割和合并分数可以被解释为精度，并且在像素对的分类中被看为属于相同的分割（正类）或不同的分割（负类）。
• 信息论评分Vinfo：信息论分割得分和信息理论合并得分的加权和的均值。它是互信息（MI）的衡量标准，可作为Rand评分的替代方案。
• 两个指标的细节:https://www.frontiersin.org/articles/10.3389/fnana.2015.00142/full
• 所提出的方法（表格底部）与CUMedVision和U-Net相当。虽然它有点逊色，但提出的方法不使用任何后处理步骤，这是一种端到端的学习解决方案。

5：权重分析

（a）长短跳跃连接，（b）只有9次重复简单块的长连接，（c）只有3次重复简单块的长连接，（d）只有7次重复简单块的长连接没有BN。

• 蓝色： 小权重值
• 红色: 大权重值

（a）长/短跳跃连接

• 当存在长跳过连接和短跳过连接时，参数更新似乎分布均匀。

（b）只有9次重复简单块的长连接

• 当删除短连接时，网络的深层部分几乎没有更新。
• 当保留长连接时，至少可以更新模型的浅层部分。

（c）只有3次重复简单块的长连接

• 当模型足够浅，可以很好地更新所有图层。

（d）只有7次重复简单块的长连接没有BN

• 没有批量规范化BN的网络对网络中心的更新减少了。

在关于权重分析进行总结，由于梯度消失问题（通过短跳过连接减轻），更靠近模型中心的层不能有效地更新。

参考

[2016] [DLMIA] The Importance of Skip Connections in Biomedical Image Segmentatio