目录
博客:blog.shinelee.me | 博客园 | CSDN
写在前面 deconvolution in segmentation
开篇先上图,图为deconvolution 在像素级语义分割中的一种应用,直观感觉deconvolution是一个upsampling的过程,像是convolution的对称过程。
本文将深入deconvolution的细节,并通过如下方式展开:
先回答 什么是deconvolution ?为什么会有transposed convolutionon 、subpixel or fractional convolution 这样的名字? 再介绍 各种情形下 transposed convolution 是如何进行的,并提供一种统一的计算方法 。 什么是deconvolution 首先要明确的是,deconvolution并不是个好名字 ,因为它存在歧义:
deconvolution 最初被定义为“inverse of convolution”或者“inverse filter”或者“解卷积”,是指消除先前滤波作用的方法 。比如,我们认为原始图像是清晰的,但是通过透镜观测到的图像却变得模糊,如果假设透镜的作用相当于以某个kernel作用在原始图像上,由此导致图像变得模糊,那么根据模糊的图像估计这个kernel或者根据模糊图像恢复原始清晰图像的过程就叫deconvolution 。后来论文Adaptive Deconvolutional Networks for Mid and High Level Feature Learning 和Visualizing and Understanding Convolutional Networks 又重新定义了deconvolution ,实际上与transposed convolution、sub-pixel or fractional convolution指代相同。transposed convolution 是一个更好的名字,sub-pixel or fractional convolution可以看成是transposed convolution的一个特例。对一个常规的卷积层而言,前向传播时是convolution,将input feature map映射为output feature map,反向传播时则是transposed convolution,根据output feature map的梯度计算出input feature map的梯度,梯度图的尺寸与feature map的尺寸相同。 本文谈论的是deconvolution的第2个含义,后面统一使用transposed convolution 这个名字。
什么是transposed convolution?A guide to convolution arithmetic for deep learning 中有这样一段话:
看完好像仍不是很直观,transposed convolution到底对应的是什么操作?等到文章的后面,这个问题的答案会逐渐清晰起来。
下面先以1个例子来对比convolution过程和transposed convolution过程,采用与A guide to convolution arithmetic for deep learning 相同的设置:
可以看到,convolution过程zero padding的数量与超参数(p)一致,但是transposed convolution实际的zero padding的数量为2,为什么会这样?是为了保持连接方式相同 ,下面具体看一下。
convolution过程 先看convolution过程,连接方式 如下图所示,绿色表示输出,蓝色表示输入,每个绿色块具与9个蓝色块连接。
\left(\begin{array}{cccccccccccccccc}{w_{0,0}} & {w_{0,1}} & {w_{0,2}} & {0} & {w_{1,0}} & {w_{1,1}} & {w_{1,2}} & {0} & {w_{2,0}} & {w_{2,1}} & {w_{2,2}} & {0} & {0} & {0} & {0} & {0} \\
{0} & {w_{0,0}} & {w_{0,1}} & {w_{0,2}} & {0} & {w_{1,0}} & {w_{1,1}} & {w_{1,2}} & {0} & {w_{2,0}} & {w_{2,1}} & {w_{2,2}} & {0} & {0} & {0} & {0} \\
{0} & {0} & {0} & {0} & {w_{0,0}} & {w_{0,1}} & {w_{0,2}} & {0} & {w_{1,0}} & {w_{1,1}} & {w_{1,2}} & {0} & {w_{2,0}} & {w_{2,1}} & {w_{2,2}} & {0} \\
{0} & {0} & {0} & {0} & {0} & {w_{0,0}} & {w_{0,1}} & {w_{0,2}} & {0} & {w_{1,0}} & {w_{1,1}} & {w_{1,2}} & {0} & {w_{2,0}} & {w_{2,1}} & {w_{2,2}}\end{array}\right)
需要注意的是 ,transposed convolution的kernel与onvolution的kernel可以有关,也可以无关,需要看应用在什么场景,
在特征可视化 、训练阶段的反向传播 中应用的transposed convolution,并不是作为一个真正的layer存在于网络中 ,其kernel与convolution共享(但要经过中心对称后再卷积,相当于上面的CT。 在图像分割 、生成模型 、decoder 中使用的transposed convolution,是网络中真实的layer ,其kernel经初始化后需要通过学习获得(所以卷积核也就无所谓中心对称不对称了)。 前向传播为convolution/transposed convolution,则反向传播为transposed convolution/convolution。 在上面举的简化的例子中,我们可以通过分析得知transposed convolution该如何进行,但是,对于更一般情况应该怎么做?
transposed convolution的计算 对于一般情况,只需把握一个宗旨:transposed convolution将output size恢复为input size且保持连接方式相同 。
至此,再看transposed convolution的各种情况,就很容易推算了,更多例子可参见A guide to convolution arithmetic for deep learning 。
参考