此处,
表示某个位置的输出值,
表示被卷积的输入,有
形状(对应于上图的黄色部分),
表示卷积核的大小,
表示输入的通道.令
,则
的大小表示一个输出值是由多少个输入值计算出来的(求方差的时候用到...有
形状,
表示的输出通道的数量.下标
表示第几层.
,
表示激活函数ReLU, 表示前一层的输出经过激活函数变成下一层的输入.
表示网络下一层的输入通道数等于上一层的输出通道数....则
, 进一步可以得到
现在通过公式(2),
,其中
的均值是0, 则
,那么(10)式可进一步推导为
将(11)式带入(7)式则为
然后从第一层一直往前进行前向传播, 可以得到某层的方差为...与正常的反向传播推导不一样, 这里假设
表示
个通道,每个通道
大小,
,与正向传播的时候一样,
有
个通道,
有
个通道.
的大小为
,所以
的形状为
....公式(17)表示对于一个
的取值, 有一半概率对应ReLU导数为0,一般对应为1. 根据(2)式又得
(19)式也可以通过(10)式用类似的方法求出.