卷积神经网络基础
1.1 卷积神经网络基础
CNN 卷积神经网络：包含卷积层的网络
全连接层：由神经元连接而成
卷积层：一个滑动窗口在图像上滑动并计算
计算利用卷积核，将卷积核覆盖到图像上，再将卷积核上面的值与图像层相乘，最后相加得到该区域的值。
不断滑动，得到各个位置的卷积值
特性：1.具有局部感知机制 2.权值共享
对多维的矩阵进行卷积操作：
条件：1.输入特征矩阵深度与卷积核深度保持一致 2. 卷积完输出的特征矩阵（深度）与卷积核个数相同
计算：各个深度的卷积层相同位置处，卷积出来的值相加，最后各个深度卷完成一层了
当然卷积核不唯一，卷完之后拼接在一起
具体计算细节问题：
- 如何带上偏移量计算？ 当前卷积核输出的卷积矩阵，减去偏移量bias
- 加上激活函数该如何计算？ 常用激活函数： sigmoid激活函数 f(x) = \frac{1}{1+e^{-x}}
relu激活函数
f(x) = Max(0,x)
因为计算过程是一个线性过程，如果想要解决非线性问题，就需要引入非线性因素。
3.越界问题：
矩阵经过卷积操作后的尺寸由以下几个因数决定：
<1>输入图片的大小 W x W
<2>Filter大小F x F （卷积核滑动窗口大小）
<3>步长S
<4>padding的像素数 (补零的像素数) P
经过卷积后的矩阵尺寸大小计算公式为：
N = \frac{W-F+2P}{S+1}
池化层：对特征图进行稀疏处理，减少数据运算量
MaxPooling下采样层
AveragePooling下采样层
·只改变特征矩阵的大小，不改变深度
·一般池化核边长和步长相同
1.2 卷积神经网络基础补充
误差的计算
当前该节点的输出为：
out = \sigma(x_1\times w_{11}^{(1)}+x_2\times w_{21}^{(1)}+b_1^{(1)})
w指权重，b为偏置，x1,x2等为上一个神经元的输出，若上一层为输出层就直接输入数据
上标（1）指当前处于哪一层
下表第一个数字是上一层第几个神经元，第二个数字是本层第几个神经元
最后一层的激活函数是softmax
softmax计算过程：
o_i = \frac{e^{y_i}}{\sum_{j}e^{y_j}}
比如上图，
o_1 = \frac{e^{y_1}}{e^{y_1}+e^{y_2}} o_2 = \frac{e^{y_2}}{e^{y_1}+e^{y_2}}
误差计算方法一：交叉熵损失
根据问题种类，有两种：
1.针对多分类问题（softmax输出，所有输出概率和为1，分类之间没有包含关系）
H = -\sum_i o_ i^* \times log(o_i)
2.针对二分类问题 (sigmoid输出，每个输出节点之间互不相干,分类之间有包含关系)
H = -\frac{1}{N}\sum_{i=1}^N[o_i^*\times logo_i+(1-o_i^*)\times log(1-o_i)]
上述公式中，
H（Loss）为损失，o^*_i为真实值标签，o_i为预测值，默认log以e为底是ln
误差的反向传播
最后带入得到：
\frac{\part Loss}{\part w_{11}^{(2)}} = (o_2^*\times o_1-o_1^* \times o_2)\times a_1
根据误差进行权重的更新
w_{11}^{(2)}(new) = w_{11}^{(2)}(old)-learing_{rate}\times \frac{\part Loss}{\part w_{11}^{(2)}}(gradient)
问题：当分批次训练时，批次的损失梯度和整体sample的方向不一样
所以需要优化器：
- SGD优化器： w_{t+1} = w_t-\alpha \times g(w_t) \alpha为学习率，g(w_t)为t时刻对参数w_t的损失梯度
优化器的缺点：
1 容易受样本噪声的影响
2 可能陷入局部最优解
- SGD+Momentum优化器： v_t = \eta \times v_{t-1} + \alpha \times g(w_t) w_{t+1} = w_t - v_t \alpha为学习率，g(w_t)为t时刻对参数w_t的损失梯度，\eta(0.9)为动量系数。
- Adagrad优化器（自适应学习率） s_t = s_{t-1}+g(w_t)^2 w_{t+1} = w_t - \frac {\alpha}{\sqrt{s_t+\epsilon}}*g(w_t)
\alpha 为学习率，g(w_t)为t时刻对参数w_t的损失梯度，\epsilon(10^{-7}为防止分母为0的小数)
缺点：学习率下降太快可能还没收敛就停止训练
腾讯云开发者
