Day032 Training Neural Networks（1）

Training Neural Networks - Part 1

关于训练神经网络需要设置的参数和动态调节的地方

Activation Functions

它的梯度总是全正或全负，因此我们需要0均值的输入，这样梯度有正有负，不会全都向一个方向移动。

tanh稍微比sigmoid好一点，但还是有问题

有人觉得这样设置bias有用，有人觉得没用，但是实际中人们还是通常将bias初始化为0.

我们不定义α，把它当做一个参数，可以通过反向传播学习得到。这样更灵活。

总结：

Data Preprocessing

在处理图片数据时，会进行0中心化，但是不会进行normalization，因为每个位置已经有相对的可比较的scale和distribution。我们不希望将图片的像素降维到一个低维度空间，用新的feature表示。而是直接使用CNN在原图上处理，保留空间信息。

Q1: 我们在training的时候使用这些预处理，在testing的时候也需要吗？A1: 需要。

Q2: what is the mean taken over？A2: the mean is taking over all of your training images. And compute the mean of all of those.