机器学习基础算法 6＆7

本次主要讨论从线性系统逐渐过渡到人工神经网络。其中涉及到诸多梯度下降等更新权值的方法。线性系统其实只是一个小的神经网络单元，如果把它们组合起来，就最后变成了一个整个的BP神经网络。当然，神经网络是一个非线性系统，因此每个神经元都需要一个非线性函数来处理，具体还是得参考课件内容。一个BP神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体而言，其过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。BP神经网络是很“远古”的机器学习方法，却往往有奇效。不过有一个很大的缺点是，如果隐含层过深，其参数量会巨大无比，因而引出之后要介绍的卷积神经网络（CNN）