简单二层神经网络介绍

假设有两个节点的两层的神经网络，只包含一个隐藏层和输出层，其参数如下：   g[1]和个g[2]分别是两层的转换函数；

梯度下降

则其输入和损失函数如下：

其梯度下降的过程类似于逻辑回归如下：

向前传播

神经网络向前传播的过程如下，由第一个节点开始计算，直至计算出到最后一层：

向后传播

神经网络向后传播的过程如下，由最后一个节点开始计算偏导数，直至计算到第一个节点：

向后转播的关键是计算出第一个公式dz[2]，其推导过程如下：