机器学习必刷题-手撕推导篇(2)：BP算法推导

本专题对高频机器学习面试题进行了搜集、分类和整理，主要包括”手撕推导篇“、“模型比较篇”、“工程经验篇”以及“基础概念篇”等多个子系列，考前刷一刷，面试更好过！

本文是【机器学习必刷题-手撕推导篇】第2篇文章，主要介绍BP反向传播算法原理，纯纯的干货，目的是面试刷题能够快速回忆，算法详细介绍参考文末链接。

本文结构：

1.BP思想简要

2.变量定义（认真看，否则后面推导看不懂）

3.BP公式及推导（仅4个公式）

4.BP算法伪代码

往期回顾：

• 手撕推导篇(1)-手撕LR与k-means

推导一下BP反向传播算法（4个公式）

1. 主要思想：

由于前馈神经网络(ANN)的输出与实际值有误差，需要将该误差从后向前反向传播，直至传播到输入层。在反向传播的过程中，根据各级结点的误差调整各种参数的值，不断迭代上述过程，直至收敛。

2. 变量定义(重要)

上图是一个三层神经网络，layer1至layer3分别是输入层、隐藏层和输出层。如图，先定义一些变量（请认真看完并理解，否则后面推导看不懂！）：

3.公式及其推导[点击图片可看原图]

4.伪代码

更多参考：

• 反向传播四公式：https://blog.csdn.net/LucyGill/article/details/64920840