笔记|李宏毅老师机器学习课程，视频12反向传播算法

《学习笔记》专栏·第12篇

文 | MLer

721字 | 2分钟阅读

感谢李宏毅老师的分享，他的课程帮助我更好地学习、理解和应用机器学习。李老师的网站：http://speech.ee.ntu.edu.tw/~tlkagk/index.html。这个学习笔记是根据李老师2017年秋季机器学习课程的视频和讲义做的记录和总结。

这门课，共有36个视频，每个视频播放的时间不一。我按着视频播放的顺序，观看，聆听和学习，并结合讲义，做学习笔记。我做学习笔记目的有三：

1 帮助自己学习和理解机器学习

2 记录机器学习的重要知识、方法、原理和思想

3 为传播机器学习做点事情

视频12：反向传播算法

一、反向传播

深度学习，使用梯度下降算法寻找最佳参数时，如何来实现呢？

需要用到反向传播算法

1 回顾下梯度下降算法

如下图：

深度学习，它有成千上万的参数，如何高效地计算这些参数的梯度？引出了反向传播算法（一种有效率的计算方法）。

2 回顾多元微积分的链式法则

如下图

3 理解反向传播算法

李老师，从简单入手，深入浅出地讲解了反向传播算法，算法的整个架构、前向传播和反向传播逻辑，如下图所示：

4 总结

思考题：

1 反向传播算法为什么具有高效性？

2 反向传播算法如何执行？

课程视频点击 http://47.112.229.252:8082/files/5a2aeeae-f219-4b4b-9da4-307b42f8733f/ML%20Lecture%207_%20Backpropagation.mp4