Nesterov

hotarugali

发布于 2022-03-10 14:50:51

2010

发布于 2022-03-10 14:50:51

文章被收录于专栏：hotarugaliの技术分享

1. 简介

Nesterov 加速梯度算法是一种对 Momentum 动量法的改进。

2. 原理

第 t 次迭代时：

\begin{array}{c} \hat{\boldsymbol{W}}_t = \boldsymbol{W}_{t-1} + \alpha \Delta \boldsymbol{W}_{t-1} \\ \boldsymbol{W}_t = \hat{\boldsymbol{W}_{t}} - \eta \frac{\partial L}{\partial \hat{\boldsymbol{W}}_t} \end{array}

其中，\boldsymbol{W} 为需要更新的参数，L 为损失函数，\frac{\partial L}{\partial \hat{\boldsymbol{W}}} 为 L 关于 \hat{\boldsymbol{W}} 的梯度，\eta 为学习率，\alpha 为动量因子，通常设为 0.9 。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020-10-02，如有侵权请联系 cloudcommunity@tencent.com 删除

函数

算法

原理

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

函数

算法

原理

登录后参与评论

0 条评论

热度

Nesterov

Nesterov

1. 简介

2. 原理

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐