梯度下降 随机梯度下降 算法是_神经网络算法

大家好，又见面了，我是你们的朋友全栈君。

一、一维梯度下降

算法思想：

我们要找到一个函数的谷底，可以通过不断求导，不断逼近，找到一个函数求导后为0，我们就引入了一个概念

学习率（也可以叫作步长），因为是不断逼近某个x，所以学习率过大会导致超过最优解，而学习率过小，会导致收敛速度过慢。

二、多维梯度下降

算法思想：

和一维梯度下降算法思想类似，只是导数由原来的一维变成现在的多维，算法思想本质没有变化，在计算导数的过程发生了变化，主要就是高数中的偏导数知识，然后通过一个方向向量，由于我们需要最小值，所以cosθ需要 = -1，所以θ = π 最后我们就推出了上面的式子

η为学习率

三、随机梯度下降算法

算法思想：

算法思想都比较一致，都是为了求极值，随机梯度下降算法是为了解决训练数据集比较大的情况，在数据集较大的情况，学习率会选择比较大，为了求出梯度，我们在每次迭代的时候通过随机均匀采样计算出梯度，求其平均值，就是最后的梯度

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/197871.html原文链接：https://javaforall.cn