在AdamOptimizer中使用动态学习率有意义吗？
在AdamOptimizer中使用动态学习率有意义吗？
提问于 2017-01-03 11:39:40
我正在开发一个基于三个类的图像识别的卷积神经网络。我建立了一个基于AlexNet的模型来训练。我想知道两件事：
- AdamOptimizer在内部执行学习速率衰减(从固定的给定值)还是不执行？
- 如果没有，我可以使用
tf.train.exponential_decay来执行衰变吗？
列举了一些小的例子。谢谢
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-01-03 11:53:54
Stack Overflow用户
发布于 2017-01-03 19:24:58
AdamOptimizer在内部执行学习速率衰减(从固定的给定值)还是不执行？
是的，亚当确实表现出了学习速率的衰退。
您应该看看Adam是如何工作的：
D. Kingma和J. Ba，“亚当:随机优化的方法”，arXiv预印版arXiv:1412.6980,2014年12月。在网上。可用：https://arxiv.org/abs/1412.6980
总结一下:亚当是RMSProp，有动量和偏倚校正。这里有一个很好的解释：http://sebastianruder.com/optimizing-gradient-descent/index.html#adam
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41442687
复制相关文章
相似问题
腾讯云开发者
