我正在用TensorFlow训练我的深度网络，并尝试使用学习率衰减。据我所知，我应该使用train.exponential_decay函数-它将使用各种参数计算当前训练步骤的正确学习率值。我只需要为它提供一个正在执行的步骤。我怀疑当我需要向网络提供一些东西时，我应该像往常一样使用tf.placeholder(tf.int32)，但似乎我错了。不幸的是，我还没有找到
浏览 2提问于2016-07-11得票数 0
回答已采纳
回想一下，当中的TensorFlow 1中的学习速率是这样的：
如果参数阶梯为真，则global_step /decay_steps是整数除法，衰减学习率遵循阶梯函数。什么时候更好地衰减每一个X数<e
浏览 5提问于2016-06-27得票数 4
1回答
例如，如果我想使用手动学习率，初始学习率为0.01,10000步后衰减学习率为0.001,20000步后衰减学习率为0.0001。
我如何才能知道这些我需要衰减学习率的步骤？有什么经验可以指导我吗？我们通常可以在论文中找到这些步骤，但作者是如何获得这些步骤的
浏览 11提问于2017-12-08得票数 0
我想实现一个自动编码器，论文说它使用了亚当优化器，初始学习率为...重量衰减设置为...opt = SGD(lr=1e-2, decay=1e-2/
浏览 0提问于2021-01-07得票数 0
我必须使用学习率预热，您可以使用学习率预热开始训练CIFAR-10的VGG-19 CNN，在前10000次迭代(或大约13个时期)中从0.00001到0.1%的学习率。然后对于剩余的训练，您使用学习率0.01，其中学习率衰减用于在80和120个时期将学习率降低10倍。该模型必须训练总共144个时期。我使用<em
浏览 62提问于2020-08-02得票数 3
1回答
我目前正在重现中描述的char-RNN的代码。tensorflow中已经实现了一些代码，我所指的代码是在上，我对decay.In的学习率有一个疑问，优化器的代码被定义为AdamOptimizer。args.num_epochs):其通过衰减常数来调整学习</em
浏览 7提问于2016-08-02得票数 1
回答已采纳
在TD/SARSA-lambda中，资格跟踪在每一步后通过折现率和跟踪衰减参数乘以衰减。我了解到：我不明白为什么需要跟踪衰减参数，因为在每一步之后乘以折现率会导致它随时间衰
浏览 0提问于2020-03-20得票数 2
我试图用复制TensorFlow的一部分，问题是作者使用的是重量衰减的SGD，将学习率降低到每30个时代1/10。说
momentum = 0.9(steps_per_epoch先前初始化)
但是，正如我在Keras中所做
浏览 6提问于2020-07-16得票数 2
1回答
如何动态地找到最佳学习率和衰减率？
像tf.train.exponential_decay这样的函数不能根据不同的情况动态改变，因为起始率和衰减率是预先定义的。
浏览 1提问于2017-05-08得票数 1
基本上，我的学习率计划不会让它以固定的步数呈指数级衰减。我知道它可以通过自定义函数来实现，只是好奇是否已经开发了这样的函数。
浏览 31提问于2020-04-28得票数 1
回答已采纳
据我所知，Tensorflow的Adam实现将学习速度衰减如下：但是，在输入优化器之前，我正在尝试手动操作学习率，我希望优化器中的学习率保持不变。有没有办法保持学习率不变？我必须为它写一个新的优化器吗？
浏览 3提问于2018-03-22得票数 0
我正在使用TensorFlow来训练神经网络。这就是我初始化GradientDescentOptimizer的方法sess = tf.Session()train_step = tf.train.GradientDescentOptimizer(0.3).minimize(mse)
这里的问题是，我不知道如何为学习率或
浏览 56提问于2015-11-25得票数 108
回答已采纳
我正在尝试使用Tensorflow比较不同的学习率衰减。因此，我在Tensorboard (‘EVENTS’-标签)中可视化了成本函数。我的问题是，函数的不同图具有非常相似的颜色，因此很难比较它们。
浏览 14提问于2016-07-09得票数 11
回答已采纳
在tensorflow/keras中使用ADAM作为优化器时，真的有必要优化初始学习率吗？如何做到这一点(在tensorflow 2.x中)？
浏览 282提问于2020-06-14得票数 0
1回答
我的计划是在每一个时代之后逐渐降低学习率。我以为衰变参数就是为了这个。对我来说，这些文档并没有清楚地解释它是如何工作的：
衰减:浮子>= 0。学习速率在每次更新中都会衰减。然而，当观察张紧板中使用的学习率时，它与初始学习率保持不变。那么，这个衰变参数是如何工作的呢？
浏览 0提问于2017-12-29得票数 7
在TensorFlow中调度超参数的方法是什么？也就是说，为了重复性，我想使用建议的学习率时间表{0: 0.1，1: 1.，100: 0.01,150: 0.001}实现一个ResNet (你可以说出一个)，或者只在最初的几个初始时期之后启用权重衰减例如，tensorpack提供如下选项：
ScheduledHyperParamSetter('learning_rate', [(1, 0.1), (82, 0.01), (123,
浏览 14提问于2017-12-20得票数 0
回答已采纳
我最初在Keras中开发了一个分类器，在那里我的优化器非常容易应用衰变。adam = keras.optimizers.Adam(decay=0.001)train_op = optimizer.minimize(loss=loss,global_step=tf.train.get_global_step())
如何将
浏览 0提问于2019-01-08得票数 6
我想在tensorflow2.0的SGD优化器中降低学习率，我使用了下面这行代码： )但我不知道我的学习率是否下降了，我如何才能获
浏览 0提问于2019-11-11得票数 9
3回答
什么是体重衰减？
、、、
我最近开始学习ML和TensorFlow。在浏览网站上的时，我看到了一段让我有点困惑的段落：
训练网络进行N维分类的常用方法是多项式logistic回归。softmax回归Softmax回归将一个softmax非线性应用于网络的输出，并计算归一化预测和标签的1-热编码之间的交叉熵。对于正则化，我们还将通常的质量衰减损失应用于所有学习变量。模型的目标函数是交叉熵损失和所有这些重量<
浏览 14提问于2017-08-07得票数 2
回答已采纳
2回答
我正在与tensorflow合作创建一个模型，该模型可以使用google.My提供的SVHN数据集对数字进行分类。准确率非常低(~25%)，但我看到了一个有88%准确率的笔记本。我想知道是否有人可以给我一些建议，关于我应该如何提高我的准确性，以使我的模型更好。Ps-代码在我的system.The问题上确实可以工作，我相信这是因为我<e
浏览 0提问于2017-11-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
