当使用DQN时，有人告诉我在学习之前最好填满整个回放内存。如果我使用epsilon-greedy策略，我想知道如何退火epsilon。我应该在10000步中还是在学习开始之后开始退火epsilon？提前谢谢。
浏览 10提问于2018-01-29得票数 1
回答已采纳
我已经设置了一个包装在张量流类中的python环境，使其成为一个张量流环境。然后，我按照here列出的协作笔记本设置学习。目前，我正在使用dqn和增强剂。 设置运行良好，结果与预期一致。现在我想进入超参数的调整，如衰变的epsilon贪婪，权重等。 我需要一些关于如何使用如何访问这些超参数的文档的指针。
浏览 25提问于2020-10-28得票数 1
回答已采纳
2回答
ϵ-贪婪政策我的实现使用了贪婪的ϵ策略，但在决定epsilon值时，我感到不知所措。epsilon应该以算法访问给定(状态、操作)对的次数为界，还是应该被执行的迭代次数限制？我的建议
浏览 4提问于2014-04-02得票数 20
回答已采纳
1回答
DQN训练模式的最后一集跑与测试跑有什么区别？
有什么不同，比训练和调整超参数，我们测试一集，没有任何探索？这意味着测试模式类似于n+1中的训练模式，而不需要探索(而我们为n集进行训练)，对吗？为什么在DQN的一些测试代码中，他们测试多集？
浏览 0提问于2018-09-29得票数 1
回答已采纳
我正在努力了解如何确保我们的代理在开发它所知道的信息之前，对状态空间进行足够的探索。我知道，我们使用贪婪的epsilon方法和一个衰败的epsilon来实现这一点。然而，我遇到了另一个概念，即使用探索函数来确保我们的代理探索状态空间。用Epsilon贪婪的
Q学习sample = R(s,a,s') + \gamma \max_{a&#
浏览 0提问于2021-05-05得票数 3
回答已采纳
我知道epsilon标志着探索和开发之间的权衡。一开始，你希望epsilon很高，这样你就能大踏步地学到东西。随着你了解未来的奖励，epsilon应该会衰减，这样你就可以利用你发现的更高的Q值。然而，在随机环境中，我们的学习率是否也会随着时间的推移而下降？所以我看到的帖子只讨论epsilon衰变。
我们如何设置epsilon和alpha，以使值收敛？
浏览 1提问于2018-11-08得票数 12
回答已采纳
我正在尝试实现经典的深度Q学习算法来解决openAI健身房的Cart极游戏：
首先，我创建了一个生成随机权重的代理。因此，我决定实现一个简单的DQN，只有4个权重和2个偏见，并让代理学习这个游戏的时间。权值将在开始时随机初始化，并在代理执行步骤时使用反向传播来更新它们。我使用Epsilon贪婪策略使代理在开始时进行探索，然后利用Q值。然而，与随机
浏览 4提问于2020-08-09得票数 0
回答已采纳
我正在尝试在Keras中保存和恢复给定模型的权重。我成功地保存了权重，使用model.save_weights(文件路径，...)而且权重也是实际加载的。我可以通过在保存和恢复之后将model.get_weights()保存到一个文件中来确认这一点，并对我以这种方式接收的文件进行区分。 然而，我的模型和一开始一样糟糕。我是不是遗漏了什么？
浏览 28提问于2019-01-13得票数 0
1回答
我的问题是在我对PyTorch DQN教程中的代码进行检查后提出的，但随后又提到了强化学习:强化学习中最佳探索/利用的最佳实践是什么？在DQN教程中，steps_done变量是一个全局变量，EPS_DECAY = 200。这可能适用于本教程中介绍的CartPole问题-早期的片段可能非常短，任务相当简单-但对于需要更多探索的更复杂的问题呢？例如，如果我们有一个40,000
浏览 22提问于2019-02-04得票数 0
回答已采纳
1回答
我的目标是开发一个DQN代理，它将根据特定的策略/策略选择其操作。我以前使用过OpenAi健身房环境，但现在我想创建自己的RL环境。在此阶段，代理应选择随机动作或根据深度神经网络(在类DQN中定义)所作的预测选择他的行为。class DQN():
浏览 1提问于2020-03-19得票数 2
回答已采纳
1回答
最近，我一直试图训练一个Deep网络来解决OpenAI健身房的CartPol-V0，解决这个问题意味着在连续100集中平均得分至少达到195.0分。我使用的是2层神经网络，经验回放的内存包含100万次经验，epsilon贪婪策略，RMSProp优化器和Huber损失函数。
在这种情况下，解决任务需要几千集(> 30k)。学习有时也是相当不稳定的。那么，深Q网络振荡并花这么长时间学习这样的任务是正常的吗？还有哪些
浏览 2提问于2017-03-13得票数 2
1回答
Q学习- epsilon贪婪更新
、、、、
我正在尝试理解DQN中的epsilon - greedy方法。我正在学习中提供的代码$this.epsilon = Math.min(1.0，Math.max(this.epsilon_min，1.0-(this.age值从min (由用户选择)开始，然后随着年龄的增长而增加，直到burnin步长，并最终变为1？或者，epsilon在1左右开始
浏览 10提问于2018-02-02得票数 3
我一直在从下面的youtube讲座中学习Qimport gymenv = gym.make("MountainCar-v0")epsilon = 0.5END_EPSILON_DECAYING = EPISODES// 2
<em
浏览 7提问于2020-08-02得票数 0
1回答
由于我是这一领域的一个开端，我对不同的epsilon值将如何影响SARSA和epsilon贪婪算法的行为选择之间的效果有疑问。据我所知，当epsilon等于0时，总是根据Q导出的策略选择动作，因此，Q学习首先更新Q，然后根据更新Q选择下一个动作，SARSA选择下一个动作和更新Q之后的动作。
当ε等于1时怎么样？
浏览 4提问于2015-11-17得票数 2
回答已采纳
我以前问过一个关于投入的问题，并且已经解决了这个问题。我目前对于程序为什么不能工作的想法是与阈值有关。这是一个神经网络-Q学习的具体变量.基本上，这个值介于0到1之间，然后你在0到1之间做一个随机数，如果这个随机数大于阈值，那么你就选择一个完全随机的选择，否则神经网络通过找到最大的Q值来选择。我的问题是，使用这个阈值，我目前正在实现它，从几乎0开始，然后线性增加，直到程序到达最后的迭代时达到1为止。这是正确的吗？我怀
浏览 0提问于2018-01-13得票数 3
回答已采纳
1回答
我无意中发现了一个高度维数的最小值，无论我训练了多少个模型，我似乎都无法复制。高学习率和动量的结合，迫使在损失空间中进行探索不同优化器
📷
浏览 0提问于2022-08-18得票数 0
1回答
访问优化器内部状态
、、、
我正在使用来自Ray/RLLib的DQN代理。为了更深入地了解训练过程是如何进行的，我想访问Adam-Optimizer的内部状态，例如可视化梯度的运行平均值是如何随时间变化的。由于它是使用代理策略图的“优化器”函数构造的，然后存储在_optimizer成员-variable中(根据TFPolicy_Graph构造函数)，因此我的直觉是通过 agent.
浏览 18提问于2019-02-12得票数 2
回答已采纳
我正在用DQN训练一个强化学习代理。我的状态空间有6个变量，代理可以将一个动作离散为500个动作。我的奖励结构看起来 else :我的<
浏览 0提问于2019-10-03得票数 0
1回答
在DQN中，为什么不使用目标网络来预测当前状态Q值，而不仅仅是下一个状态Q值？用nn从头开始做一个基本的dq学习算法，使用重放内存和小型批处理gd，我正在实现目标神经网络来预测每个小批样本当前和mext状态Q值，在小批处理结束时，同步目标网络，但是我很容易注意到权重的发散，也许是因为我用, epsilon_decay = 0.99, min_epsilon = 0.01):
state = self.env.reset
浏览 0提问于2021-05-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
