我现在使用的是openai开发的"spinningup“。在spinningup中，实现了PPO和其他RL算法。但是，只有DDPG、SAC和TD3才有名为"action_limit“变量。我现在正在使用PPO，我还需要剪辑(给下限和上限)动作，因为我的机器人只在0,200.0范围内工作。是否因为PPO算法不需要与DDPG、SAC、TD3不同action_limi
浏览 97提问于2021-04-13得票数 1
我实现了剪裁的目标PPO-剪辑，如下所述：https://spinningup.openai.com/en/latest/algorithms/ppo.htmlratio = new_aprob / old_aprob
# sca
浏览 0提问于2019-04-20得票数 2
回答已采纳
我有一个庞大的离散动作空间，学习稳定性不好。我想要移动到连续的操作空间，但是任务的唯一输出可以是正整数(假设在0到999之间)。如何强制DNN输出正整数？
浏览 6提问于2022-08-03得票数 -1
对于离散的动作空间环境，RL算法可以通过简单地映射(或舍入)agent在连续空间范围(健身房环境)中的动作到openai健身房环境中的离散动作来实现RL算法吗？
浏览 3提问于2022-01-21得票数 0
我正在与openai健身房玩，试图更好地理解强化学习。您可以修改的一个代理参数是动作空间，即代理可以在每个状态下在环境中采取的特定操作。“左”、“右”、“上”或“下”如果环境是一个有四个离散动作的游戏。
在我的研究中，我没有发现有任何地方明确指出，如果操作空间更大，RL模型，特别是PPO2，将需要更长的时间来训练。同样的All，
浏览 0提问于2019-07-24得票数 1
回答已采纳
2回答
我研究了不同的模型API (比如多酚氧化酶)，它们实际上不允许我们指定操作空间。相反，动作空间是在环境中指定。使用的动作类型(离散/连续)将从环境动作空间中自动推导出来。因此，“模型”似乎从环境中推导出行动空间。Q2。另外，我的agent(observations)方法应该如何返回操作？通过返回model.predict()返回的</
浏览 0提问于2021-03-12得票数 0
2回答
今天，我试着在openai的深层RL中安装旋转装置。当我在Anaconda复制python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world时，它表明
没有名为spinup.run的模块这样我就可以成功地在深层RL中安装纺纱了吗？谢谢!
浏览 0提问于2018-11-13得票数 1
1回答
我创建了一个自定义的openai健身房环境，它有一个离散的动作空间和一个有点复杂的状态空间。状态空间被定义为元组，因为它结合了一些连续的维度和其他离散的维度： import gym def我很幸运地使用keras-rl训练了一个代理，特别是DQNAgent，但是keras-rl</em
浏览 73提问于2019-10-09得票数 4
回答已采纳
1回答
下面是一个高层次的图表，我的代理人应该如何看起来，以便能够与一个定制的健身房环境，我所做的。该环境有三种状态( s1、s2、s3 )和6个动作( a1、a2、a3、a4、a5、a6状态和动作)可以是0到1之间的任意值。哪种算法适合我的问题？我知道有些算法擅长处理连续的操作空间，如DDPG、PPO等。但是，我看不出它们在每个时间步骤输出多个操作时会如何操作。最后，是否有
浏览 2提问于2021-03-01得票数 2
回答已采纳
2回答
我试图设计一个openai健身房环境，它可以玩一个非常简单的棋盘游戏，每个玩家有16个棋子，在移动方式上是完全相同的。它们可以向这个方向移动，就像线上的块一样多，包括移动的部分。所以，如果我想往左走，我会数我左边和右边的所有部分，为我自己加上1，然后把那么多的字段移到左边。该字段可能被阻塞，但在这种情况下，移动是不可能的。
所以我的问题是:我如何实现一个行动空间呢？是否与(董事会的sice)*(多少
浏览 0提问于2019-01-26得票数 0
回答已采纳
1回答
我使用Keras RL2在一个定制的openai健身环境中训练DDPG代理。对于动作空间，我使用的是行它完全忽略了训练时的低值和高值我怎么才能阻止这一切的发生？
浏览 8提问于2022-07-29得票数 0
1回答
我试图通读OpenAi的Baselines of RL algorithms ()中的PPO1代码，以便更好地理解PPO是如何工作的，如何去实现它，等等。我对输入到“optim_batchsize()”函数中的“learn”和"timesteps_per_actorbatch“参数之间的区别感到困惑。这些超参数是什么？在"make_atari“函数中，它使用了&
浏览 2提问于2018-04-13得票数 0
1回答
我想开发一个使用强化学习的数学测验程序。假设我们手头有1000个问题，每个测验要问25个问题。程序必须从用户回答和提出下一个问题的方式中学习，而不是随机提问。
测验程序应该是一种强化学习智能体。示例: BoT:什么是机器人1:用户:3(错误答案) 5+：问了一个简单的问题，或者正确答案问了一个困难的问题。
浏览 0提问于2018-12-31得票数 0
在深层确定性策略梯度(DDPG)算法的训练阶段，动作选择将是简单的。其中state是当前环境的状态，actor是一种深度神经网络。我不明白如何保证返回的action属于所考虑的环境的操作空间。
例如，state可以是4大小的向量，动作空间可以是实数的区间[-1,1]或[-1,1]x[-2,2]的笛卡尔积。为什么在执行a
浏览 2提问于2021-01-04得票数 1
回答已采纳
1回答
直到现在，我一直没有寻求帮助，但随着我的论文截止日期越来越近，而且我不认识在RL方面有经验的任何人，我正在这里尝试我的运气。专题简介经过训练的RL代理可以自行决定何时进行停站，以
浏览 5提问于2021-08-24得票数 0
2回答
稳定基3 PPO模型加载但不工作
、、、、
我试图做一个人工智能代理发挥OpenAI健身房CarRacing环境，我有困难加载保存的模型。我训练他们，他们工作，我拯救他们，装载他们，突然汽车甚至不动。我在使用gym==0.21.0的一个木星笔记本上的VS代码中的Ubuntu20.04，稳定-baselines3 3==1.6.0，python==3.7.0。= os.path.join('Training', 'Saved Models', 'PPO_Car_Te
浏览 22提问于2022-09-15得票数 1
回答已采纳
1回答
关于强化学习(RL)在我们试图解决的问题上的适用性，我有一个基本的问题。我们正在尝试使用RL进行库存管理--在这种情况下，需求是完全随机的(在现实生活中，它可能有一个模式，但现在让我们假设我们被迫被视为纯粹的随机)。据我所知，RL可以帮助学习如何玩游戏(比如下棋)，也可以帮助机器人学会走路。但是所有的游戏都有规则，“推车杆”( OpenAI Gym)也有规则
对于我们的问题，没有规则-环境变化随机(
浏览 0提问于2018-10-11得票数 2
回答已采纳
我完全是强化学习的新手。我有一个关于keras-rl代理的输出层的激活函数的选择的问题。在keras-rl ()提供的所有示例中，在输出层选择线性激活函数。为什么会这样呢？如果我使用不同的激活函数，我们会有什么效果？例如，如果我使用离散操作空间为5的OpenAI环境，我是否也应该考虑在代理的输出层中使用softmax？提前谢谢你。
浏览 17提问于2017-08-04得票数 4
回答已采纳
2回答
我有一个关于强化学习(RL)在我们试图解决的问题上的适用性的基本问题。我们正在尝试使用RL进行库存管理--在这种情况下，需求完全是随机(它可能在现实生活中有一种模式，但现在让我们假设我们被迫被视为纯粹的随机)。据我所知，RL可以帮助学习如何玩游戏(比如下棋)，也可以帮助机器人学会走路。但是所有的游戏都有规则，还有“购物车杆”( OpenAI Gym) --有一些“物理”规则控制着推车杆什么时候会翻倒。对于我们的问题，没有规则-环境变化
浏览 2提问于2018-10-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
