文章/答案/技术大牛

发布

社区首页 >专栏 >强化学习笔记8：整合学习和规划

强化学习笔记8：整合学习和规划

列夫托尔斯昊

发布于 2020-08-31 06:41:15

8840

文章被收录于专栏：探物及理探物及理

1、introduction

第7章节，讲了PG，从episode经验学习到策略 policy 之前的章节，讲了从episode 经验学习到价值函数

本章，从过去经验学习到环境模型

通过规划的手段，构建值函数或者策略

Model-free
- 没有模型
- 从经验中学习，得到价值函数
Model-based
- 有模型
- 根据模型规划价值函数

本讲指出解决这类问题的关键在于“前向搜索”和“采样”，通过将基于模拟的前向搜索与各种不依赖模型的强化学习算法结合，衍生出多个用来解决类似大规模问题的切实可行的算法，如：Dyna-2算法之类。

2、Model-based reinforcement learning

当学习价值函数或策略变得很困难的时候，学习模型可能是一条不错的途径，像下棋这类活动，模型是相对直接的，相当于就是游戏规则。

优点
- 用监督学习高效实现建模
- 推断模型不确定性
缺点
- 第一步建模，第二步构建价值函数，两个过程带来双重的估计误差

模型，我们要做什么

Model learning

模型实例

Table lookup model
Linear expectation model
Linear Gaussian model
Gaussian Process model
Deep Belief Network model

例子 Table lookup example

Planning with a model

Planning with an inaccurate Model

显然，模型的准确性，直接制约了Model-based RL 性能的上限

Solution：

模型错误的情况，直接model-free RL，并且从env中采样
明确模型不确定性的原因

3、integrated architectures

本节将把基于模型的学习和不基于模型的学习结合起来，形成一个整合的架构，利用两者的优点来解决复杂问题。从两种渠道进行采样 - Env 真实MDP - Model 估计MDP

- 集成学习和规划 Dyna

Dyna

Dyna是并列、综合与model-free、model-based的学习方法

Model-free RL
- 无模型
- 从真实环境Env采样，学习价值函数
Model-based RL
- 从真实环境Env中学习，建模Model
- 从Model虚拟采样，规划价值函数
Dyna
- 从真实环境Env中学习，建模Model
- 根据Env 和 Model采样，同时学习并规划价值函数

Dyna-Q 算法框图

a,b,c,d,和e都是从实际经历中学习，d过程是学习价值函数，e过程是学习模型。在f步，给以个体一定时间（或次数）的思考。在思考环节，个体将使用模型，在之前观测过的状态空间中随机采样一个状态，同时从这个状态下曾经使用过的行为中随机选择一个行为，将两者带入模型得到新的状态和奖励，依据这个来再次更新行为价值和函数。

类似监督学习里，用数据增强，来丰富数据集。

例子将规划引入RL之后，规划比学习具有更小的抖动和噪声，稳定性好

Dyna-Q with 不准确模型

由于Dyna综合了实际和模拟两种情况，在实际环境改变时，错误的模型会被逐渐更正。

环境剧烈改变

我们可以发现，不同算法对环境改变的适应性，相差悬殊

环境柔和改变

Q+ 算法，奖励函数里鼓励 episode 探索新的状态

4、simulation-based search

搜索相对于规划，区别之一就是，不搜索整个空间，用采样的方法来优化

Forward search

两个重要特征：

不求解整个MDP，以当前状态为起始状态
使用基于采样的规划

两点都可以显著降低计算量

步骤：

MC search

Simple MC search

MC tree search (evaluation)

对于真正的MC tree search，Q值的构建，包含了所有状态s和动作a 估计步骤：

MC tree search (Simulation)

例子：围棋Go

Position evaluation in go

MC evaluation in go

MCTS 步骤：

第一次迭代：如下图所示，五角形表示的状态是个体第一次访问的状态，也是第一次被录入搜索树的状态。我们构建搜索树：将当前状态录入搜索树中。使用基于蒙特卡罗树搜索的策略（两个阶段），由于当前搜索树中只有当前状态，全程使用的应该是一个搜索第二阶段的默认随机策略，基于该策略产生一个直到终止状态的完整Episode。图中那些菱形表示中间状态和方格表示的终止状态，在此次迭代过程中并不录入搜索树。终止状态方框内的数字1表示（黑方）在博弈中取得了胜利。此时我们就可以更新搜索树种五角形的状态价值，以分数1/1表示从当前五角形状态开始模拟了一个Episode，其中获胜了1个Episode。这是第一次迭代过程。

第二次迭代：如下图所示，当前状态仍然是树内的圆形图标指示的状态，从该状态开始决定下一步动作。根据目前已经访问过的状态构建搜索树，依据模拟策略产生一个行为模拟进入白色五角形表示的状态，并将该状态录入搜索树，随后继续该次模拟的对弈直到Episode结束，结果显示黑方失败，因此我们可以更新新加入搜索树的五角形节点的价值为0/1，而搜索树种的圆形节点代表的当前状态其价值估计为1/2，表示进行了2次模拟对弈，赢得了1次，输了1次。第二次迭代结束。