AI helps AI -- 强化学习从入门到入门

推荐文章：《使用Python实现深度学习模型：智能食品配送优化》，作者：【Echo_Wish】。

文章介绍了如何使用Python构建一个基于深度Q网络的智能食品配送优化系统。文章结构清晰，从设计到代码详细介绍了如何使用强化学习DQN算法优化项目策略的思路。

三年前，我负责过一个基于强化学习进行码率预测的算法项目。项目过程中，深入学习并总结了强化学习的理论知识，跨度三个月的时间撰写了一系列关于强化学习的文章。

两年多不用这方便知识，感觉很多概念又忘记了，还好当时记录了思路，最近又花了一周业余时间回顾了一下当时的笔记，结合目前在大模型中强化学习的思考，感觉又有新感悟。

为了避免再次遗忘以及督促自己深入思考，最近又用了两个晚上的时间，系统性地整理了最近的回顾总结。

后面有时间，再进一步探讨在LLM中应用的RLHF技术，以及目前非常受欢迎的o1技术的思路。

本文首先会回顾强化学习的一些基础概念，然后会介绍强化学习核心算法的思路和我个人的思考理解。其中每个算法的详细的公式和代码分析，可以跳转到之前的强化学习系列文章中查看。

1. 基础概念

强化学习是智能体在环境中通过不断探索未知和利用已有知识进行试错和学习，然后通过学习到的策略（在什么状态下应该采取什么行为），进行一系列行为来获取长期的最大累计收益。

1.1 马尔可夫决策过程（MDP）

我们先了解MDP，他是强化学习的一个理论基础。对我们了解强化学习中的智能体的决策，值函数等概念有更清晰的认识。

MDP由四元组构成， M=(S,A,P,R)

S: 表示状态集，其中 Si 表示第i个时刻的状态，s∈S

A: 表示动作集，其中 ai 表示第i个时刻的动作， a∈A

P: 表示转移概率，Psa 表示从状态s执行动作a后，转移到另一个状态的概率。

R: 表示回报函数，从状态s执行动作a。注意这里的回报是立即回报。其中从S状态到A动作的映射，就是行为策略，记为策略π:S→A。

MDP具有马尔科夫性，也就是下一个状态只与当前状态有关，无后效性。MDP同时考虑了动作，它假设从当前状态转化到下一个状态的概率只与当前状态和要采取的行动有关，与之前的状态无关。

1.2 强化学习的元素和框架

MDP应用到强化学习思路中，如下图:

descript

Agent智能体：决策者

Environment环境: 与智能体交互的事物

State状态：当前agent在环境中所处的状态

actiot动作：agent每次处于的状态和上一个状态的reward以及策略一起确定了当前需要执行的动作

reward奖励: 环境对于动作返回的奖励

policy策略：agent的行为，从state到action的映射

强化学习项目需要做的事情就是，针对一个问题首先提取出一个环境和与之交互的智能体，从环境中抽取出状态（S）和动作（A），以及执行某个动作能得到的即时奖励（R），智能体决策出一种最优策略算法，在此策略下能够让智能体在环境状态下执行最优动作，得到的累计reward最大。

太抽象了，举个例子：

环境设定为一个迷宫游戏，智能体就是智能玩家，强化学习目标是让智能体学会走出迷宫的策略。

Agent智能体：智能玩家，任务是感知迷宫的布局，做出下一步动作决策。

Environment环境：迷宫，包含了起点、终点和障碍物。

State状态：玩家在迷宫中的位置就是状态。例如，迷宫可以被划分为多个格子，玩家当前所在的格子就是它的状态。

Action动作：玩家可以执行的动作，比如向前、向后、向左或向右移动。

Reward奖励：每当智能体执行一个动作后，环境会给予一个即时奖励。如果智能体向出口方向移动，可能会得到正奖励；如果撞到墙壁，可能会得到负奖励；如果找到出口，可能会得到一个很大的正奖励。设计奖励通常也需要精心设计，比如这里如果考虑步数，在执行步数和出口奖励就可以增加系数参数。

Policy策略：智能体在学习过程中，摸索的决策动作策略方法。比如在环境中，遇到墙壁就往右，否则回退等复杂策略。

强化学习目标：找到一种策略，使得玩家在迷宫中从起点到终点的过程中，获得的累计奖励最大。这通常意味着找到出口的最短路径，因为这样可以减少撞墙的次数，从而减少负奖励。

1.3 值函数

值函数分为状态值函数和动作值函数.

1.3.1 状态值函数

状态值函数是指在给定策略π下，从状态s开始并遵循该策略所能获得的期望回报。

descript

13.2 动作值函数

动作值函数给定当前状态s和当前动作a，在未来遵循策略π所能获得的期望回报：

descript

在qπ(s,a)中，不仅策略π和初始状态s是我们给定的，当前的动作a也是我们给定的，这是q_π(s,a)和V_π(s)的主要区别。

当项目的目标是评估一个给定策略的好坏，或者需要一个策略评估时，通常会使用状态值函数。状态值函数提供了一个状态的长期价值评估，帮助我们了解在特定策略下，从某个状态开始预期可以获得的累积回报。

当项目的目标是找到最优策略，即决定在每个状态下应该采取哪个动作以最大化回报时，通常会使用动作值函数。动作值函数提供了在特定状态下执行特定动作的长期价值评估，这对于策略改进（Policy Improvement）和策略优化（Policy Optimization）至关重要。

2. 强化学习算法

为了找到最佳策略，强化学习分为不同的算法。下面我们直接基于强化学习的算法框架的主流方法进行回顾。

强化学习算法框架

强化学习中model_based和model_free的最大区别，可以认为是否需要学习环境模型。

Model-Based算法使用环境模型来估计最优策略，这里的环境模型是指对转移函数和奖励函数建模。比如，如果agent已知任何状态下转移到任意状态的转移概率，以及在状态下执行任何动作的回报，那就可以通过动态规划问题求解得到一个回报最高的策略了。

Model_free则是不需要环境模型，对状态st 下执行动作at能获得未来累计奖励进行估计，通过与环境的交互直接学习价值函数或策略。

2.1 基于模型（Model-Based）

Model_Based又分为值迭代(Value_Iteration)和策略迭代(Policy_Iteration)，他们都属于动态规划算法。

动态规划算法计算值函数，详细原理。

2.1.1 值迭代算法

值迭代的关键在于使用贝尔曼方程（Bellman equation）来更新价值函数。具体来说，对于每个状态，值迭代会计算采取不同动作后的期望回报，并选择使期望回报最大化的动作。这个过程会一直重复，直到价值函数的变化小于某个阈值，表明价值函数已经收敛。值迭代的算法可以表示为：

1. 初始化价值函数 𝑉(𝑠)为任意值，例如全0。
2. 对于每个状态s，根据贝尔曼方程更新价值估计： 𝑉′(𝑠)=max⁡𝑎∑𝑠′𝑃(𝑠′∣𝑠,𝑎)[𝑟(𝑠,𝑎,𝑠′)+𝛾𝑉(𝑠′)]。
3. 如果价值函数的变化 Δ小于预设的阈值 𝜃，则停止迭代；否则，用新的估计值更新 𝑉(𝑠)并重复步骤2。

2.1.2 策略迭代算法

策略迭代结合了策略评估（policy evaluation）和策略改进（policy improvement）。它通过交替执行策略评估和策略改进来计算最优策略。策略迭代的步骤如下：

1. 策略评估（Policy Evaluation）：给定一个策略 𝜋，使用值迭代来计算该策略下的价值函数 𝑉𝜋。这与值迭代类似，但是使用的是策略评估方程： 𝑉′𝜋(𝑠)=∑𝑠′𝑃𝜋(𝑠)(𝑠′∣𝑠)[𝑟(𝑠,𝜋(𝑠),𝑠′)+𝛾𝑉𝜋(𝑠′)]
2. 策略改进（Policy Improvement）：对于每个状态 𝑠，检查是否存在动作 𝑎 使得 𝑄𝜋(𝑠,𝑎)>𝑄𝜋(𝑠,𝜋(𝑠))，如果是，则通过设置 𝜋(𝑠)←𝑎来改进策略。
3. 如果策略没有变化，则算法终止；否则，用新策略重复步骤1和步骤2。

所以，动态规划法是存储每个状态的值函数Q表，根据Q表通过迭代方法得到最佳的策略。存储Q表后，利用后续状态值函数估计当前值函数，可以实现单步更新，提升学习效率。

基于模型的算法优缺点：

优势：提前得到Q表后，不需要再与环境交互，直接通过迭代算法得到最佳策略。

劣势：实际应用中，状态转移概率和值函数是很难得到的

2.2 无模型（Model-Free）

上文介绍了Model-Based算法，但是现实场景中，状态空间和动作空间都很大，很难去获取Q值表。

Model_Free的方案就是我们不需要去计算状态转移概率，使用模型直接预测值函数。

其中最经典的就是蒙特卡洛算法和时间差分算法。

2.2.1 回合更新-蒙特卡洛学习

蒙特卡罗方法是通过采样的方法（不断探索试错，和环境进行交互）来估计状态的期望值函数。采样之后，环境给出奖励，体现在值函数中。它的状态值函数更新公式为：

V(St)←V(St)+α(Gt−V(St))

其中Gt是每个探索结束后得到的累计回报，α为学习率。我们用St的累计回报Gt和当前估计V(St)的偏差值乘以学习率来更新当前的V(St)的新的估计值。因为没有模型得到状态转移概率，所以MC是用经验平均值估计状态的值函数。

优势：不需要知道状态转移概率，而是通过经验（采样和试错实验）去评估期望值函数，只要采样的次数足够多，保证每个可能的状态-动作都能采样到，就可以最大程度的逼近期望。

劣势：由于值函数是要从状态s到最终状态累计奖励，所以每次实验都必须执行到终态才能得到状态s的值函数，学习效率很低。

2.2.2 步更新-时间差分

动态规划的缺点是需要构建环境模型，而在很多应用场景状态转移函数和值函数很难建模；蒙特卡洛方法的缺点是需要在环境中多次试错，每次探索走到最终状态才能得到状态值函数，效率很低而且方差很大。

时间差分法（TD）结合了动态规划（DP）思想和蒙特卡罗（MC）采样思想：

V(St)←V(St)+α(rt+1+γV(St+1)−V(St))

其中rt+1+γV(St+1) 和MC中的Gt对应，不需要使用状态转移函数的模型，同时它不需要执行到终态得到累计回报，而是使用下一个时刻的即刻回报和值函数。

所以TD在没有环境互动情况下避免对状态转移概率的依赖，采用采样估计状态的值函数。从经验直接进行学习，类似蒙特卡罗方法。同时又允许没到最终状态就基于后续状态的值函数估计当前值函数实现单步更新，类似动态规划法提升效率。

总结下上面介绍的TD，DP和MC算法优缺点：

终于介绍到我们的重点算法TD，再回顾下图一的学习框架图。

TD又分为Value-Based（基于价值的）和Policy-Based（基于策略的）两种主要的学习方法。

descript

value_based核心思路：专注于学习状态或状态-动作对的价值函数，即评估在特定状态下采取某个动作或遵循某个策略的预计回报。

Policy-Based核心思路：直接学习一个策略，即在每个状态下应该采取的动作或动作的概率分布。

2.2.2.1 基于价值(Value-Based)

Value-Based又分为On-Policy和Off-Policy。这两者的主要区别就是在于更新值函数时的策略。

在线策略（On-policy）方法直接从当前策略中学习，即学习过程使用的样本数据直接来自于当前正在执行的策略，策略评估和策略改进是同一个策略。常见的on-policy算法包括SARSA（State-Action-Reward-State-Action）和一些策略梯度方法。

离线策略（Off-policy）方法可以从其他策略中产生数据，策略更新和策略改进可以异步进行，历史数据学习的策略进行策略评估，新的策略进行模型改进。常见的off-policy算法包括Q-learning、Deep Q-Networks（DQN）和Actor-Critic方法。

由于离线策略的数据不用基于当前策略生成，所以数据是可以复用的，这里就有个数据重要性采样的概念。重要性采样（Importance Sampling）主要用来调整数据的权重，以反映当前策略和数据生成策略之间的差异。

在线策略（On-policy）

SARSA（State-Action-Reward-State'-Action'）是常用的On-Policy算法。

基于当前的策略，基于 ϵ-贪婪法对当前状态S选择动作A,进入下一个状态S′并得到即时回报R，在新状态S′下再基于当前策略，基于ϵ -贪婪法选择下一个动作A′ ，（其中 ϵ-贪婪法指设置一个小的ϵ值，1−ϵ的概率选择目前认为是最大行为价值的行为， ϵ的概率从动作空间中选择动作），更新价值函数：

Q(S,A)=Q(S,A)+α(R+γQ(S′,A′)−Q(S,A))

如此循环迭代，直到收敛。

SARSA算法中，选择下一个动作的策略是基于当前策略，学习过程中是边探索，边利用，所以是在线策略。

离线策略（Off-policy）

Q-learning是常用的Off-Policy算法。

Q-learning的基本思路是先使用当前策略基于ϵ-贪婪法对当前状态S选择动作A, 进入下一个状态S′并得到即时回报R（和SARSA一样），接下来是基于最优策略使用贪婪法选择A′来更新价值函数：

Q(S,A)=Q(S,A)+α(R+γmaxQ(S′,a)−Q(S,A))

通过公式也可以看出来，主要区别是SARSA中，由于是一个策略，所以使用ϵ -贪婪法进行探索更新Q值函数，Q-learning中是利用离线策略，使用的下一个状态下所有可能动作的最大Q值。

Q-learning策略中，选择下一个动作和更新价值函数的策略不是同一个，所以是离线策略。

SARSA在更新时使用实际策略采取的动作，而Q-learning使用最优动作。Q-learning比SARSA 更容易收敛，但是因为它总是寻找最优动作，但在某些情况下也可能比SARSA更不稳定。

根据以上分析，SARSA可能更适合于那些需要平衡探索和利用的应用，而Q-learning可能更适合于那些探索已经足够，需要更多利用已知信息的场景。

DQN（Deep Q-learning）

Q-learning算法适用于离散状态和动作空间的问题，如果是连续状态空间和动作空间，使用Q-learning去维护一个Q值表就不切实际了。

Deep Q-learning是使用深度神经网络来近似Q函数，来处理高维和连续的状态空间问题。一般使用两个相同的神经网络，一个是主网络用来学习更新，另一个是目标网络。目标网络的参数定期更新，用于稳定学习过程，减少Q值估计的方差。

通常对于Q-learning适用于状态和动作空间较小的问题；DQN适用于状态空间大或连续的问题。

2.2.2.2 基于策略(Policy-Based)

基于策略的强化学习算法，是直接对策略进行建模，用一个神经网络表示策略，对动作输出一个概率。即学习策略πθ(s,a)=p(a|s,θ) 给定状态s,得到选择的动作a的概率。

基于策略的方法在神经网络的加持下，已经是最主流强化学习算法。基于代码理解思路最清晰。在系列三已经有详细介绍,

流程图如下：

descript

其中get_weights就是获取当前策略的权重参数，get_rewards就是在环境中基于策略执行动作，探索一轮后获取的累计rewards。如果累计rewards大于当前最佳值，更新策略，迭代优化。这个流程就是基于策略算法的最基础流程。下面我们就逐步优化这个流程。

Policy Gradient

Policy Gradient算法通过梯度上升方法直接优化策略，即直接学习策略函数π(θ)的参数θ，使得期望回报J(θ)最大化，其实思路和上图流程一致，同样是使用探索过程中的累计rewards知道参策略更新，只是在更新参数使用了神经网络梯度策略。

在系列四中已经有详细介绍，流程如下：

descript

其中RL就是一个PolicyGradient神经网络，输入状态值，输出是动作概率。

不断的进行探索，每次探索过程中收集状态值，动作值，回报值序列，累计回报使用discount_rewards进行计算。其中损失函数的定义：

    with tf.name_scope('loss'):
    #目标是最大化（log_p * R） 等价于优化器最小化-(log_p * R)
            neg_log_prob = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=all_act, labels=self.tf_acts)
           loss = tf.reduce_mean(neg_log_prob * self.tf_v

也就是学习的方向是基于当前策略执行的动作累计rewards最大化。

Actor-Critic

终于聊到了强化学习红人AC算法。前面我们介绍了PolicyGradient算法，它的缺点是需要探索完后再学习，学习过程比较慢，而且要考虑多步过程，R值方差大。

td_error来作R值的话，方差小；基于值迭代优化算法，不用探索完再学习。

所以AC网络结合了Value-Based和Policy-Based方法。

Actor-Critic在系列五有详细介绍，流程如下：

descript

解释下这里的loss学习，也就是Actor网络的这块代码：

# Critic
with tf.variable_scope('squared_TD_error'):
            # TD_error = (r+gamma*V_next) - V_eval
            self.td_error = self.r + GAMMA * self.v_ - self.v
            self.loss = tf.square(self.td_error)
        with tf.variable_scope('train'):
            self.train_op = tf.train.AdamOptimizer(lr).minimize(self.loss)

# Actor           
 with tf.variable_scope('squared_TD_error'):
            # TD_error = (r+gamma*V_next) - V_eval
            self.td_error = self.r + GAMMA * self.v_ - self.v
            self.loss = tf.square(self.td_error)
        with tf.variable_scope('train'):
            self.train_op = tf.train.AdamOptimizer(lr).minimize(self.loss)

在Critic中，计算出td_error，这里希望实际评估和预测的值函数差值最小，让模型收敛。

在Actor中，希望选择预测action的概率 * td_error最大，也就是希望选择的action是将reward值更大的方向学习。

上面这个方案使用td_error能够解决Policy_Gradient学校效率和方差大的问题。但是它也存在偏差大的问题，另一种AC的优化方案就是使用优势函数。系列六有详细介绍

优势函数定义：Aπ(s,a)=Qπ(s,a)−Vπ(s)

上文有介绍过状态值函数V和动作值函数Q。可以认为s下给出动作a的值函数就是动作值函数Q值，s下所有可能动作的值函数的期望就是状态值V值。

而优势函数A可以这样理解，如果Q大于V，说明选择的动作是大于所有动作的均值的，应该往这个方向学习；反之如果Q小于V，说明动作选择不好。

GAE（泛化优势函数）是在优势函数A的基础上结合了λ−return 算法。

什么是λ−return 算法？λ-return算法是强化学习中用于平衡蒙特卡洛（MC）方法和时间差分（TD）方法的一种技术。它通过结合单步TD方法和完整的MC方法来减少偏差和方差，从而在两者之间取得平衡。可以认为λ就是用来平衡方差和偏差的

最核心代码如下：

# 探索序列的action概率，状态值函数， 累计rewards
        for logprob, value, reward in zip(self.logprobs, self.state_values, rewards):
            # 优势函数:动作状态值函数Q - 状态值函数V（采用动作对比值函数期望的优势）
            advantage = reward - value.item()
            # actor的目标：优势大的动作学习幅度大
            action_loss = -logprob * advantage
            # critic的目标：预测value逼近真实reward
            value_loss = F.smooth_l1_loss(value, reward)
            loss += (action_loss + value_loss)

DDPN

DDPN(Deep Deterministic Policy Gradient)深度确定性策略梯度算法，是结合了DPG（Deterministic Policy Gradient）和DQN（Deep Q-Network）两种算法。

DPG的核心思想在线策略，在PG的基础上，不用概率分布表示policy，而是用一个确定的函数表示。

DQN的核心思想是离线策略，待优化的Q函数和target的Q函数分为不同策略，待优化的Q函数更新一段时间参数后，才将参数赋值给目标Q函数，保障训练的稳定性。但是DQN在现在动作的时候是取max，只能处理离散问题。

DDPN和DQN一样也是离线策略，另外使用了AC架构，用来解决连续空间问题。

在系列七有对关于三者的关系和DDPN的详细介绍。

流程如下：

descript

PPO

再介绍一个强化学习方法中的红人，PPO(（Proximal Policy Optimization)近端策略优化算法。在ChatGPT爆火时期，到处都可见模型训练四阶段：Pretrain，SFT，RM, RL。

descript

其中RL就使用了PPO策略，当然后续也出现了DPO等各种O。

前面介绍on_policy和off_policy我们有提到，on_policy方法，策略是边探索边学习，每次探索生成的数据就不能复用了，学习耗时都消耗在收集数据上；PPO就是一种on_policy方案，但是它巧妙的使用了重要性采样方法来缓解 on_policy 模型一次采样数据只能更新一次模型的问题，提升了数据利用率和模型训练速度。

重要性采样思路：旧策略生成的数据分布P，更新策略生成的数据分布Q。新策略学习过程中使用旧策略的经验回放，这里会存在一个分布差异。所以我们可以在使用过程使用概率对比权重。

由于P和Q的数据分布不能相差太远，所以PPO在计算过程中，还增加了一个KL散度和clip操作保障学习的稳定性。

系列八和 这篇文章对PPO都有很详细的介绍，流程如下：

descript

以上就是我对强化学习的学习路径以及核心算法的总结，希望对未来的我有帮助，也希望对正在学习这方面知识的朋友们有帮助。尽管当前的开源框架已经为强化学习提供了良好的封装和支持，但是我相信每个算法研究同学还是希望能深入理解每个算法的原理，了解它被提出是为了解决什么问题以及各种方法的优势和局限。有了深刻理解将有助于更精准地应用强化学习技术以及实际项目中的方案选型和优化。

后续有时间再聊聊大模型中的强化学习，也欢迎大家一起进行探讨~