01 强化学习基础概念

Lingfeng2026-04-03

01 强化学习基础概念

本文档介绍理解 RLHF 所需的强化学习核心概念，为后续 PPO 和 RLHF 的数学推导打基础。

1. 强化学习问题描述

强化学习（Reinforcement Learning, RL）是一个序贯决策问题：

智能体（Agent） 在环境中采取行动
环境（Environment） 返回新状态和奖励
目标是学习一个策略（Policy），使得长期累积奖励最大化

1.1 核心概念

符号	含义
$s \in \mathcal{S}$	状态（State）
$a \in \mathcal{A}$	动作（Action）
$\pi(a \mid s)$	策略：在状态 $s$ 下选择动作 $a$ 的概率
$r(s, a)$	奖励函数
$\gamma \in [0, 1)$	折扣因子
$G_t$	从时刻 $t$ 开始的累积折扣奖励

累积折扣奖励定义为：

G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}

1.2 状态价值函数

状态价值函数 $V^\pi(s)$ ：从状态 $s$ 开始，按照策略 $\pi$ 行动所能获得的期望累积奖励：

V^\pi(s) = \mathbb{E}_\pi \left[ G_t \mid s_t = s \right] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} \mid s_t = s \right]

1.3 动作价值函数（Q 函数）

动作价值函数 $Q^\pi(s, a)$ ：从状态 $s$ 开始，采取动作 $a$ ，之后按照策略 $\pi$ 行动的期望累积奖励：

Q^\pi(s, a) = \mathbb{E}_\pi \left[ G_t \mid s_t = s, a_t = a \right]

1.4 优势函数

优势函数 $A^\pi(s, a)$ ：衡量某个动作相对于平均水平的"优势"：

A^\pi(s, a) = Q^\pi(s, a) - V^\pi(s)

直观理解：

$A^\pi(s, a) > 0$ ：动作 $a$ 比平均好
$A^\pi(s, a) < 0$ ：动作 $a$ 比平均差
$A^\pi(s, a) = 0$ ：动作 $a$ 是平均水平

2. Policy Gradient 定理

2.1 目标函数

策略优化的目标是找到一个参数化的策略 $\pi_\theta$ ，使得期望累积奖励最大化：

J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, a_t) \right]

其中 $\tau = (s_0, a_0, s_1, a_1, \ldots)$ 是一条轨迹。

2.2 Policy Gradient 定理推导

定理：策略梯度的表达式为：

\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot G_t \right]

推导过程：

Step 1：展开目标函数

目标函数可以写成关于轨迹的期望：

J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} [R(\tau)] = \int p_\theta(\tau) R(\tau) \, d\tau

其中：

$p_\theta(\tau) = p(s_0) \prod_{t=0}^{T-1} \pi_\theta(a_t \mid s_t) p(s_{t+1} \mid s_t, a_t)$ 是轨迹概率
$R(\tau) = \sum_{t=0}^{T} r(s_t, a_t)$ 是轨迹奖励

Step 2：对 $\theta$ 求梯度

\nabla_\theta J(\theta) = \int \nabla_\theta p_\theta(\tau) R(\tau) \, d\tau

Step 3：使用 log-derivative trick

关键技巧： $\nabla_\theta p_\theta(\tau) = p_\theta(\tau) \nabla_\theta \log p_\theta(\tau)$

这被称为 log-derivative trick 或者 REINFORCE trick：

\nabla_\theta p_\theta(\tau) = p_\theta(\tau) \cdot \frac{\nabla_\theta p_\theta(\tau)}{p_\theta(\tau)} = p_\theta(\tau) \nabla_\theta \log p_\theta(\tau)

Step 4：带入得到期望形式

\begin{aligned} \nabla_\theta J(\theta) &= \int p_\theta(\tau) \nabla_\theta \log p_\theta(\tau) R(\tau) \, d\tau \\ &= \mathbb{E}_{\tau \sim \pi_\theta} \left[ \nabla_\theta \log p_\theta(\tau) \cdot R(\tau) \right] \end{aligned}

Step 5：展开轨迹概率的 log 梯度

\log p_\theta(\tau) = \log p(s_0) + \sum_{t=0}^{T-1} \log \pi_\theta(a_t \mid s_t) + \sum_{t=0}^{T-1} \log p(s_{t+1} \mid s_t, a_t)

对 $\theta$ 求梯度，只有策略项含 $\theta$ ：

\nabla_\theta \log p_\theta(\tau) = \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t \mid s_t)

Step 6：最终形式

\boxed{\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot R(\tau) \right]}

2.3 直观理解

这个公式告诉我们：

$\nabla_\theta \log \pi_\theta(a_t \mid s_t)$ ：指向增大 $\pi_\theta(a_t \mid s_t)$ 的方向
$R(\tau)$ ：作为权重，如果轨迹奖励高，就增大这条轨迹上的动作概率

核心思想：

好的轨迹 → 增大这条轨迹上动作的概率
坏的轨迹 → 减小这条轨迹上动作的概率

2.4 使用优势函数的形式

实践中，常用优势函数替代累积奖励：

\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot A^{\pi}(s_t, a_t) \right]

好处：降低方差。因为 $A^\pi(s, a)$ 衡量的是"比平均好多少"，而不是绝对奖励。

3. 重要性采样

3.1 问题背景

Policy Gradient 需要从当前策略 $\pi_\theta$ 采样轨迹。但有时我们想用旧策略 $\pi_{\theta_{\text{old}}}$ 的样本来估计新策略 $\pi_\theta$ 的梯度。

3.2 重要性采样公式

\mathbb{E}_{x \sim p}[f(x)] = \mathbb{E}_{x \sim q} \left[ \frac{p(x)}{q(x)} f(x) \right]

证明：

\mathbb{E}_{x \sim q} \left[ \frac{p(x)}{q(x)} f(x) \right] = \int q(x) \frac{p(x)}{q(x)} f(x) \, dx = \int p(x) f(x) \, dx = \mathbb{E}_{x \sim p}[f(x)]

3.3 应用到策略梯度

用旧策略 $\pi_{\theta_{\text{old}}}$ 的样本估计新策略 $\pi_\theta$ 的梯度：

\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta_{\text{old}}}} \left[ \sum_{t=0}^{T-1} \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot A^{\pi_{\theta_{\text{old}}}}(s_t, a_t) \right]

定义重要性权重：

\rho_t(\theta) = \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)}

简化为：

\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta_{\text{old}}}} \left[ \sum_{t=0}^{T-1} \rho_t(\theta) \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot A_t \right]

4. KL 散度

4.1 定义

KL 散度（Kullback-Leibler divergence）衡量两个概率分布之间的差异：

D_{\text{KL}}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} = \mathbb{E}_{x \sim P} \left[ \log \frac{P(x)}{Q(x)} \right]

对于连续分布：

D_{\text{KL}}(P \parallel Q) = \int p(x) \log \frac{p(x)}{q(x)} \, dx

4.2 性质

非负性： $D_{\text{KL}}(P \parallel Q) \geq 0$
等号成立条件： $D_{\text{KL}}(P \parallel Q) = 0$ 当且仅当 $P = Q$
不对称性： $D_{\text{KL}}(P \parallel Q) \neq D_{\text{KL}}(Q \parallel P)$ 一般成立

4.3 在 RL 中的应用

在策略优化中，我们希望新策略 $\pi_\theta$ 不要离旧策略 $\pi_{\theta_{\text{old}}}$ 太远，用 KL 散度约束：

D_{\text{KL}}(\pi_{\theta_{\text{old}}} \parallel \pi_\theta) \leq \delta

这保证了策略更新的稳定性。

5. REINFORCE 算法

5.1 算法描述

REINFORCE 是最基础的 Policy Gradient 算法：

REINFORCE 算法：
1. 初始化策略参数 θ
2. For each episode:
   a. 用当前策略 π_θ 生成一条轨迹 τ = (s_0, a_0, r_1, s_1, a_1, ...)
   b. For each time step t:
      - 计算 G_t = Σ_{k=t}^{T-1} γ^{k-t} r_{k+1}
      - 更新：θ ← θ + α ∇_θ log π_θ(a_t | s_t) · G_t
3. 重复直到收敛

5.2 数学基础

更新公式：

\theta \leftarrow \theta + \alpha \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot G_t

这就是 Policy Gradient 定理的直接应用。

6. Actor-Critic 架构

6.1 问题：REINFORCE 的方差大

REINFORCE 使用 $G_t$ 作为权重，但 $G_t$ 是从单个轨迹计算的，方差很大。

6.2 解决方案：用 Critic 估计价值

Actor（演员）：策略 $\pi_\theta$ ，负责选择动作

Critic（评论家）：价值函数 $V_\phi(s)$ ，估计状态价值

6.3 优势函数估计

用 Critic 来估计优势函数：

\hat{A}_t = G_t - V_\phi(s_t) = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} - V_\phi(s_t)

或者使用 TD（时序差分）误差：

\delta_t = r_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t)

Generalized Advantage Estimation (GAE)：

\hat{A}_t^{\text{GAE}(\gamma, \lambda)} = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l}

其中 $\lambda \in [0, 1]$ 控制偏差-方差权衡。

6.4 学习目标

Actor 损失：

L^{\text{actor}}(\theta) = -\mathbb{E}_{s, a \sim \pi_\theta} \left[ \log \pi_\theta(a \mid s) \cdot \hat{A}(s, a) \right]

Critic 损失：

L^{\text{critic}}(\phi) = \mathbb{E}_{s \sim \pi_\theta} \left[ \left( V_\phi(s) - G \right)^2 \right]

7. 总结

概念	定义	作用
策略 $\pi(a \mid s)$	状态到动作的映射	决定智能体行为
价值函数 $V^\pi(s)$	期望累积奖励	评估状态好坏
Q 函数 $Q^\pi(s, a)$	状态-动作价值	评估动作好坏
优势函数 $A^\pi(s, a)$	$Q - V$	相对优势
Policy Gradient	$\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi \cdot A]$	策略优化方向
重要性采样	$\mathbb{E}_p[f] = \mathbb{E}_q[\frac{p}{q}f]$	重用旧样本
KL 散度	$D_{\text{KL}}(P \parallel Q)$	分布间距离
GAE	多步 TD 误差组合	低方差优势估计

下一步：在 02_ppo.md 中，我们将看到 PPO 如何基于这些概念，通过 Trust Region 和 Clipping 技术实现稳定高效的策略优化。

8. 参考文献

Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.
Schulman, J., et al. (2015). "Trust Region Policy Optimization." ICML.
Schulman, J., et al. (2016). "Generalized Advantage Estimation." ICLR.
Kakade, S. (2002). "A Natural Policy Gradient." NIPS.

01 强化学习基础概念

ON THIS PAGE