(可选) 策略梯度定理

在这一可选部分中，我们将研究如何微分我们用来近似策略梯度的目标函数。

首先，让我们回顾我们的不同公式

1. 目标函数

2. 给定动作来自$\pi_\theta$):

因此，我们有$\nabla_\theta J(\theta) = \nabla_\theta \sum_{\tau}P(\tau;\theta)R(\tau)$

我们可以将和的梯度改写成梯度的和$= \sum_{\tau} \nabla_\theta (P(\tau;\theta)R(\tau)) = \sum_{\tau} \nabla_\theta P(\tau;\theta)R(\tau)$如下$R(\tau)$与$\theta$

然后我们用$\frac{P(\tau;\theta)}{P(\tau;\theta)}$对总和中的每项乘以 (由于它 = 1，因此是可能的)$= \sum_{\tau} \frac{P(\tau;\theta)}{P(\tau;\theta)}\nabla_\theta P(\tau;\theta)R(\tau)$

我们鉴于以下情况可以进一步将其简化$\frac{P(\tau;\theta)}{P(\tau;\theta)}\nabla_\theta P(\tau;\theta) = P(\tau;\theta)\frac{\nabla_\theta P(\tau;\theta)}{P(\tau;\theta)}$.

因此我们可以将该和式重写为$P(\tau;\theta)\frac{\nabla_\theta P(\tau;\theta)}{P(\tau;\theta)}= \sum_{\tau} P(\tau;\theta) \frac{\nabla_\theta P(\tau;\theta)}{P(\tau;\theta)}R(\tau)$

我们可以使用导数的对数技巧（也叫似然比技巧或REINFORCE技巧），它是一个微积分中的简单规则，这意味着$\nabla_x log f(x) = \frac{\nabla_x f(x)}{f(x)}$

因此，我们拥有$\frac{\nabla_\theta P(\tau;\theta)}{P(\tau;\theta)}$我们将其转化为$\nabla_\theta log P(\tau|\theta)$

所以这是我们的似然策略梯度$\nabla_\theta J(\theta) = \sum_{\tau} P(\tau;\theta) \nabla_\theta log P(\tau;\theta) R(\tau)$

感谢您提供此新公式，我们可以使用轨迹样本估算梯度（如果您愿意，可以使用基于样本的估计来近似似然比策略梯度）。$\nabla_\theta J(\theta) = \frac{1}{m} \sum^{m}_{i=1} \nabla_\theta log P(\tau^{(i)};\theta)R(\tau^{(i)})$其中每个$\tau^{(i)}$是抽样轨迹。

但是我们仍然需要进行一些数学上的工作：我们需要简化$\nabla_\theta log P(\tau|\theta)$

我们知道$\nabla_\theta log P(\tau^{(i)};\theta)= \nabla_\theta log[ \mu(s_0) \prod_{t=0}^{H} P(s_{t+1}^{(i)}|s_{t}^{(i)}, a_{t}^{(i)}) \pi_\theta(a_{t}^{(i)}|s_{t}^{(i)})]$

其中$\mu(s_0)$是初始状态分布$P(s_{t+1}^{(i)}|s_{t}^{(i)}, a_{t}^{(i)})$是 MDP 的状态转移动力学。

我们知道，一个连乘的的对数等于各对数的和$\nabla_\theta log P(\tau^{(i)};\theta)= \nabla_\theta \left[log \mu(s_0) + \sum\limits_{t=0}^{H}log P(s_{t+1}^{(i)}|s_{t}^{(i)} a_{t}^{(i)}) + \sum\limits_{t=0}^{H}log \pi_\theta(a_{t}^{(i)}|s_{t}^{(i)})\right]$

我们还知道，一个求和的梯度等于各梯度的和$\nabla_\theta log P(\tau^{(i)};\theta)=\nabla_\theta log\mu(s_0) + \nabla_\theta \sum\limits_{t=0}^{H} log P(s_{t+1}^{(i)}|s_{t}^{(i)} a_{t}^{(i)}) + \nabla_\theta \sum\limits_{t=0}^{H} log \pi_\theta(a_{t}^{(i)}|s_{t}^{(i)})$

既然 MDP 的初始状态分布和状态转移动力学都不知道$\theta$，那么两项的导数为 0。因此，我们可以去掉它们

因为$\nabla_\theta \sum_{t=0}^{H} log P(s_{t+1}^{(i)}|s_{t}^{(i)} a_{t}^{(i)}) = 0$和$\nabla_\theta \mu(s_0) = 0$ $\nabla_\theta log P(\tau^{(i)};\theta) = \nabla_\theta \sum_{t=0}^{H} log \pi_\theta(a_{t}^{(i)}|s_{t}^{(i)})$

我们可以将总体的梯度改写为梯度的和$\nabla_\theta log P(\tau^{(i)};\theta)= \sum_{t=0}^{H} \nabla_\theta log \pi_\theta(a_{t}^{(i)}|s_{t}^{(i)})$

因此，用于估计策略梯度的最终公式为$\nabla_{\theta} J(\theta) = \hat{g} = \frac{1}{m} \sum^{m}_{i=1} \sum^{H}_{t=0} \nabla_\theta \log \pi_\theta(a^{(i)}_{t} | s_{t}^{(i)})R(\tau^{(i)})$

< > 更新 GitHub