深入了解策略梯度方法

了解全局

我们刚刚了解到，策略梯度方法旨在找到参数 $\theta$ 可以最大化预期回报。

其理念是，我们有一个参数化的随机策略。在我们的案例中，神经网络输出一个关于动作的概率分布。选择每个动作的概率也称为动作偏好。

如果我们以 CartPole-v1 为例

我们使用策略梯度的目标是通过调整策略来控制动作的概率分布，以便在将来更频繁地采样好的动作（最大化回报）。每次智能体与环境交互时，我们都会调整参数，以便在将来更可能采样好的动作。

但我们如何使用预期回报来优化权重？

其理念是，我们将让智能体在一个片段中进行交互。如果我们在片段中获胜，我们认为每个采取的动作都是好的，并且必须在将来更多地采样，因为它们导致了获胜。

因此，对于每个状态-动作对，我们都希望增加 $P(a|s)$ ：在该状态下采取该动作的概率。如果我们输了，则减少。

策略梯度算法（简化）如下所示

现在我们已经了解了全局，让我们更深入地了解策略梯度方法。

我们有我们的随机策略 $\pi$ 它有一个参数 $\theta$ 。这个 $\pi$ 在给定状态的情况下，输出关于动作的概率分布。

其中 $\pi_\theta(a_t|s_t)$ 是智能体从状态中选择动作的概率 $a_t$ 来自状态 $s_t$ 给定我们的策略。

但我们如何知道我们的策略是否良好？我们需要一种方法来衡量它。为此，我们定义了一个分数/目标函数，称为 $J(\theta)$ .

目标函数告诉我们，给定一条轨迹（不考虑奖励的状态动作序列，与情节相反），智能体的性能，并输出预期累计奖励。

让我们详细介绍一下这个公式。

- $R(\tau)$ : 来自任意轨迹的回报。为了获取这个值并用它来计算预期回报，我们需要将其乘以每条可能轨迹的概率。

- $P(\tau;\theta)$ : 每个可能轨迹的概率 $\tau$ （该概率取决于 $\theta$ ，因为它定义了用于选择轨迹动作的策略，而轨迹动作会影响访问的状态）。

- $J(\theta)$ : 预期回报，我们通过将所有轨迹的概率（在给定 $\theta$ 的情况下）乘以该轨迹的回报。

因此，我们的目标是通过找到 $\theta$ 来最大化预期累计奖励，它将输出最佳动作概率分布

策略梯度是一个优化问题：我们想要找到 $\theta$ 的值来最大化我们的目标函数 $J(\theta)$ ，所以我们需要使用梯度上升。它是梯度下降的逆运算，因为它给出了 $J(\theta)$ .

最陡峭上升的方向。（如果你需要回顾梯度下降和梯度上升之间的区别，可以参考这个和这个）。

我们梯度上升的更新步骤为 $\theta \leftarrow \theta + \alpha * \nabla_\theta J(\theta)$

我们可以反复应用此更新，希望 $\theta$ 收敛到最大化 $J(\theta)$ .

的值。但是，计算 $J(\theta)$ :

的导数有两个问题。我们无法计算目标函数的真实梯度，因为它需要计算每条可能轨迹的概率，这在计算上非常昂贵。因此，我们希望使用基于样本的估计（收集一些轨迹）来计算梯度估计。
我们还有一个问题，我会在下一节可选部分中解释。为了区分这个目标函数，我们需要区分状态分布，称为马尔可夫决策过程动力学。它与环境相关。它告诉我们在给定当前状态和智能体采取的动作的情况下，环境进入下一个状态的概率。问题是，我们无法区分它，因为我们可能不知道它。

幸运的是，我们将使用一种称为策略梯度定理的解决方案，它将帮助我们将目标函数重新表述为一个可微函数，该函数不涉及状态分布的微分。