表格方法是一种问题类型，其中状态和动作空间足够小，可以近似价值函数，并将其表示为数组和表格。例如，Q-Learning 是一种表格方法，因为我们使用表格来表示状态和动作价值对。

我们将帧堆叠在一起，因为它有助于我们处理时间限制问题：单帧不足以捕获时间信息。例如，在 pong 游戏中，如果我们的智能体只获得一帧，它将无法知道球的方向。

1. 更有效地利用训练期间的经验

通常，在在线强化学习中，智能体与环境交互，获得经验（状态、动作、奖励和下一个状态），从中学习（更新神经网络），然后丢弃它们。这效率不高。但是，通过经验回放，我们创建了一个回放缓冲区，用于保存经验样本，以便我们在训练期间重复使用。

2. 避免忘记以前的经验并减少经验之间的相关性

如果我们向神经网络提供连续的经验样本，我们遇到的问题是它倾向于忘记以前的经验，因为它会覆盖新的经验。例如，如果我们处于第一关，然后进入第二关（这是不同的关卡），我们的智能体可能会忘记如何在第一关中行动和玩耍。

当我们计算 Q 目标时，我们使用两个网络来解耦动作选择和目标 Q 值的生成。我们

• 使用我们的 DQN 网络来选择在下一状态要采取的最佳动作（具有最高 Q 值的动作）。

• 使用我们的目标网络来计算在下一状态采取该动作的目标 Q 值。