词汇表
这是一个社区创建的词汇表。欢迎贡献！
找到最优策略的策略
- 基于策略的方法。策略通常使用神经网络进行训练，以根据状态选择要采取的动作。在这种情况下，神经网络输出代理应该采取的动作，而不是使用价值函数。根据环境接收到的经验，神经网络将被重新调整，并提供更好的动作。
- 基于价值的方法。在这种情况下，训练价值函数以输出状态或状态-动作对的价值，这将代表我们的策略。但是，此值并不定义代理应该采取什么动作。相反，我们需要根据价值函数的输出指定代理的行为。例如，我们可以决定采用始终导致最大奖励的策略（贪婪策略）。总之，策略是使用价值函数的值来决定要采取的动作的贪婪策略（或用户做出的任何决策）。
在基于价值的方法中，我们可以找到两种主要策略
- 状态值函数。对于每个状态，状态值函数是如果代理从该状态开始并遵循策略直到结束的预期回报。
- 动作值函数。与状态值函数相反，动作值函数计算每个状态和动作对的预期回报，如果代理从该状态开始，采取该动作，然后永远遵循策略。
Epsilon-greedy 策略：
- 强化学习中常用的策略，涉及平衡探索和利用。
- 以 1-epsilon 的概率选择预期奖励最高的动作。
- 以 epsilon 的概率选择随机动作。
- epsilon 通常会随着时间的推移而减小，以将重点转移到利用上。
贪婪策略：
- 涉及始终根据当前对环境的了解选择预期会导致最高奖励的动作。（仅利用）
- 始终选择预期奖励最高的动作。
- 不包括任何探索。
- 在存在不确定性或未知最优动作的环境中可能不利。
离策略与在线策略算法
- 离策略算法：在训练时和推理时使用不同的策略
- 在线策略算法：在训练和推理期间使用相同的策略
蒙特卡洛和时间差分学习策略
蒙特卡洛 (MC)：在片段结束时学习。使用蒙特卡洛方法，我们等到片段结束，然后根据完整的片段更新价值函数（或策略函数）。
时间差分 (TD)：在每个步骤学习。使用时间差分学习，我们在每个步骤更新价值函数（或策略函数），而无需完整的片段。
如果您想改进课程，您可以提交一个 Pull Request。
这份词汇表由以下人员共同完成
< > 在 GitHub 上更新