多智能体强化学习 (MARL) 简介

从单智能体到多智能体

在第一个单元中，我们学习了如何在单智能体系统中训练智能体。当我们的智能体独自处于环境中时：它没有与其他智能体合作或协同。

当我们进行多智能体强化学习 (MARL) 时，我们处于多个智能体在公共环境中共享和交互的情况。

例如，您可以想象一个仓库，其中多个机器人需要导航以装卸包裹。

或者一条有若干自动驾驶汽车的道路。

在这些例子中，我们有多个智能体在环境以及与其他智能体互动。 这意味着要定义一个多智能体系统。 但首先，让我们了解不同类型的多智能体环境。

不同类型的多智能体环境

鉴于在多智能体系统中，智能体与其他智能体互动，我们可以有不同类型的环境

• 合作环境：您的智能体需要最大化共同利益。

例如，在仓库中，机器人必须协作以高效地（尽可能快地）装卸包裹。

• 竞争/对抗环境：在这种情况下，您的智能体希望通过最小化对手的利益来最大化其利益。

例如，在网球比赛中，每个智能体都想击败另一个智能体。

• 对抗和合作的混合：就像在我们的 SoccerTwos 环境中一样，两个智能体是一个团队（蓝色或紫色）的一部分：他们需要相互合作并击败对方团队。

那么现在我们可能会想：我们如何设计这些多智能体系统？ 换句话说，我们如何在多智能体环境中训练智能体？

< > 在 GitHub 上更新