分布式训练

使用 TRL 进行多 GPU 训练

TRL 中的训练器使用 🤗 Accelerate 来实现跨多个 GPU 或节点的分布式训练。为此，首先通过运行以下命令创建 🤗 Accelerate 配置文件

accelerate config

并根据您的多 GPU / 多节点设置回答问题。然后，您可以通过运行以下命令启动分布式训练

accelerate launch train.py

我们还在 examples 文件夹中提供了配置文件，可以将其用作模板。要使用这些模板，只需在启动作业时传递配置文件的路径，例如

accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml train.py <SCRIPT_ARGS>

这会自动将工作负载分配到所有可用的 GPU 上。

在底层，🤗 Accelerate 为每个 GPU 创建一个模型。每个进程

• 处理其自身批次的数据
• 计算该批次的损失和梯度
• 跨所有 GPU 共享梯度更新

有效批次大小计算为$$\text{Batch Size} = \text{per\_device\_train\_batch\_size} \times \text{num\_devices} \times \text{gradient\_accumulation\_steps}$$

为了在扩展到多个 GPU 时保持一致的批次大小，请确保相应地更新 per_device_train_batch_size 和 gradient_accumulation_steps。

例如，以下配置是等效的，并且应该产生相同的结果

多节点训练

我们正在编写多节点训练指南。敬请期待！🚀