DeepSpeed 集成

TRL 支持使用 DeepSpeed 进行训练，DeepSpeed 是一个实现了高级训练优化技术的库。这些技术包括优化器状态分区、卸载、梯度分区等等。

DeepSpeed 集成了 零冗余优化器 (ZeRO)，它允许模型大小与设备数量成比例扩展，并保持高效率。

安装

要将 DeepSpeed 与 TRL 一起使用，请使用以下命令安装它

pip install deepspeed

使用 DeepSpeed 运行训练脚本

您的训练脚本无需任何修改。只需使用 DeepSpeed 配置文件运行它即可

accelerate launch --config_file <ACCELERATE_WITH_DEEPSPEED_CONFIG_FILE.yaml> train.py

我们在 examples/accelerate_configs 目录中提供了即用型 DeepSpeed 配置文件。例如，要使用 ZeRO Stage 2 运行训练，请使用以下命令

accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml train.py

其他资源

有关 DeepSpeed 插件的更多信息，请查阅 🤗 Accelerate 文档。