DeepSpeed 集成

TRL 支持使用 DeepSpeed 进行训练，这是一个实现了高级训练优化技术的库。这些技术包括优化器状态分区、卸载、梯度分区等。

DeepSpeed 集成了 零冗余优化器 (ZeRO)，它允许将模型大小与设备数量成比例扩展，同时保持高效率。

安装

要在 TRL 中使用 DeepSpeed，请使用以下命令进行安装

pip install deepspeed

使用 DeepSpeed 运行训练脚本

无需修改您的训练脚本。只需使用 DeepSpeed 配置文件运行即可

accelerate launch --config_file <ACCELERATE_WITH_DEEPSPEED_CONFIG_FILE.yaml> train.py

我们在 examples/accelerate_configs 目录中提供了即用型 DeepSpeed 配置文件。例如，要使用 ZeRO Stage 2 运行训练，请使用以下命令

accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml train.py

其他资源

有关 DeepSpeed 插件的更多信息，请参阅 🤗 Accelerate 文档。