安装
在开始之前,您需要设置您的环境,安装相应的软件包,并配置 Accelerate。Accelerate 在**Python 3.8+** 上进行了测试。
Accelerate 可在 pypi 和 conda 上获得,也可在 GitHub 上获得。以下列出了从每个来源安装的详细信息
pip
要从 pypi 安装 Accelerate,请执行以下操作
pip install accelerate
conda
Accelerate 也可以使用 conda 进行安装:
conda install -c conda-forge accelerate
源代码
每天都会添加新的功能,但尚未发布。要自己尝试这些功能,请从 GitHub 存储库安装。
pip install git+https://github.com/huggingface/accelerate
如果您正在参与库的贡献,或者希望使用源代码并查看代码运行时的实时结果,可以从本地克隆的存储库版本安装可编辑版本。
git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .
配置
安装后,您需要根据当前系统的训练设置配置 Accelerate。为此,请运行以下命令并回答提示的问题
accelerate config
要编写一个不包含 DeepSpeed 配置或在 TPU 上运行等选项的基本配置,您可以快速运行以下命令:
python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"
Accelerate 将自动利用可用的最大数量的 GPU 并设置混合精度模式。
要检查您的配置是否正常,请运行以下命令:
accelerate env
下面显示了一个示例输出,它描述了单台机器上的两个 GPU,并且没有使用混合精度。
- `Accelerate` version: 0.11.0.dev0 - Platform: Linux-5.10.0-15-cloud-amd64-x86_64-with-debian-11.3 - Python version: 3.7.12 - Numpy version: 1.19.5 - PyTorch version (GPU?): 1.12.0+cu102 (True) - `Accelerate` default config: - compute_environment: LOCAL_MACHINE - distributed_type: MULTI_GPU - mixed_precision: no - use_cpu: False - num_processes: 2 - machine_rank: 0 - num_machines: 1 - main_process_ip: None - main_process_port: None - main_training_function: main - deepspeed_config: {} - fsdp_config: {}