安装

在开始之前，您需要设置您的环境，安装适当的软件包，并配置 Accelerate。Accelerate 在 Python 3.8+ 上进行过测试。

Accelerate 在 pypi 和 conda 以及 GitHub 上均可用。从每个平台安装的详细信息如下：

pip

要从 pypi 安装 Accelerate，请执行：

pip install accelerate

conda

也可以使用 conda 安装 Accelerate，命令如下：

conda install -c conda-forge accelerate

源码

每天都会添加尚未发布的新功能。要亲自试用，请从 GitHub 存储库安装。

pip install git+https://github.com/huggingface/accelerate

如果您正在为库做贡献，或者希望使用源代码并查看运行代码时的实时结果，则可以从本地克隆的存储库版本安装可编辑版本。

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

配置

安装后，您需要配置 Accelerate 以适应当前系统的训练设置。为此，请运行以下命令并回答提示您的问题。

accelerate config

要编写不包含 DeepSpeed 配置或在 TPU 上运行等选项的基本配置，您可以快速运行：

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate 将自动利用可用的最大 GPU 数量并设置混合精度模式。

要检查您的配置是否正常，请运行：

accelerate env

下面显示了一个示例输出，它描述了单台机器上的两个 GPU，且未使用混合精度。

- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
        - compute_environment: LOCAL_MACHINE
        - distributed_type: MULTI_GPU
        - mixed_precision: no
        - use_cpu: False
        - debug: False
        - num_processes: 2
        - machine_rank: 0
        - num_machines: 1
        - gpu_ids: all
        - rdzv_backend: static
        - same_network: True
        - main_training_function: main
        - enable_cpu_affinity: False
        - downcast_bf16: no
        - tpu_use_cluster: False
        - tpu_use_sudo: False
        - tpu_env: []

< > 在 GitHub 上更新