安装

在开始之前，你需要设置你的环境，安装相应的软件包，并配置 Accelerate。Accelerate 在 Python 3.8+ 上进行了测试。

Accelerate 可在 pypi 和 conda 上获取，也可以在 GitHub 上找到。下面是每种安装方式的详细信息。

pip

要从 pypi 安装 Accelerate，请执行

pip install accelerate

conda

Accelerate 也可以通过 conda 安装

conda install -c conda-forge accelerate

源码

每天都会添加尚未发布的新功能。要亲自尝试它们，请从 GitHub 仓库安装：

pip install git+https://github.com/huggingface/accelerate

如果你正在为该库做贡献，或者希望修改源代码并在运行代码时看到实时结果，可以从本地克隆的仓库安装可编辑版本：

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

配置

安装后，你需要根据当前系统的训练设置来配置 Accelerate。为此，运行以下命令并回答提示的问题：

accelerate config

要编写一个不包含 DeepSpeed 配置或在 TPU 上运行等选项的基本配置，你可以快速运行：

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate 将自动利用可用的最大 GPU 数量并设置混合精度模式。

要检查你的配置是否正确，请运行：

accelerate env

下面显示了一个示例输出，描述了在一台机器上使用两个 GPU 且未使用混合精度的情况：

- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
        - compute_environment: LOCAL_MACHINE
        - distributed_type: MULTI_GPU
        - mixed_precision: no
        - use_cpu: False
        - debug: False
        - num_processes: 2
        - machine_rank: 0
        - num_machines: 1
        - gpu_ids: all
        - rdzv_backend: static
        - same_network: True
        - main_training_function: main
        - enable_cpu_affinity: False
        - downcast_bf16: no
        - tpu_use_cluster: False
        - tpu_use_sudo: False
        - tpu_env: []

< > 在 GitHub 上更新