• 如果未启用 DeepSpeed 且调用了此函数，则会引发 ValueError。

参数

• hf_ds_config (Any, 默认为 None) — DeepSpeed 配置文件的路径，或字典，或 accelerate.utils.deepspeed.HfDeepSpeedConfig 类的对象。
• gradient_accumulation_steps (int, 默认为 None) — 在更新优化器状态之前累积梯度的步数。如果未设置，将直接使用 `Accelerator` 的值。
• gradient_clipping (float, 默认为 None) — 启用梯度裁剪并设定其值。
• zero_stage (int, 默认为 None) — 可能的选项为 0、1、2、3。默认值将从环境变量中获取。
• is_train_batch_min (bool, 默认为 True) — 如果同时指定了训练和评估数据加载器，这将决定 `train_batch_size`。
• offload_optimizer_device (str, 默认为 None) — 可能的选项为 none|cpu|nvme。仅适用于 ZeRO Stages 2 和 3。
• offload_param_device (str, 默认为 None) — 可能的选项为 none|cpu|nvme。仅适用于 ZeRO Stage 3。
• offload_optimizer_nvme_path (str, 默认为 None) — 可能的选项为 /nvme|/local_nvme。仅适用于 ZeRO Stage 3。
• offload_param_nvme_path (str, 默认为 None) — 可能的选项为 /nvme|/local_nvme。仅适用于 ZeRO Stage 3。
• zero3_init_flag (bool, 默认为 None) — 指示是否保存16位模型的标志。仅适用于 ZeRO Stage-3。
• zero3_save_16bit_model (bool, 默认为 None) — 指示是否保存16位模型的标志。仅适用于 ZeRO Stage-3。
• transformer_moe_cls_names (str, 默认为 None) — 以逗号分隔的 Transformers MoE 层类名列表（区分大小写）。例如，`MixtralSparseMoeBlock`、`Qwen2MoeSparseMoeBlock`、`JetMoEAttention`、`JetMoEBlock` 等。
• enable_msamp (bool, 默认为 None) — 指示是否为 FP8 训练启用 MS-AMP 后端的标志。
• msasmp_opt_level (Optional[Literal["O1", "O2"]], 默认为 None) — MS-AMP 的优化级别（默认为 'O1'）。仅当 `enable_msamp` 为 True 时适用。应为 ['O1' 或 'O2'] 之一。

参数

• optimizer (torch.optim.optimizer.Optimizer) — 要包装的优化器。
• total_num_steps (int, 可选) — 总步数。
• warmup_num_steps (int, 可选) — 预热步数。
• lr_scheduler_callable (callable, 可选) — 一个可调用函数，用于创建学习率调度器。它只接受一个参数 `optimizer`。
• **kwargs (附加关键字参数, 可选) — 其他参数。

参数

• engine (deepspeed.runtime.engine.DeepSpeedEngine) — 要包装的 deepspeed 引擎

参数

• optimizer (torch.optim.optimizer.Optimizer) — 要包装的优化器。

参数

• scheduler (torch.optim.lr_scheduler.LambdaLR) — 要包装的调度器。
• optimizers (一个或一个 `torch.optim.Optimizer` 列表) —

参数

• lr (float) — 学习率。
• params (iterable) — 可迭代的待优化参数或定义参数组的字典
• weight_decay (float) — 权重衰减。
• **kwargs (附加关键字参数, 可选) — 其他参数。