Hugging Face 的标识

加速文档

适用于 DeepSpeed 的实用程序

Hugging Face's logo
加入 Hugging Face 社区

并访问扩增文档体验

来开始使用

DeepSpeed 相关的辅助程序

类 accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = None gradient_accumulation_steps: int = None gradient_clipping: float = None zero_stage: int = None is_train_batch_min: bool = True offload_optimizer_device: str = None offload_param_device: str = None offload_optimizer_nvme_path: str = None offload_param_nvme_path: str = None zero3_init_flag: bool = None zero3_save_16bit_model: bool = None transformer_moe_cls_names: str = None )

此插件用于整合 DeepSpeed。

deepspeed_config_process

< >

( 前缀 = '' 错误 = 无 配置 = 无 必须匹配 = 真 **kwargs )

运用 kwargs 中的值来处理 DeepSpeed 配置。

类别 accelerate.utils.虚拟优化

< >

( 参数 学习率 = 0.001 权重衰减 = 0 **kwargs )

参数

  • lr (float) — 学习率。
  • params (可迭代对象) — 用于优化或定义参数组词典的重复对象
  • **kwargs (其他关键字参数，可选) — 其他参数。

虚拟优化器表示模型参数或参数组，这主要用于在 deepspeed 配置文件中指定优化器配置时遵循传统训练循环。

类 accelerate.utils.DummyScheduler

< >

( optimizer total_num_steps = None warmup_num_steps = 0 lr_scheduler_callable = None **kwargs )

参数

  • optimizer (torch.optim.optimizer.Optimizer) — 要包装的优化器。
  • total_num_steps (int, 可选) — 总步数。
  • lr_scheduler_callable (callable，可选) — 创建 LR 安排器的可调用函数。它只接受一个参数 optimizer。
  • **kwargs (其他关键字参数，可选) — 其他参数。

虚拟调度器提供模型参数或参数组，这主要用于在 deepspeed 配置文件指定调度器配置时遵循常规训练循环。

class accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

参数

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — 封装 deepspeed 引擎

deepspeed.runtime.engine.DeepSpeedEngine 的内部封装器。用于遵循常规训练循环。

类别 accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

参数

  • optimizer (torch.optim.optimizer.Optimizer) — 要包装的优化器。

Deepspeed 优化器的内部包装器。

类 accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduler optimizers )

参数

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — 要包装的调度器。
  • optimizers（一个或一列表torch.optim.Optimizer）—

用于 deepspeed 调度程序的内部封装。

< > 更新在 GitHub 中

←分布式启动器 记录→