Hugging Face 的徽标

加速文档

用于全分片数据并行的实用程序

Hugging Face's logo
加入 Hugging Face 社区

并获取增强型文档体验

开始使用

完全分片数据并行实用程序

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: str output_path: str safe_serialization: bool = True remove_checkpoint_dir: bool = False )

参数

  • checkpoint_dir (str) — 包含 FSDP 检查点（可以是模型或优化器）的目录。
  • output_path (str) — 保存合并后的检查点的路径。
  • safe_serialization (bool, 可选，默认为 True) — 是否使用 safetensors 保存合并后的权重（推荐）。
  • remove_checkpoint_dir (bool, 可选，默认为 False) — 合并后是否删除检查点目录。

将来自分片 FSDP 模型检查点的权重合并到一个单独的组合检查点中。如果模型使用了 SHARDED_STATE_DICT，则应使用此方法。如果 safe_serialization 为真，则权重将保存到 {output_path}/model.safetensors，否则保存到 pytorch_model.bin。

注意：这是一个 CPU 绑定的过程。

class accelerate.FullyShardedDataParallelPlugin

< >

( sharding_strategy: typing.Any = None backward_prefetch: typing.Any = None mixed_precision_policy: typing.Any = None auto_wrap_policy: Optional = None cpu_offload: typing.Any = None ignored_modules: Optional = None state_dict_type: typing.Any = None state_dict_config: typing.Any = None optim_state_dict_config: typing.Any = None limit_all_gathers: bool = True use_orig_params: bool = True param_init_fn: Optional = None sync_module_states: bool = True forward_prefetch: bool = False activation_checkpointing: bool = False )

该插件用于启用完全分片数据并行。

< > 在 GitHub 上更新

←Megatron-LM 工具