参数

• backend (str, 可选，默认为“msamp”） — 使用哪个FP8引擎。必须是"msamp" (MS-AMP)或"te" (TransformerEngine)之一。
• margin （int，可选，默认为0） — 用于梯度缩放的参数。
• interval (int, 可选，默认为1) —— 重新计算缩放因子所用的时间间隔。
• fp8_format (str, 可选，默认为“E4M3”) —— 用于FP8方案的格式。必须是E4M3或HYBRID之一。
• amax_history_len (int, 可选，默认为1024) —— 用于缩放因子计算的记录长度
• amax_compute_algo (str, 可选，默认为“most_recent”) —— 用于缩放因子计算的算法。必须是max或most_recent之一。
• override_linear_precision （三 bool 的元组，可选，默认为 (False, False, False)） — 是否在更高的精度下执行 fprop、dgrad 和 wgrad GEMMS。
• optimization_level （str），可以是 O1 或 O2。（默认为 O2）—— 在 MS-AMP 中使用的 8 位集体通信的级别。一般来说：
  • O1：权重梯度和 all_reduce 通信在 fp8 中进行，减少 GPU 内存使用和通信带宽
  • O2：一阶优化器状态在 8 位，二阶状态在 FP16。仅在 Adam 或 AdamW 中可用。这保持了精度，并可能节省最高的内存。
  • 03：特别为 DeepSpeed 实现，将模型的权重和主权重存储在 FP8 中。如果选择 fp8 并启用 deepspeed，将默认使用。（目前不可用）

参数

• num_steps (int) — 聚积梯度的步数。
• adjust_scheduler (bool, 可选，默认为 True) — 是否调整调度器的步数以计算正在累积的步数。如果使用的调度器未调整以进行梯度累积，则应为 True。
• sync_with_dataloader (bool, 可选，默认为 True) — 当到达数据加载器结尾时，是否同步设置梯度。
• sync_each_batch (bool, optional) — 是否在每个数据批次时同步设置梯度。设置为 True 可能在使用梯度累积的分布式训练时减少内存需求，但会牺牲速度。

参数

• tensor (嵌套列表/元组/字典中的 torch.Tensor) — 聚集的数据。
• from_process (int, 可选, 默认为 0) — 从哪个进程发送数据

参数

• object_list （可序列化对象列表） — 要广播的对象列表。此列表将就地修改。
• from_process （整数，可选，默认值为0） — 从该进程发送数据。

参数

• 数据 (张量列表/元组/字典的嵌套列表 torch.Tensor) — 要连接的数据。
• dim (int, 可选，默认为0) — 连接的维度。

参数

• tensor (嵌套列表/元组/字典的torch.Tensor) — 要从FP16/BF16转换为FP32的数据。

参数

• 张量 (嵌套列表/元组/字典的 torch.Tensor) — 要收集的数据。

参数

• 对象 (可Pickle对象的嵌套列表/元组/字典) — 要收集的数据。

参数

• 数据 (嵌套列表/元组/字典的 torch.Tensor) — 要转换成常规数字的数据。

参数

• tensor (嵌套列表/元组/字典中的 torch.Tensor) — 要聚合的数据。
• dim (int, 可选，默认为 0) — 要填充的维度。
• pad_index (int, 可选，默认为 0) — 用于填充的值。
• pad_first (bool, 可选，默认为 False) — 是否在开始或结束时填充。

参数

• func (callable) — 应用递归的函数。
• data (嵌套列表/元组/字典的 main_type) — 在其上应用 func 的数据 *args — 当在展开的数据上应用 func 时传递给 func 的位置参数。
• 基础类型 main_type (type, 可选，默认为 torch.Tensor) — 应用 func 的对象的基础类型。
• error_on_other_type (bool, 可选，默认为 False) — 在解开 data 之后，如果得到的对象不是类型 main_type，是否返回错误。如果为 False，函数将保持不同于 main_type 的类型的对象不变。
• 其他关键字参数 *kwargs (可选) — 当对解包的数据应用 func 时将传递给 func 的关键字参数。

参数

• tensor (嵌套列表/元组/字典的 torch.Tensor) — 要进行约简的数据。
• reduction (str, 可选, 默认为 "mean") — 约简方法。可以是“mean”，“sum”或“none”
• scale (float, 可选) — 在reduce操作之后应用默认缩放值，只在XLA中有效。

参数

• tensor (嵌套 torch.Tensor 的列表/tuple/dictionary) — 要发送到指定设备的数据。
• 设备 (torch.device) — 要将数据发送到的设备。

参数

• data (嵌套列表/元组/字典的 torch.Tensor) — 要切片的数据。
• tensor_slice（《slice》）—— 要取的切片。

参数

• operation (str) — 运算符的字符串表示，例如 ">" 或 "<="
• version (str) — PyTorch 的字符串版本

参数

• mixed_precision (str, 可选, 默认为“no”) — 要使用的混合精度。应该是“no”，“fp16”或“bf16”之一
• save_location (str, 可选, 默认为default_json_config_file) — 可选的自定义保存位置。当使用accelerate launch时，应传递给--config_file。默认位置在huggingface缓存文件夹内（~/.cache/huggingface），但可以通过设置环境变量HF_HOME来覆盖，后跟accelerate/default_config.yaml。
• use_xpu (bool, 可选, 默认为False) — 是否使用XPU（如果可用）。

参数

• local_process_index (int) — 当前服务器上当前进程的索引。
• verbose (bool, 可选) — 是否打印每个进程的新CPU核心分配。如果启用了ACCELERATE_DEBUG_MODE，则默认为True。

参数

• local_process_index (int) — 当前服务器上当前进程的索引。
• verbose (bool, 可选) — 是否记录每个CPU的分配情况。如果启用 ACCELERATE_DEBUG_MODE，将默认为True。

参数

• function（《可调用》 可选） —— 一个用于包装的函数
• starting_batch_size（《int》 可选） —— 尝试放入内存的批量大小

参数

• model (torch.nn.Module) — 要提取的模型。
• keep_fp32_wrapper (bool, 可选) — 是否从模型中删除混合精度钩子。
• recursive (bool, 可选, 默认为 False) — 是否递归地从 model 中提取所有 module.module 的实例，并递归地展开子子层，而不仅仅是顶级分布式容器。

提取的模型。

参数

• model (torch.nn.Module) — 要分析的模型。
• max_memory (字典, 可选) — 设备标识符与最大内存的字典。如果未设置，将默认为可用最大内存。示例：`max_memory={0: "1GB"}`。
• no_split_module_classes （List[str]，可选） — 应该永远不会在整个设备上拆分的层类名列表（例如具有残差连接的任何层）。
• dtype （str 或 torch.dtype，可选） — 如果提供，则在加载时将权重转换为该类型。
• special_dtypes （Dict[str, Union[str, torch.device]]，可选） — 如果提供，则为一些特定的权重考虑特殊数据类型（将覆盖用于所有权重的默认数据类型）。
• low_zero （bool，可选） — 最小化 GPU 0 上的权重数量，当它用于其他操作（如 Transformers generate 函数）时方便。

参数

• modules (List[Tuple[str, torch.nn.Module]]) — 我们想要确定最大层大小的命名模块列表。
• module_sizes (Dict[str, int]) — 将每个层名映射到其大小（通过compute_module_sizes生成）。
• no_split_module_classes (列表[str]) — 我们不希望拆分的层的类名列表。

实现最大大小的层的列表，包括层名称。

参数

• 模型 (torch.nn.Module) — 要分析的模型。
• 最大内存 (Dict, 可选) — 设备标识符到最大内存的字典。如果未设置，将默认为最大可用内存。例如：max_memory={0: "1GB"}。
• 不允许拆分的模块类 (List[str], 可选) — 一些层类的名称列表，这类层不应该跨设备拆分（例如任何具有残差连接的层）。
• 数据类型 (str 或 torch.dtype, 可选) — 如果提供了，加载时将权重转换为该类型。
• special_dtypes (Dict[str, Union[str, torch.device]], 可选) — 如果提供，则为某些特定权重考虑的特殊数据类型（将覆盖所有权重使用的默认数据类型）。
• verbose (bool, 可选, 默认值为 False) — 在函数构建 device_map 时不提供调试语句。
• clean_result (bool, 可选, 默认值为 True) — 通过将所有放置在同一设备上的子模块分组，清洁生成的 device_map。
• offload_buffers (bool, optional, defaults to False) — 在CPU或硬盘上卸载的层中，是否卸载缓冲区以及参数。

参数

• model (torch.nn.Module) — 我们想要在其中加载检查点的模型。
• checkpoint (str 或 os.PathLike) — 要加载的检查点文件夹。它可以是：
  • 包含整个模型状态字典的文件的路径
  • 包含分片检查点索引的.json文件的路径
  • 包含唯一的.index.json文件和检查点分片的文件夹的路径。
  • 包含唯一的pytorch_model.bin或model.safetensors文件的文件夹的路径。
• device_map (Dict[str, Union[int, str, torch.device]], 可选) — 一个指定每个子模块应该去哪里的映射。它不需要细化到每个参数/缓冲区名称，一旦给定模块名称在其中，它所有的子模块都将发送到同一个设备。
• offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含任何值 "disk"，则会将该文件夹用于卸载权重。
• dtype (str 或 torch.dtype, 可选) — 如果提供，会在加载时将权重转换为该类型。
• 卸载_state_dict (bool, 可选, 默认为 False) — 如果为 True，将暂时将 CPU 状态字典卸载到硬盘上，以避免如果 CPU 状态字典的重量加上最大的碎片不适合，就会超出 CPU RAM。
• 卸载_buffers (bool, 可选, 默认为 False) — 是否包括在卸载到磁盘上的权重中的缓冲区。
• keep_in_fp32_modules (List[str], 可选) — 我们保留在 torch.float32 数据类型中的模块的列表。
• 卸载_8bit_bnb (bool, 可选) — 是否在 cpu/磁盘上启用 8 位模块的卸载。
• 严格 （bool，可选，默认为 False） — 是否严格确保检查点状态字典中的键与模型状态字典中的键相匹配。

参数

• 模型 （torch.nn.Module） — 将权重加载到其中的模型。
• index (dict) — 包含从模型卸载的每个参数的参数名及其元数据的字典。
• offload_folder (str) — 存储卸载权重的文件夹。

参数

• 检查点文件 (str) — 加载检查点的路径。
• device_map (Dict[str, Union[int, str, torch.device]], 可选) — 指定每个子模块应去哪里的映射。它不需要细分到每个参数/缓冲区名，一旦给定模块名在其中，它的所有子模块都将发送到相同的设备。

参数

• save_dir (str 或 os.PathLike) — 要卸载状态字典的目录。
• state_dict (Dict[str, torch.Tensor]) — 要卸载的张量字典。

参数

• model (torch.nn.Module) — 需要重绑定参数的模型。
• tied_params (List[List[str]]) — 通过find_tied_parameters获得的绑定的参数名到绑定参数名的映射。

参数

• module (torch.nn.Module) — 想要移动的张量所在的模块。
• tensor_name (str) — 参数/缓存的完整名称。
• device (int, str 或 torch.device) — 设置张量的设备。
• value (torch.Tensor, 可选) — 矩阵的值（在从元设备转移到任何其他设备时很有用）。
• dtype (torch.dtype, 可选) — 如果传递了参数值，则会将其转换为此 dtype。否则，value 将转换为模型中现有参数的数据类型。
• fp16_statistics (torch HFastTensor, 可选) — 寄存器上的fp16统计信息列表，用于8位模型序列化。

参数

• max_shard_size （整数或字符串，可选，默认为 "10GB"） — 每个子检查点的最大大小。如果表示为字符串，则需要是数字后跟单位（如 "5MB"）。
• weights_name （字符串，可选，默认为 "pytorch_model.bin"） — 模型保存文件的名称。

参数

• model (torch.nn.Module) — 要提取的模型。
• keep_fp32_wrapper (bool, 可选) — 是否从模型中删除混合精度钩子。
• recursive (bool, 可选, 默认为 False) — 是否递归地从 model 中提取所有 module.module 的实例，并递归地展开子子层，而不仅仅是顶级分布式容器。

提取的模型。

参数

• save_on_each_node (bool, 可选, 默认 False) — 是否仅在全局主进程中保存
• safe_serialization (bool, 可选, 默认 False) — 是否使用 safetensors 或传统的 PyTorch 方式（使用 pickle）保存 obj。

参数

• seed (int) — 要设置的种子。
• device_specific (bool, 可选，默认为 False) — 是否使用 self.process_index 在每个设备上稍微差异化种子。
• deterministic (bool, 可选，默认为 False) — 在可能的情况下是否使用确定性算法。可能会减慢训练速度。

参数

• 升级 (布尔, 可选, 默认为 False) — 是否升级 torch 并安装最新的 torch_xla 轮子。

参数

• model (torch.nn.Module) — 我们想要在其中加载检查点的模型。
• checkpoint (str 或 os.PathLike) — 要加载的检查点文件夹。它可以是：
  • 包含整个模型状态字典的文件的路径
  • 包含分片检查点索引的.json文件的路径
  • 包含唯一的.index.json文件和检查点分片的文件夹的路径。
  • 包含唯一的pytorch_model.bin或model.safetensors文件的文件夹的路径。
• device_map (Dict[str, Union[int, str, torch.device]], 可选) — 一个指定每个子模块应该去哪里的映射。它不需要细化到每个参数/缓冲区名称，一旦给定模块名称在其中，它所有的子模块都将发送到同一个设备。
• offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含任何值 "disk"，则会将该文件夹用于卸载权重。
• dtype (str 或 torch.dtype, 可选) — 如果提供，会在加载时将权重转换为该类型。
• 卸载_state_dict (bool, 可选, 默认为 False) — 如果为 True，将暂时将 CPU 状态字典卸载到硬盘上，以避免如果 CPU 状态字典的重量加上最大的碎片不适合，就会超出 CPU RAM。
• 卸载_buffers (bool, 可选, 默认为 False) — 是否包括在卸载到磁盘上的权重中的缓冲区。
• keep_in_fp32_modules (List[str], 可选) — 我们保留在 torch.float32 数据类型中的模块的列表。
• 卸载_8bit_bnb (bool, 可选) — 是否在 cpu/磁盘上启用 8 位模块的卸载。
• 严格 （bool，可选，默认为 False） — 是否严格确保检查点状态字典中的键与模型状态字典中的键相匹配。

参数

• model (torch.nn.Module) — 输入模型。模型可以是已加载的或在元设备上
• bnb_quantization_config（《BnbQuantizationConfig》）— bitsandbytes 量化参数
• weights_location（《str 或 os.PathLike）— 加载的权重存储位置文件夹。它可以是指：
• device_map（《Dict[str, Union[int, str, torch.device]], 可选）— 指定每个子模块应去往何处的映射。不需要对其每个参数/缓冲区名称进行细化，一旦给定的模块名称包含在内，其所有子模块都将被发送到相同的设备。
• no_split_module_classes (, 可选) — 应避免在设备之间拆分的层类名列表（例如任何具有残差连接的层）。
• max_memory (Dict, 可选) — 设备标识符到最大内存的字典。如果没有设置，则默认为可用的最大内存。
• offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含任何值为 "disk" 的值，那么我们将卸载权重的文件夹。
• offload_state_dict (bool, 可选，默认为False) — 如果True，将临时将CPU状态字典卸载到硬盘上，以避免CPU RAM不足的问题，当CPU状态字典的重量加上最大的分片不适合时。