参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, 默认为 1e-3) — 学习率。
• betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, 默认为 1e-8) — epsilon 值可防止优化器中被零除。
• weight_decay (float, 默认为 0.0) — 优化器的权重衰减值。
• amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
• optim_bits (int, 默认为 32) — 优化器状态的位数。
• args (object, 默认为 `None`) — 具有附加参数的对象。
• min_8bit_size (int, 默认为 4096) — 用于 8 位优化的参数张量的最小元素数。
• percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并在某个百分位数剪裁梯度来自动调整剪裁阈值，以提高稳定性。
• block_wise (bool, 默认为 `True`) — 是否独立量化张量的每个块以减少异常值影响并提高稳定性。
• is_paged (bool, 默认为 `False`) — 优化器是否为分页优化器。

参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, 默认为 1e-3) — 学习率。
• betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, 默认为 1e-8) — epsilon 值可防止优化器中被零除。
• weight_decay (float, 默认为 0.0) — 优化器的权重衰减值。
• amsgrad (bool, 默认为 `False`) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
• optim_bits (int, defaults to 32) — 优化器状态的位数。
• args (object, defaults to None) — 带有附加参数的对象。
• min_8bit_size (int, defaults to 4096) — 用于 8 位优化的参数张量的最小元素数量。
• percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数并在特定百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
• block_wise (bool, defaults to True) — 是否独立量化张量的每个块，以减少异常值影响并提高稳定性。
• is_paged (bool, defaults to False) — 优化器是否为分页优化器。

参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, defaults to 1e-3) — 学习率。
• betas (tuple(float, float), defaults to (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, defaults to 1e-8) — epsilon 值可防止优化器中出现除零错误。
• weight_decay (float, defaults to 0.0) — 优化器的权重衰减值。
• amsgrad (bool, defaults to False) — 是否使用 AMSGrad 版本的 Adam，它使用过去平方梯度的最大值。
• optim_bits (int, defaults to 32) — 优化器状态的位数。
• args (object, defaults to None) — 带有附加参数的对象。
• min_8bit_size (int, defaults to 4096) — 用于 8 位优化的参数张量的最小元素数量。
• percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数并在特定百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
• block_wise (bool, defaults to True) — 是否独立量化张量的每个块，以减少异常值影响并提高稳定性。
• is_paged (bool, defaults to False) — 优化器是否为分页优化器。

参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, defaults to 1e-3) — 学习率。
• betas (tuple(float, float), defaults to (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, defaults to 1e-8) — epsilon 值可防止优化器中出现除零错误。
• weight_decay (float, defaults to 0.0) — 优化器的权重衰减值。
• amsgrad (bool, defaults to False) — 是否使用 AMSGrad 版本的 Adam，它使用过去平方梯度的最大值。
• optim_bits (int, defaults to 32) — 优化器状态的位数。
• args (object, 默认为 None) — 包含附加参数的对象。
• min_8bit_size (int, 默认为 4096) — 用于 8 位优化的参数张量的最小元素数量。
• percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并按一定百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
• block_wise (bool, 默认为 True) — 是否独立量化张量的每个块，以减少异常值的影响并提高稳定性。
• is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, 默认为 1e-3) — 学习率。
• betas (tuple(float, float), 默认为 (0.9, 0.999)) — Beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, 默认为 1e-8) — epsilon 值防止优化器中除以零。
• weight_decay (float, 默认为 0.0) — 优化器的权重衰减值。
• amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
• optim_bits (int, 默认为 32) — 优化器状态的位数。
• args (object, 默认为 None) — 包含附加参数的对象。
• min_8bit_size (int, 默认为 4096) — 用于 8 位优化的参数张量的最小元素数量。
• percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并按一定百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
• block_wise (bool, 默认为 True) — 是否独立量化张量的每个块，以减少异常值的影响并提高稳定性。
• is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

参数

• params (torch.tensor) — 要优化的输入参数。
• lr (float, 默认为 1e-3) — 学习率。
• betas (tuple(float, float), 默认为 (0.9, 0.999)) — Beta 值是优化器一阶矩和二阶矩的衰减率。
• eps (float, 默认为 1e-8) — epsilon 值防止优化器中除以零。
• weight_decay (float, 默认为 0.0) — 优化器的权重衰减值。
• amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
• optim_bits (int, 默认为 32) — 优化器状态的位数。
• args (object, 默认为 None) — 包含额外参数的对象。
• min_8bit_size (int, 默认为 4096) — 用于 8 位优化的参数张量的最小元素数量。
• percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并在特定百分位数处裁剪梯度来自动调整裁剪阈值，以提高稳定性。
• block_wise (bool, 默认为 True) — 是否独立量化张量的每个块，以减少异常值影响并提高稳定性。
• is_paged (bool, 默认为 False) — 优化器是否为分页优化器。