Hugging Face's logo

Bitsandbytes 文档

AdamW

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AdamW

AdamW 是 Adam 优化器的一种变体，它将权重衰减与梯度更新分离开来，基于观察到权重衰减公式在应用于 SGD 和 Adam 时是不同的。

bitsandbytes 也支持分页优化器，它利用 CUDA 的统一内存，在 GPU 内存耗尽时将内存从 GPU 传输到 CPU。

AdamW

类 bitsandbytes.optim.AdamW

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

参数

  • params (torch.tensor) — 要优化的输入参数。
  • lr (float, 默认为 1e-3) — 学习率。
  • betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器的一阶矩和二阶矩的衰减率。
  • eps (float, 默认为 1e-8) — epsilon 值防止优化器中除以零。
  • weight_decay (float, 默认为 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值代替。
  • optim_bits (int, 默认为 32) — 优化器状态的位数。
  • args (object, 默认为 None) — 具有附加参数的对象。
  • min_8bit_size (int, 默认为 4096) — 参数张量的最小元素数量，用于 8 位优化。
  • percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并在特定百分位数处裁剪梯度来自动调整裁剪阈值，以提高稳定性。
  • block_wise (bool, 默认为 True) — 是否独立量化张量的每个块以减少异常值影响并提高稳定性。
  • is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

基础 AdamW 优化器。

AdamW8bit

类 bitsandbytes.optim.AdamW8bit

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

参数

  • params (torch.tensor) — 优化的输入参数。
  • lr (float, 默认为 1e-3) — 学习率。
  • betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器的一阶和二阶矩的衰减率。
  • eps (float, 默认为 1e-8) — epsilon 值，用于防止优化器中除以零。
  • weight_decay (float, 默认为 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
  • optim_bits (int, 默认为 32) — 优化器状态的位数。
  • args (object, 默认为 None) — 带有附加参数的对象。
  • min_8bit_size (int, 默认为 4096) — 参数张量的最小元素数量，用于 8 位优化。
  • percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并按某个百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
  • block_wise (bool, 默认为 True) — 是否独立量化张量的每个块以减少异常值效应并提高稳定性。
  • is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

8 位 AdamW 优化器。

AdamW32bit

class bitsandbytes.optim.AdamW32bit

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True is_paged = False )

参数

  • params (torch.tensor) — 优化的输入参数。
  • lr (float, 默认为 1e-3) — 学习率。
  • betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器的一阶和二阶矩的衰减率。
  • eps (float, 默认为 1e-8) — epsilon 值，用于防止优化器中除以零。
  • weight_decay (float, 默认为 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, 默认为 False) — 是否使用 Adam 的 AMSGrad 变体，该变体使用过去平方梯度的最大值。
  • optim_bits (int, 默认为 32) — 优化器状态的位数。
  • args (object, 默认为 None) — 带有附加参数的对象。
  • min_8bit_size (int, 默认为 4096) — 参数张量的最小元素数量，用于 8 位优化。
  • percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并按某个百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性。
  • block_wise (bool, 默认为 True) — 是否独立量化张量的每个块以减少异常值效应并提高稳定性。
  • is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

32 位 AdamW 优化器。

PagedAdamW

class bitsandbytes.optim.PagedAdamW

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 用于优化的输入参数。
  • lr (float, defaults to 1e-3) — 学习率。
  • betas (tuple(float, float), defaults to (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
  • eps (float, defaults to 1e-8) — epsilon 值，用于防止优化器中除以零。
  • weight_decay (float, defaults to 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, defaults to False) — 是否使用 AMSGrad 版本的 Adam，它使用过去平方梯度的最大值。
  • optim_bits (int, defaults to 32) — 优化器状态的位数。
  • args (object, defaults to None) — 带有附加参数的对象。
  • min_8bit_size (int, defaults to 4096) — 参数张量的最小元素数量，用于 8 位优化。
  • percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数，并将梯度裁剪在某个百分位数以提高稳定性，从而自动调整裁剪阈值。
  • block_wise (bool, defaults to True) — 是否独立量化张量的每个块，以减少异常值的影响并提高稳定性。
  • is_paged (bool, defaults to False) — 优化器是否为分页优化器。

Paged AdamW 优化器。

PagedAdamW8bit

class bitsandbytes.optim.PagedAdamW8bit

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 用于优化的输入参数。
  • lr (float, defaults to 1e-3) — 学习率。
  • betas (tuple(float, float), defaults to (0.9, 0.999)) — beta 值是优化器一阶矩和二阶矩的衰减率。
  • eps (float, defaults to 1e-8) — epsilon 值，用于防止优化器中除以零。
  • weight_decay (float, defaults to 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, defaults to False) — 是否使用 AMSGrad 版本的 Adam，它使用过去平方梯度的最大值。
  • optim_bits (int, defaults to 32) — 优化器状态的位数。
  • args (object, defaults to None) — 带有附加参数的对象。
  • min_8bit_size (int, defaults to 4096) — 参数张量的最小元素数量，用于 8 位优化。
  • percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数，并将梯度裁剪在某个百分位数以提高稳定性，从而自动调整裁剪阈值。
  • block_wise (bool, defaults to True) — 是否独立量化张量的每个块，以减少异常值的影响并提高稳定性。
  • is_paged (bool, defaults to False) — 优化器是否为分页优化器。

Paged 8-bit AdamW 优化器。

PagedAdamW32bit

class bitsandbytes.optim.PagedAdamW32bit

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.001 betas = (0.9, 0.999) eps = 1e-08 weight_decay = 0.01 amsgrad = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 需要优化的输入参数。
  • lr (float, 默认为 1e-3) — 学习率。
  • betas (tuple(float, float), 默认为 (0.9, 0.999)) — beta 值是优化器的一阶矩和二阶矩的衰减率。
  • eps (float, 默认为 1e-8) — epsilon 值，用于防止优化器中除以零的情况。
  • weight_decay (float, 默认为 1e-2) — 优化器的权重衰减值。
  • amsgrad (bool, 默认为 False) — 是否使用 AMSGrad 版本的 Adam，它使用过去平方梯度的最大值。 AMSGrad 变体。
  • optim_bits (int, 默认为 32) — 优化器状态的位数。
  • args (object, 默认为 None) — 带有附加参数的对象。
  • min_8bit_size (int, 默认为 4096) — 用于 8 位优化的参数张量的最小元素数量。
  • percentile_clipping (int, 默认为 100) — 通过跟踪最近 100 个梯度范数并在某个百分位数处裁剪梯度来自动调整裁剪阈值，以提高稳定性。
  • block_wise (bool, 默认为 True) — 是否独立量化张量的每个块，以减少异常值影响并提高稳定性。
  • is_paged (bool, 默认为 False) — 优化器是否为分页优化器。

分页的 32 位 AdamW 优化器。

< > 在 GitHub 上更新

←Adam AdEMAMix→