Hugging Face's logo

Bitsandbytes 文档

AdaGrad

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AdaGrad

AdaGrad (自适应梯度) 是一种自适应学习率优化器。AdaGrad 存储每个参数的过去梯度平方和，并使用它来缩放其学习率。这使得学习率可以根据梯度的大小自动降低或升高，从而无需手动调整学习率。

Adagrad

class bitsandbytes.optim.Adagrad

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 要优化的输入参数。
  • lr (float, defaults to 1e-2) — 学习率。
  • lr_decay (int, defaults to 0) — 学习率衰减。
  • weight_decay (float, defaults to 0.0) — 优化器的权重衰减值。
  • initial_accumulator_value (int, defaults to 0) — 初始累加器值。
  • eps (float, defaults to 1e-10) — epsilon 值可防止优化器中出现除零错误。
  • optim_bits (int, defaults to 32) — 优化器状态的位数。
  • args (object, defaults to None) — 包含其他参数的对象。
  • min_8bit_size (int, defaults to 4096) — 参数张量中用于 8 位优化的最小元素数量。
  • percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数并在特定百分位数处裁剪梯度来自动调整裁剪阈值，以提高稳定性。
  • block_wise (bool, defaults to True) — 是否独立量化张量的每个块以减少异常值影响并提高稳定性。

基础 AdaGrad 优化器。

Adagrad8bit

class bitsandbytes.optim.Adagrad8bit

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 8 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 8 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 优化的输入参数。
  • lr (float, defaults to 1e-2) — 学习率，默认为 1e-2。
  • lr_decay (int, defaults to 0) — 学习率衰减，默认为 0。
  • weight_decay (float, defaults to 0.0) — 优化器的权重衰减值，默认为 0.0。
  • initial_accumulator_value (int, defaults to 0) — 初始动量值，默认为 0。
  • eps (float, defaults to 1e-10) — epsilon 值，用于防止优化器中除以零，默认为 1e-10。
  • optim_bits (int, defaults to 8) — 优化器状态的位数，默认为 8。
  • args (object, defaults to None) — 带有附加参数的对象，默认为 None。
  • min_8bit_size (int, defaults to 4096) — 参数张量进行 8 位优化的最小元素数量，默认为 4096。
  • percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数并按某个百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性，默认为 100。
  • block_wise (bool, defaults to True) — 是否独立量化张量的每个块以减少异常值影响并提高稳定性，默认为 True。

8 位 Adagrad 优化器。

Adagrad32bit

class bitsandbytes.optim.Adagrad32bit

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

__init__

< >

( params lr = 0.01 lr_decay = 0 weight_decay = 0 initial_accumulator_value = 0 eps = 1e-10 optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )

参数

  • params (torch.tensor) — 优化的输入参数。
  • lr (float, defaults to 1e-2) — 学习率，默认为 1e-2。
  • lr_decay (int, defaults to 0) — 学习率衰减，默认为 0。
  • weight_decay (float, defaults to 0.0) — 优化器的权重衰减值，默认为 0.0。
  • initial_accumulator_value (int, defaults to 0) — 初始动量值，默认为 0。
  • eps (float, defaults to 1e-10) — epsilon 值，用于防止优化器中除以零，默认为 1e-10。
  • optim_bits (int, defaults to 32) — 优化器状态的位数，默认为 32。
  • args (object, defaults to None) — 带有附加参数的对象，默认为 None。
  • min_8bit_size (int, defaults to 4096) — 参数张量进行 8 位优化的最小元素数量，默认为 4096。
  • percentile_clipping (int, defaults to 100) — 通过跟踪最近 100 个梯度范数并按某个百分位数裁剪梯度来自动调整裁剪阈值，以提高稳定性，默认为 100。
  • block_wise (bool, defaults to True) — 是否独立量化张量的每个块以减少异常值影响并提高稳定性，默认为 True。

32 位 Adagrad 优化器。

< > 在 GitHub 上更新

←概览 Adam→