Bitsandbytes 文档

AdEMAMix

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

开始使用

AdEMAMix

AdEMAMixAdam 优化器的变体。

bitsandbytes 还支持分页优化器,这些优化器利用 CUDAs 统一内存,在 GPU 内存耗尽时将内存从 GPU 传输到 CPU。

AdEMAMix

bitsandbytes.optim.AdEMAMix

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 optim_bits: 字面量 = 32 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

__init__

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 optim_bits: 字面量 = 32 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

AdEMAMix8bit

bitsandbytes.optim.AdEMAMix8bit

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

__init__

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

AdEMAMix32bit

bitsandbytes.optim.AdEMAMix32bit

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

__init__

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 is_paged: 布尔值 = False )

PagedAdEMAMix

bitsandbytes.optim.PagedAdEMAMix

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 optim_bits: 字面量 = 32 min_8bit_size: 整数 = 4096 )

PagedAdEMAMix8bit

bitsandbytes.optim.PagedAdEMAMix8bit

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 )

__init__

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 )

PagedAdEMAMix32bit

bitsandbytes.optim.PagedAdEMAMix32bit

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 )

__init__

< >

( params: 可迭代对象 lr: 浮点数 = 0.001 betas: 元组 = (0.9, 0.999, 0.9999) alpha: 浮点数 = 5.0 t_alpha: 可选 = None t_beta3: 可选 = None eps: 浮点数 = 1e-08 weight_decay: 浮点数 = 0.01 min_8bit_size: 整数 = 4096 )

< > 在 GitHub 上更新