Bitsandbytes 文档
RMSprop
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
RMSprop
RMSprop 是一种自适应学习率优化器，与 Adagrad 非常相似。RMSprop 为每个参数存储过去梯度的平方的*加权平均值*，并用它来调整学习率。这使得学习率可以根据梯度的大小自动降低或提高，并防止学习率衰减。
RMSprop
class bitsandbytes.optim.RMSprop
< 源 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )
RMSprop8bit
class bitsandbytes.optim.RMSprop8bit
< 源 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )
RMSprop32bit
class bitsandbytes.optim.RMSprop32bit
< 源 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )