Bitsandbytes 文档
RMSprop
加入 Hugging Face 社区
并获得增强的文档体验
开始
RMSprop
RMSprop 是一种自适应学习率优化器，与 Adagrad 非常相似。RMSprop 存储每个参数的过去梯度平方的*加权平均值*，并使用它来缩放其学习率。这使得学习率可以根据梯度的大小自动降低或升高，并防止学习率减小。
RMSprop
类 bitsandbytes.optim.RMSprop
< 源代码 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False optim_bits = 32 args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )
RMSprop8bit
类 bitsandbytes.optim.RMSprop8bit
< 源代码 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )
RMSprop32bit
类 bitsandbytes.optim.RMSprop32bit
< 源代码 >( params lr = 0.01 alpha = 0.99 eps = 1e-08 weight_decay = 0 momentum = 0 centered = False args = None min_8bit_size = 4096 percentile_clipping = 100 block_wise = True )