Hugging Face 的徽标

PEFT 文档

LyCORIS

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验的权限

开始使用

LyCORIS

LyCORIS (超越传统方法的 Lora，用于稳定扩散的其他秩自适应实现) 是类似于 LoRA 的矩阵分解适配器，用于修改 UNet 的交叉注意力层。 此处的 LoHa 和 LoKr 方法继承自 Lycoris 类。

LycorisConfig

类 peft.tuners.lycoris_utils.LycorisConfig

< >

( peft_type: Union = None auto_mapping: Optional = None base_model_name_or_path: Optional = None revision: Optional = None task_type: Union = None inference_mode: bool = False rank_pattern: Optional[dict] = <factory> alpha_pattern: Optional[dict] = <factory> )

LyCORIS 类适配器的基本配置

LycorisLayer

class peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

LyCORIS 类适配器的基础层

合并

< >

( safe_merge: bool = False adapter_names: Optional[list[str]] = None )

参数

  • safe_merge (bool, 可选) — 如果为 True，则合并操作将在原始权重的副本中执行，并在合并权重之前检查是否存在 NaN。如果您想检查合并操作是否会产生 NaN，这将非常有用。默认为 False。
  • adapter_names (List[str], 可选) — 应该合并的适配器名称列表。如果为 None，则所有活动的适配器都将被合并。默认为 None。

将活动的适配器权重合并到基础权重中

取消合并

< >

( )

此方法将所有已合并的适配器层从基础权重中取消合并。

LycorisTuner

类 peft.tuners.lycoris_utils.LycorisTuner

< >

( model config adapter_name low_cpu_mem_usage: bool = False )

参数

  • model (torch.nn.Module) — 要适配的模型。
  • config (LoraConfig) — Lora 模型的配置。
  • adapter_name (str) — 适配器的名称，默认为 "default"。
  • low_cpu_mem_usage (bool, optional, 默认为 False) — 在元设备上创建空的适配器权重。有助于加快加载过程。

LyCORIS 类适配器的基础调谐器

delete_adapter

< >

( adapter_name: str )

参数

  • adapter_name (str) — 要删除的适配器名称。

删除现有的适配器。

disable_adapter_layers

< >

( )

禁用所有适配器。

当禁用所有适配器时，模型输出对应于基础模型的输出。

enable_adapter_layers

< >

( )

启用所有适配器。

如果您之前禁用了所有适配器并希望重新启用它们，请调用此方法。

merge_and_unload

< >

( progressbar: bool = False safe_merge: bool = False adapter_names: Optional[list[str]] = None )

参数

  • progressbar (bool) — 是否显示进度条以指示卸载和合并过程
  • safe_merge (bool) — 是否激活安全合并检查以检查适配器权重中是否存在任何潜在的 Nan
  • adapter_names (List[str], 可选) — 应该合并的适配器名称列表。如果为 None，则将合并所有活动的适配器。默认为 None。

此方法将适配器层合并到基础模型中。如果有人想将基础模型用作独立模型，则需要这样做。

set_adapter

< >

( adapter_name: str | list[str] )

参数

  • adapter_name (str 或 list[str]) — 要激活的适配器名称。

设置活动的适配器。

此外，此函数会将指定的适配器设置为可训练的（即 requires_grad=True）。如果不需要此操作，请使用以下代码。

>>> for name, param in model_peft.named_parameters():
...     if ...:  # some check on name (ex. if 'lora' in name)
...         param.requires_grad = False

卸载

< >

( )

通过移除所有 Lora 模块而不进行合并来获取基础模型。这将返回原始的基础模型。

< > GitHub 上的更新

←X-LoRA 多任务提示微调→