Diffusers 文档

潜在一致性模型多步调度器

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

潜在一致性模型多步调度器

概览

多步和单步调度器(算法 3),与潜在一致性模型一同在 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 的论文 潜在一致性模型:通过少量步骤推理合成高分辨率图像 中提出。此调度器应该能够在 1-8 步内从 LatentConsistencyModelPipeline 生成良好的样本。

LCMScheduler

class diffusers.LCMScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.00085 beta_end: float = 0.012 beta_schedule: str = 'scaled_linear' trained_betas: typing.Union[numpy.ndarray, typing.List[float], NoneType] = None original_inference_steps: int = 50 clip_sample: bool = False clip_sample_range: float = 1.0 set_alpha_to_one: bool = True steps_offset: int = 0 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 timestep_spacing: str = 'leading' timestep_scaling: float = 10.0 rescale_betas_zero_snr: bool = False )

参数

  • num_train_timesteps (int, 默认为 1000) — 训练模型的扩散步数。
  • beta_start (float, 默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认为 0.02) — 最终的 beta 值。
  • beta_schedule (str, 默认为 "linear") — beta 调度器,一个将 beta 范围映射到用于模型步进的 beta 序列的映射。可选择 linearscaled_linearsquaredcos_cap_v2
  • trained_betas (np.ndarray, 可选) — 直接向构造函数传递 beta 数组,以绕过 beta_startbeta_end
  • original_inference_steps (int, 可选, 默认为 50) — 用于生成线性间隔时间步调度器的默认推理步数,最终将从该调度器中均匀间隔地取 num_inference_steps 个时间步,以形成最终的时间步调度器。
  • clip_sample (bool, 默认为 True) — 剪辑预测样本以确保数值稳定性。
  • clip_sample_range (float, 默认为 1.0) — 样本剪辑的最大幅度。仅在 clip_sample=True 时有效。
  • set_alpha_to_one (bool, 默认为 True) — 每个扩散步骤都使用该步骤和前一步的 alphas 乘积值。对于最后一步,没有前一个 alpha。当此选项为 True 时,前一个 alpha 乘积固定为 1,否则它使用步骤 0 的 alpha 值。
  • steps_offset (int, 默认为 0) — 添加到推理步骤的偏移量,某些模型家族需要此偏移量。
  • prediction_type (str, 默认为 epsilon, 可选) — 调度器函数的预测类型;可以是 epsilon(预测扩散过程的噪声)、sample(直接预测噪声样本)或 v_prediction(参见 Imagen Video 论文的 2.4 节)。
  • thresholding (bool, 默认为 False) — 是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。
  • dynamic_thresholding_ratio (float, 默认为 0.995) — 动态阈值方法的比率。仅在 thresholding=True 时有效。
  • sample_max_value (float, 默认为 1.0) — 动态阈值的阈值。仅在 thresholding=True 时有效。
  • timestep_spacing (str, 默认为 "leading") — 时间步的缩放方式。更多信息请参阅 常用扩散噪声调度器和样本步骤存在缺陷 的表 2。
  • timestep_scaling (float, 默认为 10.0) — 计算一致性模型边界条件 c_skipc_out 时,时间步将被乘以的因子。增加此值将减小近似误差(尽管默认值 10.0 时的近似误差已经很小)。
  • rescale_betas_zero_snr (bool, 默认为 False) — 是否重新缩放 beta 值以使其具有零终端信噪比 (SNR)。这使得模型能够生成非常明亮和黑暗的样本,而不是将其限制在亮度适中的样本。与 --offset_noise 有松散的关系。

LCMScheduler 扩展了去噪扩散概率模型 (DDPM) 中引入的去噪过程,并增加了非马尔可夫引导。

此模型继承自 SchedulerMixinConfigMixin~ConfigMixin 负责存储调度器 __init__ 函数中传递的所有配置属性,例如 num_train_timesteps。可以通过 scheduler.config.num_train_timesteps 访问它们。SchedulerMixin 通过 SchedulerMixin.save_pretrained()from_pretrained() 函数提供通用的加载和保存功能。

scale_model_input

< >

( sample: Tensor timestep: typing.Optional[int] = None ) torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int, 可选) — 扩散链中的当前时间步。

返回

torch.Tensor

一个缩放后的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器互换使用。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int) — 调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从管道中运行。

set_timesteps

< >

( num_inference_steps: typing.Optional[int] = None device: typing.Union[str, torch.device] = None original_inference_steps: typing.Optional[int] = None timesteps: typing.Optional[typing.List[int]] = None strength: int = 1.0 )

参数

  • num_inference_steps (int, 可选) — 使用预训练模型生成样本时使用的扩散步数。如果使用此参数,则 timesteps 必须为 None
  • device (strtorch.device, 可选) — 时间步应移动到的设备。如果为 None,则时间步不移动。
  • original_inference_steps (int, 可选) — 原始推理步数,将用于生成线性间隔的时间步调度器(这与标准 diffusers 实现不同)。然后,我们将从该调度器中均匀间隔地取 num_inference_steps 个时间步,并将其用作最终的时间步调度器。如果未设置,则默认为 original_inference_steps 属性。
  • timesteps (List[int], 可选) — 用于支持时间步之间任意间隔的自定义时间步。如果为 None,则使用训练/蒸馏时间步调度器上时间步之间等距的默认时间步间隔策略。如果传递了 timesteps,则 num_inference_steps 必须为 None

设置用于扩散链的离散时间步(在推理之前运行)。

步骤

< >

( model_output: Tensor timestep: int sample: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) ~schedulers.scheduling_utils.LCMSchedulerOutputtuple

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型直接输出。
  • timestep (float) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 扩散过程创建的样本的当前实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 LCMSchedulerOutputtuple

返回

~schedulers.scheduling_utils.LCMSchedulerOutputtuple

如果 return_dict 为 True,则返回 LCMSchedulerOutput,否则返回一个元组,其中第一个元素是样本张量。

通过逆转 SDE 预测前一个时间步的样本。此函数从学习到的模型输出(通常是预测的噪声)传播扩散过程。

< > 在 GitHub 上更新