Hugging Face's logo

Diffusers 文档

DDIMScheduler

Hugging Face's logo
加入 Hugging Face 社区

并访问增强型文档体验

开始使用

DDIMScheduler

去噪扩散隐式模型 (DDIM) 由 Jiaming Song、Chenlin Meng 和 Stefano Ermon 撰写。

该论文的摘要是

去噪扩散概率模型 (DDPMs) 在没有对抗性训练的情况下实现了高质量的图像生成，但它们需要模拟马尔可夫链许多步才能生成样本。为了加速采样，我们提出了去噪扩散隐式模型 (DDIMs)，这是一种更高效的迭代隐式概率模型，其训练过程与 DDPMs 相同。在 DDPMs 中，生成过程被定义为马尔可夫扩散过程的反向过程。我们构建了一类非马尔可夫扩散过程，这些过程会导致相同的训练目标，但其反向过程的采样速度要快得多。我们通过实验证明，DDIMs 可以以比 DDPMs 快 10 倍到 50 倍的时钟时间生成高质量样本，允许我们在计算量和样本质量之间进行权衡，并且可以执行潜空间中语义上有意义的图像插值。

本文的原始代码库可在 ermongroup/ddim 找到，您也可以在 tsong.me 联系作者。

技巧

论文 常见的扩散噪声调度和样本步骤存在缺陷 宣称，训练和推理设置之间的不匹配会导致 Stable Diffusion 的推理生成结果不佳。为了解决这个问题，作者提出了

🧪 这是一项实验性功能！

  1. 重新缩放噪声调度以强制执行零终端信噪比 (SNR)
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, rescale_betas_zero_snr=True)
  1. 使用 v_prediction 训练模型（在 train_text_to_image.py 或 train_text_to_image_lora.py 脚本中添加以下参数）
--prediction_type="v_prediction"
  1. 更改采样器以始终从最后一个时间步开始
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")
  1. 重新缩放无分类器引导以防止过度曝光
image = pipe(prompt, guidance_rescale=0.7).images[0]

例如

from diffusers import DiffusionPipeline, DDIMScheduler
import torch

pipe = DiffusionPipeline.from_pretrained("ptx0/pseudo-journey-v2", torch_dtype=torch.float16)
pipe.scheduler = DDIMScheduler.from_config(
    pipe.scheduler.config, rescale_betas_zero_snr=True, timestep_spacing="trailing"
)
pipe.to("cuda")

prompt = "A lion in galaxies, spirals, nebulae, stars, smoke, iridescent, intricate detail, octane render, 8k"
image = pipe(prompt, guidance_rescale=0.7).images[0]
image

DDIMScheduler

class diffusers.DDIMScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: Union = None clip_sample: bool = True set_alpha_to_one: bool = True steps_offset: int = 0 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 clip_sample_range: float = 1.0 sample_max_value: float = 1.0 timestep_spacing: str = 'leading' rescale_betas_zero_snr: bool = False )

参数

  • num_train_timesteps (int，默认值为 1000) — 用于训练模型的扩散步骤数。
  • beta_start (float，默认值为 0.0001) — 推理的起始 beta 值。
  • beta_end (float，默认值为 0.02) — 最终 beta 值。
  • beta_schedule (str，默认值为 "linear") — beta 调度，将 beta 范围映射到用于逐步调整模型的 beta 序列。可以选择 linear、scaled_linear 或 squaredcos_cap_v2。
  • trained_betas (np.ndarray，可选) — 将 beta 数组直接传递给构造函数以绕过 beta_start 和 beta_end。
  • clip_sample (bool, 默认为 True) — 为数值稳定性裁剪预测样本。
  • clip_sample_range (float, 默认为 1.0) — 样本裁剪的最大幅度。仅在 clip_sample=True 时有效。
  • set_alpha_to_one (bool, 默认为 True) — 每个扩散步骤使用该步骤和前一个步骤的 alpha 乘积值。对于最后一步，没有前一个 alpha。当此选项为 True 时，前一个 alpha 乘积固定为 1，否则它使用步骤 0 处的 alpha 值。
  • steps_offset (int, 默认为 0) — 添加到推断步骤的偏移量，某些模型系列需要此偏移量。
  • prediction_type (str, 默认为 epsilon, 可选) — 调度器函数的预测类型；可以是 epsilon（预测扩散过程的噪声），sample（直接预测噪声样本）或 v_prediction（参见 Imagen Video 论文的第 2.4 节）。
  • thresholding (bool, 默认为 False) — 是否使用“动态阈值”方法。这对于稳定扩散等潜在空间扩散模型不合适。
  • dynamic_thresholding_ratio (float, 默认为 0.995) — 动态阈值方法的比率。仅在 thresholding=True 时有效。
  • sample_max_value (float, 默认为 1.0) — 动态阈值的阈值。仅在 thresholding=True 时有效。
  • timestep_spacing (str, 默认为 "leading") — 时间步长缩放方式。有关更多信息，请参考 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。
  • rescale_betas_zero_snr (bool, 默认为 False) — 是否将 betas 重新缩放为具有零终端 SNR。这使模型能够生成非常明亮和黑暗的样本，而不是将其限制为具有中等亮度的样本。与 --offset_noise 松散相关。

DDIMScheduler 使用非马尔可夫引导扩展了去噪扩散概率模型 (DDPM) 中引入的去噪程序。

此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以了解库为所有调度器实现的通用方法，例如加载和保存。

scale_model_input

< >

( sample: Tensor timestep: Optional = None ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int, 可选) — 扩散链中的当前时间步长。

返回

torch.Tensor

缩放后的输入样本。

确保与需要根据当前时间步长缩放降噪模型输入的调度程序的互操作性。

set_timesteps

< >

( num_inference_steps: int device: Union = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。

设置用于扩散链的离散时间步长（在推理之前运行）。

step

< >

( model_output: Tensor timestep: int sample: Tensor eta: float = 0.0 use_clipped_model_output: bool = False generator = None variance_noise: Optional = None return_dict: bool = True ) → DDIMSchedulerOutput or tuple

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型中获得的直接输出。
  • timestep (float) — 扩散链中的当前离散时间步长。
  • sample (
  • eta (float) — 在扩散步骤中添加噪声的权重。
  • use_clipped_model_output (bool, 默认值为 False) — 如果为 True，则从剪裁后的预测原始样本计算“修正”后的 model_output。当 self.config.clip_sample 为 True 时，需要进行此操作，因为预测的原始样本被剪裁到 [-1, 1]。如果没有发生剪裁，则“修正”后的 model_output 将与作为输入提供的 model_output 一致，并且 use_clipped_model_output 不会产生影响。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • variance_noise (torch.Tensor) — 通过直接提供方差本身的噪声来替代使用 generator 生成噪声。对于诸如 CycleDiffusion 这样的方法非常有用。
  • return_dict (bool, 可选，默认值为 True) — 是否返回 DDIMSchedulerOutput 或 tuple。

返回

DDIMSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 DDIMSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过反转 SDE 来预测上一个时间步的样本。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。

DDIMSchedulerOutput

class diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput

< >

( prev_sample: Tensor pred_original_sample: Optional = None )

参数

  • prev_sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor，对于图像而言) — 计算的上一时间步的样本 (x_{t-1})。prev_sample 应在去噪循环中用作下一个模型输入。
  • pred_original_sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor，对于图像而言) — 基于当前时间步的模型输出预测的去噪样本 (x_{0})。pred_original_sample 可用于预览进度或进行指导。

调度器 step 函数输出的输出类。

< > Update on GitHub

←DDIMInverseScheduler DDPMScheduler→