Hugging Face 的标志

Diffusers 文档

DDIMScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始

DDIMScheduler

去噪扩散隐式模型 (DDIM)，作者：Jiaming Song、Chenlin Meng 和 Stefano Ermon。

论文摘要如下：

去噪扩散概率模型 (DDPM) 在无需对抗训练的情况下实现了高质量图像生成，但它们需要模拟马尔可夫链的多个步骤才能生成样本。为了加速采样，我们提出了去噪扩散隐式模型 (DDIM)，这是一种更高效的迭代隐式概率模型，其训练过程与 DDPM 相同。在 DDPM 中，生成过程被定义为马尔可夫扩散过程的反向过程。我们构建了一类非马尔可夫扩散过程，这些过程导致相同的训练目标，但其反向过程的采样速度可能快得多。我们通过经验证明，与 DDPM 相比，DDIM 可以在挂钟时间方面产生高质量的样本快 10 到 50 倍，使我们能够在计算和样本质量之间进行权衡，并且可以直接在潜在空间中执行语义上有意义的图像插值。

本文的原始代码库可以在 ermongroup/ddim 找到，您可以通过 tsong.me 联系作者。

提示

论文《通用扩散噪声计划和采样步骤存在缺陷》声称，训练和推理设置之间的不匹配会导致 Stable Diffusion 的推理生成结果欠佳。为了解决这个问题，作者提出：

🧪 这是一个实验性功能！

  1. 重新缩放噪声计划以强制零终端信噪比 (SNR)
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, rescale_betas_zero_snr=True)
  1. 使用 v_prediction 训练模型（将以下参数添加到 train_text_to_image.py 或 train_text_to_image_lora.py 脚本）
--prediction_type="v_prediction"
  1. 更改采样器以始终从最后一个时间步开始
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")
  1. 重新缩放无分类器指导以防止过度曝光
image = pipe(prompt, guidance_rescale=0.7).images[0]

例如

from diffusers import DiffusionPipeline, DDIMScheduler
import torch

pipe = DiffusionPipeline.from_pretrained("ptx0/pseudo-journey-v2", torch_dtype=torch.float16)
pipe.scheduler = DDIMScheduler.from_config(
    pipe.scheduler.config, rescale_betas_zero_snr=True, timestep_spacing="trailing"
)
pipe.to("cuda")

prompt = "A lion in galaxies, spirals, nebulae, stars, smoke, iridescent, intricate detail, octane render, 8k"
image = pipe(prompt, guidance_rescale=0.7).images[0]
image

DDIMScheduler

class diffusers.DDIMScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: typing.Union[numpy.ndarray, typing.List[float], NoneType] = None clip_sample: bool = True set_alpha_to_one: bool = True steps_offset: int = 0 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 clip_sample_range: float = 1.0 sample_max_value: float = 1.0 timestep_spacing: str = 'leading' rescale_betas_zero_snr: bool = False )

参数

  • num_train_timesteps (int, 默认为 1000) — 用于训练模型的扩散步骤数量。
  • beta_start (float, 默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认为 0.02) — 最终的 beta 值。
  • beta_schedule (str, 默认为 "linear") — Beta 计划，从 beta 范围到用于步进模型的 beta 序列的映射。 从 linear、scaled_linear 或 squaredcos_cap_v2 中选择。
  • trained_betas (np.ndarray, 可选) — 直接将 beta 数组传递给构造函数以绕过 beta_start 和 beta_end。
  • clip_sample (bool, 默认为 True) — 裁剪预测的样本以获得数值稳定性。
  • clip_sample_range (float, 默认为 1.0) — 样本裁剪的最大幅度。 仅当 clip_sample=True 时有效。
  • set_alpha_to_one (bool, 默认为 True) — 每个扩散步骤都使用该步骤和前一步骤的 alpha 乘积值。 对于最后一步，没有先前的 alpha。 当此选项为 True 时，先前的 alpha 乘积固定为 1，否则它使用步骤 0 的 alpha 值。
  • steps_offset (int, 默认为 0) — 添加到推理步骤的偏移量，某些模型系列需要此偏移量。
  • prediction_type (str, 默认为 epsilon, 可选) — 调度器函数的预测类型； 可以是 epsilon (预测扩散过程的噪声)、sample (直接预测噪声样本) 或 v_prediction (参见 Imagen Video 论文的第 2.4 节)。
  • thresholding (bool, 默认为 False) — 是否使用“动态阈值”方法。 这不适用于潜在空间扩散模型，例如 Stable Diffusion。
  • dynamic_thresholding_ratio (float, 默认为 0.995) — 动态阈值方法的比率。 仅当 thresholding=True 时有效。
  • sample_max_value (float, 默认为 1.0) — 动态阈值的阈值。 仅当 thresholding=True 时有效。
  • timestep_spacing (str, 默认为 "leading") — 时间步长应缩放的方式。 有关更多信息，请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。
  • rescale_betas_zero_snr (bool, 默认为 False) — 是否重新缩放 beta 以使其具有零终端 SNR。 这使模型能够生成非常明亮和黑暗的样本，而不是将其限制为具有中等亮度的样本。 与 --offset_noise 松散相关。

DDIMScheduler 扩展了去噪扩散概率模型 (DDPM) 中引入的去噪过程，并具有非马尔可夫引导。

此模型继承自 SchedulerMixin 和 ConfigMixin。 查看超类文档，了解库为所有调度器实现的通用方法，例如加载和保存。

scale_model_input

< >

( sample: Tensor timestep: typing.Optional[int] = None ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int, 可选) — 扩散链中当前的时间步长。

返回

torch.Tensor

缩放后的输入样本。

确保与需要根据当前时间步长缩放去噪模型输入的调度器的互换性。

set_timesteps

< >

( num_inference_steps: int device: typing.Union[str, torch.device] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。

设置用于扩散链的离散时间步长（在推理之前运行）。

step

< >

( model_output: Tensor timestep: int sample: Tensor eta: float = 0.0 use_clipped_model_output: bool = False generator = None variance_noise: typing.Optional[torch.Tensor] = None return_dict: bool = True ) → DDIMSchedulerOutput or tuple

参数

  • model_output (torch.Tensor) — 来自学习的扩散模型的直接输出。
  • timestep (float) — 扩散链中当前的离散时间步长。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。
  • eta (float) — 扩散步骤中添加噪声的噪声权重。
  • use_clipped_model_output (bool, 默认为 False) — 如果为 True，则从裁剪的预测原始样本计算“修正” model_output。 这是必要的，因为当 self.config.clip_sample 为 True 时，预测的原始样本被裁剪到 [-1, 1]。 如果没有发生裁剪，“修正” model_output 将与作为输入提供的输出一致，并且 use_clipped_model_output 不起作用。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • variance_noise (torch.Tensor) — 通过直接提供方差本身的噪声来替代使用 generator 生成噪声。 对于诸如 CycleDiffusion 之类的方法很有用。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 DDIMSchedulerOutput 或 tuple。

返回

DDIMSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 DDIMSchedulerOutput，否则返回一个 tuple，其中第一个元素是 sample tensor。

通过反转 SDE，从前一个时间步预测 sample。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。

DDIMSchedulerOutput

类 diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput

< >

( prev_sample: Tensor pred_original_sample: typing.Optional[torch.Tensor] = None )

参数

  • prev_sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor，用于图像) — 计算出的前一个时间步的 sample (x_{t-1})。 prev_sample 应在去噪循环中用作下一个模型输入。
  • pred_original_sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor，用于图像) — 基于当前时间步的模型输出，预测的去噪 sample (x_{0})。 pred_original_sample 可用于预览进度或进行指导。

调度器 step 函数输出的输出类。

< > 在 GitHub 上更新

←DDIMInverseScheduler DDPMScheduler→