Hugging Face 的徽标

Diffusers 文档

DPMSolverMultistepInverse

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

入门

DPMSolverMultistepInverse

DPMSolverMultistepInverse 是 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps 和 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models 中由 Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li 和 Jun Zhu 提出的逆向调度器。

该实现主要基于 Null-text Inversion for Editing Real Images using Guided Diffusion Models 中的 DDIM 逆向定义以及 Xiang-cd/DiffEdit-stable-diffusion 中 DiffEdit 潜在逆向的笔记本实现。

提示

支持来自 Imagen 的动态阈值，对于像素空间扩散模型，可以设置 algorithm_type="dpmsolver++" 和 thresholding=True 来使用动态阈值。这种阈值方法不适用于潜在空间扩散模型，例如 Stable Diffusion。

DPMSolverMultistepInverseScheduler

class diffusers.DPMSolverMultistepInverseScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: Union = None solver_order: int = 2 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 algorithm_type: str = 'dpmsolver++' solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False use_karras_sigmas: Optional = False lambda_min_clipped: float = -inf variance_type: Optional = None timestep_spacing: str = 'linspace' steps_offset: int = 0 )

参数

  • num_train_timesteps (int, 默认值为 1000) — 用于训练模型的扩散步骤数量。
  • beta_start (float, 默认值为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认值为 0.02) — 最终 beta 值。
  • beta_schedule (str, 默认值为 "linear") — beta 计划，将 beta 范围映射到一系列 beta 的映射，用于对模型进行逐步处理。 从 linear、scaled_linear 或 squaredcos_cap_v2 中选择。
  • trained_betas (np.ndarray, 可选) — 将一系列 betas 直接传递给构造函数，以绕过 beta_start 和 beta_end。
  • solver_order (int, 默认值为 2) — DPMSolver 阶数，可以是 1 或 2 或 3。 建议对引导采样使用 solver_order=2，对无条件采样使用 solver_order=3。
  • prediction_type (str, 默认值为 epsilon, 可选) — 调度器函数的预测类型; 可以是 epsilon (预测扩散过程的噪声)，sample (直接预测噪声样本) 或 v_prediction (参见 Imagen Video 论文的第 2.4 节)。
  • thresholding (bool, 默认值为 False) — 是否使用“动态阈值”方法。 这不适用于诸如 Stable Diffusion 之类的潜在空间扩散模型。
  • dynamic_thresholding_ratio (float, 默认为 0.995) — 动态阈值方法的比率。仅在 thresholding=True 时有效。
  • sample_max_value (float, 默认为 1.0) — 动态阈值的阈值。仅在 thresholding=True 和 algorithm_type="dpmsolver++" 时有效。
  • algorithm_type (str, 默认为 dpmsolver++) — 解算器的算法类型；可以是 dpmsolver、dpmsolver++、sde-dpmsolver 或 sde-dpmsolver++。dpmsolver 类型实现了 DPMSolver 论文中的算法，而 dpmsolver++ 类型实现了 DPMSolver++ 论文中的算法。建议使用 dpmsolver++ 或 sde-dpmsolver++ 与 solver_order=2 进行引导采样，如 Stable Diffusion 中所示。
  • solver_type (str, 默认为 midpoint) — 二阶解算器的解算器类型；可以是 midpoint 或 heun。解算器类型会略微影响样本质量，尤其是对于少量步骤而言。建议使用 midpoint 解算器。
  • lower_order_final (bool, 默认为 True) — 是否在最后一步使用低阶解算器。仅对 < 15 推理步骤有效。这可以稳定 DPMSolver 在 < 15 步时的采样，尤其是对于 <= 10 步而言。
  • euler_at_final (bool, 默认为 False) — 是否在最后一步使用欧拉方法。它是数值稳定性和细节丰富度之间的权衡。这可以稳定 SDE 变体 DPMSolver 在少量推理步骤时的采样，但有时可能会导致模糊。
  • use_karras_sigmas (bool, 可选, 默认为 False) — 是否在采样过程中使用 Karras 标准差来确定噪声时间表中的步长。如果为 True，则标准差根据一系列噪声等级 {σi} 确定。
  • lambda_min_clipped (float, 默认为 -inf) — 用于数值稳定的 lambda(t) 的最小值的剪切阈值。这对于余弦 (squaredcos_cap_v2) 噪声时间表至关重要。
  • variance_type (str, 可选) — 对于预测方差的扩散模型，设置为 “learned” 或 “learned_range”。如果设置，模型的输出将包含预测的正态分布方差。
  • timestep_spacing (str, 默认为 "linspace") — 时间步长的缩放方式。有关更多信息，请参阅 常见扩散噪声时间表和样本步骤存在缺陷 中的表 2。

DPMSolverMultistepInverseScheduler 是 DPMSolverMultistepScheduler 的反向调度器。

该模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以了解库为所有调度器实现的通用方法，例如加载和保存。

convert_model_output

< >

( model_output: Tensor *args sample: Tensor = None **kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 从学习的扩散模型中直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。DPM-Solver 被设计为离散噪声预测模型的积分，而 DPM-Solver++ 被设计为离散数据预测模型的积分。

算法和模型类型是解耦的。您可以对噪声预测模型和数据预测模型使用 DPMSolver 或 DPMSolver++。

dpm_solver_first_order_update

< >

( model_output: Tensor *args sample: Tensor = None noise: Optional = None **kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 从学习的扩散模型中直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

前一个时间步的样本张量。

一阶 DPMSolver 的一步（等效于 DDIM）。

multistep_dpm_solver_second_order_update

< >

( model_output_list: List *args sample: Tensor = None noise: Optional = None **kwargs ) → torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 当前和后续时间步的学习扩散模型的直接输出。
  • sample (torch.Tensor) — 由扩散过程生成的样本的当前实例。

返回

torch.Tensor

前一个时间步的样本张量。

二阶多步 DPMSolver 的一步。

multistep_dpm_solver_third_order_update

< >

( model_output_list: List *args sample: Tensor = None **kwargs ) → torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 当前和后面时间步的学习扩散模型的直接输出。
  • sample (torch.Tensor) — 由扩散过程生成的样本的当前实例。

返回

torch.Tensor

前一个时间步的样本张量。

三阶多步 DPMSolver 的一步。

scale_model_input

< >

( sample: Tensor *args **kwargs ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。

返回

torch.Tensor

缩放后的输入样本。

确保与需要根据当前时间步缩放降噪模型输入的调度器可以互换。

set_timesteps

< >

( num_inference_steps: int = None device: Union = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。
  • device (str 或 torch.device, 可选) — 应该将时间步移动到的设备。 如果为 None，则不会移动时间步。

设置用于扩散链的离散时间步（在推理之前运行）。

step

调度器输出 or 元组

参数

  • model_output (torch.Tensor) — 来自学习扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • variance_noise (torch.Tensor) — 通过直接提供方差本身的噪声来替代使用generator 生成噪声。 这对诸如CycleDiffusion 之类的方法有用。
  • return_dict (bool) — 是否返回 调度器输出 或 元组。

返回

调度器输出 or 元组

如果 return_dict 为 True，则返回 调度器输出，否则返回一个元组，其中第一个元素是样本张量。

通过反转 SDE 来预测来自先前时间步的样本。 此函数使用多步 DPMSolver 传播样本。

调度器输出

class diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: 张量 )

参数

  • prev_sample (torch.Tensor 形状为 (batch_size, num_channels, height, width) 用于图像) — 计算的先前时间步的样本 (x_{t-1})。 prev_sample 应在去噪循环中用作下一个模型输入。

调度器的 step 函数的输出的基类。

< > 在 GitHub 上更新

←DEISMultistepScheduler DPMSolverMultistepScheduler→