Diffusers 文档

EDMDPMSolverMultistepScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始

EDMDPMSolverMultistepScheduler

EDMDPMSolverMultistepSchedulerDPMSolverMultistepScheduler 的 Karras 公式实现,DPMSolverMultistepScheduler 是来自 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 StepsDPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models 的多步调度器,由 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li 和 Jun Zhu 撰写。

DPMSolver(以及改进版 DPMSolver++)是用于扩散 ODE 的快速专用高阶求解器,具有收敛阶数保证。经验表明,仅需 20 步的 DPMSolver 采样即可生成高质量样本,即使在 10 步内也能生成相当不错的样本。

EDMDPMSolverMultistepScheduler

class diffusers.EDMDPMSolverMultistepScheduler

< >

( sigma_min: float = 0.002 sigma_max: float = 80.0 sigma_data: float = 0.5 sigma_schedule: str = 'karras' num_train_timesteps: int = 1000 prediction_type: str = 'epsilon' rho: float = 7.0 solver_order: int = 2 thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 algorithm_type: str = 'dpmsolver++' solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False final_sigmas_type: typing.Optional[str] = 'zero' )

参数

  • sigma_min (float, 可选, 默认值为 0.002) — sigma 计划中的最小噪声幅度。这在 EDM 论文 [1] 中被设置为 0.002;合理的范围是 [0, 10]。
  • sigma_max (float, 可选, 默认值为 80.0) — sigma 计划中的最大噪声幅度。这在 EDM 论文 [1] 中被设置为 80.0;合理的范围是 [0.2, 80.0]。
  • sigma_data (float, 可选, 默认值为 0.5) — 数据分布的标准差。这在 EDM 论文 [1] 中被设置为 0.5。
  • sigma_schedule (str, 可选, 默认值为 karras) — 用于计算 sigmas 的 Sigma 计划。默认情况下,我们使用 EDM 论文中介绍的计划 (https://arxiv.org/abs/2206.00364)。另一个可接受的值是 “exponential”(指数)。指数计划已纳入此模型中:https://huggingface.co/stabilityai/cosxl
  • num_train_timesteps (int, 默认值为 1000) — 训练模型所需的扩散步骤数。
  • solver_order (int, 默认值为 2) — DPMSolver 的阶数,可以是 123。建议有条件采样使用 solver_order=2,无条件采样使用 solver_order=3
  • prediction_type (str, 默认值为 epsilon, 可选) — 调度器函数的预测类型;可以是 epsilon (预测扩散过程的噪声)、sample (直接预测噪声样本) 或 v_prediction (参见 Imagen Video 论文的 2.4 节)。
  • thresholding (bool, 默认值为 False) — 是否使用“动态阈值”方法。这不适用于潜在空间扩散模型,例如 Stable Diffusion。
  • dynamic_thresholding_ratio (float, 默认值为 0.995) — 动态阈值方法的比率。仅当 thresholding=True 时有效。
  • sample_max_value (float, 默认值为 1.0) — 动态阈值的阈值。仅当 thresholding=Truealgorithm_type="dpmsolver++" 时有效。
  • algorithm_type (str, 默认值为 dpmsolver++) — 求解器的算法类型;可以是 dpmsolver++sde-dpmsolver++dpmsolver++ 类型实现了 DPMSolver++ 论文中的算法。建议将 dpmsolver++sde-dpmsolver++solver_order=2 一起用于有条件采样,例如 Stable Diffusion。
  • solver_type (str, 默认值为 midpoint) — 二阶求解器的求解器类型;可以是 midpointheun。求解器类型会略微影响样本质量,特别是对于少量步骤。建议使用 midpoint 求解器。
  • lower_order_final (bool, 默认值为 True) — 是否在最后步骤中使用低阶求解器。仅对 < 15 个推理步骤有效。这可以稳定步骤 < 15 的 DPMSolver 采样,特别是对于步骤 <= 10。
  • euler_at_final (bool, 默认值为 False) — 是否在最后一步中使用欧拉方法。这是数值稳定性和细节丰富度之间的权衡。这可以稳定小数量推理步骤的 DPMSolver 的 SDE 变体的采样,但有时可能会导致模糊。
  • final_sigmas_type (str, 默认值为 "zero") — 采样过程中噪声计划的最终 sigma 值。如果为 "sigma_min",则最终 sigma 与训练计划中的最后一个 sigma 相同。如果为 zero,则最终 sigma 设置为 0。

在 EDM 公式中实现 DPMSolverMultistepScheduler,如 Karras 等人 2022 年 [1] 中所述。 EDMDPMSolverMultistepScheduler 是用于扩散 ODE 的快速专用高阶求解器。

[1] Karras, Tero, et al. “阐明基于扩散的生成模型的设计空间。” https://arxiv.org/abs/2206.00364

此模型继承自 SchedulerMixinConfigMixin。查看超类文档,了解库为所有调度器实现的通用方法,例如加载和保存。

convert_model_output

< >

( model_output: Tensor sample: Tensor = None ) torch.Tensor

参数

  • model_output (torch.Tensor) — 来自学习扩散模型的直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。 DPM-Solver 旨在离散化噪声预测模型的积分,而 DPM-Solver++ 旨在离散化数据预测模型的积分。

算法和模型类型是解耦的。您可以将 DPMSolver 或 DPMSolver++ 用于噪声预测模型和数据预测模型。

dpm_solver_first_order_update

< >

( model_output: Tensor sample: Tensor = None noise: typing.Optional[torch.Tensor] = None ) torch.Tensor

参数

  • model_output (torch.Tensor) — 来自学习扩散模型的直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

上一个时间步的样本张量。

一阶 DPMSolver(等效于 DDIM)的一个步骤。

multistep_dpm_solver_second_order_update

< >

( model_output_list: typing.List[torch.Tensor] sample: Tensor = None noise: typing.Optional[torch.Tensor] = None ) torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 来自学习扩散模型在当前和后续时间步的直接输出列表。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

上一个时间步的样本张量。

二阶多步 DPMSolver 的一个步骤。

multistep_dpm_solver_third_order_update

< >

( model_output_list: typing.List[torch.Tensor] sample: Tensor = None ) torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 来自学习的扩散模型在当前和后续时间步的直接输出列表。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

上一个时间步的样本张量。

三阶多步 DPMSolver 的一个步骤。

scale_model_input

< >

( sample: Tensor timestep: typing.Union[float, torch.Tensor] ) torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int, optional) — 扩散链中的当前时间步。

返回

torch.Tensor

缩放后的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器具有互换性。 通过 (sigma**2 + 1) ** 0.5 缩放去噪模型输入以匹配 Euler 算法。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int) — 调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从管道运行。

set_timesteps

< >

( num_inference_steps: int = None device: typing.Union[str, torch.device] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。
  • device (strtorch.device, optional) — 时间步应移动到的设备。如果为 None,则时间步不会移动。

设置用于扩散链的离散时间步(在推理之前运行)。

step

< >

( model_output: Tensor timestep: typing.Union[int, torch.Tensor] sample: Tensor generator = None return_dict: bool = True ) SchedulerOutputtuple

参数

  • model_output (torch.Tensor) — 来自学习的扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。
  • generator (torch.Generator, optional) — 随机数生成器。
  • return_dict (bool) — 是否返回 SchedulerOutputtuple

返回

SchedulerOutputtuple

如果 return_dict 为 True,则返回 SchedulerOutput,否则返回一个元组,其中第一个元素是样本张量。

通过反转 SDE 来预测前一个时间步的样本。此函数使用多步 DPMSolver 传播样本。

SchedulerOutput

class diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: Tensor )

参数

  • prev_sample (torch.Tensor,形状为 (batch_size, num_channels, height, width),用于图像) — 上一个时间步的计算样本 (x_{t-1})prev_sample 应用作去噪循环中的下一个模型输入。

调度器的 step 函数输出的基类。

< > 在 GitHub 上更新