Diffusers 文档

DPMSolverMultistepInverse

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

DPMSolverMultistepInverse

DPMSolverMultistepInverse 是来自 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 StepsDPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models(作者:Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu)的反向调度器。

此实现主要基于 Null-text Inversion for Editing Real Images using Guided Diffusion Models 的 DDIM 反演定义和 Xiang-cd/DiffEdit-stable-diffusionDiffEdit 潜在反演的笔记本实现。

提示

支持 Imagen 的动态阈值处理,对于像素空间扩散模型,您可以同时设置 algorithm_type="dpmsolver++"thresholding=True 以使用动态阈值处理。此阈值处理方法不适用于潜在空间扩散模型(如 Stable Diffusion)。

DPMSolverMultistepInverseScheduler

class diffusers.DPMSolverMultistepInverseScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: typing.Union[numpy.ndarray, typing.List[float], NoneType] = None solver_order: int = 2 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 algorithm_type: str = 'dpmsolver++' solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False use_karras_sigmas: typing.Optional[bool] = False use_exponential_sigmas: typing.Optional[bool] = False use_beta_sigmas: typing.Optional[bool] = False use_flow_sigmas: typing.Optional[bool] = False flow_shift: typing.Optional[float] = 1.0 lambda_min_clipped: float = -inf variance_type: typing.Optional[str] = None timestep_spacing: str = 'linspace' steps_offset: int = 0 )

参数

  • num_train_timesteps (int, 默认为 1000) — 训练模型的扩散步数。
  • beta_start (float, 默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认为 0.02) — 最终 beta 值。
  • beta_schedule (str, 默认为 "linear") — Beta 调度,将 beta 范围映射到一系列用于模型步进的 beta 值。可选择 linearscaled_linearsquaredcos_cap_v2
  • trained_betas (np.ndarray, 可选) — 直接向构造函数传递一个 beta 数组,以绕过 beta_startbeta_end
  • solver_order (int, 默认为 2) — DPMSolver 阶数,可以是 123。建议在引导采样中使用 solver_order=2,在无条件采样中使用 solver_order=3
  • prediction_type (str, 默认为 epsilon, 可选) — 调度器函数的预测类型;可以是 epsilon (预测扩散过程的噪声)、sample (直接预测噪声样本) 或 v_prediction (参见 Imagen Video 论文的 2.4 节)。
  • thresholding (bool, 默认为 False) — 是否使用“动态阈值处理”方法。此方法不适用于潜在空间扩散模型,如 Stable Diffusion。
  • dynamic_thresholding_ratio (float, 默认为 0.995) — 动态阈值处理方法的比率。仅当 thresholding=True 时有效。
  • sample_max_value (float, 默认为 1.0) — 动态阈值处理的阈值。仅当 thresholding=Truealgorithm_type="dpmsolver++" 时有效。
  • algorithm_type (str, 默认为 dpmsolver++) — 求解器的算法类型;可以是 dpmsolverdpmsolver++sde-dpmsolversde-dpmsolver++dpmsolver 类型实现了 DPMSolver 论文中的算法,dpmsolver++ 类型实现了 DPMSolver++ 论文中的算法。建议在 Stable Diffusion 等引导采样中使用 dpmsolver++sde-dpmsolver++solver_order=2
  • solver_type (str, 默认为 midpoint) — 二阶求解器的求解器类型;可以是 midpointheun。求解器类型会稍微影响样本质量,特别是对于少量步骤。建议使用 midpoint 求解器。
  • lower_order_final (bool, 默认为 True) — 是否在最后几步使用低阶求解器。仅对少于 15 个推理步骤有效。这可以稳定 DPMSolver 在少于 15 个步骤的采样,特别是对于少于或等于 10 个步骤的情况。
  • euler_at_final (bool, 默认为 False) — 是否在最后一步使用欧拉方法。这是数值稳定性与细节丰富性之间的权衡。这可以稳定 DPMSolver 的 SDE 变体在少量推理步骤下的采样,但有时可能导致模糊。
  • use_karras_sigmas (bool, 可选, 默认为 False) — 是否在采样过程中使用 Karras sigmas 作为噪声调度中的步长。如果为 True,则根据一系列噪声水平 {σi} 确定 sigmas。
  • use_exponential_sigmas (bool, 可选, 默认为 False) — 是否在采样过程中使用指数 sigmas 作为噪声调度中的步长。
  • use_beta_sigmas (bool, 可选, 默认为 False) — 是否在采样过程中使用 beta sigmas 作为噪声调度中的步长。有关更多信息,请参阅 Beta Sampling is All You Need
  • lambda_min_clipped (float, 默认为 -inf) — 用于数值稳定性的 lambda(t) 最小值的剪裁阈值。这对于余弦 (squaredcos_cap_v2) 噪声调度至关重要。
  • variance_type (str, 可选) — 对于预测方差的扩散模型,设置为“learned”或“learned_range”。如果设置,模型的输出将包含预测的高斯方差。
  • timestep_spacing (str, 默认为 "linspace") — 时间步长的缩放方式。有关更多信息,请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。
  • steps_offset (int, 默认为 0) — 根据某些模型系列的要求,添加到推理步骤的偏移量。

DPMSolverMultistepInverseSchedulerDPMSolverMultistepScheduler 的反向调度器。

此模型继承自 SchedulerMixinConfigMixin。请查看超类文档,了解库为所有调度器实现的通用方法,例如加载和保存。

convert_model_output

< >

( model_output: Tensor *args sample: Tensor = None **kwargs ) torch.Tensor

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。DPM-Solver 旨在离散化噪声预测模型的积分,而 DPM-Solver++ 旨在离散化数据预测模型的积分。

算法和模型类型是解耦的。噪声预测模型和数据预测模型都可以使用DPMSolver或DPMSolver++。

dpm_solver_first_order_update

< >

( model_output: Tensor *args sample: Tensor = None noise: typing.Optional[torch.Tensor] = None **kwargs ) torch.Tensor

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

上一个时间步的样本张量。

一阶DPMSolver(等同于DDIM)的一个步骤。

multistep_dpm_solver_second_order_update

< >

( model_output_list: typing.List[torch.Tensor] *args sample: Tensor = None noise: typing.Optional[torch.Tensor] = None **kwargs ) torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 从学习到的扩散模型在当前和后续时间步长的直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。

返回

torch.Tensor

上一个时间步的样本张量。

二阶多步DPMSolver的一个步骤。

multistep_dpm_solver_third_order_update

< >

( model_output_list: typing.List[torch.Tensor] *args sample: Tensor = None noise: typing.Optional[torch.Tensor] = None **kwargs ) torch.Tensor

参数

  • model_output_list (List[torch.Tensor]) — 来自当前和后续时间步的已学习扩散模型的直接输出。
  • sample (torch.Tensor) — 由扩散过程创建的当前样本实例。

返回

torch.Tensor

上一个时间步的样本张量。

三阶多步DPMSolver的一个步骤。

scale_model_input

< 源代码 >

( sample: Tensor *args **kwargs ) torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。

返回

torch.Tensor

一个缩放后的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器互换使用。

set_timesteps

< 源代码 >

( num_inference_steps: int = None device: typing.Union[str, torch.device] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步数。
  • device (strtorch.device, 可选) — 时间步应移动到的设备。如果为 None,时间步将不会移动。

设置用于扩散链的离散时间步(在推理之前运行)。

步骤

< 源代码 >

( model_output: Tensor timestep: typing.Union[int, torch.Tensor] sample: Tensor generator = None variance_noise: typing.Optional[torch.Tensor] = None return_dict: bool = True ) SchedulerOutputtuple

参数

  • model_output (torch.Tensor) — 已学习扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 由扩散过程创建的当前样本实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • variance_noise (torch.Tensor) — 用于通过直接提供方差本身的噪声来生成噪声的替代方法。对于 CycleDiffusion 等方法很有用。
  • return_dict (bool) — 是否返回 SchedulerOutputtuple

返回

调度器输出tuple

如果 return_dictTrue,则返回 SchedulerOutput,否则返回一个元组,其中第一个元素是样本张量。

通过反转 SDE 预测前一个时间步的样本。此函数使用多步 DPMSolver 传播样本。

SchedulerOutput

class diffusers.schedulers.scheduling_utils.SchedulerOutput

< 源代码 >

( prev_sample: Tensor )

参数

  • prev_sample (torch.Tensor, 形状为图像的 (batch_size, num_channels, height, width)) — 上一时间步的计算样本 (x_{t-1})prev_sample 应在去噪循环中用作下一个模型输入。

调度器 step 函数输出的基类。

< > 在 GitHub 上更新