DPMSolverMultistepScheduler
DPMSolverMultistepScheduler 是来自 DPM-Solver：一种在约 10 步内用于扩散概率模型采样的快速 ODE 求解器 和 DPM-Solver++：用于扩散概率模型引导采样的快速求解器 的多步调度器，由 Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li 和 Jun Zhu 提出。
DPMSolver（以及改进版本 DPMSolver++）是一种快速专用的高阶扩散 ODE 求解器，具有收敛阶保证。根据经验，仅使用 20 步的 DPMSolver 采样就可以生成高质量的样本，即使在 10 步内也能生成相当不错的样本。
提示
建议将 solver_order 设置为 2 用于引导采样，将 solver_order=3 用于无条件采样。
支持来自 Imagen 的动态阈值，对于像素空间扩散模型，您可以同时设置 algorithm_type="dpmsolver++" 和 thresholding=True 以使用动态阈值。这种阈值方法不适用于潜空间扩散模型，例如 Stable Diffusion。
还支持 DPMSolver 和 DPM-Solver++ 的 SDE 变体，但仅限于一阶和二阶求解器。这是一个用于反向扩散 SDE 的快速 SDE 求解器。建议使用二阶 sde-dpmsolver++。
DPMSolverMultistepScheduler
class diffusers.DPMSolverMultistepScheduler
< 源代码 >( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: Union = None solver_order: int = 2 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 algorithm_type: str = 'dpmsolver++' solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False use_karras_sigmas: Optional = False use_lu_lambdas: Optional = False final_sigmas_type: Optional = 'zero' lambda_min_clipped: float = -inf variance_type: Optional = None timestep_spacing: str = 'linspace' steps_offset: int = 0 rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int，默认为 1000) — 模型训练的扩散步数。 - beta_start (
float，默认为 0.0001) — 推理的起始beta值。 - beta_end (
float，默认为 0.02) — 最终的beta值。 - beta_schedule (
str，默认为"linear") — beta 调度，将 beta 范围映射到一系列用于逐步调整模型的 beta 值。 可从linear、scaled_linear或squaredcos_cap_v2中选择。 - trained_betas (
np.ndarray，可选) — 将 beta 数组直接传递给构造函数以绕过beta_start和beta_end。 - solver_order (
int，默认为 2) — DPMSolver 阶数，可以是1或2或3。 建议对于引导采样使用solver_order=2，对于无条件采样使用solver_order=3。 - prediction_type (
str，默认为epsilon，可选) — 调度函数的预测类型；可以是epsilon（预测扩散过程的噪声）、sample（直接预测噪声样本）或v_prediction（参见 Imagen Video 论文的第 2.4 节）。 - 阈值处理 (
bool，默认为False) — 是否使用“动态阈值”方法。这对于潜空间扩散模型（例如 Stable Diffusion）不适用。 - 动态阈值比率 (
float，默认为 0.995) — 动态阈值方法的比率。仅当thresholding=True时有效。 - 样本最大值 (
float，默认为 1.0) — 动态阈值的阈值。仅当thresholding=True且algorithm_type="dpmsolver++"时有效。 - 算法类型 (
str，默认为dpmsolver++) — 求解器的算法类型；可以是dpmsolver、dpmsolver++、sde-dpmsolver或sde-dpmsolver++。dpmsolver类型实现了 DPMSolver 论文中的算法，dpmsolver++类型实现了 DPMSolver++ 论文中的算法。建议将dpmsolver++或sde-dpmsolver++与solver_order=2结合使用，用于像 Stable Diffusion 中的引导采样。 - 求解器类型 (
str，默认为midpoint) — 二阶求解器的求解器类型；可以是midpoint或heun。求解器类型会略微影响样本质量，尤其是在步数较少的情况下。建议使用midpoint求解器。 - 最终使用低阶求解器 (
bool，默认为True) — 是否在最后几步使用低阶求解器。仅对 < 15 个推理步有效。这可以稳定 DPMSolver 在 < 15 步时的采样，特别是对于 <= 10 步的情况。 - 最终使用欧拉方法 (
bool，默认为False) — 是否在最后一步使用欧拉方法。它是数值稳定性和细节丰富度之间的权衡。这可以稳定 DPMSolver 的 SDE 变体在少量推理步骤下的采样，但有时可能会导致模糊。 - 使用 Karras 标准差 (
bool，可选，默认为False) — 是否在采样过程中使用 Karras 标准差作为噪声调度中的步长。如果True，则根据一系列噪声级别 {σi} 确定标准差。 - 使用 Lu 的 DPM-Solver 提出的统一对数 SNR 步长 (
bool，可选，默认为False) — 是否在采样过程中使用 Lu 的 DPM-Solver 在噪声调度中提出的统一对数 SNR 步长。如果True，则根据一系列lambda(t)确定标准差和时间步长。 - 最终标准差类型 (
str，默认为"zero") — 采样过程中噪声调度中的最终sigma值。如果为"sigma_min"，则最终标准差与训练调度中的最后一个标准差相同。如果为zero，则最终标准差设置为 0。 - lambda_min_clipped (
float，默认为-inf) — 用于数值稳定性的lambda(t)最小值的裁剪阈值。这对于余弦 (squaredcos_cap_v2) 噪声调度至关重要。 - variance_type (
str，可选) — 对于预测方差的扩散模型，设置为“learned”或“learned_range”。如果设置，模型的输出将包含预测的高斯方差。 - timestep_spacing (
str，默认为"linspace") — 时间步长的缩放方式。有关更多信息，请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。 - steps_offset (
int，默认为 0) — 添加到推理步骤中的偏移量，某些模型系列需要此偏移量。 - rescale_betas_zero_snr (
bool，默认为False) — 是否将 betas 重缩放为零终端信噪比。这使模型能够生成非常明亮和黑暗的样本，而不是将其限制在中等亮度的样本。与--offset_noise松散相关。
DPMSolverMultistepScheduler 是一种快速专用的高阶扩散 ODE 求解器。
此模型继承自 SchedulerMixin 和 ConfigMixin。请查看超类文档以了解库为所有调度程序实现的通用方法，例如加载和保存。
convert_model_output
< 源代码 >( model_output: 张量 *args sample: 张量 = None **kwargs ) → torch.Tensor
将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。DPM-Solver 旨在离散化噪声预测模型的积分，而 DPM-Solver++ 旨在离散化数据预测模型的积分。
算法和模型类型是解耦的。您可以将 DPMSolver 或 DPMSolver++ 用于噪声预测和数据预测模型。
dpm_solver_first_order_update
< 源代码 >( model_output: 张量 *args sample: 张量 = None noise: 可选 = None **kwargs ) → torch.Tensor
一阶 DPMSolver 的一步（等效于 DDIM）。
multistep_dpm_solver_second_order_update
< 源代码 >( model_output_list: 列表 *args sample: 张量 = None noise: 可选 = None **kwargs ) → torch.Tensor
二阶多步 DPMSolver 的一步。
multistep_dpm_solver_third_order_update
< 源代码 >( model_output_list: 列表 *args sample: 张量 = None **kwargs ) → torch.Tensor
三阶多步 DPMSolver 的一步。
设置调度器的起始索引。此函数应在推理之前由管道运行。
set_timesteps
< 源代码 >( num_inference_steps: int = None device: 联合类型 = None timesteps: 可选 = None )
设置用于扩散链的离散时间步长（在推理之前运行）。
step
< 源代码 >( model_output: 张量 timestep: 联合类型 sample: 张量 generator = None variance_noise: 可选 = None return_dict: bool = True ) → SchedulerOutput 或 元组
参数
- model_output (
torch.Tensor) — 学习扩散模型的直接输出。 - timestep (
int) — 扩散链中当前的离散时间步长。 - sample (
torch.Tensor) — 由扩散过程创建的样本的当前实例。 - generator (
torch.Generator, 可选) — 随机数生成器。 - variance_noise (
torch.Tensor) — 通过直接提供方差本身的噪声，而不是使用generator生成噪声的替代方案。对LEdits++等方法很有用。 - return_dict (
bool) — 是否返回 SchedulerOutput 或tuple。
返回值
SchedulerOutput 或 tuple
如果 return_dict 为 True，则返回 SchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。
通过反转 SDE 来预测前一时间步长的样本。此函数使用多步 DPMSolver 传播样本。
SchedulerOutput
类 diffusers.schedulers.scheduling_utils.SchedulerOutput
< 源代码 >( prev_sample: 张量 )
调度程序的 step 函数输出的基类。