扩散器

加入拥抱脸社区

并获得增强文档体验

在模型、数据集和空间上进行协作

加速推理的示例更快

在文档主题间切换

开始

UniPCMultistepScheduler

UniPCMultistepScheduler 是一个免训练框架，旨在快速对扩散模型进行采样。它在 UniPC: 一种统一的预测校正框架，用于对扩散模型进行快速采样这篇论文中被提出，该论文由 Wenliang Zhao、Lujia Bai、Yongming Rao、Jie Zhou、Jiwen Lu 合著。

它由一个校正器（UniC）和一个预测器（UniP）组成，它们共享统一的解析形式并支持任意阶数。UniPC 在设计上与模型无关，支持在无条件/条件采样上进行像素空间/潜在空间 DPM。它还可以应用于噪声预测和数据预测模型。校正器 UniC 也可以在任何现成的求解器之后应用，以提高精度阶数。

这篇论文的摘要是

扩散概率模型 (DPM) 已被证明在高分辨率图像合成中具有非常有希望的能力。然而，由于对去噪网络进行多次评估，从预先训练的 DPM 中采样非常费时，因此加速 DPM 采样变得越来越重要。尽管在设计快速采样器方面取得近期的进展，但现有的方法在许多需要较少步骤（例如<10）的应用程序中仍然无法生成满意的图像。在本文中，我们开发了一个统一校正器 (UniC)，该校正器可在任何现有的 DPM 采样器之后应用以提高准确度级别，而无需额外的模型评估，并推导出作为副产品的统一预测器 (UniP)，其支持任意级别。将 UniP 和 UniC 相结合，我们提出了一种名为 UniPC 的快速 DPM 采样统一预测器-校正器框架，该框架对任何级别均具有统一的解析形式，并且可以极大地提高采样质量相对于以前的方法，尤其是在极少数步骤中。我们通过广泛的实验评估我们的方法，包括使用像素空间和潜在空间 DPM 的无条件和有条件采样。我们的 UniPC 仅通过 10 次函数评估，即可在 CIFAR10（无条件）上达到 3.87 FID，在 ImageNet 256×256（有条件）上达到 7.51 FID。代码可在此 https URL获取。

提示

建议将 solver_order 设置为 2 以进行引导采样，将 solver_order=3 设置为无条件采样。

从 Imagen 进行动态阈值处理获得支持，对于像素空间扩散模型，你可以设置 predict_x0=True 和 thresholding=True 以使用动态阈值处理。此阈值处理方法不适用于诸如 Stable Diffusion 之类的潜在空间扩散模型。

UniPCMultistepScheduler

类 diffusers.UniPCMultistepScheduler

< 源代码 >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: Union = None solver_order: int = 2 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 predict_x0: bool = True solver_type: str = 'bh2' lower_order_final: bool = True disable_corrector: List = [] solver_p: SchedulerMixin = None use_karras_sigmas: Optional = False timestep_spacing: str = 'linspace' steps_offset: int = 0 final_sigmas_type: Optional = 'zero' rescale_betas_zero_snr: bool = False )

参数

beta_start (浮点数，默认为 0.0001) — 推理的初始 beta 值。
beta_end (浮点数，默认为 0.02) — 最终 beta 值。
beta_schedule (str, 默认为 "linear") — beta 调度，从 beta 范围映射到用于步进模型的 beta 序列。选择 linear、scaled_linear 或 squaredcos_cap_v2。
trained_betas (np.ndarray，可选) — 将 beta 数组直接传递给构造器以绕过 beta_start 和 beta_end。
solver_order (int, 默认值为 2) — 可以是任意正整数的 UniPC 顺序。由于 UniC，准确性的有效顺序为 solver_order + 1。建议在指导采样中使用 solver_order=2，在无条件采样中使用 solver_order=3。
prediction_type (str, 默认值为 epsilon，可选) — 调度器函数的预测类型；可以是 epsilon（预测扩散过程的噪声）、sample（直接预测 noisy sample）或 v_prediction`（见 Imagen Video 论文的 2.4 节）。
thresholding (bool, 默认值为 False) — 是否使用“动态阈值”方法。这不适合用于 Stable Diffusion 等隐空间扩散模型。
dynamic_thresholding_ratio (float, 默认值为 0.995) — 动态阈值方法的比率。仅在 thresholding=True 时有效。
sample_max_value (float，默认为 1.0) — 动态阈值的阈值。仅当 thresholding=True 且 predict_x0=True 时有效。
predict_x0 (bool，默认为 True) — 是否对预测的 x0 使用更新算法。
lower_order_final (bool，默认值 True) — 是否在最后步骤中使用低阶求解器。仅适用于 < 15 推理步骤。这可以稳定用于步骤 < 15 的 DPMSolver 的采样，特别是针对步骤 <= 10。
disable_corrector (列表，默认值 []) — 决定禁用校正器的步骤以减轻 epsilon_theta(x_t, c) 和 epsilon_theta(x_t^c, c) 之间的错位，这会影响较大指导规模下的收敛性。校正器通常在最初几个步骤时被禁用。
solver_p (SchedulerMixin，默认 None) — 任何其他调度器如果指定的话，算法就变为 solver_p + UniC。
use_karras_sigmas (bool，可选，默认为 False) —采样过程中是否在噪声时间表中的步长中使用 Karras sigmas。如果为 True，则根据噪声级别序列 {σi} 确定 sigmas。
timestep_spacing (str，默认为 "linspace") — 应缩放时间步长的方式。有关更多信息，请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。
steps_offset (int，默认为 0) — 根据某些模型系列的要求添加到推理步长中的偏移量。
final_sigmas_type (str，默认为 "zero") — 采样过程中的噪声安排的最终 sigma 值。如果为 "sigma_min"，则最终 sigma 等于训练计划中的最后一个 sigma。如果为 zero，则最终 sigma 设置为 0。
rescale_betas_zero_snr (bool，默认为 False) — 是否将 beta 调整为具有零终端 SNR。这使得模型能够生成非常亮和非常暗的样本，而不是将它们限制在亮度适中的样本中。松散地关联到--offset_noise。