Diffusers 文档
UniPCMultistepScheduler
并获得增强的文档体验
开始使用
UniPCMultistepScheduler
UniPCMultistepScheduler 是一个无需训练的框架，专为扩散模型的快速采样而设计。它由 Wenliang Zhao、Lujia Bai、Yongming Rao、Jie Zhou、Jiwen Lu 在 UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models 中提出。
它包含一个校正器（UniC）和一个预测器（UniP），它们共享统一的分析形式并支持任意阶数。UniPC 在设计上是模型无关的，支持无条件/条件采样上的像素空间/潜在空间 DPM。它还可以应用于噪声预测和数据预测模型。校正器 UniC 也可以在任何现成求解器之后应用，以提高精度阶数。
论文摘要如下：
扩散概率模型（DPMs）在高分辨率图像合成方面表现出非常有前途的能力。然而，从预训练的 DPMs 采样由于去噪网络的多次评估而耗时，这使得加速 DPMs 的采样变得越来越重要。尽管最近在设计快速采样器方面取得了进展，但现有方法在许多偏好更少步骤（例如，<10）的应用中仍无法生成令人满意的图像。在本文中，我们开发了一个统一校正器（UniC），可以在任何现有 DPM 采样器之后应用，以在不增加额外模型评估的情况下提高精度阶数，并作为一个副产品推导出一个支持任意阶数的统一预测器（UniP）。结合 UniP 和 UniC，我们提出了一个名为 UniPC 的统一预测-校正框架，用于 DPMs 的快速采样，它具有适用于任何阶数的统一分析形式，并且可以显著提高采样质量，尤其是在极少步骤中。我们通过广泛的实验评估了我们的方法，包括使用像素空间和潜在空间 DPMs 的无条件和条件采样。我们的 UniPC 可以在 CIFAR10（无条件）上以仅 10 次函数评估实现 3.87 FID，在 ImageNet 256×256（条件）上实现 7.51 FID。代码可在此处获取：this https URL。
提示
建议将 solver_order 设置为 2 用于引导采样，将 solver_order 设置为 3 用于无条件采样。
支持来自 Imagen 的动态阈值处理，对于像素空间扩散模型，您可以同时设置 predict_x0=True 和 thresholding=True 以使用动态阈值处理。这种阈值处理方法不适用于潜在空间扩散模型，例如 Stable Diffusion。
UniPCMultistepScheduler
类 diffusers.UniPCMultistepScheduler
< 源 >( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' trained_betas: typing.Union[numpy.ndarray, typing.List[float], NoneType] = None solver_order: int = 2 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 predict_x0: bool = True solver_type: str = 'bh2' lower_order_final: bool = True disable_corrector: typing.List[int] = [] solver_p: SchedulerMixin = None use_karras_sigmas: typing.Optional[bool] = False use_exponential_sigmas: typing.Optional[bool] = False use_beta_sigmas: typing.Optional[bool] = False use_flow_sigmas: typing.Optional[bool] = False flow_shift: typing.Optional[float] = 1.0 timestep_spacing: str = 'linspace' steps_offset: int = 0 final_sigmas_type: typing.Optional[str] = 'zero' rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int, 默认为 1000) — 用于训练模型的扩散步骤数。 - beta_start (
float, 默认为 0.0001) — 推理的起始beta值。 - beta_end (
float, 默认为 0.02) — 最终beta值。 - beta_schedule (
str, 默认为"linear") — beta 调度器，一个将 beta 范围映射到用于模型步进的 beta 序列的映射。可选择linear、scaled_linear或squaredcos_cap_v2。 - trained_betas (
np.ndarray, 可选) — 直接向构造函数传递一个 beta 数组，以绕过beta_start和beta_end。 - solver_order (
int, 默认为2) — UniPC 阶数，可以是任何正整数。由于 UniC，有效精度阶数为solver_order + 1。建议在引导采样中使用solver_order=2，在无条件采样中使用solver_order=3。 - prediction_type (
str, 默认为epsilon, 可选) — 调度器函数的预测类型；可以是epsilon（预测扩散过程的噪声），sample（直接预测噪声样本）或v_prediction（参见 Imagen Video 论文的 2.4 节）。 - thresholding (
bool, 默认为False) — 是否使用“动态阈值”方法。此方法不适用于潜在空间扩散模型，例如 Stable Diffusion。 - dynamic_thresholding_ratio (
float, 默认为 0.995) — 动态阈值方法的比率。仅在thresholding=True时有效。 - sample_max_value (
float, 默认为 1.0) — 动态阈值处理的阈值。仅在thresholding=True和predict_x0=True时有效。 - predict_x0 (
bool, 默认为True) — 是否在预测的 x0 上使用更新算法。 - solver_type (
str, 默认为bh2) — UniPC 的求解器类型。建议在步数 < 10 的无条件采样中使用bh1，否则使用bh2。 - lower_order_final (
bool, 默认为True) — 是否在最后几个步骤中使用低阶求解器。仅适用于 < 15 推理步骤。这可以稳定 DPMSolver 的采样，尤其是在步骤 <= 10 的情况下。 - disable_corrector (
list, 默认为[]) — 决定在哪个步骤禁用校正器，以缓解epsilon_theta(x_t, c)和epsilon_theta(x_t^c, c)之间的错位，这会影响大引导尺度的收敛性。校正器通常在最初几个步骤中禁用。 - solver_p (
SchedulerMixin, 默认为None) — 如果指定，则算法变为solver_p + UniC的任何其他调度器。 - use_karras_sigmas (
bool, 可选, 默认为False) — 在采样过程中是否使用 Karras sigmas 作为噪声调度中的步长。如果为True，则 sigmas 根据一系列噪声水平 {σi} 确定。 - use_exponential_sigmas (
bool, 可选, 默认为False) — 在采样过程中是否使用指数 sigmas 作为噪声调度中的步长。 - use_beta_sigmas (
bool, 可选, 默认为False) — 在采样过程中是否使用 beta sigmas 作为噪声调度中的步长。更多信息请参阅 Beta Sampling is All You Need。 - timestep_spacing (
str, 默认为"linspace") — 时间步长的缩放方式。更多信息请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。 - steps_offset (
int, 默认为 0) — 添加到推理步骤的偏移量，某些模型系列需要。 - final_sigmas_type (
str, 默认为"zero") — 采样过程中噪声调度的最终sigma值。如果为"sigma_min"，则最终 sigma 与训练调度中的最后一个 sigma 相同。如果为zero，则最终 sigma 设置为 0。 - rescale_betas_zero_snr (
bool, 默认为False) — 是否重新缩放 beta 以使最终信噪比为零。这使得模型能够生成非常明亮和非常暗的样本，而不是将其限制在亮度适中的样本。与--offset_noiseloosely related。
UniPCMultistepScheduler 是一个无需训练的框架，专为扩散模型的快速采样而设计。
此模型继承自 SchedulerMixin 和 ConfigMixin。请查看超类文档，了解库为所有调度器实现的通用方法，例如加载和保存。
convert_model_output
< 源 >( model_output: Tensor *args sample: Tensor = None **kwargs ) → torch.Tensor
将模型输出转换为 UniPC 算法所需的相应类型。
multistep_uni_c_bh_update
< 源 >( this_model_output: Tensor *args last_sample: Tensor = None this_sample: Tensor = None order: int = None **kwargs ) → torch.Tensor
UniC（B(h) 版本）的一个步骤。
multistep_uni_p_bh_update
< 来源 >( model_output: Tensor *args sample: Tensor = None order: int = None **kwargs ) → torch.Tensor
UniP (B(h) 版本) 的一个步骤。或者，如果指定，则使用 `self.solver_p`。
scale_model_input
< 来源 >( sample: Tensor *args **kwargs ) → torch.Tensor
确保与需要根据当前时间步缩放去噪模型输入的调度器互换使用。
设置调度器的起始索引。此函数应在推理之前从管道中运行。
set_timesteps
< 来源 >( num_inference_steps: int device: typing.Union[str, torch.device] = None )
设置用于扩散链的离散时间步（在推理之前运行）。
步骤
< 来源 >( model_output: Tensor timestep: typing.Union[int, torch.Tensor] sample: Tensor return_dict: bool = True ) → SchedulerOutput 或 tuple
参数
- model_output (
torch.Tensor) — 从已学习扩散模型直接输出。 - timestep (
int) — 扩散链中的当前离散时间步。 - sample (
torch.Tensor) — 扩散过程创建的样本当前实例。 - return_dict (
bool) — 是否返回 SchedulerOutput 或tuple。
返回
调度器输出 或 tuple
如果 `return_dict` 为 `True`，则返回 SchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。
通过反转 SDE 从上一个时间步预测样本。此函数使用多步 UniPC 传播样本。
SchedulerOutput
class diffusers.schedulers.scheduling_utils.SchedulerOutput
< 来源 >( prev_sample: Tensor )
调度器 step 函数输出的基类。