Hugging Face 的 LOGO

Diffusers 文档

CMStochasticIterativeScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

CMStochasticIterativeScheduler

Yang Song、Prafulla Dhariwal、Mark Chen 和 Ilya Sutskever 在 Consistency Models 中引入了一种多步和一步调度器（算法 1），它能够以一步或少量步骤生成高质量样本。

论文摘要如下：

扩散模型显著推动了图像、音频和视频生成领域的发展，但它们依赖于迭代采样过程，导致生成速度缓慢。为了克服这一限制，我们提出了**一致性模型**，这是一系列新的模型家族，它们通过将噪声直接映射到数据来生成高质量样本。它们天生支持快速一步生成，同时仍允许多步采样以权衡计算和样本质量。它们还支持零样本数据编辑，例如图像修复、着色和超分辨率，而无需显式训练这些任务。一致性模型可以通过蒸馏预训练扩散模型或作为独立的生成模型进行训练。通过大量实验，我们证明它们在一步和少量步骤采样方面优于现有扩散模型的蒸馏技术，在 CIFAR-10 上的一步生成达到了 3.55 的新 SOTA FID，在 ImageNet 64x64 上达到了 6.20。当独立训练时，一致性模型成为一个新的生成模型家族，在 CIFAR-10、ImageNet 64x64 和 LSUN 256x256 等标准基准测试中，其性能优于现有的一步非对抗性生成模型。

原始代码库可在 openai/consistency_models 中找到。

CMStochasticIterativeScheduler

class diffusers.CMStochasticIterativeScheduler

< >

( num_train_timesteps: int = 40 sigma_min: float = 0.002 sigma_max: float = 80.0 sigma_data: float = 0.5 s_noise: float = 1.0 rho: float = 7.0 clip_denoised: bool = True )

参数

  • num_train_timesteps (int, 默认为 40) — 训练模型的扩散步数。
  • sigma_min (float, 默认为 0.002) — Sigma 调度中的最小噪声幅度。默认为原始实现中的 0.002。
  • sigma_max (float, 默认为 80.0) — Sigma 调度中的最大噪声幅度。默认为原始实现中的 80.0。
  • sigma_data (float, 默认为 0.5) — EDM 论文中数据分布的标准差。默认为原始实现中的 0.5。
  • s_noise (float, 默认为 1.0) — 额外的噪声量，以抵消采样过程中细节的丢失。合理范围为 [1.000, 1.011]。默认为原始实现中的 1.0。
  • rho (float, 默认为 7.0) — 用于从 EDM 论文计算 Karras sigma 调度中的参数。默认为原始实现中的 7.0。
  • clip_denoised (bool, 默认为 True) — 是否将去噪输出裁剪到 (-1, 1)。
  • timesteps (List 或 np.ndarray 或 torch.Tensor, 可选) — 可选指定的显式时间步调度。时间步应按递增顺序排列。

一致性模型的多步和一步采样。

此模型继承自 SchedulerMixin 和 ConfigMixin。有关库为所有调度器（例如加载和保存）实现的通用方法，请查看超类文档。

get_scalings_for_boundary_condition

< >

( sigma ) → tuple

参数

  • sigma (torch.Tensor) — Karras sigma 调度中的当前 sigma。

返回

元组

一个两元素元组，其中 `c_skip`（当前样本的权重）是第一个元素，`c_out`（一致性模型输出的权重）是第二个元素。

获取一致性模型参数化中用于强制边界条件（来自 论文附录 C）的缩放。

`c_skip` 和 `c_out` 方程中的 `epsilon` 设置为 `sigma_min`。

scale_model_input

< >

( sample: Tensor timestep: typing.Union[float, torch.Tensor] ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (float 或 torch.Tensor) — 扩散链中的当前时间步。

返回

torch.Tensor

一个缩放后的输入样本。

将一致性模型输入按 `(sigma**2 + sigma_data**2) ** 0.5` 进行缩放。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int) — 调度器的开始索引。

设置调度器的起始索引。此函数应在推理之前从管道中运行。

set_timesteps

< >

( num_inference_steps: typing.Optional[int] = None device: typing.Union[str, torch.device] = None timesteps: typing.Optional[typing.List[int]] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步数。
  • device (str 或 torch.device, 可选) — 时间步应移动到的设备。如果为 None，则时间步不移动。
  • timesteps (List[int], 可选) — 用于支持时间步之间任意间距的自定义时间步。如果为 None，则使用时间步之间等间距的默认时间步间距策略。如果传递了 timesteps，则 num_inference_steps 必须为 None。

设置用于扩散链的时间步（在推理之前运行）。

sigma_to_t

< >

( sigmas: typing.Union[float, numpy.ndarray] ) → float 或 np.ndarray

参数

  • sigmas (float 或 np.ndarray) — 单个 Karras sigma 或 Karras sigma 数组。

返回

float 或 np.ndarray

缩放后的输入时间步或缩放后的输入时间步数组。

从 Karras sigma 获取缩放后的时间步，用于一致性模型的输入。

步骤

< >

( model_output: Tensor timestep: typing.Union[float, torch.Tensor] sample: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → CMStochasticIterativeSchedulerOutput 或 tuple

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型直接输出。
  • timestep (float) — 扩散链中的当前时间步。
  • sample (torch.Tensor) — 扩散过程创建的当前样本实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 CMStochasticIterativeSchedulerOutput 或 tuple。

返回

CMStochasticIterativeSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 CMStochasticIterativeSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过逆转 SDE 预测前一个时间步的样本。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。

CMStochasticIterativeSchedulerOutput

class diffusers.schedulers.scheduling_consistency_models.CMStochasticIterativeSchedulerOutput

< >

( prev_sample: Tensor )

参数

  • prev_sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor，用于图像) — 前一个时间步的计算样本 (x_{t-1})。prev_sample 应在去噪循环中用作下一个模型输入。

调度器 `step` 函数的输出类。

< > 在 GitHub 上更新

←概述 CogVideoXDDIMScheduler→