Hugging Face 的标志

Diffusers 文档

CMS随机迭代调度器

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

开始使用

CMStochasticIterativeScheduler

一致性模型 由 Yang Song、Prafulla Dhariwal、Mark Chen 和 Ilya Sutskever 提出，介绍了一种多步和单步调度器（算法 1），它能够在一步或少量步骤中生成良好的样本。

论文的摘要是

扩散模型在图像、音频和视频生成领域取得了显著进展，但它们依赖于迭代采样过程，导致生成速度缓慢。为了克服这一限制，我们提出了 Consistency 模型，这是一种新的模型家族，通过直接将噪声映射到数据来生成高质量样本。它们通过设计支持快速一步生成，同时仍然允许多步采样来用计算换取样本质量。它们还支持零样本数据编辑，例如图像修复、着色和超分辨率，而无需对这些任务进行显式训练。 Consistency 模型可以通过蒸馏预训练的扩散模型进行训练，也可以作为独立的生成模型进行训练。通过大量的实验，我们证明了它们在一步和几步采样中优于现有的扩散模型蒸馏技术，在一步生成方面取得了 CIFAR-10 上 3.55 和 ImageNet 64x64 上 6.20 的最新 FID。当独立训练时，Consistency 模型成为一个新的生成模型家族，在 CIFAR-10、ImageNet 64x64 和 LSUN 256x256 等标准基准上，可以优于现有的单步非对抗生成模型。

原始代码库可以在 openai/consistency_models 找到。

CMStochasticIterativeScheduler

class diffusers.CMStochasticIterativeScheduler

< >

( num_train_timesteps: int = 40 sigma_min: float = 0.002 sigma_max: float = 80.0 sigma_data: float = 0.5 s_noise: float = 1.0 rho: float = 7.0 clip_denoised: bool = True )

参数

  • num_train_timesteps (int, 默认为 40) — 训练模型的扩散步骤数。
  • sigma_min (float, 默认为 0.002) — sigma 调度中的最小噪声幅度。默认为原始实现中的 0.002。
  • sigma_max (float, 默认为 80.0) — sigma 调度中的最大噪声幅度。默认为原始实现中的 80.0。
  • sigma_data (float, 默认为 0.5) — EDM 论文 paper 中的数据分布的标准差。默认为原始实现中的 0.5。
  • s_noise (float, 默认为 1.0) — 额外的噪声量，用于抵消采样过程中细节的损失。合理范围为 [1.000, 1.011]。默认为原始实现中的 1.0。
  • rho (float, 默认为 7.0) — EDM 论文 paper 中用于计算 Karras sigma 调度的参数。默认为原始实现中的 7.0。
  • clip_denoised (bool, 默认为 True) — 是否将去噪输出裁剪到 (-1, 1)。
  • timesteps (List 或 np.ndarray 或 torch.Tensor, 可选) — 可选指定的显式时间步调度。时间步预期为递增顺序。

用于一致性模型的多步和单步采样。

此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以了解库为所有调度程序实现的通用方法，例如加载和保存。

get_scalings_for_boundary_condition

< >

( sigma ) → tuple

参数

  • sigma (torch.Tensor) — Karras sigma 调度中的当前 sigma。

返回

tuple

一个包含两个元素的元组，其中 c_skip（对当前样本进行加权）是第一个元素，c_out（对一致性模型输出进行加权）是第二个元素。

获取一致性模型参数化中用于强制边界条件的缩放比例（来自 论文 的附录 C）。

epsilon 在 c_skip 和 c_out 的方程式中被设置为 sigma_min。

scale_model_input

< >

( sample: Tensor timestep: Union ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (float 或 torch.Tensor) — 扩散链中的当前时间步。

返回

torch.Tensor

一个缩放的输入样本。

将一致性模型输入按 (sigma**2 + sigma_data**2) ** 0.5 缩放。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int) — 调度程序的起始索引。

设置调度程序的起始索引。此函数应在推理之前从管道运行。

set_timesteps

< ( num_inference_steps: 可选 = None device: 联合 = None timesteps: 可选 = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。
  • device (str 或 torch.device, 可选) — 要将时间步移动到的设备。如果为 None，则不会移动时间步。
  • timesteps (List[int], 可选) — 用于支持时间步之间任意间距的自定义时间步。如果为 None，则使用时间步之间等间距的默认时间步间距策略。如果传递了 timesteps，则 num_inference_steps 必须为 None。

设置用于扩散链的时间步（在推理之前运行）。

sigma_to_t

< >

( sigmas: 联合 ) → float 或 np.ndarray

参数

  • sigmas (float 或 np.ndarray) — 单个 Karras sigma 或 Karras sigma 数组。

返回

float 或 np.ndarray

缩放的输入时间步或缩放的输入时间步数组。

从 Karras sigma 获取缩放的时间步，以作为一致性模型的输入。

step

< >

( model_output: 张量 timestep: 联合 sample: 张量 generator: 可选 = None return_dict: 布尔 = True ) → CMStochasticIterativeSchedulerOutput 或 元组

参数

  • model_output (torch.Tensor) — 从学习到的扩散模型获得的直接输出。
  • timestep (float) — 扩散链中的当前时间步。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选, 默认值 True) — 是否返回一个 CMStochasticIterativeSchedulerOutput 或 tuple。

返回

CMStochasticIterativeSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 CMStochasticIterativeSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过反转 SDE 预测前一个时间步的样本。此函数传播从学习模型输出（通常是预测的噪声）传播扩散过程。

CMStochasticIterativeSchedulerOutput

class diffusers.schedulers.scheduling_consistency_models.CMStochasticIterativeSchedulerOutput

< >

( prev_sample: 张量 )

参数

  • prev_sample (torch.Tensor 形状为 (batch_size, num_channels, height, width) 对于图像) — 计算的先前时间步的样本 (x_{t-1})。prev_sample 应该用作去噪循环中的下一个模型输入。

调度程序 step 函数的输出类。

< > 在 GitHub 上更新

←概述 ConsistencyDecoderScheduler→