Hugging Face's logo

Diffusers 文档

CMStochasticIterativeScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

CMStochasticIterativeScheduler

Consistency Models 由 Yang Song、Prafulla Dhariwal、Mark Chen 和 Ilya Sutskever 引入了一种多步和单步调度器（算法 1），它能够在一个或少数几个步骤中生成良好的样本。

该论文的摘要是

扩散模型在图像、音频和视频生成领域取得了显著进展，但它们依赖于迭代采样过程，导致生成速度缓慢。为了克服这一限制，我们提出了 Consistency Models，这是一个新的模型系列，通过直接将噪声映射到数据来生成高质量的样本。它们在设计上支持快速的单步生成，同时仍然允许多步采样来权衡计算量和样本质量。它们还支持零样本数据编辑，例如图像修复、着色和超分辨率，而无需对这些任务进行显式训练。Consistency Models 可以通过提炼预训练的扩散模型进行训练，也可以完全作为独立的生成模型进行训练。通过广泛的实验，我们证明了它们在单步和少步采样方面优于现有的扩散模型提炼技术，在 CIFAR-10 上实现了 3.55 的最新 FID，在 ImageNet 64x64 上实现了 6.20 的最新 FID。当孤立地训练时，Consistency Models 成为一个新的生成模型系列，可以在 CIFAR-10、ImageNet 64x64 和 LSUN 256x256 等标准基准测试中优于现有的单步、非对抗性生成模型。

原始代码库可以在 openai/consistency_models 找到。

CMStochasticIterativeScheduler

class diffusers.CMStochasticIterativeScheduler

< >

( num_train_timesteps: int = 40 sigma_min: float = 0.002 sigma_max: float = 80.0 sigma_data: float = 0.5 s_noise: float = 1.0 rho: float = 7.0 clip_denoised: bool = True )

参数

  • num_train_timesteps (int, 默认为 40) — 训练模型的扩散步数。
  • sigma_min (float, 默认为 0.002) — sigma 计划中的最小噪声幅度。默认为原始实现中的 0.002。
  • sigma_max (float, 默认为 80.0) — sigma 计划中的最大噪声幅度。默认为原始实现中的 80.0。
  • sigma_data (float, 默认为 0.5) — 来自 EDM 论文 的数据分布的标准差。默认为原始实现中的 0.5。
  • s_noise (float, defaults to 1.0) — 抵消采样期间细节损失的额外噪声量。合理范围为 [1.000, 1.011]。默认为原始实现中的 1.0。
  • rho (float, defaults to 7.0) — 用于从 EDM 论文计算 Karras sigma 计划的参数。默认为原始实现中的 7.0。
  • clip_denoised (bool, defaults to True) — 是否将去噪输出裁剪到 (-1, 1) 范围内。
  • timesteps (List 或 np.ndarray 或 torch.Tensor, 可选) — 可选指定的显式时间步计划表。时间步预计按递增顺序排列。

用于一致性模型的多步和单步采样。

此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档，了解库为所有调度器实现的通用方法，例如加载和保存。

get_scalings_for_boundary_condition

< >

( sigma ) → tuple

参数

  • sigma (torch.Tensor) — Karras sigma 计划中的当前 sigma 值。

返回值

tuple

一个包含两个元素的元组，其中 c_skip（用于加权当前样本）是第一个元素，而 c_out（用于加权一致性模型输出）是第二个元素。

获取一致性模型参数化（来自 论文 的附录 C）中使用的缩放比例，以强制执行边界条件。

c_skip 和 c_out 方程中的 epsilon 设置为 sigma_min。

scale_model_input

< >

( sample: Tensor timestep: typing.Union[float, torch.Tensor] ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (float 或 torch.Tensor) — 扩散链中的当前时间步。

返回值

torch.Tensor

缩放后的输入样本。

通过 (sigma**2 + sigma_data**2) ** 0.5 缩放一致性模型输入。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int) — 调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从管道运行。

set_timesteps

< >

( num_inference_steps: typing.Optional[int] = None device: typing.Union[str, torch.device] = None timesteps: typing.Optional[typing.List[int]] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。
  • device (str 或 torch.device, 可选) — 时间步应移动到的设备。如果为 None，则时间步不会移动。
  • timesteps (List[int], 可选) — 用于支持时间步之间任意间隔的自定义时间步。如果为 None，则使用默认的时间步间隔策略，即时间步之间相等的间隔。如果传递了 timesteps，则 num_inference_steps 必须为 None。

设置用于扩散链的时间步（在推理之前运行）。

sigma_to_t

< >

( sigmas: typing.Union[float, numpy.ndarray] ) → float or np.ndarray

参数

  • sigmas (float 或 np.ndarray) — 单个 Karras sigma 值或 Karras sigma 值数组。

返回值

float 或 np.ndarray

缩放后的输入时间步或缩放后的输入时间步数组。

从 Karras sigma 值获取缩放后的时间步，以输入到一致性模型。

step

< >

( model_output: Tensor timestep: typing.Union[float, torch.Tensor] sample: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → CMStochasticIterativeSchedulerOutput 或 tuple

参数

  • model_output (torch.Tensor) — 来自学习扩散模型的直接输出。
  • timestep (float) — 扩散链中的当前时间步。
  • sample (torch.Tensor) — 扩散过程创建的样本的当前实例。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选, defaults to True) — 是否返回 CMStochasticIterativeSchedulerOutput 或 tuple。

返回值

CMStochasticIterativeSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 CMStochasticIterativeSchedulerOutput，否则返回一个元组，其中第一个元素是 sample 张量。

通过反转 SDE，从上一个时间步预测 sample。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。

CMStochasticIterativeSchedulerOutput

类 diffusers.schedulers.scheduling_consistency_models.CMStochasticIterativeSchedulerOutput

< >

( prev_sample: Tensor )

参数

  • prev_sample (torch.Tensor，形状为 (batch_size, num_channels, height, width)，用于图像) — 上一个时间步计算出的 sample (x_{t-1})。prev_sample 应在去噪循环中用作下一个模型输入。

调度器的 step 函数的输出类。

< > 在 GitHub 上更新

←概述 ConsistencyDecoderScheduler→