Hugging Face's logo

Diffusers 文档

RePaintScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

RePaintScheduler

RePaintScheduler 是一个基于 DDPM 的图像修复调度器，用于使用极端掩码进行无监督图像修复。它旨在与 RePaintPipeline 一起使用，并且基于 Andreas Lugmayr 等人的论文 RePaint: Inpainting using Denoising Diffusion Probabilistic Models。

该论文的摘要如下：

自由形式的图像修复任务是在任意二进制掩码指定的区域中向图像添加新内容。大多数现有方法都针对特定掩码分布进行训练，这限制了它们对未见过的掩码类型的泛化能力。此外，使用像素级和感知损失进行训练通常会导致向缺失区域的简单纹理扩展，而不是语义上有意义的生成。在这项工作中，我们提出了 RePaint：一种基于去噪扩散概率模型 (DDPM) 的图像修复方法，它甚至适用于极端掩码。我们采用预训练的无条件 DDPM 作为生成先验。为了调节生成过程，我们仅通过使用给定的图像信息采样未掩盖区域来改变反向扩散迭代。由于此技术不修改或调节原始 DDPM 网络本身，因此该模型为任何图像修复形式生成高质量和多样化的输出图像。我们使用标准和极端掩码验证了我们的方法在人脸和通用图像修复方面的效果。对于六种掩码分布中的至少五种，RePaint 的性能优于最先进的自回归和 GAN 方法。GitHub 仓库：this http URL。

原始实现在 andreas128/RePaint 中可以找到。

RePaintScheduler

class diffusers.RePaintScheduler

< >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' eta: float = 0.0 trained_betas: typing.Optional[numpy.ndarray] = None clip_sample: bool = True )

参数

  • num_train_timesteps (int, 默认为 1000) — 训练模型的扩散步数。
  • beta_start (float, 默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认为 0.02) — 最终 beta 值。
  • beta_schedule (str，默认为 "linear") — beta 时间表，从 beta 范围到用于步进模型的 beta 序列的映射。 从 linear、scaled_linear、squaredcos_cap_v2 或 sigmoid 中选择。
  • eta (float) — 在扩散步骤中添加噪声的噪声权重。 如果其值在 0.0 和 1.0 之间，则对应于 DDIM 调度器；如果其值在 -0.0 和 1.0 之间，则对应于 DDPM 调度器。
  • trained_betas (np.ndarray，可选) — 直接将 beta 数组传递给构造函数以绕过 beta_start 和 beta_end。
  • clip_sample (bool，默认为 True) — 为了数值稳定性，将预测的样本裁剪到 -1 和 1 之间。

RePaintScheduler 是用于给定蒙版内 DDPM 图像修复的调度器。

此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以获取库为所有调度器实现的通用方法，例如加载和保存。

scale_model_input

< >

( sample: Tensor timestep: typing.Optional[int] = None ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int，可选) — 扩散链中的当前时间步。

返回值

torch.Tensor

缩放的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器具有互换性。

set_timesteps

< >

( num_inference_steps: int jump_length: int = 10 jump_n_sample: int = 10 device: typing.Union[str, torch.device] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。 如果使用，timesteps 必须为 None。
  • jump_length (int，默认为 10) — 对于单次跳跃，向前跳跃的时间步数，然后再向后跳跃（RePaint 论文中的 “j”）。 请查看论文中的图 9 和图 10。
  • jump_n_sample (int，默认为 10) — 对于给定的选定时间样本，进行向前时间跳跃的次数。 请查看论文中的图 9 和图 10。
  • device (str 或 torch.device，可选) — 时间步应移动到的设备。 如果为 None，则时间步不会移动。

设置用于扩散链的离散时间步（在推理之前运行）。

step

< >

( model_output: Tensor timestep: int sample: Tensor original_image: Tensor mask: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → RePaintSchedulerOutput 或 tuple

参数

  • model_output (torch.Tensor) — 来自学习的扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 由扩散过程创建的样本的当前实例。
  • original_image (torch.Tensor) — 要进行修复的原始图像。
  • mask (torch.Tensor) — 蒙版，值为 0.0 表示要修复的原始图像部分。
  • generator (torch.Generator，可选) — 随机数生成器。
  • return_dict (bool，可选，默认为 True) — 是否返回 RePaintSchedulerOutput 或 tuple。

返回值

RePaintSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 RePaintSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过反转 SDE 来预测前一个时间步的样本。 此函数从学习的模型输出（最常见的是预测的噪声）传播扩散过程。

RePaintSchedulerOutput

class diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput

< >

( prev_sample: Tensor pred_original_sample: Tensor )

参数

  • prev_sample (torch.Tensor，形状为 (batch_size, num_channels, height, width)，用于图像) — 上一个时间步的计算样本 (x_{t-1})。 prev_sample 应用作去噪循环中的下一个模型输入。
  • pred_original_sample (torch.Tensor，形状为 (batch_size, num_channels, height, width)，用于图像) — 基于当前时间步的模型输出预测的去噪样本 (x_{0})。 pred_original_sample 可用于预览进度或进行指导。

调度器的 step 函数输出的输出类。

< > 在 GitHub 上更新

←PNDMScheduler ScoreSdeVeScheduler→