Hugging Face 的 LOGO

Diffusers 文档

RePaint调度器

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

RePaint调度器

RePaintScheduler 是一个基于DDPM的图像修复调度器，用于处理极端遮罩的无监督图像修复。它旨在与 RePaintPipeline 配合使用，并基于 Andreas Lugmayr 等人的论文 RePaint: Inpainting using Denoising Diffusion Probabilistic Models。

论文摘要如下：

自由形式的图像修复任务是在由任意二进制遮罩指定的区域中为图像添加新内容。大多数现有方法针对特定遮罩分布进行训练，这限制了它们对未知遮罩类型的泛化能力。此外，使用像素级和感知损失进行训练通常会导致对缺失区域进行简单的纹理扩展，而不是语义上有意义的生成。在这项工作中，我们提出了 RePaint：一种基于去噪扩散概率模型（DDPM）的图像修复方法，适用于甚至极端的遮罩。我们采用预训练的无条件DDPM作为生成先验。为了调节生成过程，我们只通过使用给定图像信息对未遮罩区域进行采样来改变逆向扩散迭代。由于此技术不修改或调节原始DDPM网络本身，因此该模型为任何图像修复形式生成高质量和多样化的输出图像。我们使用标准和极端遮罩验证了我们用于人脸和通用图像修复的方法。RePaint 在至少六种遮罩分布中的五种上优于最先进的自回归和GAN方法。GitHub存储库：此http URL。

原始实现可在 andreas128/RePaint 找到。

RePaintScheduler

class diffusers.RePaintScheduler

< 源代码 >

( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' eta: float = 0.0 trained_betas: typing.Optional[numpy.ndarray] = None clip_sample: bool = True )

参数

  • num_train_timesteps (int, 默认为 1000) — 训练模型所需的扩散步数。
  • beta_start (float, 默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认为 0.02) — 最终的 beta 值。
  • beta_schedule (str, 默认为 "linear") — beta调度，将beta范围映射到模型步进的beta序列。可选择 linear、scaled_linear、squaredcos_cap_v2 或 sigmoid。
  • eta (float) — 扩散步骤中添加噪声的权重。如果其值在0.0和1.0之间，则对应于DDIM调度器；如果其值在-0.0和1.0之间，则对应于DDPM调度器。
  • trained_betas (np.ndarray, 可选) — 直接向构造函数传递一个beta数组以绕过 beta_start 和 beta_end。
  • clip_sample (bool, 默认为 True) — 将预测样本裁剪到-1和1之间以获得数值稳定性。

RePaintScheduler 是用于给定遮罩内DDPM图像修复的调度器。

此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以了解库为所有调度器（例如加载和保存）实现的通用方法。

scale_model_input

< 源代码 >

( sample: Tensor timestep: typing.Optional[int] = None ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。
  • timestep (int, 可选) — 扩散链中的当前时间步。

返回

torch.Tensor

一个缩放后的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器互换使用。

set_timesteps

< 源代码 >

( num_inference_steps: int jump_length: int = 10 jump_n_sample: int = 10 device: typing.Union[str, torch.device] = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步数。如果使用此参数，则 timesteps 必须为 None。
  • jump_length (int, 默认为 10) — 单次跳跃中向前跳跃的时间步长（RePaint论文中的“j”）。请参阅论文中的图9和图10。
  • jump_n_sample (int, 默认为 10) — 对于给定的选择时间样本，向前跳跃的次数。请参阅论文中的图9和图10。
  • device (str 或 torch.device, 可选) — 时间步应移动到的设备。如果为 None，则时间步不会移动。

设置用于扩散链的离散时间步（在推理之前运行）。

步骤

< 源代码 >

( model_output: Tensor timestep: int sample: Tensor original_image: Tensor mask: Tensor generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → RePaintSchedulerOutput 或 tuple

参数

  • model_output (torch.Tensor) — 从学习扩散模型直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 扩散过程创建的当前样本实例。
  • original_image (torch.Tensor) — 要进行图像修复的原始图像。
  • mask (torch.Tensor) — 值为0.0表示原始图像中需要修复的部分的遮罩。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 RePaintSchedulerOutput 或 tuple。

返回

RePaintSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 RePaintSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过逆转 SDE 预测前一个时间步的样本。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。

RePaintSchedulerOutput

class diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput

< 源代码 >

( prev_sample: Tensor pred_original_sample: Tensor )

参数

  • prev_sample (形状为 (batch_size, num_channels, height, width) 的图像用 torch.Tensor) — 上一个时间步计算的样本 (x_{t-1})。prev_sample 应用作去噪循环中的下一个模型输入。
  • pred_original_sample (形状为 (batch_size, num_channels, height, width) 的图像用 torch.Tensor) — 基于当前时间步的模型输出预测的去噪样本 (x_{0})。pred_original_sample 可用于预览进度或进行引导。

调度器步进函数输出的输出类。

< > 在 GitHub 上更新

←PNDMScheduler ScoreSdeVeScheduler→