Hugging Face 的徽标

Diffusers 文档

RePaintScheduler

Hugging Face's logo
加入 Hugging Face 社区

并获得增强版文档体验

开始使用

RePaintScheduler

RePaintScheduler 是一个基于 DDPM 的修复调度器，用于使用极端掩码进行无监督修复。 它旨在与 RePaintPipeline 一起使用，并且基于 Andreas Lugmayr 等人发表的论文 RePaint: 使用降噪扩散概率模型进行修复。

论文的摘要是

自由形式修复是指在由任意二元掩码指定的区域中向图像添加新内容的任务。 大多数现有方法都针对特定的掩码分布进行训练，这限制了它们对看不见的掩码类型的泛化能力。 此外，使用逐像素和感知损失进行训练通常会导致对缺失区域进行简单的纹理扩展，而不是语义上有意义的生成。 在这项工作中，我们提出了 RePaint：一种基于降噪扩散概率模型 (DDPM) 的修复方法，该方法适用于极端掩码。 我们使用预先训练的无条件 DDPM 作为生成先验。 为了对生成过程进行调节，我们只通过使用给定图像信息对未掩码区域进行采样来改变反向扩散迭代。 由于这种技术本身并没有修改或调节原始 DDPM 网络，因此该模型可以针对任何修复形式生成高质量且多样化的输出图像。 我们使用标准和极端掩码验证了我们针对人脸和通用图像修复的方法。 RePaint 在六个掩码分布中的五个中都优于最先进的自回归和 GAN 方法。 GitHub 存储库：此 HTTP URL。

原始实现可以在 andreas128/RePaint 中找到。

RePaintScheduler

class diffusers.RePaintScheduler

< >

参数 ( num_train_timesteps: int = 1000 beta_start: float = 0.0001 beta_end: float = 0.02 beta_schedule: str = 'linear' eta: float = 0.0 trained_betas: Optional = None clip_sample: bool = True )

参数

  • num_train_timesteps (int, 默认值为 1000) — 用于训练模型的扩散步骤数量。
  • beta_start (float, 默认值为 0.0001) — 推理的起始 beta 值。
  • beta_end (float, 默认值为 0.02) — 最终 beta 值。
  • beta_schedule (str, 默认值为 "linear") — beta 计划，将 beta 范围映射到一系列用于逐步执行模型的 beta 值。 可选方案包括 linear、scaled_linear、squaredcos_cap_v2 或 sigmoid。
  • eta (float) — 扩散步骤中添加噪声的噪声权重。 如果其值介于 0.0 和 1.0 之间，则对应于 DDIM 调度器；如果其值介于 -0.0 和 1.0 之间，则对应于 DDPM 调度器。
  • trained_betas (np.ndarray, 可选) — 直接将一组 beta 传递给构造函数，以绕过 beta_start 和 beta_end。
  • clip_sample (bool, 默认值为 True) — 为数值稳定性将预测的样本裁剪到 -1 和 1 之间。

RePaintScheduler 是用于在给定掩码内执行 DDPM 修补的调度器。

该模型继承自 SchedulerMixin 和 ConfigMixin。 检查超类文档以了解库为所有调度器实现的通用方法，例如加载和保存。

scale_model_input

< >

( sample: Tensor timestep: Optional = None ) → torch.Tensor

参数

  • timestep (int, 可选) — 扩散链中的当前时间步。

返回

torch.Tensor

缩放后的输入样本。

确保与需要根据当前时间步缩放去噪模型输入的调度器可互换。

set_timesteps

< >

( num_inference_steps: int jump_length: int = 10 jump_n_sample: int = 10 device: Union = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时使用的扩散步骤数。 如果使用，则 timesteps 必须为 None。
  • jump_length (int, 默认为 10) — 在时间上向前迈出的步数，然后在一次跳跃（RePaint 论文中的“j”）中向后迈出。 请查看论文中的图 9 和 10。
  • jump_n_sample (int, 默认为 10) — 对给定选定时间样本执行向前时间跳跃的次数。 请查看论文中的图 9 和 10。
  • device (str 或 torch.device, 可选) — 要将时间步移至的设备。 如果为 None，则不会移动时间步。

设置用于扩散链的离散时间步（在推理之前运行）。

step

< >

( model_output: Tensor timestep: int sample: Tensor original_image: Tensor mask: Tensor generator: Optional = None return_dict: bool = True ) → RePaintSchedulerOutput 或 tuple

参数

  • model_output (torch.Tensor) — 从学习的扩散模型中获得的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • original_image (torch.Tensor) — 用于修复的原始图像。
  • mask (torch.Tensor) — 掩码，其中值为 0.0 表示原始图像中要修复的部分。
  • generator (torch.Generator, 可选) — 随机数生成器。
  • return_dict (bool, 可选，默认值为 True) — 是否返回一个 RePaintSchedulerOutput 或 tuple。

返回

RePaintSchedulerOutput 或 tuple

如果 return_dict 为 True，则返回 RePaintSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。

通过反转 SDE 预测来自前一个时间步长的样本。此函数传播了从学习模型输出（通常是预测的噪声）获得的扩散过程。

RePaintSchedulerOutput

class diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput

< >

( prev_sample: Tensor pred_original_sample: Tensor )

参数

  • prev_sample (torch.Tensor 形状为 (batch_size, num_channels, height, width) 的图像) — 计算出的前一个时间步长的样本 (x_{t-1})。prev_sample 应在去噪循环中用作下一个模型输入。
  • pred_original_sample (torch.Tensor 形状为 (batch_size, num_channels, height, width) 的图像) — 基于当前时间步长的模型输出的预测去噪样本 (x_{0})。pred_original_sample 可用于预览进度或进行指导。

调度程序的步长函数输出的输出类。

< > 在 GitHub 上更新

←PNDMScheduler ScoreSdeVeScheduler→