Diffusers 文档
EDMDPMSolverMultistepScheduler
并获得增强的文档体验
开始使用
EDMDPMSolverMultistepScheduler
EDMDPMSolverMultistepScheduler
是 Karras 公式的 DPMSolverMultistepScheduler
,它是一个多步调度器,来自 Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li 和 Jun Zhu 的 DPM-Solver: 一个用于扩散概率模型采样的快速 ODE 求解器,大约 10 步 和 DPM-Solver++: 用于扩散概率模型引导采样的快速求解器。
DPMSolver (以及改进版 DPMSolver++) 是一种快速的专用高阶求解器,用于具有收敛阶数保证的扩散 ODE。根据经验,DPMSolver 采样仅需 20 步即可生成高质量样本,即使在 10 步内也能生成相当不错的样本。
EDMDPMSolverMultistepScheduler
class diffusers.EDMDPMSolverMultistepScheduler
< 源 >( sigma_min: float = 0.002 sigma_max: float = 80.0 sigma_data: float = 0.5 sigma_schedule: str = 'karras' num_train_timesteps: int = 1000 prediction_type: str = 'epsilon' rho: float = 7.0 solver_order: int = 2 thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 algorithm_type: str = 'dpmsolver++' solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False final_sigmas_type: typing.Optional[str] = 'zero' )
参数
- sigma_min (
float
, 可选, 默认为 0.002) — sigma 调度中的最小噪声幅度。在 EDM 论文 [1] 中设置为 0.002;合理范围是 [0, 10]。 - sigma_max (
float
, 可选, 默认为 80.0) — sigma 调度中的最大噪声幅度。在 EDM 论文 [1] 中设置为 80.0;合理范围是 [0.2, 80.0]。 - sigma_data (
float
, 可选, 默认为 0.5) — 数据分布的标准差。在 EDM 论文 [1] 中设置为 0.5。 - sigma_schedule (
str
, 可选, 默认为karras
) — 用于计算sigmas
的 sigma 调度。默认情况下,我们使用 EDM 论文中引入的调度 (https://huggingface.co/papers/2206.00364)。其他可接受的值是“exponential”。指数调度已包含在此模型中:https://huggingface.co/stabilityai/cosxl。 - num_train_timesteps (
int
, 默认为 1000) — 训练模型的扩散步数。 - solver_order (
int
, 默认为 2) — DPMSolver 阶数,可以是1
、2
或3
。建议对引导采样使用solver_order=2
,对无条件采样使用solver_order=3
。 - prediction_type (
str
, 默认为epsilon
, 可选) — 调度器函数的预测类型;可以是epsilon
(预测扩散过程的噪声)、sample
(直接预测噪声样本)或v_prediction
(参见 Imagen Video 论文的 2.4 节)。 - thresholding (
bool
, 默认为False
) — 是否使用“动态阈值”方法。不适用于 Stable Diffusion 等潜空间扩散模型。 - dynamic_thresholding_ratio (
float
, 默认为 0.995) — 动态阈值方法的比率。仅在thresholding=True
时有效。 - sample_max_value (
float
, 默认为 1.0) — 动态阈值的阈值。仅当thresholding=True
和algorithm_type="dpmsolver++"
时有效。 - algorithm_type (
str
, 默认为dpmsolver++
) — 求解器的算法类型;可以是dpmsolver++
或sde-dpmsolver++
。dpmsolver++
类型实现了 DPMSolver++ 论文中的算法。建议对 Stable Diffusion 等引导采样使用dpmsolver++
或sde-dpmsolver++
和solver_order=2
。 - solver_type (
str
, 默认为midpoint
) — 二阶求解器的求解器类型;可以是midpoint
或heun
。求解器类型会稍微影响样本质量,特别是对于少量步数。建议使用midpoint
求解器。 - lower_order_final (
bool
, 默认为True
) — 是否在最后几步使用低阶求解器。仅对 < 15 推理步数有效。这可以稳定 DPMSolver 的采样,使其步数 < 15,特别是步数 <= 10。 - euler_at_final (
bool
, 默认为False
) — 是否在最后一步使用欧拉方法。这是数值稳定性和细节丰富度之间的权衡。这可以稳定 DPMSolver 的 SDE 变体在少量推理步骤下的采样,但有时可能导致模糊。 - final_sigmas_type (
str
, 默认为"zero"
) — 采样过程中噪声调度的最终sigma
值。如果为"sigma_min"
,则最终 sigma 与训练调度中的最后一个 sigma 相同。如果为zero
,则最终 sigma 设置为 0。
实现了 Karras 等人于 2022 年 [1] 提出的 EDM 公式中的 DPMSolverMultistepScheduler。EDMDPMSolverMultistepScheduler
是一种用于扩散 ODE 的快速专用高阶求解器。
[1] Karras, Tero, et al. “阐明基于扩散的生成模型的设计空间。” https://huggingface.co/papers/2206.00364
此模型继承自 SchedulerMixin 和 ConfigMixin。有关库为所有调度器实现的通用方法(例如加载和保存),请查看超类文档。
convert_model_output
< 源 >( model_output: Tensor sample: Tensor = None ) → torch.Tensor
将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。DPM-Solver 旨在离散化噪声预测模型的积分,而 DPM-Solver++ 旨在离散化数据预测模型的积分。
算法和模型类型是解耦的。噪声预测模型和数据预测模型都可以使用DPMSolver或DPMSolver++。
dpm_solver_first_order_update
< 源 >( model_output: Tensor sample: Tensor = None noise: typing.Optional[torch.Tensor] = None ) → torch.Tensor
一阶DPMSolver(等同于DDIM)的一个步骤。
multistep_dpm_solver_second_order_update
< 源 >( model_output_list: typing.List[torch.Tensor] sample: Tensor = None noise: typing.Optional[torch.Tensor] = None ) → torch.Tensor
二阶多步DPMSolver的一个步骤。
multistep_dpm_solver_third_order_update
< 源 >( model_output_list: typing.List[torch.Tensor] sample: Tensor = None ) → torch.Tensor
三阶多步DPMSolver的一个步骤。
scale_model_input
< 来源 >( sample: Tensor timestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
确保与需要根据当前时间步缩放去噪模型输入的调度器可互换。通过 (sigma**2 + 1) ** 0.5
缩放去噪模型输入以匹配欧拉算法。
设置调度器的起始索引。此函数应在推理之前从管道中运行。
set_timesteps
< 来源 >( num_inference_steps: int = None device: typing.Union[str, torch.device] = None )
设置用于扩散链的离散时间步(在推理之前运行)。
步骤
< 来源 >( model_output: Tensor timestep: typing.Union[int, torch.Tensor] sample: Tensor generator = None return_dict: bool = True ) → SchedulerOutput 或 tuple
参数
- model_output (
torch.Tensor
) — 从学习到的扩散模型直接输出。 - timestep (
int
) — 扩散链中的当前离散时间步。 - sample (
torch.Tensor
) — 扩散过程创建的样本的当前实例。 - generator (
torch.Generator
, 可选) — 随机数生成器。 - return_dict (
bool
) — 是否返回 SchedulerOutput 或tuple
。
返回
调度器输出 或 tuple
如果 return_dict 为 True
,则返回 SchedulerOutput;否则返回一个元组,其中第一个元素是样本张量。
通过反转 SDE 预测前一个时间步的样本。此函数使用多步 DPMSolver 传播样本。
调度器输出
class diffusers.schedulers.scheduling_utils.SchedulerOutput
< 来源 >( prev_sample: Tensor )
调度器 step
函数输出的基类。