CosineDPMSolverMultistepScheduler
The CosineDPMSolverMultistepScheduler is a variant of DPMSolverMultistepScheduler with cosine schedule, proposed by Nichol and Dhariwal (2021). It is being used in the Stable Audio Open paper and the Stability-AI/stable-audio-tool codebase.
This scheduler was contributed by Yoach Lacombe.
CosineDPMSolverMultistepScheduler
class diffusers.CosineDPMSolverMultistepScheduler
< source >( sigma_min: float = 0.3 sigma_max: float = 500 sigma_data: float = 1.0 sigma_schedule: str = 'exponential' num_train_timesteps: int = 1000 solver_order: int = 2 prediction_type: str = 'v_prediction' rho: float = 7.0 solver_type: str = 'midpoint' lower_order_final: bool = True euler_at_final: bool = False final_sigmas_type: Optional = 'zero' )
参数
- sigma_min (
float
, 可选, 默认值为 0.3) — sigma 计划中的最小噪声幅度。这在 Stable Audio Open [1] 中设置为 0.3。 - sigma_max (
float
, 可选, 默认值为 500) — sigma 计划中的最大噪声幅度。这在 Stable Audio Open [1] 中设置为 500。 - sigma_data (
float
, 可选, 默认值为 1.0) — 数据分布的标准差。这在 Stable Audio Open [1] 中设置为 1.0。 - sigma_schedule (
str
, 可选, 默认值为exponential
) — 用于计算sigmas
的 sigma 计划。默认情况下,我们使用 EDM 论文中介绍的计划 (https://arxiv.org/abs/2206.00364)。另一个可接受的值是“exponential”。指数计划被整合到这个模型中:https://huggingface.co/stabilityai/cosxl。 - num_train_timesteps (
int
, 默认值为 1000) — 用于训练模型的扩散步骤数量。 - solver_order (
int
, 默认值为 2) — DPMSolver 阶数,可以是1
或2
。建议使用solver_order=2
。 - prediction_type (
str
, 默认值为v_prediction
, 可选) — 调度器函数的预测类型;可以是epsilon
(预测扩散过程的噪声),sample
(直接预测有噪声的样本) 或
v_prediction` (参见 Imagen Video 论文的第 2.4 节)。 - solver_type (
str
, 默认值为midpoint
) — 二阶求解器的求解器类型;可以是midpoint
或heun
。求解器类型略微影响样本质量,尤其是在步骤数较少的情况下。建议使用midpoint
求解器。 - lower_order_final (
bool
, 默认值为True
) — 是否在最后几步使用低阶求解器。仅对 < 15 个推理步骤有效。这可以稳定 DPMSolver 的采样,尤其是在 < 15 个步骤,特别是 <= 10 个步骤的情况下。 - euler_at_final (
bool
, 默认值为False
) — 是否在最后一步使用欧拉方法。这是数值稳定性和细节丰富性之间的权衡。这可以稳定 DPMSolver 的 SDE 变体在少量推理步骤时的采样,但有时可能会导致模糊。 - final_sigmas_type (
str
, 默认值为"zero"
) — 采样过程中噪声调度最后使用的sigma
值。如果为"sigma_min"
,则最后的 sigma 与训练调度中的最后一个 sigma 相同。如果为zero
,则最后的 sigma 被设置为 0。
实现了 DPMSolverMultistepScheduler
的一个变体,使用余弦调度,由 Nichol 和 Dhariwal(2021)提出。这个调度器在 Stable Audio Open [1] 中使用过。
[1] Evans, Parker 等人。 “Stable Audio Open” https://arxiv.org/abs/2407.14358
此模型继承自 SchedulerMixin 和 ConfigMixin。查看超类文档以了解库为所有调度器实现的通用方法,例如加载和保存。
convert_model_output
< source >( model_output: Tensor sample: Tensor = None ) → torch.Tensor
将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的相应类型。DPM-Solver 旨在对噪声预测模型的积分进行离散化,而 DPM-Solver++ 旨在对数据预测模型的积分进行离散化。
算法和模型类型是解耦的。您可以对噪声预测模型和数据预测模型使用 DPMSolver 或 DPMSolver++。
dpm_solver_first_order_update
< source >( model_output: Tensor sample: Tensor = None noise: Optional = None ) → torch.Tensor
一阶 DPMSolver 的一步(等效于 DDIM)。
multistep_dpm_solver_second_order_update
< source >( model_output_list: List sample: Tensor = None noise: Optional = None ) → torch.Tensor
二阶多步 DPMSolver 的一步。
scale_model_input
< source >( sample: Tensor timestep: Union ) → torch.Tensor
确保与需要根据当前时间步缩放去噪模型输入的调度器互换性。根据 (sigma**2 + 1) ** 0.5
缩放去噪模型输入,以匹配 Euler 算法。
为调度器设置起始索引。此函数应在推理之前从管道中运行。
set_timesteps
< 源代码 >( num_inference_steps: int = None device: Union = None )
设置用于扩散链的离散时间步(在推理之前运行)。
step
< 源代码 >( model_output: Tensor timestep: Union sample: Tensor generator = None return_dict: bool = True ) → SchedulerOutput 或 tuple
参数
- model_output (
torch.Tensor
) — 来自学习扩散模型的直接输出。 - timestep (
int
) — 扩散链中的当前离散时间步。 - sample (
torch.Tensor
) — 由扩散过程创建的样本的当前实例。 - generator (
torch.Generator
, 可选) — 随机数生成器。 - return_dict (
bool
) — 是否返回 SchedulerOutput 或tuple
。
返回
SchedulerOutput 或 tuple
如果 return_dict 为 True
,则返回 SchedulerOutput,否则返回一个元组,其中第一个元素是样本张量。
通过反转 SDE 来预测来自先前时间步的样本。此函数使用多步 DPMSolver 传播样本。