TCDScheduler
轨迹一致性蒸馏 由 Jianbin Zheng、Minghui Hu、Zhongyi Fan、Chaoyue Wang、Changxing Ding、Dacheng Tao 和 Tat-Jen Cham 提出了一种战略性随机采样 (算法 4)，该算法能够在少量步骤中生成良好的样本。将其作为一致性模型中多步调度器 (算法 1) 的高级迭代，战略性随机采样专门针对轨迹一致性函数量身定制。
论文的摘要是
潜在一致性模型 (LCM) 将一致性模型扩展到潜在空间，并利用引导一致性蒸馏技术在加速文本到图像合成方面取得了令人印象深刻的性能。然而，我们观察到 LCM 难以生成既清晰又细节丰富的图像。为了解决这个限制，我们首先深入研究并阐明了根本原因。我们的调查发现，主要问题源于三个不同领域的错误。因此，我们引入了轨迹一致性蒸馏 (TCD)，它包含轨迹一致性函数和战略性随机采样。轨迹一致性函数通过拓宽自一致性边界条件的范围来减少蒸馏误差，并赋予 TCD 准确追踪概率流 ODE 整个轨迹的能力。此外，战略性随机采样专门设计用于规避多步一致性采样中固有的累积误差，精心定制以补充 TCD 模型。实验表明，TCD 不仅显着提高了低 NFEs 下的图像质量，而且在高 NFES 下也比教师模型产生了更详细的结果。
原始代码库可以在 jabir-zheng/TCD 找到。
TCDScheduler
class diffusers.TCDScheduler
< 源代码 >( num_train_timesteps: int = 1000 beta_start: float = 0.00085 beta_end: float = 0.012 beta_schedule: str = 'scaled_linear' trained_betas: Union = None original_inference_steps: int = 50 clip_sample: bool = False clip_sample_range: float = 1.0 set_alpha_to_one: bool = True steps_offset: int = 0 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 timestep_spacing: str = 'leading' timestep_scaling: float = 10.0 rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int，默认为 1000) — 模型训练的扩散步数。 - beta_start (
float，默认为 0.0001) — 推理的起始beta值。 - beta_end (
float，默认为 0.02) — 最终的beta值。 - beta_schedule (
str，默认为"linear") — beta 调度，将 beta 范围映射到一系列用于逐步调整模型的 beta 值。从linear、scaled_linear或squaredcos_cap_v2中选择。 - trained_betas (
np.ndarray，可选) — 将 beta 数组直接传递给构造函数以绕过beta_start和beta_end。 - original_inference_steps (
int，可选，默认为 50) — 用于生成线性间隔时间步长调度的默认推理步数，我们最终将从中提取num_inference_steps个均匀间隔的时间步长以形成最终时间步长调度。 - clip_sample (
bool，默认为True) — 裁剪预测样本以确保数值稳定性。 - clip_sample_range (
float，默认为 1.0) — 样本裁剪的最大幅度。仅当clip_sample=True时有效。 - set_alpha_to_one (
bool，默认为True) — 每个扩散步骤都使用该步骤和上一步的 alpha 乘积值。对于最后一步，没有上一步的 alpha。当此选项为True时，前一步的 alpha 乘积固定为1，否则它使用步骤 0 处的 alpha 值。 - steps_offset (
int，默认为 0) — 某些模型系列所需的推理步骤偏移量。 - prediction_type (
str，默认为epsilon，可选) — 调度器函数的预测类型；可以是epsilon（预测扩散过程的噪声）、sample（直接预测噪声样本）或v_prediction（参见 Imagen Video 论文的第 2.4 节）。 - thresholding (
bool，默认为False) — 是否使用“动态阈值”方法。这对于像 Stable Diffusion 这样的潜在空间扩散模型不适用。 - dynamic_thresholding_ratio (
float，默认为 0.995) — 动态阈值方法的比率。仅在thresholding=True时有效。 - sample_max_value (
float，默认为 1.0) — 动态阈值的阈值。仅在thresholding=True时有效。 - timestep_spacing (
str，默认为"leading") — 时间步长缩放方式。有关更多信息，请参阅 Common Diffusion Noise Schedules and Sample Steps are Flawed 的表 2。 - timestep_scaling (
float，默认为 10.0) — 计算一致性模型边界条件c_skip和c_out时，时间步长将乘以的因子。增加此值将减少近似误差（尽管在默认值 10.0 时的近似误差已经非常小了）。 - rescale_betas_zero_snr (
bool，默认为False) — 是否将 betas 重缩放为零终端信噪比。这使模型能够生成非常明亮和黑暗的样本，而不是将其限制为中等亮度的样本。与--offset_noise松散相关。
TCDScheduler 集成了论文 Trajectory Consistency Distillation 中引入的 Strategic Stochastic Sampling，扩展了最初的多步一致性采样，以实现不受限制的轨迹遍历。
此代码基于 TCD 的官方仓库 (https://github.com/jabir-zheng/TCD)。
此模型继承自 SchedulerMixin 和 ConfigMixin。 ~ConfigMixin 负责存储调度器 __init__ 函数中传递的所有配置属性，例如 num_train_timesteps。可以通过 scheduler.config.num_train_timesteps 访问它们。 SchedulerMixin 通过 SchedulerMixin.save_pretrained() 和 from_pretrained() 函数提供一般的加载和保存功能。
scale_model_input
< source >( sample: Tensor timestep: Optional = None ) → torch.Tensor
确保与需要根据当前时间步缩放去噪模型输入的调度器互换。
设置调度器的起始索引。此函数应在推理前由管道运行。
set_timesteps
< 源代码 >( num_inference_steps: Optional = None device: Union = None original_inference_steps: Optional = None timesteps: Optional = None strength: float = 1.0 )
参数
- num_inference_steps (
int, 可选) — 使用预训练模型生成样本时使用的扩散步数。如果使用，则timesteps必须为None。 - device (
str或torch.device, 可选) — 应将时间步移动到的设备。如果为None，则不会移动时间步。 - original_inference_steps (
int, 可选) — 原始推理步数，将用于生成线性间隔的时间步计划（与标准diffusers实现不同）。然后，我们将从此计划中获取num_inference_steps个时间步，在索引方面均匀间隔，并将其用作我们的最终时间步计划。如果未设置，则默认为original_inference_steps属性。 - timesteps (
List[int], 可选) — 用于支持时间步之间任意间距的自定义时间步。如果为None，则使用时间步在训练/蒸馏时间步计划上等间距的默认时间步间距策略。如果传递了timesteps，则num_inference_steps必须为None。 - strength (
float, 可选, 默认为 1.0) — 用于在使用 img2img、inpaint 等时确定用于推理的时间步数。
设置用于扩散链的离散时间步（在推理前运行）。
TCDSchedulerOutput
类 diffusers.schedulers.scheduling_tcd.TCDSchedulerOutput
< 源代码 >( prev_sample: 张量 pred_noised_sample: 可选 = None )
调度程序 step 函数输出的输出类。