Diffusers 文档
TCD调度器
并获得增强的文档体验
开始使用
TCD调度器
Jianbin Zheng、Minghui Hu、Zhongyi Fan、Chaoyue Wang、Changxing Ding、Dacheng Tao 和 Tat-Jen Cham 撰写的《Trajectory Consistency Distillation》（轨迹一致性蒸馏）引入了一种战略随机采样（算法4），能够在少量步骤内生成高质量样本。它区别于一致性模型中的多步调度器（算法1），战略随机采样是专门为轨迹一致性函数量身定制的。
论文摘要如下：
潜变量一致性模型（LCM）将一致性模型扩展到潜变量空间，并利用引导一致性蒸馏技术，在加速文本到图像合成方面取得了令人印象深刻的性能。然而，我们观察到LCM在生成具有清晰度和复杂细节的图像方面存在困难。为了解决这一限制，我们首先深入探讨并阐明了其根本原因。我们的研究发现，主要问题源于三个不同领域的错误。因此，我们引入了轨迹一致性蒸馏（TCD），其中包括轨迹一致性函数和战略随机采样。轨迹一致性函数通过拓宽自一致性边界条件的范围来减少蒸馏误差，并赋予TCD准确跟踪概率流ODE整个轨迹的能力。此外，战略随机采样是专门设计用于规避多步一致性采样中固有的累积误差，并与TCD模型相得益彰。实验表明，TCD不仅在低NFE（噪声评估次数）下显著提升了图像质量，而且在高NFE下相比教师模型产生了更详细的结果。
原始代码库可在jabir-zheng/TCD找到。
TCDScheduler
class diffusers.TCDScheduler
< 来源 >( num_train_timesteps: int = 1000 beta_start: float = 0.00085 beta_end: float = 0.012 beta_schedule: str = 'scaled_linear' trained_betas: typing.Union[numpy.ndarray, typing.List[float], NoneType] = None original_inference_steps: int = 50 clip_sample: bool = False clip_sample_range: float = 1.0 set_alpha_to_one: bool = True steps_offset: int = 0 prediction_type: str = 'epsilon' thresholding: bool = False dynamic_thresholding_ratio: float = 0.995 sample_max_value: float = 1.0 timestep_spacing: str = 'leading' timestep_scaling: float = 10.0 rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int, 默认为1000) — 训练模型的扩散步数。 - beta_start (
float, 默认为0.0001) — 推理的起始beta值。 - beta_end (
float, 默认为0.02) — 最终beta值。 - beta_schedule (
str, 默认为"linear") — beta调度器，将beta范围映射到模型步进的beta序列。可选择linear、scaled_linear或squaredcos_cap_v2。 - trained_betas (
np.ndarray, 可选) — 直接向构造函数传递beta数组，以绕过beta_start和beta_end。 - original_inference_steps (
int, 可选, 默认为50) — 用于生成线性间隔时间步计划的默认推理步数，我们最终将从该计划中抽取num_inference_steps个均匀间隔的时间步，以形成最终的时间步计划。 - clip_sample (
bool, 默认为True) — 裁剪预测样本以保持数值稳定性。 - clip_sample_range (
float, 默认为1.0) — 样本裁剪的最大幅度。仅当clip_sample=True时有效。 - set_alpha_to_one (
bool, 默认为True) — 每个扩散步骤都使用该步骤和前一步的alpha乘积值。最后一步没有前一个alpha。当此选项为True时，前一个alpha乘积固定为1，否则使用步骤0的alpha值。 - steps_offset (
int, 默认为0) — 根据某些模型系列的要求，添加到推理步骤中的偏移量。 - prediction_type (
str, 默认为epsilon, 可选) — 调度函数的预测类型；可以是epsilon（预测扩散过程的噪声）、sample（直接预测噪声样本）或v_prediction（参见Imagen Video论文第2.4节）。 - thresholding (
bool, 默认为False) — 是否使用“动态阈值”方法。这不适用于潜变量空间扩散模型，如Stable Diffusion。 - dynamic_thresholding_ratio (
float, 默认为0.995) — 动态阈值方法的比率。仅当thresholding=True时有效。 - sample_max_value (
float, 默认为1.0) — 动态阈值的阈值。仅当thresholding=True时有效。 - timestep_spacing (
str, 默认为"leading") — 时间步的缩放方式。更多信息请参考《Common Diffusion Noise Schedules and Sample Steps are Flawed》（常见扩散噪声调度和采样步长存在缺陷）的表2。 - timestep_scaling (
float, 默认为10.0) — 计算一致性模型边界条件c_skip和c_out时，时间步将乘以的因子。增加此值将减小近似误差（尽管默认值10.0下的近似误差已经很小）。 - rescale_betas_zero_snr (
bool, 默认为False) — 是否重新缩放beta值，使其终端SNR为零。这使得模型能够生成非常亮和非常暗的样本，而不是将其限制在亮度适中的样本。与--offset_noise大致相关。
TCDScheduler结合了论文Trajectory Consistency Distillation（轨迹一致性蒸馏）中引入的战略随机采样，扩展了原始的多步一致性采样，以实现无限制的轨迹遍历。
此代码基于TCD的官方仓库(https://github.com/jabir-zheng/TCD)。
此模型继承自SchedulerMixin和ConfigMixin。~ConfigMixin负责存储所有在调度器__init__函数中传入的配置属性，例如num_train_timesteps。它们可以通过scheduler.config.num_train_timesteps访问。SchedulerMixin通过SchedulerMixin.save_pretrained()和from_pretrained()函数提供通用的加载和保存功能。
scale_model_input
< 来源 >( sample: Tensor timestep: typing.Optional[int] = None ) → torch.Tensor
确保与需要根据当前时间步缩放去噪模型输入的调度器互换使用。
设置调度器的起始索引。此函数应在推理之前从管道中运行。
set_timesteps
< 来源 >( num_inference_steps: typing.Optional[int] = None device: typing.Union[str, torch.device] = None original_inference_steps: typing.Optional[int] = None timesteps: typing.Optional[typing.List[int]] = None strength: float = 1.0 )
参数
- num_inference_steps (
int, 可选) — 使用预训练模型生成样本时的扩散步数。如果使用此参数，则timesteps必须为None。 - device (
str或torch.device, 可选) — 时间步应移动到的设备。如果为None，则时间步不会移动。 - original_inference_steps (
int, 可选) — 原始推理步数，用于生成线性间隔时间步计划（这与标准diffusers实现不同）。然后我们将从该计划中提取num_inference_steps个时间步，这些时间步在索引方面均匀分布，并将其用作最终的时间步计划。如果未设置，则默认为original_inference_steps属性。 - timesteps (
List[int], 可选) — 用于支持时间步之间任意间隔的自定义时间步。如果为None，则使用训练/蒸馏时间步计划中时间步之间的默认等间距策略。如果传入timesteps，则num_inference_steps必须为None。 - strength (
float, 可选, 默认为1.0) — 用于在使用img2img、inpaint等时确定推理步数。
设置用于扩散链的离散时间步（在推理之前运行）。
步骤
< 来源 >( model_output: Tensor timestep: int sample: Tensor eta: float = 0.3 generator: typing.Optional[torch._C.Generator] = None return_dict: bool = True ) → ~schedulers.scheduling_utils.TCDSchedulerOutput 或 tuple
参数
- model_output (
torch.Tensor) — 从学习到的扩散模型中直接输出。 - timestep (
int) — 扩散链中当前的离散时间步长。 - sample (
torch.Tensor) — 扩散过程创建的当前样本实例。 - eta (
float) — 一个随机参数（在论文中被称为gamma），用于控制每一步的随机性。当eta = 0时，表示确定性采样，而当eta = 1时，表示完全随机采样。 - generator (
torch.Generator, 可选) — 一个随机数生成器。 - return_dict (
bool, 可选, 默认为True) — 是否返回TCDSchedulerOutput或tuple。
返回
~schedulers.scheduling_utils.TCDSchedulerOutput或tuple
如果return_dict为True，则返回TCDSchedulerOutput，否则返回一个元组，其中第一个元素是样本张量。
通过逆转 SDE 预测前一个时间步的样本。此函数从学习到的模型输出（通常是预测的噪声）传播扩散过程。
TCDSchedulerOutput
class diffusers.schedulers.scheduling_tcd.TCDSchedulerOutput
< 来源 >( prev_sample: Tensor pred_noised_sample: typing.Optional[torch.Tensor] = None )
调度器 step 函数输出的输出类。