Hugging Face 的徽标

Diffusers 文档

潜在一致性模型

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始使用

潜在一致性模型

潜在一致性模型 (LCM) 在 潜在一致性模型：使用少量步骤推断合成高分辨率图像 中由 Simian Luo、Yiqin Tan、Longbo Huang、Jian Li 和 Hang Zhao 提出。

论文的摘要如下

潜在扩散模型 (LDMs) 在合成高分辨率图像方面取得了显著成果。然而，迭代采样过程计算量大，导致生成速度慢。受一致性模型 (song 等人) 的启发，我们提出了潜在一致性模型 (LCMs)，它可以在任何预训练的 LDM 上以最少的步骤进行快速推理，包括稳定扩散 (rombach 等人)。将引导反向扩散过程视为求解增强概率流 ODE (PF-ODE) 的问题，LCMs 被设计为直接预测此类 ODE 在潜在空间中的解，从而避免了多次迭代的需要，并允许进行快速、高保真度的采样。从预训练的无分类器引导扩散模型中有效地提炼出来，高质量的 768 x 768 2~4 步 LCM 仅需 32 个 A100 GPU 小时即可训练。此外，我们引入了潜在一致性微调 (LCF)，这是一种针对在定制图像数据集上微调 LCMs 量身定制的新方法。对 LAION-5B-Aesthetics 数据集的评估表明，LCMs 在少步推理的情况下实现了最先进的文本到图像生成性能。项目页面：this https URL.

SimianLuo/LCM_Dreamshaper_v7 检查点的演示可以在这里找到。

这些管道由 luosiallen、nagolinc 和 dg845 贡献。

LatentConsistencyModelPipeline

class diffusers.LatentConsistencyModelPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: LCMScheduler safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor image_encoder: Optional = None requires_safety_checker: bool = True )

参数

  • vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器 (VAE) 模型。
  • text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
  • tokenizer (CLIPTokenizer) — 用于对文本进行标记的 CLIPTokenizer。
  • unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行降噪的 UNet2DConditionModel。
  • scheduler (SchedulerMixin) — 与 unet 一起使用的调度器，用于对编码图像潜在表示进行降噪。目前仅支持 LCMScheduler。
  • safety_checker (StableDiffusionSafetyChecker) — 估计生成图像是否会被视为冒犯或有害的分类模块。有关模型潜在危害的更多详细信息，请参阅 模型卡。
  • feature_extractor ( requires_safety_checker (bool, 可选, 默认值 True) — 是否需要安全检查器组件。

使用潜在一致性模型进行文本到图像生成的管道。

此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

该管道还继承以下加载方法

__call__

< >

( prompt: Union = None height: Optional = None width: Optional = None num_inference_steps: int = 4 original_inference_steps: int = None timesteps: List = None guidance_scale: float = 8.5 num_images_per_prompt: Optional = 1 generator: Union = None latents: Optional = None prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] **kwargs ) → StableDiffusionPipelineOutput 或 元组

参数

  • prompt (str 或 List[str], 可选) — 引导图像生成的提示或提示。如果未定义，则需要传递 prompt_embeds。
  • height (int, 可选, 默认值 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。
  • width (int, 可选, 默认值 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。
  • num_inference_steps (int, 可选, 默认值 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会更慢。
  • original_inference_steps (int, 可选) — 用于生成线性间隔时间步长计划的原始推理步骤数量，我们将从该计划中提取 num_inference_steps 个均匀间隔的时间步长作为我们的最终时间步长计划，遵循论文中的跳过步骤方法（参见第 4.3 节）。如果未设置，则默认值为调度器的 original_inference_steps 属性。
  • timesteps (List[int], 可选) — 用于去噪过程的自定义时间步长。如果未定义，则使用原始 LCM 训练/蒸馏时间步长计划上等间距的 num_inference_steps 时间步长。必须按降序排列。
  • guidance_scale (float, 可选，默认值为 7.5) — 更高的引导比例值鼓励模型生成与文本 prompt 密切相关的图像，以牺牲较低的图像质量为代价。当 guidance_scale > 1 时启用引导比例。请注意，原始潜在一致性模型论文使用不同的 CFG 公式，其中引导比例减少了 1（因此在论文公式中，当 guidance_scale > 0 时启用 CFG）。
  • num_images_per_prompt (int, 可选，默认值为 1) — 每个提示生成的图像数量。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator 使生成确定性。
  • latents (torch.Tensor, 可选) — 从高斯分布采样的预生成噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机 generator 采样生成潜在变量张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 prompt 输入参数生成文本嵌入。ip_adapter_image — (PipelineImageInput, 可选): 可选的图像输入，用于与 IP 适配器一起使用。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — 用于 IP 适配器的预生成图像嵌入。它应该是一个长度与 IP 适配器数量相同的列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，它应该包含负图像嵌入。如果未提供，则从 ip_adapter_image 输入参数计算嵌入。
  • output_type (str, 可选，默认值为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
  • return_dict (bool, 可选，默认值为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
  • cross_attention_kwargs (dict, 可选) — 如果指定，则传递给 AttentionProcessor 的关键字参数字典，如 self.processor 中定义。
  • clip_skip (int, 可选) — 在计算提示嵌入时要从 CLIP 跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
  • callback_on_step_end (Callable, 可选) — 推理过程中每次去噪步骤结束时调用的函数。该函数将使用以下参数调用: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
  • callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。

返回值

StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应生成的图像是否包含“不安全内容”（nsfw）内容。

生成管道的调用函数。

示例

>>> from diffusers import DiffusionPipeline
>>> import torch

>>> pipe = DiffusionPipeline.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")
>>> # To save GPU memory, torch.float16 can be used, but it may compromise image quality.
>>> pipe.to(torch_device="cuda", torch_dtype=torch.float32)

>>> prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

>>> # Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
>>> num_inference_steps = 4
>>> images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0).images
>>> images[0].save("image.png")

enable_freeu

< >

( s1: float s2: float b1: float b2: float )

参数

  • s1 (float) — 阶段 1 的缩放因子，用于减弱跳过特征的贡献。这样做是为了减轻增强去噪过程中出现的“过度平滑效应”。
  • s2 (float) — 阶段 2 的缩放因子，用于减弱跳过特征的贡献。这样做是为了减轻增强去噪过程中出现的“过度平滑效应”。
  • b1 (float) — 阶段 1 的缩放因子，用于放大骨干特征的贡献。
  • b2 (float) — 阶段 2 的缩放因子，用于放大骨干特征的贡献。

启用如 https://arxiv.org/abs/2309.11497 中的 FreeU 机制。

缩放因子后的后缀表示应用它们的阶段。

有关已知对 Stable Diffusion v1、v2 和 Stable Diffusion XL 等不同管道效果良好的值的组合，请参阅 官方存储库。

disable_freeu

< >

( )

如果启用，则禁用 FreeU 机制。

enable_vae_slicing

< >

( )

启用分片 VAE 解码。当此选项启用时，VAE 将把输入张量分成若干片，以便分步计算解码。这有助于节省内存，并允许使用更大的批次大小。

disable_vae_slicing

< >

( )

禁用分片 VAE 解码。如果之前已启用 enable_vae_slicing，此方法将恢复一步计算解码。

enable_vae_tiling

< >

( )

启用平铺 VAE 解码。当此选项启用时，VAE 将把输入张量分成若干块，以便分步计算解码和编码。这有助于节省大量内存，并允许处理更大的图像。

disable_vae_tiling

< >

( )

禁用平铺 VAE 解码。如果之前已启用 enable_vae_tiling，此方法将恢复一步计算解码。

encode_prompt

< >

( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )

参数

  • prompt (str 或 List[str]，可选) — 要编码的提示 device — (torch.device): 火炬设备
  • num_images_per_prompt (int) — 每个提示应该生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器无引导
  • negative_prompt (str 或 List[str]，可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时被忽略（即，如果 guidance_scale 小于 1，则被忽略）。
  • prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从prompt输入参数生成。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，negative_prompt_embeds 将从negative_prompt输入参数生成。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 在计算提示嵌入时要从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。

将提示编码为文本编码器隐藏状态。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

参数

  • w (torch.Tensor) — 使用指定的引导比例生成嵌入向量，以随后丰富时间步长嵌入。
  • embedding_dim (int, 可选, 默认为 512) — 要生成的嵌入的维度。
  • dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成的嵌入的数据类型。

返回值

torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

参见 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

LatentConsistencyModelImg2ImgPipeline

类 diffusers.LatentConsistencyModelImg2ImgPipeline

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: LCMScheduler safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor image_encoder: Optional = None requires_safety_checker: bool = True )

参数

  • vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示。
  • text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14）。
  • tokenizer (CLIPTokenizer) — 用于对文本进行标记的CLIPTokenizer。
  • unet (UNet2DConditionModel) — 用于对编码的图像潜在表示进行去噪的UNet2DConditionModel。
  • scheduler (SchedulerMixin) — 用于与unet结合对编码的图像潜在表示进行去噪的调度器。目前仅支持 LCMScheduler。
  • safety_checker (StableDiffusionSafetyChecker) — 用于评估生成的图像是否可能被认为具有攻击性或有害性的分类模块。有关模型潜在危害的更多详细信息，请参阅 模型卡。
  • feature_extractor (CLIPImageProcessor) — 用于从生成的图像中提取特征的CLIPImageProcessor；用作safety_checker的输入。
  • requires_safety_checker (bool, 可选，默认值为 True) — 管道是否需要安全检查组件。

使用潜在一致性模型进行图像到图像生成的管道。

此模型继承自 DiffusionPipeline。查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

该管道还继承以下加载方法

__call__

< >

( prompt: Union = None image: Union = None num_inference_steps: int = 4 strength: float = 0.8 original_inference_steps: int = None timesteps: List = None guidance_scale: float = 8.5 num_images_per_prompt: Optional = 1 generator: Union = None latents: Optional = None prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None clip_skip: Optional = None callback_on_step_end: Optional = None callback_on_step_end_tensor_inputs: List = ['latents'] **kwargs ) → StableDiffusionPipelineOutput or tuple

参数

  • prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。如果未定义，则需要传递 prompt_embeds。
  • height (int, 可选, 默认值 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。
  • width (int, 可选, 默认值 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。
  • num_inference_steps (int, 可选, 默认值 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但会以更慢的推理为代价。
  • original_inference_steps (int, 可选) — 用于生成线性间隔时间步长计划的原始推理步骤数量，我们将从中以我们的最终时间步长计划作为我们最终时间步长计划的均匀间隔时间步长，遵循论文中的跳过步骤方法（参见第 4.3 节）。如果未设置，这将默认为调度程序的 original_inference_steps 属性。
  • timesteps (List[int], 可选) — 用于降噪过程的自定义时间步长。如果未定义，则在原始 LCM 训练/蒸馏时间步长计划上使用均匀间隔的 num_inference_steps 时间步长。必须以降序排列。
  • guidance_scale (float, 可选, 默认值 7.5) — 较高的引导比例值鼓励模型生成与文本 prompt 密切相关的图像，但会以较低的图像质量为代价。当 guidance_scale > 1 时，引导比例被启用。请注意，原始潜变量一致性模型论文使用不同的 CFG 公式，其中引导比例减少了 1（因此在论文公式中，当 guidance_scale > 0 时，CFG 被启用）。
  • num_images_per_prompt (int, 可选, 默认值为 1) — 每个提示生成图像的数量。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator 用于使生成确定性。
  • latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜在变量，用作图像生成的输入。 可用于使用不同的提示调整相同的生成。 如果未提供，则通过使用提供的随机 generator 采样来生成潜在变量张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从 prompt 输入参数生成文本嵌入。 ip_adapter_image — (PipelineImageInput, 可选): 可选的图像输入，用于与 IP 适配器一起使用。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — 用于 IP 适配器的预生成图像嵌入。 它应该是一个与 IP 适配器数量相同的长度列表。 每个元素都应该是形状为 (batch_size, num_images, emb_dim) 的张量。 如果 do_classifier_free_guidance 设置为 True，则它应该包含负图像嵌入。 如果未提供，则从 ip_adapter_image 输入参数计算嵌入。
  • output_type (str, 可选, 默认值为 "pil") — 生成的图像的输出格式。 在 PIL.Image 或 np.array 之间选择。
  • return_dict (bool, 可选, 默认值为 True) — 是否返回一个 StableDiffusionPipelineOutput 而不是一个简单的元组。
  • cross_attention_kwargs (dict, 可选) — 如果指定，则传递给 AttentionProcessor 的关键字参数字典，如 self.processor 中定义。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。 值 1 表示将使用倒数第二层的输出计算提示嵌入。
  • callback_on_step_end (Callable, 可选) — 在推理期间每个去噪步骤结束时调用的函数。 该函数使用以下参数调用: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含所有张量的列表，如 callback_on_step_end_tensor_inputs 所指定。

  • 返回值

    StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应生成的图像是否包含“不安全内容”（nsfw）内容。

生成管道的调用函数。

示例

>>> from diffusers import AutoPipelineForImage2Image
>>> import torch
>>> import PIL

>>> pipe = AutoPipelineForImage2Image.from_pretrained("SimianLuo/LCM_Dreamshaper_v7")
>>> # To save GPU memory, torch.float16 can be used, but it may compromise image quality.
>>> pipe.to(torch_device="cuda", torch_dtype=torch.float32)

>>> prompt = "High altitude snowy mountains"
>>> image = PIL.Image.open("./snowy_mountains.png")

>>> # Can be set to 1~50 steps. LCM support fast inference even <= 4 steps. Recommend: 1~8 steps.
>>> num_inference_steps = 4
>>> images = pipe(
...     prompt=prompt, image=image, num_inference_steps=num_inference_steps, guidance_scale=8.0
... ).images

>>> images[0].save("image.png")

enable_freeu

< >

( s1: float s2: float b1: float b2: float )

参数

  • s1 (float) — 第一阶段的缩放因子，用于衰减跳跃特征的贡献。 这样做是为了减轻增强去噪过程中的“过度平滑效应”。
  • s2 (float) — 第二阶段的缩放因子，用于衰减跳跃特征的贡献。 这样做是为了减轻增强去噪过程中的“过度平滑效应”。
  • b1 (float) — 第一阶段的缩放因子，用于放大主干特征的贡献。
  • b2 (float) — 第二阶段的缩放因子，用于放大主干特征的贡献。

启用如 https://arxiv.org/abs/2309.11497 中的 FreeU 机制。

缩放因子后的后缀表示应用它们的阶段。

有关已知对 Stable Diffusion v1、v2 和 Stable Diffusion XL 等不同管道效果良好的值的组合，请参阅 官方存储库。

disable_freeu

< >

( )

如果启用，则禁用 FreeU 机制。

enable_vae_slicing

< >

( )

启用分片 VAE 解码。当此选项启用时，VAE 将把输入张量分成若干片，以便分步计算解码。这有助于节省内存，并允许使用更大的批次大小。

disable_vae_slicing

< >

( )

禁用分片 VAE 解码。如果之前已启用 enable_vae_slicing，此方法将恢复一步计算解码。

enable_vae_tiling

< >

( )

启用平铺 VAE 解码。当此选项启用时，VAE 将把输入张量分成若干块，以便分步计算解码和编码。这有助于节省大量内存，并允许处理更大的图像。

disable_vae_tiling

< >

( )

禁用平铺 VAE 解码。如果之前已启用 enable_vae_tiling，此方法将恢复一步计算解码。

encode_prompt

  • prompt (str 或 List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示应该生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器免费引导
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时会被忽略（即，如果 guidance_scale 小于 1 则会被忽略）。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果没有提供，将从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果没有提供，将从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 在计算提示嵌入时应从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。

将提示编码为文本编码器隐藏状态。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

参数

  • w (torch.Tensor) — 使用指定的引导比例生成嵌入向量，以随后丰富时间步长嵌入。
  • dtype (torch.dtype, 可选, 默认值为 torch.float32) — 生成的嵌入的数据类型。

返回值

torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

参见 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionPipelineOutput

class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput

< >

( images: Union nsfw_content_detected: Optional )

参数

  • images (List[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (List[bool]) — 指示相应生成的图像是否包含“不适合工作”（nsfw）内容的列表，如果无法执行安全性检查，则为 None。

Stable Diffusion 管道的输出类。

< > 在 GitHub 上更新

←Kolors 潜在扩散→