Hugging Face's logo

Diffusers 文档

自注意力引导

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始

自注意力引导

《使用自注意力引导改进扩散模型的样本质量》由 Susung Hong 等人撰写。

论文摘要如下：

去噪扩散模型 (DDMs) 因其卓越的生成质量和多样性而备受关注。这一成功很大程度上归功于使用类别或文本条件扩散引导方法，例如分类器引导和无分类器引导。在本文中，我们提出了一个更全面的视角，超越了传统的引导方法。从这种广义的视角出发，我们引入了新颖的无条件和无训练策略，以提高生成图像的质量。作为一个简单的解决方案，模糊引导提高了中间样本对其精细尺度信息和结构的适用性，使扩散模型能够以适中的引导尺度生成更高质量的样本。在此基础上，自注意力引导 (SAG) 使用扩散模型的中间自注意力图来增强其稳定性和有效性。具体而言，SAG 在每次迭代中对抗性地模糊扩散模型关注的区域，并相应地引导它们。我们的实验结果表明，我们的 SAG 提高了各种扩散模型的性能，包括 ADM、IDDPM、Stable Diffusion 和 DiT。此外，将 SAG 与传统的引导方法相结合可以带来进一步的改进。

您可以在项目页面、原始代码库中找到关于自注意力引导的更多信息，并可以在演示或notebook中尝试使用。

请务必查看 Schedulers 指南，了解如何探索调度器速度和质量之间的权衡，并查看跨 pipelines 重用组件部分，了解如何有效地将相同的组件加载到多个 pipelines 中。

StableDiffusionSAGPipeline

class diffusers.StableDiffusionSAGPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor image_encoder: typing.Optional[transformers.models.clip.modeling_clip.CLIPVisionModelWithProjection] = None requires_safety_checker: bool = True )

参数

  • vae (AutoencoderKL) — 变分自编码器 (VAE) 模型，用于将图像编码和解码为潜在表示形式。
  • text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
  • tokenizer (CLIPTokenizer) — 用于文本标记化的 CLIPTokenizer。
  • unet (UNet2DConditionModel) — 用于对编码后的图像潜在空间进行去噪的 UNet2DConditionModel。
  • scheduler (SchedulerMixin) — 一个调度器，与 unet 结合使用，对编码后的图像潜在空间进行去噪。可以是 DDIMScheduler、 LMSDiscreteScheduler 或 PNDMScheduler 之一。
  • safety_checker (StableDiffusionSafetyChecker) — 分类模块，用于评估生成的图像是否可能被认为具有攻击性或有害。有关模型潜在危害的更多详细信息，请参阅 模型卡。
  • feature_extractor (CLIPImageProcessor) — 一个 CLIPImageProcessor，用于从生成的图像中提取特征；用作 safety_checker 的输入。

使用 Stable Diffusion 进行文本到图像生成的 Pipeline。

此模型继承自 DiffusionPipeline。查看超类文档以了解为所有 pipeline 实现的通用方法（下载、保存、在特定设备上运行等）。

该 pipeline 还继承了以下加载方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 guidance_scale: float = 7.5 sag_scale: float = 0.75 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: typing.Optional[int] = 1 cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None clip_skip: typing.Optional[int] = None ) → StableDiffusionPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导图像生成的提示或提示列表。如果未定义，则需要传递 prompt_embeds。
  • height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度像素。
  • width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度像素。
  • num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。更多去噪步骤通常会以较慢的推理速度为代价，带来更高质量的图像。
  • guidance_scale (float, 可选, 默认为 7.5) — 较高的 guidance scale 值会鼓励模型生成与文本 prompt 紧密相关的图像，但会牺牲较低的图像质量。当 guidance_scale > 1 时，guidance scale 生效。
  • sag_scale (float, 可选, 默认为 0.75) — 在 [0, 1.0] 之间选择以获得更好的质量。
  • negative_prompt (str 或 List[str], 可选) — 用于引导图像生成中不应包含的内容的提示或提示列表。如果未定义，则需要改为传递 negative_prompt_embeds。当不使用 guidance（guidance_scale < 1）时忽略。
  • num_images_per_prompt (int, 可选, 默认为 1) — 每个 prompt 生成的图像数量。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中将被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成结果确定性的 torch.Generator。
  • latents (torch.Tensor, 可选) — 预生成的噪声潜在变量，从高斯分布中采样，用作图像生成的输入。可用于通过不同的 prompt 调整相同的生成结果。如果未提供，则会通过使用提供的随机 generator 进行采样来生成潜在张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（prompt 权重）。如果未提供，则会从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入（prompt 权重）。如果未提供，则会从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • ip_adapter_image — (PipelineImageInput, 可选): 用于 IP 适配器的可选图像输入。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — IP-Adapter 的预生成图像嵌入。如果未提供，则会从 ip_adapter_image 输入参数计算嵌入。
  • output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。在 PIL.Image 或 np.array 之间选择。
  • return_dict (bool, optional, defaults to True) — 是否返回 StableDiffusionPipelineOutput 而不是一个普通的元组。
  • callback (Callable, optional) — 一个在推理过程中每 callback_steps 步调用的函数。该函数被调用时会传入以下参数：callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int, optional, defaults to 1) — 调用 callback 函数的频率。如果未指定，则在每一步都调用回调函数。
  • cross_attention_kwargs (dict, optional) — 一个 kwargs 字典，如果指定，则会传递给 AttentionProcessor，定义在 self.processor 中。
  • clip_skip (int, optional) — 在计算 prompt embeddings 时，从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算 prompt embeddings。

返回

StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合在工作场所观看”（nsfw）的内容。

用于生成 pipeline 的调用函数。

示例

>>> import torch
>>> from diffusers import StableDiffusionSAGPipeline

>>> pipe = StableDiffusionSAGPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16
... )
>>> pipe = pipe.to("cuda")

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt, sag_scale=0.75).images[0]

encode_prompt

< >

( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

参数

  • prompt (str 或 List[str], optional) — 要编码的 prompt
  • device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个 prompt 应生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用无分类器引导
  • negative_prompt (str 或 List[str], optional) — 不用于引导图像生成的 prompt。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时忽略（即，如果 guidance_scale 小于 1 则忽略）。
  • prompt_embeds (torch.Tensor, optional) — 预生成的文本 embeddings。可用于轻松调整文本输入，例如 prompt 加权。如果未提供，则将从 prompt 输入参数生成文本 embeddings。
  • negative_prompt_embeds (torch.Tensor, optional) — 预生成的负文本 embeddings。可用于轻松调整文本输入，例如 prompt 加权。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • lora_scale (float, optional) — 一个 LoRA 缩放比例，如果加载了 LoRA 层，将应用于文本编码器的所有 LoRA 层。
  • clip_skip (int, optional) — 在计算 prompt embeddings 时，从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算 prompt embeddings。

将 prompt 编码为文本编码器隐藏状态。

StableDiffusionOutput

class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput

< >

( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] nsfw_content_detected: typing.Optional[typing.List[bool]] )

参数

  • images (List[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表，或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (List[bool]) — 列表，指示相应的生成图像是否包含“不适合在工作场所观看”（nsfw）的内容；如果无法执行安全检查，则为 None。

Stable Diffusion pipeline 的输出类。

< > Update on GitHub

←Sana Semantic Guidance→