使用增强了 T2I-Adapter 的 Stable Diffusion 进行文本到图像生成的管道 https://arxiv.org/abs/2302.08453

此模型继承自 DiffusionPipeline。有关库为所有管道实现的通用方法（如下载或保存、在特定设备上运行等）的文档，请查看超类文档。

>>> from PIL import Image
>>> from diffusers.utils import load_image
>>> import torch
>>> from diffusers import StableDiffusionAdapterPipeline, T2IAdapter

>>> image = load_image(
...     "https://huggingface.co/datasets/diffusers/docs-images/resolve/main/t2i-adapter/color_ref.png"
... )

>>> color_palette = image.resize((8, 8))
>>> color_palette = color_palette.resize((512, 512), resample=Image.Resampling.NEAREST)

>>> adapter = T2IAdapter.from_pretrained("TencentARC/t2iadapter_color_sd14v1", torch_dtype=torch.float16)
>>> pipe = StableDiffusionAdapterPipeline.from_pretrained(
...     "CompVis/stable-diffusion-v1-4",
...     adapter=adapter,
...     torch_dtype=torch.float16,
... )

>>> pipe.to("cuda")

>>> out_image = pipe(
...     "At night, glowing cubes in front of the beach",
...     image=color_palette,
... ).images[0]

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5",
...     torch_dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

使用增强了 T2I-Adapter 的 Stable Diffusion 进行文本到图像生成的管道 https://arxiv.org/abs/2302.08453

此模型继承自 DiffusionPipeline。有关库为所有管道实现的通用方法（如下载或保存、在特定设备上运行等）的文档，请查看超类文档。

该管道还继承了以下加载方法

• load_textual_inversion() 用于加载文本反转嵌入
• from_single_file() 用于加载 .ckpt 文件
• load_lora_weights() 用于加载 LoRA 权重
• save_lora_weights() 用于保存 LoRA 权重

• __call__

  < source >

  ( prompt: Union = None prompt_2: Union = None image: Union = None height: Optional = None width: Optional = None num_inference_steps: int = 50 timesteps: List = None sigmas: List = None denoising_end: Optional = None guidance_scale: float = 5.0 negative_prompt: Union = None negative_prompt_2: Union = None num_images_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None pooled_prompt_embeds: Optional = None negative_pooled_prompt_embeds: Optional = None ip_adapter_image: Union = None ip_adapter_image_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True callback: Optional = None callback_steps: int = 1 cross_attention_kwargs: Optional = None guidance_rescale: float = 0.0 original_size: Optional = None crops_coords_top_left: Tuple = (0, 0) target_size: Optional = None negative_original_size: Optional = None negative_crops_coords_top_left: Tuple = (0, 0) negative_target_size: Optional = None adapter_conditioning_scale: Union = 1.0 adapter_conditioning_factor: float = 1.0 clip_skip: Optional = None ) → ~pipelines.stable_diffusion.StableDiffusionAdapterPipelineOutput 或 tuple

  参数

  • prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。 如果未定义，则必须传递 prompt_embeds。 代替。
  • prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示或提示。 如果未定义，则 prompt 在两个文本编码器中使用
  • image (torch.Tensor, PIL.Image.Image, List[torch.Tensor] 或 List[PIL.Image.Image] 或 List[List[PIL.Image.Image]]) — 适配器输入条件。 适配器使用此输入条件来生成对 Unet 的指导。 如果类型指定为 torch.Tensor，则按原样传递给适配器。 也可以接受 PIL.Image.Image 作为图像。 控制图像会自动调整大小以适合输出图像。
  • height (int, 可选，默认值为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。 低于 512 像素的任何内容都不适用于 stabilityai/stable-diffusion-xl-base-1.0 和未针对低分辨率专门微调的检查点。
  • width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的像素宽度。对于 stabilityai/stable-diffusion-xl-base-1.0 和没有专门针对低分辨率微调的检查点，低于 512 像素的宽度效果不佳。
  • num_inference_steps (int, 可选, 默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会以更慢的推理为代价，产生更高质量的图像。
  • timesteps (List[int], 可选) — 用于降噪过程的自定义时间步长，用于支持其 set_timesteps 方法中 timesteps 参数的调度器。如果未定义，则将使用传递 num_inference_steps 时的默认行为。必须按降序排列。
  • sigmas (List[float], 可选) — 用于降噪过程的自定义西格玛值，用于支持其 set_timesteps 方法中 sigmas 参数的调度器。如果未定义，则将使用传递 num_inference_steps 时的默认行为。
  • denoising_end (float, 可选) — 当指定时，确定在有意提前终止之前要完成的整个降噪过程的比例（介于 0.0 和 1.0 之间）。因此，返回的样本将仍然保留大量由调度器选择的分离时间步长决定的噪声。 denoising_end 参数最好在该管道构成“去噪器混合”多管道设置的一部分时使用，如 细化图像输出 中所述。
  • guidance_scale (float, 可选, 默认为 5.0) — 无分类器扩散引导 中定义的引导比例。 guidance_scale 定义为 Imagen 论文 中公式 2 的 w 。通过将 guidance_scale > 1 来启用引导比例。更高的引导比例鼓励生成与文本 prompt 密切相关的图像，通常以降低图像质量为代价。
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds 。在不使用引导时（即，如果 guidance_scale 小于 1 ）将被忽略。
  • negative_prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的不引导图像生成的提示或提示。如果未定义，则 negative_prompt 在两个文本编码器中使用
  • num_images_per_prompt (int, 可选, 默认为 1) — 每个提示生成的图像数量。
  • eta (float, 可选, 默认值 0.0) — 对应于 DDIM 论文中的参数 eta (η)：https://arxiv.org/abs/2010.02502。仅适用于 schedulers.DDIMScheduler，其他调度器将忽略此参数。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成确定性。
  • latents (torch.Tensor, 可选) — 预生成的噪声潜变量，从高斯分布采样得到，用作图像生成的输入。可用于使用不同的提示调整相同的生成结果。如果没有提供，将使用提供的随机 generator 采样生成一个潜变量张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 negative_prompt 输入参数生成 negative_prompt_embeds。
  • pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 prompt 输入参数生成池化文本嵌入。
  • negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 negative_prompt 输入参数生成池化 negative_prompt_embeds。ip_adapter_image — (PipelineImageInput, 可选): 可选的图像输入，用于与 IP 适配器配合使用。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — 用于 IP 适配器的预生成的图像嵌入。它应该是一个与 IP 适配器数量相同的列表。每个元素应该是形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，它应该包含负面图像嵌入。如果没有提供，将从 ip_adapter_image 输入参数计算嵌入。
  • output_type (str, 可选, 默认值 "pil") — 生成图像的输出格式。在 PIL 之间选择：PIL.Image.Image 或 np.array。
  • return_dict (bool, 可选, 默认值 True) — 是否返回一个 ~pipelines.stable_diffusion_xl.StableDiffusionAdapterPipelineOutput 而不是一个简单的元组。
  • callback_steps (int, 可选, 默认值为 1) — callback 函数的调用频率。如果没有指定，则在每一步都会调用回调。
  • cross_attention_kwargs (dict, 可选) — 如果指定，则传递给 diffusers.models.attention_processor 中 self.processor 下定义的 AttentionProcessor 的 kwargs 字典。
  • guidance_rescale (float, 可选, 默认值为 0.0) — Common Diffusion Noise Schedules and Sample Steps are Flawed 提出的引导重缩放因子，guidance_scale 定义为 Common Diffusion Noise Schedules and Sample Steps are Flawed 中方程 16 的 φ。引导重缩放因子应该在使用零终端 SNR 时修复过度曝光。
  • original_size (Tuple[int], 可选, 默认值为 (1024, 1024)) — 如果 original_size 与 target_size 不相同，则图像将看起来向下或向上采样。如果没有指定，original_size 默认值为 (height, width)。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
  • crops_coords_top_left (Tuple[int], 可选, 默认值为 (0, 0)) — crops_coords_top_left 可用于生成看起来从 crops_coords_top_left 位置向下“裁剪”的图像。通常通过将 crops_coords_top_left 设置为 (0, 0) 来获得有利的、居中的图像。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
  • target_size (Tuple[int], 可选, 默认值为 (1024, 1024)) — 在大多数情况下，target_size 应设置为所需生成的图像高度和宽度。如果没有指定，它将默认值为 (height, width)。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
  • negative_original_size (Tuple[int], 可选, 默认值为 (1024, 1024)) — 基于特定图像分辨率对生成过程进行负面条件化。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], 可选, 默认值为 (0, 0)) — 基于特定裁剪坐标对生成过程进行负面条件化。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], 可选, 默认值为 (1024, 1024)) — 基于目标图像分辨率对生成过程进行负面条件化。在大多数情况下，它应该与 target_size 相同。这是 SDXL 微调的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
  • adapter_conditioning_scale (float 或 List[float], 可选, 默认值 1.0) — 在将适配器输出添加到原始 U-Net 中的残差之前，它们将乘以 adapter_conditioning_scale。 如果在初始化中指定了多个适配器，则可以将相应的比例设置为列表。
  • adapter_conditioning_factor (float, 可选, 默认值 1.0) — 适配器应用的时间步长的分数。 如果 adapter_conditioning_factor 为 0.0，则完全不应用适配器。 如果 adapter_conditioning_factor 为 1.0，则适配器将应用于所有时间步长。 如果 adapter_conditioning_factor 为 0.5，则适配器将应用于一半的时间步长。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。 值为 1 表示将使用倒数第二层的输出计算提示嵌入。

  返回值

  ~pipelines.stable_diffusion.StableDiffusionAdapterPipelineOutput 或 tuple

  ~pipelines.stable_diffusion.StableDiffusionAdapterPipelineOutput 如果 return_dict 为 True，否则为 tuple。 返回元组时，第一个元素是包含生成图像的列表。

  调用管道进行生成时调用的函数。

  示例

  已复制

  >>> import torch
  >>> from diffusers import T2IAdapter, StableDiffusionXLAdapterPipeline, DDPMScheduler
  >>> from diffusers.utils import load_image
  
  >>> sketch_image = load_image("https://huggingface.co/Adapter/t2iadapter/resolve/main/sketch.png").convert("L")
  
  >>> model_id = "stabilityai/stable-diffusion-xl-base-1.0"
  
  >>> adapter = T2IAdapter.from_pretrained(
  ...     "Adapter/t2iadapter",
  ...     subfolder="sketch_sdxl_1.0",
  ...     torch_dtype=torch.float16,
  ...     adapter_type="full_adapter_xl",
  ... )
  >>> scheduler = DDPMScheduler.from_pretrained(model_id, subfolder="scheduler")
  
  >>> pipe = StableDiffusionXLAdapterPipeline.from_pretrained(
  ...     model_id, adapter=adapter, torch_dtype=torch.float16, variant="fp16", scheduler=scheduler
  ... ).to("cuda")
  
  >>> generator = torch.manual_seed(42)
  >>> sketch_image_out = pipe(
  ...     prompt="a photo of a dog in real world, high quality",
  ...     negative_prompt="extra digit, fewer digits, cropped, worst quality, low quality",
  ...     image=sketch_image,
  ...     generator=generator,
  ...     guidance_scale=7.5,
  ... ).images[0]

启用切片注意力计算。启用此选项后，注意力模块会将输入张量切分成多个切片，以便分多个步骤计算注意力。对于多个注意力头，计算将按顺序对每个头执行。这有助于在牺牲少量速度的情况下节省一些内存。

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5",
...     torch_dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

禁用切片注意力计算。如果之前调用了 enable_attention_slicing，则注意力将在一步骤中计算。

启用切片 VAE 解码。启用此选项后，VAE 将将输入张量切分成多个切片，以便分多个步骤计算解码。这有助于节省一些内存并允许更大的批次大小。

禁用切片 VAE 解码。如果之前启用了 enable_vae_slicing，此方法将返回一步计算解码。

启用来自 xFormers 的内存高效注意力。当启用此选项时，您应该观察到推理过程中的 GPU 内存使用量降低以及潜在的加速。训练期间的加速无法保证。

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

禁用来自 xFormers 的内存高效注意力。

将提示编码为文本编码器隐藏状态。

参见 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298