Hugging Face 的 LOGO

Diffusers 文档

Stable Diffusion XL

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

Stable Diffusion XL

LoRA MPS

Stable Diffusion XL (SDXL) 由 Dustin Podell, Zion English, Kyle Lacey, Andreas Blattmann, Tim Dockhorn, Jonas Müller, Joe Penna 和 Robin Rombach 在 SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis 中提出。

论文摘要如下：

我们提出了 SDXL，一个用于文本到图像合成的潜在扩散模型。与之前的 Stable Diffusion 版本相比，SDXL 利用了三倍大的 UNet 骨干网络：模型参数的增加主要是由于更多的注意力块和更大的交叉注意力上下文，因为 SDXL 使用了第二个文本编码器。我们设计了多种新颖的条件方案，并在多种宽高比上训练了 SDXL。我们还引入了一个优化模型，用于通过后处理图像到图像技术来提高 SDXL 生成样本的视觉保真度。我们证明了 SDXL 与之前的 Stable Diffusion 版本相比，性能显著提高，并取得了与黑盒最先进图像生成器相当的结果。

提示

  • 已知使用 DPM++ 调度器少于 50 步的 SDXL 会产生 视觉伪影，因为求解器变得数值不稳定。为了解决这个问题，请查看此 PR，其中建议对于 ODE/SDE 求解器
    • 设置 use_karras_sigmas=True 或 lu_lambdas=True 以提高图像质量
    • 如果您使用统一步长的求解器（DPM++2M 或 DPM++2M SDE），请设置 euler_at_final=True
  • 大多数 SDXL 检查点在 1024x1024 的图像尺寸下效果最佳。也支持 768x768 和 512x512 的图像尺寸，但效果不佳。不建议使用 512x512 以下的任何尺寸，对于默认检查点（如 stabilityai/stable-diffusion-xl-base-1.0）可能不会有好的效果。
  • SDXL 可以为它训练的每个文本编码器传递不同的提示。我们甚至可以将相同提示的不同部分传递给文本编码器。
  • 通过在图像到图像设置中使用优化模型，可以改进 SDXL 输出图像。
  • SDXL 提供 negative_original_size、negative_crops_coords_top_left 和 negative_target_size，以便在图像分辨率和裁剪参数上对模型进行负面条件处理。

要了解如何将 SDXL 用于各种任务、如何优化性能以及其他使用示例，请查阅 Stable Diffusion XL 指南。

请查看 Stability AI Hub 组织，获取官方基础模型和优化模型检查点！

StableDiffusionXLPipeline

class diffusers.StableDiffusionXLPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers image_encoder: CLIPVisionModelWithProjection = None feature_extractor: CLIPImageProcessor = None force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None )

参数

  • vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器 (VAE) 模型。
  • text_encoder (CLIPTextModel) — 冻结的文本编码器。Stable Diffusion XL 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。
  • text_encoder_2 ( CLIPTextModelWithProjection) — 第二个冻结的文本编码器。Stable Diffusion XL 使用 CLIP 的文本和池化部分，特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。
  • tokenizer (CLIPTokenizer) — 类型为 CLIPTokenizer 的分词器。
  • tokenizer_2 (CLIPTokenizer) — 类型为 CLIPTokenizer 的第二个分词器。
  • unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行去噪的条件 U-Net 架构。
  • scheduler (SchedulerMixin) — 与 unet 结合使用的调度器，用于对编码图像潜在表示进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
  • force_zeros_for_empty_prompt (bool, 可选, 默认为 "True") — 是否强制负面提示词嵌入始终设置为 0。另请参阅 stabilityai/stable-diffusion-xl-base-1-0 的配置。
  • add_watermarker (bool, 可选) — 是否使用 invisible_watermark 库 为输出图像添加水印。如果未定义，如果已安装该包，则默认为 True，否则不使用水印。

用于使用 Stable Diffusion XL 进行文本到图像生成的管道。

此模型继承自 DiffusionPipeline。请查阅父类文档，了解库为所有管道实现的通用方法（例如下载或保存、在特定设备上运行等）。

该管道还继承了以下加载方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.List[int] = None sigmas: typing.List[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None guidance_rescale: float = 0.0 original_size: typing.Optional[typing.Tuple[int, int]] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Optional[typing.Tuple[int, int]] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须传递 prompt_embeds。
  • prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则 prompt 将在两个文本编码器中使用。
  • height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。为获得最佳结果，默认设置为 1024。小于 512 像素的任何尺寸都不能很好地用于 stabilityai/stable-diffusion-xl-base-1.0 和未专门针对低分辨率进行微调的检查点。
  • width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。为获得最佳结果，默认设置为 1024。小于 512 像素的任何尺寸都不能很好地用于 stabilityai/stable-diffusion-xl-base-1.0 和未专门针对低分辨率进行微调的检查点。
  • num_inference_steps (int, optional, 默认为 50) — 去噪步数。更多的去噪步数通常会带来更高质量的图像，但推理速度会变慢。
  • timesteps (List[int], optional) — 用于去噪过程的自定义时间步，适用于其 set_timesteps 方法支持 timesteps 参数的调度器。如果未定义，将使用传入 num_inference_steps 时的默认行为。必须按降序排列。
  • sigmas (List[float], optional) — 用于去噪过程的自定义sigmas，适用于其 set_timesteps 方法支持 sigmas 参数的调度器。如果未定义，将使用传入 num_inference_steps 时的默认行为。
  • denoising_end (float, optional) — 指定时，确定在故意提前终止去噪过程之前要完成的总去噪过程的分数（介于 0.0 和 1.0 之间）。因此，返回的样本仍将保留由调度器选择的离散时间步所确定的相当数量的噪声。denoising_end 参数最好在将此管道作为“去噪器混合”多管道设置的一部分时使用，如优化图像输出中所详述。
  • guidance_scale (float, optional, 默认为 5.0) — 如无分类器扩散引导中所定义的引导比例。guidance_scale 定义为Imagen 论文中公式 2 的 w。通过设置 guidance_scale > 1 来启用引导比例。更高的引导比例会促使生成与文本 prompt 紧密相关的图像，通常以牺牲较低图像质量为代价。
  • negative_prompt (str 或 List[str], optional) — 不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即 guidance_scale 小于 1 时），此参数将被忽略。
  • negative_prompt_2 (str 或 List[str], optional) — 不引导图像生成要发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则 negative_prompt 将用于两个文本编码器。
  • num_images_per_prompt (int, optional, 默认为 1) — 每个提示要生成的图像数量。
  • eta (float, optional, 默认为 0.0) — 对应 DDIM 论文中的参数 eta (η): https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
  • generator (torch.Generator 或 List[torch.Generator], optional) — 一个或多个 torch 生成器，用于使生成具有确定性。
  • latents (torch.Tensor, optional) — 预先生成的噪声潜像，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成一个潜像张量。
  • prompt_embeds (torch.Tensor, optional) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
  • negative_prompt_embeds (torch.Tensor, optional) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，负面提示嵌入将从 negative_prompt 输入参数生成。
  • pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
  • negative_pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化负面提示嵌入将从 negative_prompt 输入参数生成。
  • ip_adapter_image — (PipelineImageInput, optional): 用于 IP 适配器的可选图像输入。
  • ip_adapter_image_embeds (List[torch.Tensor], optional) — 用于 IP-Adapter 的预先生成的图像嵌入。它应该是一个列表，长度与 IP-适配器数量相同。每个元素都应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，它应该包含负面图像嵌入。如果未提供，嵌入将从 ip_adapter_image 输入参数计算。
  • output_type (str, optional, 默认为 "pil") — 生成图像的输出格式。选择 PIL: PIL.Image.Image 或 np.array。
  • return_dict (bool, optional, 默认为 True) — 是否返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 而不是普通元组。
  • cross_attention_kwargs (dict, optional) — 如果指定，则一个 kwargs 字典将传递给 AttentionProcessor，其定义在 diffusers.models.attention_processor 中的 self.processor 下。
  • guidance_rescale (float, optional, 默认为 0.0) — 常见扩散噪声调度和采样步骤存在缺陷 中提出的引导重新缩放因子。guidance_scale 定义为 常见扩散噪声调度和采样步骤存在缺陷 中方程 16 的 φ。引导重新缩放因子应解决使用零终端 SNR 时的过曝问题。
  • original_size (Tuple[int], optional, 默认为 (1024, 1024)) — 如果 original_size 与 target_size 不同，图像将显示为缩小或放大。如果未指定，original_size 默认为 (height, width)。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。
  • crops_coords_top_left (Tuple[int], optional, 默认为 (0, 0)) — crops_coords_top_left 可用于生成从 crops_coords_top_left 位置向下“裁剪”的图像。通常通过将 crops_coords_top_left 设置为 (0, 0) 来获得有利的、居中的图像。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。
  • target_size (Tuple[int], optional, 默认为 (1024, 1024)) — 在大多数情况下，target_size 应设置为生成图像的所需高度和宽度。如果未指定，它将默认为 (height, width)。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。
  • negative_original_size (Tuple[int], optional, 默认为 (1024, 1024)) — 根据特定图像分辨率对生成过程进行负面条件限制。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题讨论串： https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], optional, 默认为 (0, 0)) — 根据特定裁剪坐标对生成过程进行负面条件限制。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题讨论串： https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], optional, 默认为 (1024, 1024)) — 根据目标图像分辨率对生成过程进行负面条件限制。在大多数情况下，它应与 target_size 相同。作为 SDXL 微调的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息，请参阅此问题讨论串： https://github.com/huggingface/diffusers/issues/4208。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, optional) — 一个函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类，在推理过程中每个去噪步骤结束时调用，参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 指定的所有张量列表。
  • callback_on_step_end_tensor_inputs (List, optional) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。

返回

~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput，否则返回 tuple。返回元组时，第一个元素是包含生成图像的列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import StableDiffusionXLPipeline

>>> pipe = StableDiffusionXLPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
... )
>>> pipe = pipe.to("cuda")

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt).images[0]

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

参数

  • prompt (str 或 List[str], optional) — 要编码的提示词。
  • prompt_2 (str 或 List[str], optional) — 要发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则 prompt 将用于两个文本编码器。
  • device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示应该生成的图像数量。
  • do_classifier_free_guidance (bool) — 是否使用无分类器引导。
  • negative_prompt (str 或 List[str], optional) — 不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即 guidance_scale 小于 1 时），此参数将被忽略。
  • negative_prompt_2 (str 或 List[str], optional) — 不引导图像生成要发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则 negative_prompt 将用于两个文本编码器。
  • prompt_embeds (torch.Tensor, optional) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
  • negative_prompt_embeds (torch.Tensor, optional) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，负面提示嵌入将从 negative_prompt 输入参数生成。
  • pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
  • negative_pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化负面提示嵌入将从 negative_prompt 输入参数生成。
  • lora_scale (float, optional) — 一个 LoRA 缩放因子，如果加载了 LoRA 层，它将应用于文本编码器的所有 LoRA 层。
  • clip_skip (int, optional) — 计算提示词嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示词嵌入。

将提示编码为文本编码器隐藏状态。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

参数

  • w (torch.Tensor) — 生成指定引导比例的嵌入向量，以便后续丰富时间步嵌入。
  • embedding_dim (int, optional, 默认为 512) — 要生成的嵌入的维度。
  • dtype (torch.dtype, optional, 默认为 torch.float32) — 生成嵌入的数据类型。

返回

torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

请参阅 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionXLImg2ImgPipeline

class diffusers.StableDiffusionXLImg2ImgPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers image_encoder: CLIPVisionModelWithProjection = None feature_extractor: CLIPImageProcessor = None requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None )

参数

  • vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器（VAE）模型。
  • text_encoder (CLIPTextModel) — 冻结的文本编码器。Stable Diffusion XL 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。
  • text_encoder_2 ( CLIPTextModelWithProjection) — 第二个冻结的文本编码器。Stable Diffusion XL 使用 CLIP 的文本和池化部分，特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。
  • tokenizer (CLIPTokenizer) — 类别为 CLIPTokenizer 的分词器。
  • tokenizer_2 (CLIPTokenizer) — 类别为 CLIPTokenizer 的第二个分词器。
  • unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行去噪的条件 U-Net 架构。
  • scheduler (SchedulerMixin) — 用于与 unet 结合以对编码图像潜在表示进行去噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 中的一个。
  • requires_aesthetics_score (bool, 可选, 默认为 "False") — unet 在推理过程中是否需要传递 aesthetic_score 条件。另请参阅 stabilityai/stable-diffusion-xl-refiner-1-0 的配置。
  • force_zeros_for_empty_prompt (bool, 可选, 默认为 "True") — 是否强制将负面提示嵌入设置为 0。另请参阅 stabilityai/stable-diffusion-xl-base-1-0 的配置。
  • add_watermarker (bool, 可选) — 是否使用 invisible_watermark 库 为输出图像添加水印。如果未定义，则在安装了该包的情况下默认为 True，否则不使用水印。

用于使用 Stable Diffusion XL 进行文本到图像生成的管道。

此模型继承自 DiffusionPipeline。请查阅父类文档，了解库为所有管道实现的通用方法（例如下载或保存、在特定设备上运行等）。

该管道还继承了以下加载方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None strength: float = 0.3 num_inference_steps: int = 50 timesteps: typing.List[int] = None sigmas: typing.List[float] = None denoising_start: typing.Optional[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None guidance_rescale: float = 0.0 original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须传递 prompt_embeds。
  • prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则在两个文本编码器中都使用 prompt。
  • image (torch.Tensor 或 PIL.Image.Image 或 np.ndarray 或 List[torch.Tensor] 或 List[PIL.Image.Image] 或 List[np.ndarray]) — 要使用管道修改的图像。
  • strength (float, 可选, 默认为 0.3) — 从概念上讲，表示要转换参考 image 的程度。必须在 0 到 1 之间。image 将作为起点，strength 越大，添加的噪声就越多。去噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声将最大，去噪过程将运行 num_inference_steps 中指定的完整迭代次数。因此，值为 1 实际上忽略了 image。请注意，如果将 denoising_start 声明为整数，则将忽略 strength 的值。
  • num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会导致更高质量的图像，但会以较慢的推理速度为代价。
  • timesteps (List[int], 可选) — 用于去噪过程的自定义时间步，适用于其 set_timesteps 方法支持 timesteps 参数的调度器。如果未定义，则使用传递 num_inference_steps 时的默认行为。必须按降序排列。
  • sigmas (List[float], 可选) — 用于去噪过程的自定义 sigmas，适用于其 set_timesteps 方法支持 sigmas 参数的调度器。如果未定义，则使用传递 num_inference_steps 时的默认行为。
  • denoising_start (float, 可选) — 指定时，表示在去噪过程开始之前要跳过的总去噪过程的分数（介于 0.0 和 1.0 之间）。因此，去噪过程的初始部分被跳过，并且假定传递的 image 是部分去噪的图像。请注意，当指定此参数时，强度将被忽略。denoising_start 参数在将此管道集成到“去噪器混合”多管道设置中时特别有用，详见 Refine Image Quality。
  • denoising_end (float, 可选) — 指定时，确定在有意提前终止之前要完成的总去噪过程的分数（介于 0.0 和 1.0 之间）。因此，返回的样本仍将保留大量噪声（大约需要最后 20% 的时间步），并且应由将 denoising_start 设置为 0.8 的后续管道进行去噪，以便它仅对调度器的最后 20% 进行去噪。denoising_end 参数应在将此管道作为“去噪器混合”多管道设置的一部分时使用，详见 Refine Image Quality。
  • guidance_scale (float, 可选, 默认为 7.5) — 无分类器扩散引导中定义的引导比例。guidance_scale 定义为 Imagen Paper 方程 2 中的 w。通过设置 guidance_scale > 1 启用引导比例。更高的引导比例会鼓励生成与文本 prompt 紧密相关的图像，但通常以牺牲图像质量为代价。
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示词或提示词列表。如果未定义，则必须传递 negative_prompt_embeds。在使用非引导时（即如果 guidance_scale 小于 1 时），此参数将被忽略。
  • negative_prompt_2 (str 或 List[str], 可选) — 不引导图像生成的提示词或提示词列表，将发送到 tokenizer_2 和 text_encoder_2。如果未定义，则在两个文本编码器中都使用 negative_prompt。
  • num_images_per_prompt (int, 可选, 默认为 1) — 每个提示词要生成的图像数量。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η): https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成具有确定性。
  • latents (torch.Tensor, 可选) — 预生成的带噪潜在表示，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示词调整相同的生成。如果未提供，则将通过使用提供的随机 generator 进行采样来生成一个潜在张量。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，则将从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，负面提示词嵌入将从 negative_prompt 输入参数生成。
  • pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
  • negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，池化负面提示词嵌入将从 negative_prompt 输入参数生成。
  • ip_adapter_image — (PipelineImageInput, 可选): 用于 IP Adapters 的可选图像输入。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — IP-Adapter 的预生成图像嵌入。它应该是一个列表，长度与 IP-adapter 数量相同。每个元素都应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，它应该包含负面图像嵌入。如果未提供，嵌入将从 ip_adapter_image 输入参数计算。
  • output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。在 PIL: PIL.Image.Image 或 np.array 之间选择。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 而不是普通元组。
  • cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 diffusers.models.attention_processor 中 self.processor 下定义的 AttentionProcessor。
  • guidance_rescale (float, 可选, 默认为 0.0) — 常见扩散噪声调度和采样步骤存在缺陷中提出的引导重缩放因子。guidance_scale 在 常见扩散噪声调度和采样步骤存在缺陷的方程 16 中定义为 φ。引导重缩放因子应在零终端 SNR 下修复过度曝光。
  • original_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 如果 original_size 与 target_size 不同，图像将显示为下采样或上采样。如果未指定，original_size 默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。
  • crops_coords_top_left (Tuple[int], 可选, 默认为 (0, 0)) — crops_coords_top_left 可用于生成一张从 crops_coords_top_left 位置向下“裁剪”的图像。通常通过将 crops_coords_top_left 设置为 (0, 0) 来获得令人满意且居中的图像。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。
  • target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 在大多数情况下，target_size 应设置为生成图像的所需高度和宽度。如果未指定，它将默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。
  • negative_original_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 用于根据特定图像分辨率对生成过程进行负面调节。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。有关更多信息，请参阅此问题讨论串：https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], 可选, 默认为 (0, 0)) — 用于根据特定裁剪坐标对生成过程进行负面调节。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。有关更多信息，请参阅此问题讨论串：https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 用于根据目标图像分辨率对生成过程进行负面调节。在大多数情况下，它应与 target_size 相同。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。有关更多信息，请参阅此问题讨论串：https://github.com/huggingface/diffusers/issues/4208。
  • aesthetic_score (float, 可选, 默认为 6.0) — 通过影响正面文本条件来模拟生成图像的美学分数。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。
  • negative_aesthetic_score (float, 可选, 默认为 2.5) — SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 的 2.2 节所述。可用于通过影响负面文本条件来模拟生成图像的美学分数。
  • clip_skip (int, 可选) — 在计算提示词嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示词嵌入。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 一个函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类，在推理过程中每个去噪步骤结束时调用，参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 指定的所有张量列表。
  • callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类的 ._callback_tensor_inputs 属性中列出的变量。

返回

~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput，否则返回 `tuple`。返回元组时，第一个元素是包含生成图像的列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import StableDiffusionXLImg2ImgPipeline
>>> from diffusers.utils import load_image

>>> pipe = StableDiffusionXLImg2ImgPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-refiner-1.0", torch_dtype=torch.float16
... )
>>> pipe = pipe.to("cuda")
>>> url = "https://huggingface.co/datasets/patrickvonplaten/images/resolve/main/aa_xl/000000009.png"

>>> init_image = load_image(url).convert("RGB")
>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> image = pipe(prompt, image=init_image).images[0]

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

参数

  • prompt (str 或 List[str], 可选) — 要编码的提示词。
  • prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则在两个文本编码器中都使用 prompt。
  • device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示词应生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器自由引导。
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示词。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时（即如果 guidance_scale 小于 1），此参数将被忽略。
  • negative_prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的不引导图像生成的提示词。如果未定义，则在两个文本编码器中都使用 negative_prompt。
  • prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 negative_prompt 输入参数生成 negative_prompt_embeds。
  • pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 prompt 输入参数生成池化文本嵌入。
  • negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 negative_prompt 输入参数生成池化 negative_prompt_embeds。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 在计算提示词嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示词嵌入。

将提示编码为文本编码器隐藏状态。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

参数

  • w (torch.Tensor) — 生成具有指定引导尺度的嵌入向量，以随后丰富时间步嵌入。
  • embedding_dim (int, 可选, 默认为 512) — 要生成的嵌入维度。
  • dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成嵌入的数据类型。

返回

torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

请参阅 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

StableDiffusionXLInpaintPipeline

class diffusers.StableDiffusionXLInpaintPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers image_encoder: CLIPVisionModelWithProjection = None feature_extractor: CLIPImageProcessor = None requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None )

参数

  • vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码为潜在表示。
  • text_encoder (CLIPTextModel) — 冻结文本编码器。Stable Diffusion XL 使用 CLIP 的文本部分，特别是 clip-vit-large-patch14 变体。
  • text_encoder_2 ( CLIPTextModelWithProjection) — 第二个冻结文本编码器。Stable Diffusion XL 使用 CLIP 的文本和池化部分，特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。
  • tokenizer (CLIPTokenizer) — CLIPTokenizer 类的分词器。
  • tokenizer_2 (CLIPTokenizer) — 第二个 CLIPTokenizer 类的分词器。
  • unet (UNet2DConditionModel) — 用于对编码图像潜像进行去噪的条件 U-Net 架构。
  • scheduler (SchedulerMixin) — 一个调度器，与 unet 结合使用，对编码图像潜像进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。
  • requires_aesthetics_score (bool, 可选, 默认为 "False") — unet 是否需要在推理过程中传递美学分数条件。另请参阅 stabilityai/stable-diffusion-xl-refiner-1-0 的配置。
  • force_zeros_for_empty_prompt (bool, 可选, 默认为 "True") — 是否强制将负面提示嵌入始终设置为 0。另请参阅 stabilityai/stable-diffusion-xl-base-1-0 的配置。
  • add_watermarker (bool, 可选) — 是否使用 invisible_watermark 库 对输出图像添加水印。如果未定义，则如果已安装该包，默认为 True，否则不使用水印。

用于使用 Stable Diffusion XL 进行文本到图像生成的管道。

此模型继承自 DiffusionPipeline。请查阅父类文档，了解库为所有管道实现的通用方法（例如下载或保存、在特定设备上运行等）。

该管道还继承了以下加载方法

__call__

< >

( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None mask_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None masked_image_latents: Tensor = None height: typing.Optional[int] = None width: typing.Optional[int] = None padding_mask_crop: typing.Optional[int] = None strength: float = 0.9999 num_inference_steps: int = 50 timesteps: typing.List[int] = None sigmas: typing.List[float] = None denoising_start: typing.Optional[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 7.5 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None guidance_rescale: float = 0.0 original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

参数

  • prompt (str 或 List[str], 可选) — 用于引导图像生成的提示词。如果未定义，则必须传递 prompt_embeds。
  • prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则在两个文本编码器中都使用 prompt。
  • image (PIL.Image.Image) — Image，或表示图像批次的张量，将进行修复，即图像的某些部分将使用 mask_image 遮罩，并根据 prompt 重新绘制。
  • mask_image (PIL.Image.Image) — Image，或表示图像批次的张量，用于遮罩 image。遮罩中的白色像素将被重新绘制，而黑色像素将被保留。如果 mask_image 是 PIL 图像，它在使用前将转换为单通道（亮度）。如果它是张量，它应该包含一个颜色通道（L）而不是 3，所以预期形状将是 (B, H, W, 1)。
  • height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（像素）。为获得最佳效果，默认为 1024。对于 stabilityai/stable-diffusion-xl-base-1.0 和未专门在低分辨率上微调的检查点，低于 512 像素的任何值都将无法正常工作。
  • width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（像素）。为获得最佳效果，默认为 1024。对于 stabilityai/stable-diffusion-xl-base-1.0 和未专门在低分辨率上微调的检查点，低于 512 像素的任何值都将无法正常工作。
  • padding_mask_crop (int, 可选, 默认为 None) — 应用于图像和遮罩裁剪的边距大小。如果为 None，则不对图像和 mask_image 应用裁剪。如果 padding_mask_crop 不为 None，它将首先找到一个与图像长宽比相同并包含所有遮罩区域的矩形区域，然后根据 padding_mask_crop 扩展该区域。然后图像和 mask_image 将根据扩展区域进行裁剪，然后调整大小以用于图像修复。当遮罩区域很小而图像很大并包含与图像修复无关的信息（如背景）时，这很有用。
  • strength (float, 可选, 默认为 0.9999) — 概念上，表示参考 image 的遮罩部分要转换的程度。必须介于 0 和 1 之间。image 将作为起点，strength 越大，添加的噪声越多。去噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声将达到最大值，去噪过程将运行 num_inference_steps 中指定的全部迭代次数。因此，值为 1 基本上会忽略参考 image 的遮罩部分。请注意，如果 denoising_start 被声明为整数，则 strength 的值将被忽略。
  • num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的图像，但推理速度会变慢。
  • timesteps (List[int], 可选) — 用于去噪过程的自定义时间步，适用于其 set_timesteps 方法支持 timesteps 参数的调度器。如果未定义，将使用传递 num_inference_steps 时的默认行为。必须按降序排列。
  • sigmas (List[float], 可选) — 用于去噪过程的自定义 sigma，适用于其 set_timesteps 方法支持 sigmas 参数的调度器。如果未定义，将使用传递 num_inference_steps 时的默认行为。
  • denoising_start (float, 可选) — 指定后，表示去噪过程（介于 0.0 和 1.0 之间）在启动前要绕过的总分数。因此，去噪过程的初始部分被跳过，并假定传递的 image 是部分去噪的图像。请注意，指定此参数时，strength 将被忽略。当此管道集成到“去噪器混合”多管道设置中时，denoising_start 参数特别有用，详细信息请参阅 优化图像输出。
  • denoising_end (float, 可选) — 指定后，确定去噪过程（介于 0.0 和 1.0 之间）在有意提前终止之前要完成的百分比。因此，返回的样本仍将保留大量噪声（约需最后 20% 的时间步），应由设置 denoising_start 为 0.8 的后续管道进行去噪，以便它仅对调度器中最后 20% 的时间步进行去噪。当此管道作为“去噪器混合”多管道设置的一部分时，应理想地使用 denoising_end 参数，详细信息请参阅 优化图像输出。
  • guidance_scale (float, 可选, 默认为 7.5) — 无分类器扩散引导 中定义的引导比例。guidance_scale 定义为 Imagen 论文 中公式 2 的 w。通过设置 guidance_scale > 1 启用引导比例。更高的引导比例鼓励生成与文本 prompt 紧密相关的图像，通常以牺牲较低图像质量为代价。
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示词。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时（即如果 guidance_scale 小于 1），此参数将被忽略。
  • negative_prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的不引导图像生成的提示词。如果未定义，则在两个文本编码器中都使用 negative_prompt。
  • prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 negative_prompt 输入参数生成 negative_prompt_embeds。
  • pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 prompt 输入参数生成池化文本嵌入。
  • negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词权重。如果未提供，将根据 negative_prompt 输入参数生成池化 negative_prompt_embeds。
  • ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器配合使用的可选图像输入。
  • ip_adapter_image_embeds (List[torch.Tensor], 可选) — 预先生成的 IP-Adapter 图像嵌入。它应该是一个列表，长度与 IP-adapter 的数量相同。每个元素都应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，则它应该包含负图像嵌入。如果未提供，将根据 ip_adapter_image 输入参数计算嵌入。
  • num_images_per_prompt (int, 可选, 默认为 1) — 每个提示词要生成的图像数量。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η): https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
  • generator (torch.Generator, optional) — 一个或多个 torch generator(s)，用于使生成具有确定性。
  • latents (torch.Tensor, optional) — 预先生成的噪声潜像（从高斯分布中采样），用作图像生成的输入。可用于使用不同提示调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成一个潜像张量。
  • output_type (str, optional, 默认为 "pil") — 生成图像的输出格式。在 PIL: PIL.Image.Image 或 np.array 之间选择。
  • return_dict (bool, optional, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
  • cross_attention_kwargs (dict, optional) — 一个 kwargs 字典，如果指定，将作为参数传递给 diffusers.models.attention_processor 中定义的 self.processor 的 AttentionProcessor。
  • original_size (Tuple[int], optional, 默认为 (1024, 1024)) — 如果 original_size 与 target_size 不同，图像将显示为下采样或上采样。如果未指定，original_size 默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
  • crops_coords_top_left (Tuple[int], optional, 默认为 (0, 0)) — crops_coords_top_left 可用于生成从 crops_coords_top_left 位置向下“裁剪”的图像。通过将 crops_coords_top_left 设置为 (0, 0) 通常可以获得良好居中的图像。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
  • target_size (Tuple[int], optional, 默认为 (1024, 1024)) — 对于大多数情况，target_size 应设置为生成图像的所需高度和宽度。如果未指定，它将默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
  • negative_original_size (Tuple[int], optional, 默认为 (1024, 1024)) — 基于特定图像分辨率对生成过程进行负面条件反射。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。更多信息请参阅此问题帖：https://github.com/huggingface/diffusers/issues/4208。
  • negative_crops_coords_top_left (Tuple[int], optional, 默认为 (0, 0)) — 基于特定的裁剪坐标对生成过程进行负面条件反射。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。更多信息请参阅此问题帖：https://github.com/huggingface/diffusers/issues/4208。
  • negative_target_size (Tuple[int], optional, 默认为 (1024, 1024)) — 基于目标图像分辨率对生成过程进行负面条件反射。在大多数情况下，它应与 target_size 相同。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。更多信息请参阅此问题帖：https://github.com/huggingface/diffusers/issues/4208。
  • aesthetic_score (float, optional, 默认为 6.0) — 用于通过影响正文本条件来模拟生成图像的美学分数。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
  • negative_aesthetic_score (float, optional, 默认为 2.5) — SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。可用于通过影响负文本条件来模拟生成图像的美学分数。
  • clip_skip (int, optional) — 在计算提示嵌入时从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
  • callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, optional) — 一个函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类，在推理过程中每个去噪步骤结束时调用，参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 中指定的所有张量列表。
  • callback_on_step_end_tensor_inputs (List, optional) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。

返回

~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 或 tuple

如果 return_dict 为 True，则为 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput，否则为 tuple。返回元组时，第一个元素是生成的图像列表。

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import StableDiffusionXLInpaintPipeline
>>> from diffusers.utils import load_image

>>> pipe = StableDiffusionXLInpaintPipeline.from_pretrained(
...     "stabilityai/stable-diffusion-xl-base-1.0",
...     torch_dtype=torch.float16,
...     variant="fp16",
...     use_safetensors=True,
... )
>>> pipe.to("cuda")

>>> img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
>>> mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"

>>> init_image = load_image(img_url).convert("RGB")
>>> mask_image = load_image(mask_url).convert("RGB")

>>> prompt = "A majestic tiger sitting on a bench"
>>> image = pipe(
...     prompt=prompt, image=init_image, mask_image=mask_image, num_inference_steps=50, strength=0.80
... ).images[0]

encode_prompt

< >

( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )

参数

  • prompt (str 或 List[str], optional) — 要编码的提示
  • prompt_2 (str 或 List[str], optional) — 要发送到 tokenizer_2 和 text_encoder_2 的提示。如果未定义，prompt 将用于两个文本编码器。
  • device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示应生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器自由引导
  • negative_prompt (str 或 List[str], optional) — 不用于引导图像生成的提示。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时（即，如果 guidance_scale 小于 1），则忽略。
  • negative_prompt_2 (str 或 List[str], optional) — 不用于引导图像生成并发送到 tokenizer_2 和 text_encoder_2 的提示。如果未定义，则 negative_prompt 将用于两个文本编码器。
  • prompt_embeds (torch.Tensor, optional) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，将从 prompt 输入参数生成文本嵌入。
  • negative_prompt_embeds (torch.Tensor, optional) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，负面提示嵌入将从 negative_prompt 输入参数生成。
  • pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
  • negative_pooled_prompt_embeds (torch.Tensor, optional) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，池化负面提示嵌入将从 negative_prompt 输入参数生成。
  • lora_scale (float, optional) — 一个 LoRA 比例，如果加载了 LoRA 层，它将应用于文本编码器的所有 LoRA 层。
  • clip_skip (int, optional) — 在计算提示嵌入时从 CLIP 中跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。

将提示编码为文本编码器隐藏状态。

get_guidance_scale_embedding

< >

( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor

参数

  • w (torch.Tensor) — 生成具有指定引导比例的嵌入向量，以随后丰富时间步嵌入。
  • embedding_dim (int, optional, 默认为 512) — 要生成的嵌入维度。
  • dtype (torch.dtype, optional, 默认为 torch.float32) — 生成嵌入的数据类型。

返回

torch.Tensor

形状为 (len(w), embedding_dim) 的嵌入向量。

请参阅 https://github.com/google-research/vdm/blob/dc27b98a554f65cdc654b800da5aa1846545d41b/model_vdm.py#L298

< > 在 GitHub 上更新

←Stable Diffusion 3 超分辨率→