参数

• prompt (str 或 List[str], 可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，您需要传递 prompt_embeds。
• image (torch.Tensor np.ndarray, PIL.Image.Image, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — Image 或表示图像批次的张量，根据 prompt 进行重新绘制。也可以接受图像潜在表示作为 image，但如果直接传递潜在表示，则不会再次编码。
• num_inference_steps (int, 可选, 默认为 100) — 去噪步数。更多的去噪步数通常会带来更高质量的图像，但推理速度会变慢。
• guidance_scale (float, 可选, 默认为 7.5) — 较高的引导比例值会鼓励模型生成与文本 prompt 紧密相关的图像，但会牺牲较低的图像质量。当 guidance_scale > 1 时启用引导比例。
• image_guidance_scale (float, 可选, 默认为 1.5) — 将生成的图像推向初始 image。通过设置 image_guidance_scale > 1 启用图像引导比例。较高的图像引导比例会鼓励生成的图像与源 image 紧密相关，但通常会牺牲较低的图像质量。此管道要求值至少为 1。
• negative_prompt (str 或 List[str], 可选) — 用于引导图像生成中不包含内容的提示词或提示词列表。如果未定义，您需要传递 negative_prompt_embeds。当不使用引导时 (guidance_scale < 1) 忽略。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个提示词要生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中忽略。
• generator (torch.Generator, 可选) — 用于使生成具有确定性的 torch.Generator。
• latents (torch.Tensor, 可选) — 从高斯分布采样的预生成噪声潜在表示，用作图像生成的输入。可用于使用不同提示词调整同一生成。如果未提供，则使用提供的随机 generator 进行采样生成一个潜在张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。
• ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器配合使用的可选图像输入。
• output_type (str, 可选，默认为 "pil") — 生成图像的输出格式。选择 PIL.Image 或 np.array。
• return_dict (bool, 可选，默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 在推理期间每次去噪步骤结束时调用的函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类。参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含 callback_on_step_end_tensor_inputs 中指定的所有张量列表。
• callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。
• cross_attention_kwargs (dict, 可选) — 如果指定，则作为 kwargs 字典传递给 self.processor 中定义的 AttentionProcessor。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是生成的图像列表，第二个元素是布尔值列表，指示相应的生成图像是否包含“不安全工作”（nsfw）内容。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str 或 os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
  • Hub 上托管的预训练模型的字符串，即模型 ID（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文本反转权重的目录路径（例如 ./my_text_inversion_directory/）。
  • 包含文本反转权重的文件路径（例如 ./my_text_inversions.pt）。
  • 一个 torch state dict。
• token (str 或 List[str], 可选) — 覆盖用于文本反转权重的 token。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是等长的列表。
• text_encoder (CLIPTextModel, 可选) — 冻结的文本编码器 (clip-vit-large-patch14)。如果未指定，函数将使用 self.tokenizer。
• tokenizer (CLIPTokenizer, 可选) — CLIPTokenizer 类的分词器。如果未指定，函数将使用 self.tokenizer。
• weight_name (str, 可选) — 自定义权重文件的名称。应在以下情况下使用：
  • 保存的文本反转文件是 🤗 Diffusers 格式，但以特定权重名称（例如 text_inv.bin）保存。
  • 保存的文本反转文件是 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可选) — 如果不使用标准缓存，则下载的预训练模型配置的缓存目录路径。
• force_download (bool, 可选，默认为 False) — 是否强制（重新）下载模型权重和配置文件，如果存在则覆盖缓存版本。
• proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• local_files_only (bool, 可选，默认为 False) — 是否只加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• hf_token (str 或 bool, 可选) — 用作远程文件 HTTP bearer 授权的 token。如果为 True，则使用从 diffusers-cli login 生成的 token（存储在 ~/.huggingface 中）。
• revision (str, 可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• subfolder (str, 可选，默认为 "") — Hub 上或本地较大模型存储库中模型文件的子文件夹位置。
• mirror (str, 可选) — 解决在中国下载模型时的可访问性问题的镜像源。我们不保证该源的及时性或安全性，您应参考镜像网站获取更多信息。

参数

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 请参见 lora_state_dict()。
• adapter_name (str, 可选) — 用于引用已加载适配器模型的适配器名称。如果未指定，将使用 default_{i}，其中 i 是正在加载的适配器总数。
• low_cpu_mem_usage (bool, 可选) — 通过仅加载预训练的 LoRA 权重而不初始化随机权重来加快模型加载速度。
• hotswap (bool, 可选) — 默认为 False。是否用新加载的适配器就地替换现有（LoRA）适配器。这意味着，不是加载额外的适配器，而是将现有适配器权重替换为新适配器的权重。这可以更快、更节省内存。然而，热插拔的主要优点是，当模型使用 torch.compile 编译时，加载新适配器不需要重新编译模型。使用热插拔时，传递的 adapter_name 应该是已加载适配器的名称。

  如果新适配器和旧适配器具有不同的秩和/或 LoRA alpha（即缩放），则需要在加载适配器之前调用一个额外的方法：

参数

• save_directory (str 或 os.PathLike) — LoRA 参数保存目录。如果不存在，将创建该目录。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 unet 的 LoRA 层状态字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 text_encoder 的 LoRA 层状态字典。必须显式传递文本编码器 LoRA 状态字典，因为它来自 🤗 Transformers。
• is_main_process (bool, 可选，默认为 True) — 调用此过程是否为主过程。在分布式训练期间很有用，您需要在所有过程上调用此函数。在这种情况下，仅在主过程上设置 is_main_process=True 以避免竞态条件。
• save_function (Callable) — 用于保存状态字典的函数。在分布式训练期间需要将 torch.save 替换为其他方法时很有用。可通过环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization (bool, 可选，默认为 True) — 是否使用 safetensors 而不是传统的 PyTorch 方式（使用 pickle）保存模型。
• unet_lora_adapter_metadata — 与 unet 相关的 LoRA 适配器元数据，将与状态字典一起序列化。
• text_encoder_lora_adapter_metadata — 与文本编码器相关的 LoRA 适配器元数据，将与状态字典一起序列化。

参数

• prompt (str 或 List[str], 可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须传入 prompt_embeds。
• prompt_2 (str 或 List[str], 可选) — 发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则在两个文本编码器中都使用 prompt。
• image (torch.Tensor 或 PIL.Image.Image 或 np.ndarray 或 List[torch.Tensor] 或 List[PIL.Image.Image] 或 List[np.ndarray]) — 要使用管道修改的图像。
• height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。
• width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。
• num_inference_steps (int, 可选, 默认为 50) — 去噪步数。更多去噪步数通常会生成更高质量的图像，但推理速度会变慢。
• denoising_end (float, 可选) — 指定时，确定在有意提前终止之前要完成的总去噪过程的分数（介于 0.0 和 1.0 之间）。因此，返回的样本仍将保留大量噪声，由调度程序选择的离散时间步长决定。denoising_end 参数应在管道作为“去噪器混合”多管道设置的一部分时使用，如Refining the Image Output中详述。
• guidance_scale (float, 可选, 默认为 5.0) — Classifier-Free Diffusion Guidance中定义的引导比例。guidance_scale 定义为 Imagen Paper中公式 2 的 w。通过设置 guidance_scale > 1 启用引导比例。更高的引导比例会促使生成与文本 prompt 紧密相关的图像，通常以牺牲图像质量为代价。
• image_guidance_scale (float, 可选, 默认为 1.5) — 图像引导比例旨在将生成的图像推向初始图像 image。通过设置 image_guidance_scale > 1 启用图像引导比例。更高的图像引导比例会促使生成与源图像 image 紧密相关的图像，通常以牺牲图像质量为代价。此管道要求值至少为 1。
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示词或提示词列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即，如果 guidance_scale 小于 1），则忽略此参数。
• negative_prompt_2 (str 或 List[str], 可选) — 不用于引导图像生成，将发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则在两个文本编码器中都使用 negative_prompt。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个提示词要生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η): https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch generator(s)，用于使生成具有确定性。
• latents (torch.Tensor, 可选) — 预生成的带噪声隐变量，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示词调整相同的生成。如果未提供，将使用提供的随机 generator 采样生成隐变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，将从 negative_prompt 输入参数生成负面提示词嵌入。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化负面提示词嵌入将从 negative_prompt 输入参数生成。
• output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。在 PIL: PIL.Image.Image 或 np.array 之间选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 而不是普通元组。
• callback (Callable, 可选) — 在推理过程中，每 callback_steps 步都会调用的函数。该函数将使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。
• callback_steps (int, 可选, 默认为 1) — 调用 callback 函数的频率。如果未指定，回调将在每一步调用。
• cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 diffusers.models.attention_processor 中定义的 self.processor 的 AttentionProcessor。
• guidance_rescale (float, 可选, 默认为 0.0) — Common Diffusion Noise Schedules and Sample Steps are Flawed 中提出的引导重缩放因子。guidance_scale 定义为 Common Diffusion Noise Schedules and Sample Steps are Flawed 中公式 16 的 φ。当使用零终端信噪比时，引导重缩放因子应解决过曝光问题。
• original_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 如果 original_size 与 target_size 不同，图像将显示为缩小或放大。如果未指定，original_size 默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
• crops_coords_top_left (Tuple[int], 可选, 默认为 (0, 0)) — crops_coords_top_left 可用于生成从 crops_coords_top_left 位置向下“裁剪”的图像。通常通过将 crops_coords_top_left 设置为 (0, 0) 来获得有利的、居中的图像。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
• target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 在大多数情况下，target_size 应设置为生成图像的所需高度和宽度。如果未指定，它将默认为 (height, width)。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
• aesthetic_score (float, 可选, 默认为 6.0) — 用于通过影响正面文本条件来模拟生成图像的美学分数。SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。
• negative_aesthetic_score (float, 可选, 默认为 2.5) — SDXL 微条件的一部分，如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。可用于通过影响负面文本条件来模拟生成图像的美学分数。

如果 return_dict 为 True，则返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput，否则返回 tuple。返回元组时，第一个元素是包含生成图像的列表。

参数

• prompt (str 或 List[str], 可选) — 要编码的提示词
• prompt_2 (str 或 List[str], 可选) — 发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则在两个文本编码器中都使用 prompt。
• device — (torch.device): torch 设备
• num_images_per_prompt (int) — 每个提示词应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用分类器自由引导
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示词或提示词列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即，如果 guidance_scale 小于 1），则忽略此参数。
• negative_prompt_2 (str 或 List[str], 可选) — 不用于引导图像生成，将发送到 tokenizer_2 和 text_encoder_2 的提示词或提示词列表。如果未定义，则在两个文本编码器中都使用 negative_prompt。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，负面提示词嵌入将从 negative_prompt 输入参数生成。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化文本嵌入将从 prompt 输入参数生成。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，池化负面提示词嵌入将从 negative_prompt 输入参数生成。
• lora_scale (float, 可选) — 应用于文本编码器所有 LoRA 层的 LoRA 比例（如果 LoRA 层已加载）。