参数

• 提示 (str 或 List[str], 可选) — 指导图像生成的提示或提示列表。如果未定义，则需要传递prompt_embeds。
• 图像 (torch.Tensor np.ndarray, PIL.Image.Image, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — 表示要根据prompt重新绘制的图像批次的图像或张量。也可以接受图像潜变量作为图像，但如果直接传递潜变量，则不会再次对其进行编码。
• 推理步数 (int, 可选, 默认为 100) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但代价是推理速度较慢。
• 引导尺度 (float, 可选, 默认为 7.5) — 较高的引导尺度值鼓励模型生成与文本prompt密切相关的图像，但代价是降低图像质量。当guidance_scale > 1时启用引导尺度。
• 图像引导尺度 (float, 可选, 默认为 1.5) — 将生成的图像推向初始图像。通过设置image_guidance_scale > 1启用图像引导尺度。较高的图像引导尺度鼓励生成与源图像密切相关的图像，通常会降低图像质量。此管道需要至少为1的值。

• negative_prompt (str 或 List[str], 可选) — 指导图像生成中不包含什么的提示或提示。如果未定义，则需要改为传递 negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。
• num_images_per_prompt (int, 可选，默认为 1) — 每个提示生成图像的数量。
• eta (float, 可选，默认为 0.0) — 对应于来自 DDIM 论文的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度程序中被忽略。
• generator (torch.Generator, 可选) — 用于使生成确定性的 torch.Generator。
• latents (torch.Tensor, 可选) — 从高斯分布采样的预生成的噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机 generator 采样生成潜在变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。ip_adapter_image — (PipelineImageInput, 可选): 可选图像输入，用于与 IP 适配器配合使用。
• output_type (str, 可选，默认为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
• return_dict (bool, 可选，默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 在推理期间每个去噪步骤结束时调用的函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类。具有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量的列表。
• callback_on_step_end_tensor_inputs (List，可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。
• cross_attention_kwargs (dict，可选) — 如果指定，则将此关键字参数字典传递给 self.processor 中定义的 AttentionProcessor。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是生成的图像列表，第二个元素是 bool 值列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）内容。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
  • 一个字符串，预训练模型在 Hub 上托管的模型 ID（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文本反演权重的目录路径（例如 ./my_text_inversion_directory/）。
  • 包含文本反演权重的文件路径（例如 ./my_text_inversions.pt）。
  • 一个 torch 状态字典。
• token (str 或 List[str]，可选) — 覆盖要用于文本反演权重的令牌。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是长度相等的列表。
• text_encoder (CLIPTextModel，可选) — 冻结的文本编码器 (clip-vit-large-patch14)。如果未指定，则函数将使用 self.tokenizer。
• tokenizer (CLIPTokenizer，可选) — 用于分词文本的 CLIPTokenizer。如果未指定，则函数将使用 self.tokenizer。
• weight_name (str，可选) — 自定义权重文件的名称。这应该在以下情况下使用：
  • 保存的文本反演文件为 🤗 Diffusers 格式，但以特定权重名称保存，例如 text_inv.bin。
  • 保存的文本反演文件为 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike]，可选) — 如果不使用标准缓存，则下载的预训练模型配置缓存到的目录路径。
• force_download (bool, 可选，默认为 False) — 是否强制（重新）下载模型权重和配置文件，如果存在则覆盖缓存版本。
• proxies (Dict[str, str], 可选) — 用于按协议或端点使用代理服务器的字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理用于每个请求。
• local_files_only (bool, 可选，默认为 False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• token (str 或 bool, 可选) — 用作远程文件 HTTP 授权令牌的令牌。如果为 True，则使用 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, 可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• subfolder (str, 可选，默认为 "") — Hub 或本地更大模型存储库中模型文件所在的子文件夹位置。
• mirror (str, 可选) — 如果您在中国下载模型，则镜像源可以解决可访问性问题。我们不保证源的及时性或安全性，您应该参考镜像站点以获取更多信息。

参数

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 请参阅 lora_state_dict()。
• adapter_name (str, 可选) — 用于引用已加载适配器模型的适配器名称。如果未指定，它将使用 default_{i}，其中 i 是正在加载的适配器总数。

参数

• save_directory (str 或 os.PathLike) — 保存 LoRA 参数的目录。如果不存在，将创建它。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 与 unet 对应的 LoRA 层的状态字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 与 text_encoder 对应的 LoRA 层的状态字典。必须显式传递文本编码器 LoRA 状态字典，因为它来自 🤗 Transformers。
• is_main_process (bool, 可选，默认为 True) — 调用此函数的进程是否是主进程。在分布式训练期间很有用，并且您需要在所有进程上调用此函数。在这种情况下，仅在主进程上将 is_main_process=True 设置为避免竞争条件。
• save_function (Callable) — 用于保存状态字典的函数。在需要用其他方法替换 torch.save 的分布式训练期间很有用。可以使用环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization (bool, 可选，默认为 True) — 是否使用 safetensors 或使用 pickle 的传统 PyTorch 方式保存模型。

参数

• prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示列表。如果未定义，则必须传递 prompt_embeds 代替。
• prompt_2 (str 或 List[str], 可选) — 要发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定义，则两个文本编码器都使用 prompt。
• image (torch.Tensor 或 PIL.Image.Image 或 np.ndarray 或 List[torch.Tensor] 或 List[PIL.Image.Image] 或 List[np.ndarray]) — 要使用管道修改的图像（或图像列表）。
• height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。
• width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。
• num_inference_steps (int，可选，默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。
• denoising_end (float，可选) — 指定时，确定在有意提前终止之前要完成的总降噪过程的比例（介于 0.0 和 1.0 之间）。因此，返回的样本将仍然保留由调度程序选择的离散时间步长所确定的相当数量的噪声。当此管道成为“降噪混合”多管道设置的一部分时，最好使用 denoising_end 参数，如 改进图像输出 中所述。
• guidance_scale (float，可选，默认为 5.0) — 如 无分类器扩散引导 中所定义的引导尺度。guidance_scale 定义为 Imagen 论文 公式 2 中的 w。通过将 guidance_scale 设置为 > 1 来启用引导尺度。较高的引导尺度鼓励生成与文本 prompt 密切相关的图像，通常以降低图像质量为代价。
• image_guidance_scale (float，可选，默认为 1.5) — 图像引导尺度用于将生成的图像推向初始图像 image。通过将 image_guidance_scale 设置为 > 1 来启用图像引导尺度。较高的图像引导尺度鼓励生成与源图像 image 密切相关的图像，通常以降低图像质量为代价。此管道需要至少为 1 的值。
• negative_prompt (str 或 List[str]，可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时（即，如果 guidance_scale 小于 1）将被忽略。
• negative_prompt_2 (str 或 List[str]，可选) — 要发送到 tokenizer_2 和 text_encoder_2 的不引导图像生成的提示或提示。如果未定义，则两个文本编码器都使用 negative_prompt。
• num_images_per_prompt (int，可选，默认为 1) — 每个提示生成图像的数量。
• eta (float，可选，默认为 0.0) — 对应于 DDIM 论文中的参数 eta（η）：https://arxiv.org/abs/2010.02502。仅适用于 schedulers.DDIMScheduler，其他情况将被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成确定性。
• latents (torch.Tensor, 可选) — 预先生成的噪声潜在变量，从高斯分布采样，用作图像生成的输入。可用于使用不同的提示微调相同的生成。如果未提供，则会通过使用提供的随机 generator 采样来生成潜在变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的池化文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 prompt 输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面池化文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 negative_prompt 输入参数生成池化 negative_prompt_embeds。
• output_type (str, 可选，默认为 "pil") — 生成图像的输出格式。在 PIL 之间选择：PIL.Image.Image 或 np.array。
• return_dict (bool, 可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 而不是普通元组。
• callback (Callable, 可选) — 一个函数，在推理期间每隔 callback_steps 步就会被调用一次。该函数将使用以下参数被调用：callback(step: int, timestep: int, latents: torch.Tensor)。
• callback_steps (int, 可选，默认为 1) — callback 函数将被调用的频率。如果未指定，则回调将在每个步骤中被调用。
• guidance_rescale (float, 可选, 默认为 0.0) — 由 Common Diffusion Noise Schedules and Sample Steps are Flawed 提出的引导重缩放因子，guidance_scale 在 Common Diffusion Noise Schedules and Sample Steps are Flawed 的公式 16 中定义为 φ。引导重缩放因子应在使用零终端信噪比时修复过度曝光。
• original_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 如果 original_size 与 target_size 不相同，则图像将看起来像是向下或向上采样。如果没有指定，则 original_size 默认为 (height, width)。作为 SDXL 的微条件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
• crops_coords_top_left (Tuple[int], 可选, 默认为 (0, 0)) — crops_coords_top_left 可用于生成看起来像是从 crops_coords_top_left 位置向下“裁剪”的图像。通常通过将 crops_coords_top_left 设置为 (0, 0) 来获得有利的、居中的图像。作为 SDXL 的微条件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
• target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 在大多数情况下，target_size 应设置为生成图像所需的宽度和高度。如果没有指定，它将默认为 (height, width)。作为 SDXL 的微条件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
• aesthetic_score (float, 可选, 默认为 6.0) — 通过影响正文本条件来模拟生成图像的美学评分。作为 SDXL 的微条件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。
• negative_aesthetic_score (float, 可选, 默认为 2.5) — 作为 SDXL 的微条件的一部分，如 https://huggingface.co/papers/2307.01952 的第 2.2 节所述。可用于通过影响负文本条件来模拟生成图像的美学评分。

如果 return_dict 为 True，则为 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput，否则为 tuple。当返回元组时，第一个元素是包含生成图像的列表。

参数

• prompt (str 或 List[str], 可选) — 要编码的提示
• prompt_2 (str 或 List[str], 可选) — 发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定义，则在两个文本编码器中都使用 prompt 设备 — (torch.device): torch 设备
• num_images_per_prompt (int) — 每个提示应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用分类器自由引导
• negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示列表。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时被忽略（即，如果 guidance_scale 小于 1，则被忽略）。
• negative_prompt_2 (str 或 List[str], 可选) — 发送到 tokenizer_2 和 text_encoder_2 的不引导图像生成的提示或提示列表。如果未定义，则在两个文本编码器中都使用 negative_prompt
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 prompt 输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负池化文本嵌入。可用于轻松调整文本输入，例如 提示加权。如果未提供，则将从 negative_prompt 输入参数生成池化 negative_prompt_embeds。
• lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。