参数

• prompt (str 或 List[str]，可选) — 指导图像生成的提示或提示序列。如果未定义，则需要传递 prompt_embeds。
• height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的像素高度。
• width (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（像素）。
• num_inference_steps (int, 可选，默认为 50) — 消噪步骤的数量。更多的消噪步骤通常会导致图像质量更高，但推理速度会变慢。
• timesteps (List[int], 可选) — 用于具有支持在 set_timesteps 方法中接受 timesteps 参数的调度器的去噪过程的自定义时间步长。如果没有定义，当传递 num_inference_steps 时将使用默认行为。必须按降序排列。
• sigmas（《float》列表，可选）— 用于支持在其set_timesteps方法中具有sigmas参数的调度器的降噪过程的定制sigmas。如果未定义，当传递num_inference_steps时将使用默认行为。
• guidance_scale（《float》，可选，默认为7.5）— 较高的指导尺度值会鼓励模型生成图像与文本prompt紧密相关，代价是图像质量较低。当guidance_scale > 1时启用指导尺度。
• negative_prompt（《str》或《str》列表，可选）— 指导图像生成时不含内容的提示。如果未定义，则需要传递negative_prompt_embeds。当未使用指导（guidance_scale < 1）时忽略。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个提示生成图像的数量。
• eta (float, 可选, 默认为 0.0) — 与论文DDIM中的参数 η (η) 对应。仅适用于 DDIMScheduler，在其他调度器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成确定性化的 torch.Generator。
• latents (torch.Tensor, optional) — 预生成的从高斯分布中采样的噪声latents，用作图像生成的输入。可用于使用不同的提示修改相同的生成。如果没有提供，将使用提供的随机generator生成latents张量。
• prompt_embeds (torch.Tensor, optional) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果没有提供，将从prompt输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, optional) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果没有提供，将从negative_prompt输入参数生成负文本嵌入。
• ip_adapter_image_embeds (torch.Tensor列表，可选) — 为IP-Adapter预生成的图像嵌入。应与IP适配器的数量长度相同。每个元素应是一个形状为(batch_size, num_images, emb_dim)的张量。如果将do_classifier_free_guidance设置为True，则应包含负图像嵌入。如果没有提供，将从ip_adapter_image输入参数中计算嵌入。
• output_type (str，可选，默认为"pil") — 生成图像的输出格式。可在PIL.Image或np.array之间选择。
• return_dict (bool，可选，默认为True) — 是否返回一个StableDiffusionPipelineOutput而不是一个普通元组。
• cross_attention_kwargs （dict，可选） — 当指定时，会作为kwargs字典传递给由 self.processor 定义的 AttentionProcessor。
• guidance_rescale （float，可选，默认为0.0） — 来自Common Diffusion Noise Schedules and Sample Steps are Flawed的指南缩放因子。指南缩放因子应修正使用零终端SNR时的过度曝光。
• clip_skip （int，可选） — 在计算提示嵌入时要跳过的CLIP层次数。值为1表示将使用预最终层的输出计算提示嵌入。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 一个函数，或为 PipelineCallback 或 MultiPipelineCallbacks 的子类，在每个推理步骤的最后被调用。其参数如下： callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量的列表。
• callback_on_step_end_tensor_inputs (列表, 可选) — 用于 callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包括您的管道类 ._callback_tensor_inputs 属性中列出的变量。
• pag_scale (浮点数, 可选, 默认为 3.0) — 扰动注意力引导的缩放因子。如果设置为 0.0，则不使用扰动注意力引导。
• pag_adaptive_scale (float, 可选, 默认为0.0) — 对扰动注意力引导的自适应缩放因子。如果设置为0.0，则使用pag_scale。

如果 return_dict 设置为 True，则返回 StableDiffusionPipelineOutput，否则返回一个包含生成的图像列表和是否包含“不适宜工作场所”内容（nsfw）的布尔值列表的 tuple。

参数

• prompt (str 或 List[str], 可选) — 需要编码的提示
• num_images_per_prompt (int) — 每个提示应生成的图像数
• do_classifier_free_guidance (bool) — 是否使用无分类器引导
• negative_prompt (str 或 List[str]，可选) — 不用于指导图像生成的提示或提示列表。如果未定义，则必须传入 negative_prompt_embeds。当不使用引导时（即当 guidance_scale 小于 1 时）将被忽略。
• prompt_embeds (torch.Tensor，可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从negative_prompt输入参数生成negative_prompt_embeds。
• lora_scale (float, 可选) — 当加载LoRA层时，将应用于文本编码器中所有LoRA层的LoRA缩放值。
• clip_skip (int, 可选) — 在计算提示嵌入时从CLIP中跳过的层数。值为1表示将使用预最终层的输出计算提示嵌入。

参数

• 参数 w (torch.Tensor) — 生成带有指定指导比例的嵌入向量，以丰富时间步嵌入。
• 参数 embedding_dim (int, 可选, 默认为 512) — 生成嵌入向量的维度。
• 参数 dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示列表。如果没有定义，您需要传递 prompt_embeds。
• 图像 (torch.Tensor，PIL.Image.Image，np.ndarray，List[torch.Tensor]，List[PIL.Image.Image]，List[np.ndarray]，— ，List[List[np.ndarray]] 或 List[List[PIL.Image.Image]]>)：向 unet 生成提供指导的控制网输入条件。如果类型指定为 torch.Tensor，则将其直接传递给控制网。PIL.Image.Image 也可以接受作为图像。输出图像的维度默认为 image 的维度。如果传递了高度和/或宽度，则根据这些值对 image 进行调整大小。如果在 init 中指定了多个 ControlNet，则必须将图像作为列表传递，以便列表中的每个元素可以正确地分批输入单个控制网。当 prompt 是列表时，如果为单个控制网传递了图像列表，则每个图像将与 prompt 列表中的每个提示配对。这也适用于多个控制网，其中可以传递图像列表的列表，以便为每个提示和每个控制网分批处理。
• 高度 (int，可选，默认值为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。
• 宽度 (int，可选，默认值为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。
• num_inference_steps (int, 可选, 默认为50) — 降噪步数。更多的降噪步骤通常会导致图像质量更高，但推理速度会较慢。
• timesteps (整数列表, 可选) — 对于支持在 set_timesteps 方法中传入 timesteps 参数的调度器，使用自定义的timesteps进行降噪过程。如果没有定义，将使用当传递 num_inference_steps 时的默认行为。必须按降序排列。
• sigmas (浮点列表, 可选) — 对于支持在 set_timesteps 方法中传入 sigmas 参数的调度器，使用自定义的sigmas进行降噪过程。如果没有定义，将使用当传递 num_inference_steps 时的默认行为。
• guidance_scale (float, 可选, 默认为7.5) — 较高的引导尺度值会鼓励模型生成与文本prompt密切相关的图像，但会牺牲图像质量。引导尺度在guidance_scale > 1时启用。
• negative_prompt (str 或 List[str], 可选) — 指导图像生成时排除的内容的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds。在未使用引导（guidance_scale < 1）时忽略。
• num_images_per_prompt (int, 可选, 默认为1) — 每个提示生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 与DDIM论文中的参数 eta (η) 相对应。仅适用于 DDIMScheduler，在其他调度器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 使用 torch.Generator 使生成过程确定性的生成器。
• latents (torch.Tensor, 可选) — 预生成的从高斯分布采样的噪声 latents，用作图像生成的输入。可以用它来用不同的提示调整相同的生成。如果没有提供，将使用提供的随机 generator 生成 latents 张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。ip_adapter_image — (PipelineImageInput, 可选)：与 IP 适配器一起工作的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — 为 IP-适配器预生成的图像嵌入。它应该是长度与 IP 适配器数量相同的列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，则应包含负图像嵌入。如果未提供，则将从 ip_adapter_image 输入参数计算嵌入。
• output_type (str, 可选, 默认为 "pil") — 输出生成图像的格式。可在 PIL.Image 或 np.array 之间选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• cross_attention_kwargs (dict, 可选) — 一个kwargs字典，如果指定，则将传递给 AttentionProcessor，该处理器定义在 self.processor 中。
• controlnet_conditioning_scale (float 或 List[float]，可选，默认为 1.0) — 在将 ControlNet 的输出加入原始 unet 中的残差之前，将它们与 controlnet_conditioning_scale 相乘。如果 init 中指定了多个 ControlNet，可以将相应的缩放比例设为列表。
• guess_mode (bool，可选，默认为 False） — 即使移除了所有提示，ControlNet 编码器也会尝试识别输入图像的内容。建议使用 3.0 到 5.0 之间的 guidance_scale 值。
• control_guidance_start (float 或 List[float]，可选，默认为 0.0） — ControlNet 开始应用的步骤总数百分比。
• control_guidance_end （float 或 List[float]，可选，默认为 1.0） — ControlNet 在应用时的停止百分比，总共的步数。
• clip_skip （int，可选） — 在计算提示嵌入时会跳过的 CLIP 层数数。值为 1 时，将使用预最终层的输出计算提示嵌入。
• callback_on_step_end （Callable 或 PipelineCallback 或 MultiPipelineCallbacks，可选） — 在推理过程中，每一步去噪结束时调用的函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类。它具有以下参数： callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的一组张量列表。
• callback_on_step_end_tensor_inputs (列表, 可选) — 用于 callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包括管道类 ._callback_tensor_inputs 属性中列出的变量。
• pag_scale (浮点数, 可选，默认为 3.0) — 扰动注意力引导的缩放因子。如果设置为 0.0，则不使用扰动注意力引导。
• pag_adaptive_scale (浮点数, 可选，默认为 0.0) — 扰动注意力引导的自适应缩放因子。如果设置为 0.0，则使用 pag_scale。

如果 return_dict 设置为 True，则返回 StableDiffusionPipelineOutput，否则返回一个包含生成的图像列表和是否包含“不适宜工作场所”内容（nsfw）的布尔值列表的 tuple。

参数

• prompt (str 或 List[str]，可选) — 待编码的提示
• num_images_per_prompt (int) — 每个提示生成图像的数量
• do_classifier_free_guidance (bool) — 是否使用无分类器引导
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示或提示列表。如果未定义，则需要传递 negative_prompt_embeds。在不使用引导（即如果 guidance_scale 小于 1）时将被忽略。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果没有提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示加权。如果没有提供，则将从 negative_prompt 输入参数生成负文本嵌入。
• lora_scale (float, optional) — 当加载 LoRA 层时，将应用于文本编码器所有 LoRA 层的 LoRA 缩放因子。
• clip_skip (int, optional) — 在计算提示嵌入时跳过的 CLIP 层数数。值为 1 表示将使用预最终层的输出进行提示嵌入计算。

参数

• w (torch.Tensor) — 使用指定的指导缩放比例生成嵌入向量，以随后丰富时间步嵌入。
• embedding_dim (int, 可选, 默认为 512) — 需要生成的嵌入向量的维度。
• dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成的嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• prompt (str 或 List[str]，可选) - 指导图像生成的提示词。如果未定义，则需传递 prompt_embeds。
• prompt_2 (str 或 List[str]，可选) - 发送到 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则两个文本编码器都使用 prompt。
• height (int，可选，默认值 self.unet.config.sample_size * self.vae_scale_factor) - 生成图像的像素高度。默认设置为1024，以获得最佳效果。512像素以下对于 stabilityai/stable-diffusion-xl-base-1.0 及未专门针对低分辨率进行微调的检查点来说效果不佳。
• width (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。默认设置为1024以获得最佳效果。小于512像素的宽度无法在 stabilityai/stable-diffusion-xl-base-1.0 和未针对低分辨率进行微调的检查点中获得良好的效果。
• num_inference_steps (int, 可选，默认为50) — 消噪步数。更多的消噪步骤通常会换来更高质量的图像，但会影响推理速度。
• timesteps (List[int], 可选) — 自定义用于具有支持在其 set_timesteps 方法中接受 timesteps 参数的调度器的消噪过程的步长。如果没有定义，当传入了 num_inference_steps 时将使用默认行为。必须按降序排列。
• sigmas (列表[浮点数], 可选) — 自定义 sigmas 用于与支持在 set_timesteps 方法中带有 sigmas 参数的调度器进行去噪过程。如未定义，当传递 num_inference_steps 时将使用默认行为。
• denoising_end (浮点数, 可选) — 指定时要确定在它被有意提前终止之前完成去噪过程的全部百分之一（介于 0.0 和 1.0 之间）。因此，返回的样本将保留大量由调度器选择的离散时间步确定的噪声。应在“混合去噪器”多管道设置（如Refining the Image Output中详细说明）中利用此参数。
• guidance_scale (浮点数, 可选，默认为 5.0) — 的分类器 无差指导中定义的指导缩放因数。指导比例定义为 imagen 论文中方程 2 的 w。当 guidance_scale > 1 时启用指导比例。较高的指导比例鼓励生成与文本 prompt 紧密相关的图像，通常以图像质量降低为代价。
• negative_prompt (str 或 List[str]) — 不指导图像生成的提示或提示列表。如果没有定义，则需要传递 negative_prompt_embeds。在不使用指导的情况下被忽略（即，如果 guidance_scale 小于 1，则被忽略）。
• negative_prompt_2 (str 或 List[str]) — 不指导图像生成的提示或提示列表，将被发送到 tokenizer_2 和 text_encoder_2。如果没有定义，则使用 negative_prompt 在两个文本编码器中
• num_images_per_prompt (int，默认为1) — 每个提示生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 与 DDIM 文档中的参数 eta (η) 对应：[https://arxiv.org/abs/2010.02502](https://arxiv.org/abs/2010.02502)。仅适用于 schedulers.DDIMScheduler，其他情况将被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于生成确定性输出。
• latents (torch.Tensor, 可选) — 预生成的噪声 latent，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，将通过提供的随机 generator 采样生成 latent 张量。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果不提供，将从输入参数negative_prompt生成池化的负提示嵌入。ip_adapter_image — (PipelineImageInput, 可选)：与IP适配器一起工作的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — 为IP-Adapter预生成的图像嵌入。它应该是一个长度与IP适配器数量相同的列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果将 do_classifier_free_guidance 设置为 True，则应包含负图像嵌入。如果不提供，将根据输入参数 ip_adapter_image 计算嵌入。
• output_type (str, 可选，默认为"pil") — 生成的图像的输出格式。选择PIL：PIL.Image.Image 或 np.array。
• return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 实例而不是普通元组。
• cross_attention_kwargs (dict, 可选) — 一个kwargs字典，如果指定，则传递给在 diffusers.models.attention_processor 中定义的 AttentionProcessor。
• guidance_rescale (float, 可选, 默认为 0.0) — 根据Common Diffusion Noise Schedules and Sample Steps are Flawed提出的导引重缩放因子，其中Common Diffusion Noise Schedules and Sample Steps are Flawed中的方程16定义的指导缩放因子为φ。指导缩放因子用于纠正使用零终端SNR时的过度曝光问题。
• original_size （Tuple[int]，可选，默认为（1024，1024））—— 如果original_size与target_size不同，则图像看起来会进行下采样或上采样。在未指定的情况下，默认为(height, width)。这是SDXL微条件的一部分，如第2.2节所述。
• crops_coords_top_left （Tuple[int]，可选，默认为（0，0））—— 使用crops_coords_top_left可以使图像看起来是从位置crops_coords_top_left向下裁剪的。通过将crops_coords_top_left设置为（0，0）通常可以获得位置良好的图像。这是SDXL微条件的一部分，如第2.2节所述。
• target_size （Tuple[int]，可选，默认为（1024，1024））—— 对于大多数情况，应将target_size设置为目标图像的高度和宽度。如果未指定，它将默认为(height, width)。这是SDXL微条件的一部分，如第2.2节所述。
• negative_original_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 根据特定图像分辨率对生成过程进行负条件化。SDXL微条件化的部分，如第2.2节所述https://huggingface.co/papers/2307.01952。更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• negative_crops_coords_top_left (Tuple[int], 可选, 默认为 (0, 0)) — 根据特定的裁剪坐标来对生成过程进行负条件化。它作为SDXL微条件化的部分，如第2.2节所述https://huggingface.co/papers/2307.01952。更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• negative_target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 根据目标图像分辨率对生成过程进行负条件化。在大多数情况下应与target_size相同。如第2.2节所述，它是SDXL微条件化的部分https://huggingface.co/papers/2307.01952。更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• callback_on_step_end（Callable，可选）— 在推理过程中每一步去噪步骤结束时会调用的函数。该函数以以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
• callback_on_step_end_tensor_inputs（List，可选）— callback_on_step_end 函数的 张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含在您的 pipeline 类的 ._callback_tensor_inputs 属性中列出的变量。
• pag_scale（float，可选，默认值为 3.0）— 干扰注意力引导的缩放因子。如果设置为 0.0，则不使用干扰注意力引导。
• pag_adaptive_scale (float, 可选，默认为 0.0) — 用于分割注意力引导的自适应缩放因子。如果设置为 0.0，则使用 pag_scale。

~pipelines.stable_diffusion_xl.StableDiffusionXLPipelineOutput 如果 return_dict 为 True，否则为 tuple。当返回 tuple 时，第一个元素是一个包含生成的图片的列表。

参数

• prompt (str 或 List[str], 可选) — 待编码的提示
• prompt_2 (str 或 List[str]，可选）—— 要发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定义，则使用两个文本编码器设备 —— (torch.device）：torch 设备
• num_images_per_prompt (int）—— 每个提示应生成的图像数量
• do_classifier_free_guidance (bool）—— 是否使用分类器无指导
• negative_prompt（《字符串》或《字符串列表》可选）— 不用于指导图像生成的提示或提示列表。如果未定义，则需要传递 negative_prompt_embeds。当未使用引导时（即当 guidance_scale 小于 1 时）将被忽略。
• negative_prompt_2（《字符串》或《字符串列表》，可选）— 不用于发送到 tokenizer_2 和 text_encoder_2 的图像生成的提示或提示列表。如果未定义，将在两个文本编码器中使用 negative_prompt。
• prompt_embeds（《火炬张量》可选）— 预生成的文本嵌入。可以用它轻松调整文本输入，例如提示权重。如果不提供，将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，negative_prompt_embeds将从negative_prompt输入参数生成。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将根据prompt输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将根据negative_prompt输入参数生成池化负面嵌入。
• lora_scale (float, 可选) — 当加载LoRA层时，将对文本编码器中的所有LoRA层应用LoRA缩放。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的CLIP层数量。值为1表示将使用预最终层的输出用于计算提示嵌入。

参数

• w (torch.Tensor) — 使用指定的指导缩放生成嵌入向量，随后用于丰富时间步嵌入。
• embedding_dim （int，可选，默认为512）— 要生成的嵌入维数。
• dtype （torch.dtype，可选，默认为torch.float32）— 生成的嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• 提示信息 (str 或 List[str], 可选) — 指导图像生成的提示信息。如未定义，则必须传递 prompt_embeds。
• prompt_2 (str 或 List[str], 可选) — 传输到 tokenizer_2 和 text_encoder_2 的提示信息。如未定义，则使用 prompt 在两个文本编码器中。
• image (torch.Tensor 或 PIL.Image.Image 或 np.ndarray 或 List[torch.Tensor] 或 List[PIL.Image.Image] 或 List[np.ndarray]) — 使用管道修改的图像。
• strength (float，可选，默认为 0.3) — 从概念上讲，表示要转换参考image的程度。必须在 0 和 1 之间。如果 strength 值越大，则添加的噪声越多。image 将作为起始点，添加越多的噪声，噪声量越大。去噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声将达到最大，去噪过程将运行 num_inference_steps 中指定的完整迭代次数。因此，1 的值实际上忽略了 image。注意，如果将 denoising_start 声明为整数，则忽略 strength 的值。
• num_inference_steps (int，可选，默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会使图像质量更高，但会牺牲推断速度。
• 时间步长 (列表[int], 可选) — 使用支持在set_timesteps方法中传入timesteps参数的调度器的去噪过程中的自定义时间步长。如果没有定义，将使用传递num_inference_steps时的默认行为。必须按降序排列。
• sigma值 (列表[float], 可选) — 使用支持在set_timesteps方法中传入sigmas参数的调度器的去噪过程中的自定义sigma值。如果没有定义，将使用传递num_inference_steps时的默认行为。
• 去噪开始 (float, 可选) — 当指定时，表示在开始之前要绕过的总去噪过程的分数（介于0.0和1.0之间）。因此，跳过去噪过程的初始部分，并假定传递的image是部分去噪的图像。注意，当指定后，将忽略强度。The denoising_start参数特别有益于将此管道集成到“混合去噪器”多管道设置中，这在第增强图像质量部分中详细说明。
• denoising_end （浮点数，可选）— 当指定时，确定在有意提前终止前，整个去噪过程的完成比例（介于 0.0 和 1.0 之间）。因此，返回的样本仍然保留相当数量的噪声（约需要最终的 20% 的时间步长），应该由一个设置 denoising_start 为 0.8 的后续流水线进行去噪，以便只去噪调度器的最后 20%。应当在此流水线作为“去噪器混合”的多流水线设置的组成部分时使用 denoising_end 参数，详细说明请参见 refining image quality。
• guidance_scale （浮点数，可选，默认为 7.5）— 在 Classifier-Free Diffusion Guidance 中定义的引导尺度。 guidance_scale 定义为 Imagen 论文 公式 2 中的 w。引导尺度通过设置 guidance_scale > 1 启用。更高的引导尺度鼓励生成与文本代码 prompt 密切相关的图像，通常以牺牲图像质量为代价。
• negative_prompt (str 或 List[str], 选择性) — 不引导图像生成的提示或提示列表。如未定义，则需要传递 negative_prompt_embeds。当未使用引导（即当 guidance_scale 小于 1）时会被忽略。
• negative_prompt_2 (str 或 List[str], 选择性) — 不引导图像生成的提示或提示列表，发送至 tokenizer_2 和 text_encoder_2。如未定义，则在两个文本编码器中使用 negative_prompt。
• num_images_per_prompt (int, 选择性，默认为 1) — 每个提示生成图像的数量。
• eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中参数 eta (η)：https://arxiv.org/abs/2010.02502。仅适用于 schedulers.DDIMScheduler，其他情况将被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 一个或多个 torch 生成器，用于使生成结果可预测。
• latents (torch.Tensor, 可选) — 预生成的噪声潜变量，样本来自高斯分布，用作图像生成的输入。可用于用不同的提示调整相同的生成。如果不提供，将使用提供的随机 generator 生成一个潜变量张量。
• prompt_embeds (torch.Tensor，可选）— 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，文本嵌入将根据prompt输入参数生成。
• negative_prompt_embeds (torch.Tensor，可选）— 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将根据negative_prompt输入参数生成负文本嵌入。
• pooled_prompt_embeds (torch.Tensor，可选）— 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将根据prompt输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负池化文本嵌入。可以用来轻松调整文本输入，例如提示权重。如果未提供，将从输入参数 negative_prompt 生成池化负嵌入。ip_adapter_image — (PipelineImageInput, 可选)：与 IP 适配器一起工作的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — 为 IP-适配器预生成的图像嵌入。它应该是一个数量与 IP-适配器数量相同的列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。它应该包含 do_classifier_free_guidance 设置为 True 时使用的负图像嵌入。如果未提供，嵌入将从输入参数 ip_adapter_image 计算得出。
• output_type (str, 可选，默认为 "pil") — 生成图像的输出格式。从 PIL: PIL.Image.Image 或 np.array 中选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 对象而不是普通元组。
• cross_attention_kwargs (dict, 可选) — 一个字典，如果指定，将被传递到 AttentionProcessor，如定义在 diffusers.models.attention_processor 中 self.processor。
• guidance_rescale (float, 可选, 默认为 0.0) — 由Common Diffusion Noise Schedules and Sample Steps are Flawed 提出的 Guidance rescale 因子，在 Common Diffusion Noise Schedules and Sample Steps are Flawed 公式中定义的 guidance_scale 是16方程中的φ。Guidance rescale因子可以解决使用零端点SNR时的过度曝光问题。
• original_size (元组[int]，可选，默认为(1024, 1024)) — 如果original_size和target_size不同，则图像看起来会被下采样或上采样。《original_size》未指定时默认为(高度, 宽度)。是SDXL微条件的一部分，如第2.2节所述https://huggingface.co/papers/2307.01952。
• crops_coords_top_left (元组[int]，可选，默认为(0, 0)) — 可以使用crops_coords_top_left生成从crops_coords_top_left位置向下裁剪的图像。将crops_coords_top_left设置为(0, 0)，通常可以获得中心位置良好的图像。是SDXL微条件的一部分，如第2.2节所述https://huggingface.co/papers/2307.01952。
• target_size (元组[int]，可选，默认为(1024, 1024)) — 对于大多数情况，将target_size设置为期望的图像高度和宽度。如果未指定，它将默认为(高度, 宽度)。是SDXL微条件的一部分，如第2.2节所述https://huggingface.co/papers/2307.01952。
• aesthetic_score (float, 可选, 默认为6.0) — 用于通过影响正面文本条件来模拟生成图像的美学评分。是SDXL的微条件化的一部分，如2.2节所述的https://huggingface.co/papers/2307.01952。
• negative_aesthetic_score (float, 可选, 默认为2.5) — 是SDXL的微条件化的一部分，如2.2节所述的https://huggingface.co/papers/2307.01952。可用于通过影响负面文本条件来模拟生成图像的美学评分。
• clip_skip (int, 可选) — 跳过CLIP计算提示嵌入时的层数。值为1表示将使用预最终层的输出进行提示嵌入的计算。
• callback_on_step_end （Callable，PipelineCallback，MultiPipelineCallbacks，可选）—在每个推理中降噪步骤结束时被调用的函数或PipelineCallback或MultiPipelineCallbacks的子类。带有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs将包括由callback_on_step_end_tensor_inputs指定的所有张量的列表。
• callback_on_step_end_tensor_inputs （List，可选）—为callback_on_step_end函数指定的张量输入列表。列表中指定的张量将以callback_kwargs参数传递。您只能包含位于您的管道类._callback_tensor_inputs属性中列出的变量。
• pag_scale （float，可选，默认为3.0）—扰动注意力引导的缩放因子。如果设置为0.0，则不使用扰动注意力引导。
• pag_adaptive_scale (float, 可选, 默认为0.0) — 用于扰动注意力引导的自适应缩放因子。如果设置为0.0，则使用pag_scale。

~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput如果return_dict为True，否则为`tuple`。当返回`tuple`时，第一个元素是一个包含生成图像的列表。

参数

• prompt (str或List[str], 可选) — 要编码的提示
• prompt_2 (str 或 List[str]，可选）— 要发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定义，将使用两个文本编码器的设备 — （torch.device）：torch 设备
• num_images_per_prompt (int） — 每个提示应生成的图像数量
• do_classifier_free_guidance (bool）— 是否使用分类器自由引导
• negative_prompt (str 或 List[str]，可选) — 不用于引导图像生成的提示或提示列表。如果没有定义，则必须传递 negative_prompt_embeds。在不使用引导（即当 guidance_scale 小于 1 时）的情况下将忽略。
• negative_prompt_2 (str 或 List[str]，可选) — 将不用于引导图像生成的提示或提示列表发送到 tokenizer_2 和 text_encoder_2。如果没有定义，则两个文本编码器将都使用 negative_prompt。
• prompt_embeds (torch.Tensor，可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，将根据 negative_prompt 输入参数生成 negative_prompt_embeds。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的文本池化嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，将根据 prompt 输入参数生成文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本池化嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，将根据 negative_prompt 输入参数生成负文本嵌入。
• lora_scale (float, 可选) — 当加载LoRA层时，将应用于文本编码器的所有LoRA层的LoRA缩放比例。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的CLIP层的数量。1的值表示将使用预最终层的输出计算提示嵌入。

参数

• w (torch.Tensor) — 根据指定的指导缩放比例生成嵌入向量，以随后丰富时间步嵌入。
• embedding_dim （整数，可选，默认值512） — 生成嵌入的维度。
• dtype （torch.dtype，可选，默认值torch.float32） — 生成嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• prompt (str 或 List[str], 可选) — 引导图像生成的提示或提示列表。如果未定义，需要传递 prompt_embeds。
• prompt_2 (str 或 List[str]，可选) — 需要发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如未定义，则在两种文本编码器中使用 prompt。
• image (PIL.Image.Image) — Image 或表示图像批次的张量，将进行修复。即，图像的部分将被 mask_image 遮盖，并根据 prompt 进行重绘。
• mask_image (PIL.Image.Image) — Image 或表示图像批次的张量，用于遮盖 image。遮罩中的白色像素将被重绘，而黑色像素将被保留。如果 mask_image 是 PIL 图像，则在使用之前将转换为单通道（亮度）。如果是张量，则应包含一个通道（L），而不是 3 个通道，因此预期的形状应为 (B, H, W, 1)。
• height （int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor） — 生成的图像的像素高度。默认设置为1024以获得最佳效果。低于512像素的宽度在 stabilityai/stable-diffusion-xl-base-1.0 和未针对低分辨率特别微调的检查点中表现不佳。
• width （int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor） — 生成的图像的像素宽度。默认设置为1024以获得最佳效果。低于512像素的宽度在 stabilityai/stable-diffusion-xl-base-1.0 和未针对低分辨率特别微调的检查点中表现不佳。
• padding_mask_crop （int，可选，默认为 None） — 应用到图像和蒙版图像的裁剪边界的尺寸。如果为 None，则不对图像和蒙版图像应用裁剪。如果 padding_mask_crop 不是 None，则首先找到一个具有与图像相同宽高比的区域，并包含所有已蒙版区域，然后基于 padding_mask_crop 扩大该区域。然后根据扩展的区域裁剪图像和蒙版图像，并在插入前将其调整到原始图像大小。这在蒙版区域较小而图像较大且包含插入不相关信息（如背景）时非常有用。
• strength （float，可选，默认为 0.9999） — 概念上表示将变换所选部分时对参考层的程度。必须在 0 和 1 之间。将以 image 作为起点，strength 越大，添加的噪声越多。《image》将用作起点，并随着 strength 的增大而加入更多噪声。去噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声将最大，去噪过程将运行到 num_inference_steps 中指定的完整迭代次数。因此，1 的值本质上忽略了标记部分的参考 image。请注意，在将 denoising_start 声明为整数时，将忽略 strength 的值。
• num_inference_steps （int，可选，默认为50）——降噪步骤的数量。更多的降噪步骤通常会导致图像质量更高，但推理速度会变慢。
• timesteps （List[int]，可选）——用于具有set_timesteps方法的timesteps参数调度器的降噪过程的自定义时间步。如果没有定义，当传递num_inference_steps时将使用默认行为。必须按降序排列。
• sigmas （List[float]，可选）——用于支持其set_timesteps方法中的sigmas参数的调度器的降噪过程的自定义sigma。如果没有定义，当传递num_inference_steps时将使用默认行为。
• denoising_start （float，可选）— 当指定时，表示在启动之前要绕过的总去噪过程的分数（介于0.0和1.0之间）。因此，将跳过去噪过程的初始部分，并假设传递的image是部分去噪图像。请注意，当指定此值时，将忽略强度。当这个管道集成到“去噪器混合”多管道设置中时，denoising_start参数尤其有益，如完善图像输出中所述。
• denoising_end （float，可选）— 当指定时，确定在故意提前终止之前应完成的总去噪过程的分数（介于0.0和1.0之间）。因此，返回的样本将仍然保留大量噪声（约最终20%的时间步长仍需），应由设置为denoising_start为0.8的后续管道去噪，以仅去噪调度器的最后20%。当此管道作为“去噪器混合”多管道设置的组成部分时，应理想地使用denoising_end参数，如完善图像输出中所述。
• guidance_scale (float，可选，默认值为7.5) — 在 无分类器的扩散引导 中定义的引导尺度。guidance_scale 定义为 Imagen 论文 公式 2 中的 w。引导尺度通过设置 guidance_scale > 1 启用。更高的引导尺度会鼓励生成与文本 prompt紧紧相连的图像，通常会以降低图像质量为代价。
• negative_prompt (str 或 List[str]，可选) — 不用于引导图像生成的提示或提示词。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时（即当 guidance_scale 小于 1 时）将被忽略。
• negative_prompt_2 (str 或 List[str]，可选) — 不用于引导图像生成的提示或提示词，将发送到 tokenizer_2 和 text_encoder_2。如果未定义，则使用 negative_prompt 用于两个文本编码器。
• prompt_embeds (torch.Tensor，可选）——预先生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果不提供，将根据prompt输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor，可选）——预先生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果不提供，将根据negative_prompt输入参数生成负文本嵌入。
• pooled_prompt_embeds (torch.Tensor，可选）——预先生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果不提供，将根据prompt输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, optional) — 预生成的负池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，将从输入参数 negative_prompt 生成池化的负提示嵌入。ip_adapter_image — (PipelineImageInput, optional)：可选的图像输入，用于与 IP 适配器一起使用。
• ip_adapter_image_embeds (List[torch.Tensor], optional) —为 IP-适配器预先生成的图像嵌入。它应该是一个长度与 IP-适配器数量相同的列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果将 do_classifier_free_guidance 设置为 True，它应包含负图像嵌入。如果未提供，将从输入参数 ip_adapter_image 计算嵌入。
• num_images_per_prompt (int, optional, defaults to 1) — 每个提示要生成的图像数量。
• eta (float, 可选,默认为0.0) — 对应于DDIM论文中的参数eta（η）：[链接](https://arxiv.org/abs/2010.02502)。仅在schedulers.DDIMScheduler中适用，其他将被忽略。
• generator (torch.Generator, 可选) — 用来使生成过程确定性的一个或多个torch 生成器。
• latents (torch.Tensor, 可选) — 预先生成的噪声潜向量，从高斯分布中抽取，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果不提供，将使用提供的随机 generator 生成潜向量。
• output_type （str，可选，默认为 "pil"）— 生成的图像的输出格式。选择 PIL： PIL.Image.Image 或 np.array。
• return_dict （bool，可选，默认为 True）— 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• cross_attention_kwargs （dict，可选）— 如果指定，则以字典的形式传递给定义在 self.processor 下的 AttentionProcessor，请参阅 diffusers.models.attention_processor。
• original_size （tuple[int]，可选，默认为(1024, 1024)） - 如果original_size与target_size不同，则图像看起来会被下采样或上采样。如果没有指定，默认为(height, width)。属于SDXL的微条件，见第2.2节。[链接]。
• crops_coords_top_left （tuple[int]，可选，默认为(0, 0)） - 使用crops_coords_top_left可以从crops_coords_top_left位置向下“裁剪”图像。通常通过将crops_coords_top_left设置为(0, 0)来获得居中且较好的图像。属于SDXL的微条件，见第2.2节。[链接]。
• target_size （tuple[int]，可选，默认为(1024, 1024)） - 对于大多数情况，应将target_size设置为所需图像的高度和宽度。如果没有指定，将默认为(height, width)。属于SDXL的微条件，见第2.2节。[链接]。
• negative_original_size (元组[int]，可选，默认为(1024, 1024)) — 基于特定图像分辨率对生成过程进行条件化。SDXL微条件化的一部分，如在第2.2节中所述 https://huggingface.co/papers/2307.01952。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• negative_crops_coords_top_left (元组[int]，可选，默认为(0, 0)) — 根据特定的裁剪坐标对生成过程进行条件化。SDXL微条件化的一部分，如在第2.2节中所述 https://huggingface.co/papers/2307.01952。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• negative_target_size (Tuple[int], 可选, 默认为 (1024, 1024)) — 根据目标图像分辨率对生成过程进行负向条件化的参数。在大多数情况下应与 target_size 保持相同。SDXL的微条件部分，如第2.2节所述https://huggingface.co/papers/2307.01952。有关更多信息，请参阅此问题线程：https://github.com/huggingface/diffusers/issues/4208。
• aesthetic_score (float, 可选, 默认为 6.0) — 通过影响正文本条件来模拟生成的图像的美学分数。为SDXL的微条件部分，如第2.2节所述https://huggingface.co/papers/2307.01952。
• negative_aesthetic_score (float, 可选, 默认为 2.5) — 如第2.2节所述，作为SDXL的微条件部分。可用于通过影响负文本条件来模拟生成的图像的美学分数。
• clip_skip （int，可选） — 在计算提示嵌入时跳过的 CLIP 层数数。值为1表示使用预最终层的输出计算提示嵌入。
• callback_on_step_end （Callable，PipelineCallback，MultiPipelineCallbacks，可选） — 在推理过程中每个去噪步骤结束时调用的函数，或PipelineCallback或MultiPipelineCallbacks的子类。具有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs将包括由callback_on_step_end_tensor_inputs指定的所有张量的列表。
• callback_on_step_end_tensor_inputs （List，可选） — callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。只能包含您的管道类._callback_tensor_inputs属性中列出的变量。
• pag_scale （float，可选，默认为3.0） — 对于扭曲的注意力引导的缩放因子。如果设置为0.0，则不会使用扭曲的注意力引导。
• pag_adaptive_scale （float，可选，默认为0.0） — 对于扭曲的注意力引导的自适应缩放因子。如果设置为0.0，则使用 pag_scale。

~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput if return_dict is True, otherwise a tuple. 当返回一个元组时，第一个元素是包含生成的图像的列表。

参数

• prompt (str 或 List[str]，可选) — 待编码的提示
• prompt_2 (str 或 List[str]，可选) — 发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果未定义，则使用两个字段设备 —— (torch.device）：torch 设备
• num_images_per_prompt (int) — 每个提示应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用无分类器引导
• negative_prompt (str 或 List[str]，可选）— 不用于引导图像生成提示或提示列表。如果没有定义，则需要传递 negative_prompt_embeds。在使用引导（即当 guidance_scale 小于 1）时不予考虑。
• negative_prompt_2 (str 或 List[str]，可选）— 不用于引导图像生成且将发送到 tokenizer_2 和 text_encoder_2 的提示或提示列表。如果没有定义，则在两个文本编码器中同时使用 negative_prompt。
• prompt_embeds (torch.Tensor，可选）— 预生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds （torch.Tensor，可选）— 预生成负文本嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，则从negative_prompt输入参数生成negative_prompt_embeds。
• pooled_prompt_embeds （torch.Tensor，可选）— 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，则从prompt输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds （torch.Tensor，可选）— 预生成的负池化文本嵌入。可用于轻松调整文本输入，例如提示权重。如未提供，则从negative_prompt输入参数生成负池化提示嵌入。
• lora_scale (float, 可选) — 如果已加载LoRA层，则将应用于文本编码器中所有LoRA层的LoRA比例。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的CLIP层的数量。值为1表示将使用预最终层的输出进行提示嵌入计算。

参数

• w (torch.Tensor) — 根据指定的指导比例生成嵌入向量，以便随后丰富时间步嵌入。
• embedding_dim (int, 可选, 默认为 512) — 要生成的嵌入维度。
• dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成的嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。