参数

• prompt (str 或 List[str]，可选) — 引导图像生成的提示或提示列表。如果没有定义，则需要传递 prompt_embeds。
• image （torch.Tensor，PIL.Image.Image，np.ndarray，List[torch.Tensor]，List[PIL.Image.Image]，List[np.ndarray]，— List[List[torch.Tensor]]，List[List[np.ndarray]] 或 List[List[PIL.Image.Image]]）：提供给unet生成引导的控制网输入条件。如果指定类型为torch.Tensor，则直接作为是传递给控制网的。PIL.Image.Image也可以作为图片接收。输出图片的尺寸默认与image相同。如果传递高度和/或宽度，则相应调整图片的大小。如果在init中指定多个ControlNets，则图像必须作为列表传递，以便列表的每个元素都可以正确地分批输入单个ControlNet。当prompt是一个列表，并且为单个ControlNet传递了图像列表时，每个图像将与prompt列表中的每个提示配对。这也适用于多个ControlNets，可以为每个提示和每个ControlNet传递图像列表的列表以进行批量处理。
• height （int，可选，默认为self.unet.config.sample_size * self.vae_scale_factor）— 生成图片的像素高度。
• width （int，可选，默认为self.unet.config.sample_size * self.vae_scale_factor）— 生成图片的像素宽度。
• num_inference_steps (int, 可选, 默认为50) — 噪声消除步骤的数量。通常，更多的噪声消除步骤会使图像质量更高，但会以较慢的推理速度为代价。
• timesteps (List[int], 可选) — 使用带有支持在set_timesteps方法中具有timesteps参数的调度程序进行降噪过程的自定义timesteps。如果没有定义，当传递num_inference_steps时将使用默认行为。必须按降序排列。
• sigmas (List[float], 可选) — 使用带有支持在set_timesteps方法中具有sigmas参数的调度程序进行降噪过程的自定义sigma。如果没有定义，当传递num_inference_steps时将使用默认行为。
• guidance_scale (float, optional, defaults to 7.5) — 较高的引导比例值会鼓励模型生成与文本 prompt 密切相关的图像，牺牲图像质量。当 guidance_scale > 1 时，引导比例启用。
• negative_prompt (str or List[str], optional) — 指导不包含在图像生成中的提示或提示列表。如果未定义，则需要传递 negative_prompt_embeds。当不使用引导（guidance_scale < 1）时忽略。
• num_images_per_prompt (int, optional, defaults to 1) — 每个提示生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 对应于DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator，用于使生成过程确定。
• latents (torch.Tensor, 可选) — 预生成的从高斯分布中采集的噪声 latents，用于图像生成的输入。可用于使用不同的提示调整相同的生成。如果不提供，则通过提供的随机 generator 生成 latents 张量。
• prompt_embeds (torch.Tensor，可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor，可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。ip_adapter_image — （PipelineImageInput，可选）：与 IP 适配器一起工作时可选的图像输入。
• ip_adapter_image_embeds (List[torch.Tensor]，可选) — IP-适配器的预生成图像嵌入。它应该是一个与 IP 适配器数量相同的长度列表。每个元素应该是一个形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，它应该包含负图像嵌入。如果未提供，则从 ip_adapter_image 输入参数计算嵌入。
• output_type (str, 可选, 默认为 "pil") — 生成的图像的输出格式。选择 PIL.Image 或 np.array。
• return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• callback (Callable, 可选) — 在推理过程中每隔 callback_steps 步调用一次的函数。函数使用以下参数调用： callback(step: int, timestep: int, latents: torch.Tensor)。
• callback_steps (int, 可选, 默认为1) — 调用 callback 函数的频率。如果未指定，则在每一步调用回调函数。
• cross_attention_kwargs (dict, 可选) — 一个kwargs字典，如果指定，则传递给 AttentionProcessor，如 self.processor 中定义.
• controlnet_conditioning_scale (float 或 List[float], 可选, 默认为1.0) — 在将ControlNet的输出添加到原始 unet 的残差之前，将它们乘以 controlnet_conditioning_scale。如果在 init 中指定了多个ControlNet，您可以将相应的缩放级别作为列表设置。
• guess_mode (bool, 可选, 默认为 False) — ControlNet 编码器即使在您删除所有提示的情况下也会尝试识别输入图像的内容。建议使用 3.0 到 5.0 之间的 guidance_scale 值。
• control_guidance_start (float 或 List[float], 可选, 默认为 0.0) — ControlNet 开始应用的步骤总数的百分比。
• control_guidance_end (float 或 List[float], 可选, 默认为 1.0) — ControlNet 停止应用的步骤总数的百分比。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的CLIP层数。数值1表示预最终层的输出将用于计算提示嵌入。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 在推理过程中每个去噪步骤结束时调用的函数或PipelineCallback或MultiPipelineCallbacks的子类。带有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包括由callback_on_step_end_tensor_inputs指定的所有张量的列表。
• callback_on_step_end_tensor_inputs (List, 可选) — 为callback_on_step_end函数指定的张量输入列表。列表中的张量将作为callback_kwargs参数传递。你只能包含你的管道类._callback_tensor_inputs属性中列出的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是一个包含生成的图像的列表，第二个元素是一个包含 bool 值的列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）的内容。

参数

• slice_size (str 或 int，可选，默认为 "auto"）—当为 "auto" 时，将输入的注意力头数减半，因此会将注意力计算分为两步进行。如果为 "max"，将保存最大内存，每次只运行一个切片。如果提供数字，使用 attention_head_dim // slice_size 个切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, optional) — 用于替换默认的 None 操作符，以作为 xFormers 的 memory_efficient_attention() 函数的 op 参数。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
• token (str 或 List[str]，可选) — 覆盖用于文本倒置权重的token。如果pretrained_model_name_or_path是列表，则token也必须是长度相等的列表。
• text_encoder (CLIPTextModel，可选) — 冻结的文本编码器 (clip-vit-large-patch14)。如果没有指定，函数将使用self.tokenizer。
• tokenizer (CLIPTokenizer，可选) — 用于标记文本的 CLIPTokenizer。如果没有指定，函数将使用self.tokenizer。
• weight_name (str, 可选) — 自定义权重文件的名称。以下情况下应使用此选项：
  • 已保存的文本反转文件为 🤗 Diffusers 格式，但以特定的权重名称保存，例如 text_inv.bin。
  • 保存的文本反转文件为 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可选) — 如果不使用标准缓存，则缓存预训练模型配置的目录路径。
• force_download (bool, 可选, 默认为 False) — 是否强制下载模型权重和配置文件，如果存在缓存版本则覆盖。
• proxies （Dict[str, str]，可选）—— 一个按协议或端点使用的代理服务器字典，例如， {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求中都被使用。
• local_files_only （bool，可选，默认为False）—— 是否只加载本地模型权重和配置文件。如果设置为True，则模型不会从Hub下载。
• token （str 或 可选）—— 用于远程文件HTTP携带身份验证的令牌。如果设置为True，将使用从diffusers-cli login生成（存储在~/.huggingface）的令牌。
• 修订版本 (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是一个分支名称、标签名称、提交id或Git允许的任何标识符。
• 子目录 (str, 可选, 默认为 "") — 在Hub或本地较大的模型仓库中模型文件的子目录位置。
• 镜像 (str, 可选) — 如果在中国下载模型，用于解决可访问性问题。我们不保证源的时间性或安全性，您应参考镜像站以获取更多信息。

参数

• prompt (字符串 或 字符串列表，可选) — 需要编码的prompt设备 — torch.device
• num_images_per_prompt (int) — 每个提示应生成的图片数量
• do_classifier_free_guidance (bool) — 是否使用分类器自由指导
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示或提示列表。如果没有定义，必须传递 negative_prompt_embeds。在没有使用引导的情况下（即，如果 guidance_scale 小于 1 则忽略）。
• prompt_embeds （torch.Tensor，可选）— 预生成的文本嵌入。可用于轻松调整文本输入，例如调整提示权重。如果没有提供，文本嵌入将从 prompt 输入参数生成。
• negative_prompt_embeds （torch.Tensor，可选）— 预生成的负文本嵌入。可用于轻松调整文本输入，例如调整提示权重。如果没有提供，负文本嵌入将从 negative_prompt 输入参数生成。
• lora_scale （float，可选）— 在加载 LoRA 层的情况下，将应用于文本编码器的所有 LoRA 层的 LoRA 尺度。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的CLIP层数。值为1表示将使用预最终层的输出用于计算提示嵌入。

参数

• w (torch.Tensor) — 生成具有指定引导缩放率的嵌入向量，然后用它来丰富时间步嵌入。
• embedding_dim (int, optional, 默认为512) — 要生成嵌入的维度。
• dtype (torch.dtype, optional, 默认为torch.float32) — 生成的嵌入的数据类型。

嵌入向量，形状为(len(w), embedding_dim)。

参数

• prompt (str 或 List[str]，可选)- 用于指导图像生成的提示或提示列表。如果未定义，需要传递 prompt_embeds。
• image (torch.Tensor，PIL.Image.Image，np.ndarray，List[torch.Tensor]，List[PIL.Image.Image]，List[np.ndarray]，- List[List[torch.Tensor]]，List[List[np.ndarray]] 或 List[List[PIL.Image.Image]])- 作为图像生成过程起点的初始图像。也可以接受作为 image 的图像隐式，如果直接传递隐式，则不再进行编码。
• control_image (torch.Tensor，PIL.Image.Image，np.ndarray，List[torch.Tensor]，List[PIL.Image.Image]，List[np.ndarray]，- List[List[torch.Tensor]]，List[List[np.ndarray]] 或 List[List[PIL.Image.Image]])- 提供给 `unet` 的 ControlNet 输入条件以提供生成指导。如果指定类型为 `torch.Tensor`，则按原样传递给 ControlNet。PIL.Image.Image 也可以接受作为图像。输出图像的尺寸默认为 `image` 的尺寸。如果传递高度和/或宽度，则根据 `image` 的尺寸进行相应调整。如果在 `init` 中指定了多个 ControlNet，则必须将图像作为列表传递，以便列表的每个元素都可以正确分批处理并输入到单个 ControlNet。
• 高度 (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。
• 宽度 (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。
• 强度 (float, 可选，默认为 0.8) — 表示将参考 image 转换的程度。必须在 0 和 1 之间。image 作为起始点使用，而添加的噪声越多，则 strength 越高。去噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声最大，去噪过程运行 num_inference_steps 中指定的完整迭代次数。值为 1 实际上忽略了 image。
• num_inference_steps (int, 可选，默认值 50) — 消噪步骤的数量。更多的消噪步骤通常会导致图像质量更高，但推理速度会减慢。
• guidance_scale (float, 可选，默认值 7.5) — 较高的指导尺度值会鼓励模型生成与文本 prompt 密切相关的图像，但会牺牲图像质量。当 guidance_scale > 1 时启用指导尺度。
• negative_prompt (str 或 List[str], 可选) — 指导不在图像生成中包含的提示或提示列表。如果没有定义，则需要传递 negative_prompt_embeds。未使用指导时（guidance_scale < 1）将被忽略。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个提示产生的图片数量。
• eta (float, 可选, 默认为 0.0) — 对应于DDIM论文中的参数eta（η）。仅适用于DDIMScheduler，在其他调度器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 用于生成确定性的torch.Generator。
• latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成的噪音潜变量，用于图像生成的输入。可以用来调整不同提示下的相同生成。如果没有提供，将使用提供的随机 generator 生成潜变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果没有提供，则从 prompt 输入参数中生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示权重）。如果没有提供，则从 negative_prompt 输入参数生成负文本嵌入。ip_adapter_image — (PipelineImageInput, 可选)：用于与IP适配器一起工作的可选图像输入。
• ip_adapter_image_embeds (torch.Tensor列表，可选) — 为IP-Adapter预生成的图像嵌入。它应该是一个长度与IP-adapter数量相同的列表。每个元素应该是形状为(batch_size, num_images, emb_dim)的张量。如果有设置do_classifier_free_guidance为True，则应包含负图像嵌入。如果没有提供，则从输入参数ip_adapter_image中计算嵌入。
• output_type (str，可选，默认为"pil") — 生成的图像输出格式。可选择PIL.Image或np.array。
• return_dict (bool，可选，默认为True) — 是否返回StableDiffusionPipelineOutput对象而不是一个原始元组。
• cross_attention_kwargs (dict, 可选) — 一个kwargs字典，如果指定，则传递给定义为 self.processor 的 AttentionProcessor。
• controlnet_conditioning_scale (float 或 List[float], 可选, 默认为 1.0) — 在将 ControlNet 的输出加到原始 unet 的残差之前，将输出乘以 controlnet_conditioning_scale。如果在 init 中指定了多个 ControlNets，您可以将相应的比例作为列表设置。
• guess_mode (bool, 可选, 默认为 False) — 即使移除了所有提示，ControlNet 编码器也尝试识别输入图像的内容。建议使用 3.0 到 5.0 之间的 guidance_scale 值。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 一个在推理过程中每个去噪步骤结束时被调用的函数或PipelineCallback或MultiPipelineCallbacks的子类。具有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。`callback_kwargs`将包含由`callback_on_step_end_tensor_inputs`指定的所有张量的列表。
• callback_on_step_end_tensor_inputs (列表, 可选) — callback_on_step_end函数的输入张量列表。列表中指定的张量将被作为 callback_kwargs 参数传递。您只能包括属于您管道类._callback_tensor_inputs属性的变量列表的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是一个包含生成的图像的列表，第二个元素是一个包含 bool 值的列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）的内容。

参数

• slice_size (str 或 int，可选，默认为 "auto"）— 当设置为 "auto" 时，将输入数组的尺寸减半，以两步计算注意力。如果设置为 "max"，每次只执行一个 slice，从而节省最多内存。当提供数字时，使用的 slice 数量为 attention_head_dim // slice_size。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, 可选) — 覆盖默认的 None 操作符，以作为 xFormers 的 memory_efficient_attention() 函数的 op 参数使用。

参数

• token （str 或 List[str]，可选） — 覆盖用于文本反演权重的令牌。如果 `pretrained_model_name_or_path` 是一个列表，那么 `token` 也必须是一个长度相等的列表。
• text_encoder （CLIPTextModel，可选） — 冻结的文本编码器（clip-vit-large-patch14）。如果未指定，函数将使用自带的词元器。
• tokenizer （CLIPTokenizer，可选） — 用于标记文本的 CLIPTokenizer。如果未指定，函数将使用自带的词元器。
• weight_name (str, 可选) — 自定义权重文件的名称。当以下情况发生时使用：
  • 保存的文本反转文件在 🤗 Diffusers 格式，但保存了特定的权重名称，例如 text_inv.bin。
  • 保存的文本反转文件在 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可选) — 如果未使用标准缓存，则预训练模型配置缓存的目录。
• force_download (bool, 可选，默认为 False) — 是否强制重新下载模型权重和配置文件，覆盖现有缓存版本（如果存在）。
• proxies (Dict[str, str], 可选) — 使用协议或端点指定的代理服务器的字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每次请求中使用。
• local_files_only (bool, 可选, 默认 False) — 是否只加载本地的模型权重和配置文件。如果设置为 True，则模型不会从 Hub 下载。
• token (str 或 可选) — 用于远程文件 HTTP 触发授权的令牌。如果设置为 True，则使用从 diffusers-cli login（存储在 ~/.huggingface）生成的令牌。
• 修订版 (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• 子文件夹 (str, 可选, 默认为 "") — 在 Hub 或本地更大模型仓库中的模型文件所在子文件夹位置。
• 镜像 (str, 可选) — 如果在中国下载模型，使用的镜像源以解决访问问题。我们不对源的时间性和安全性做出保证，您应参考镜像网站获取更多信息。

参数

• prompt (str 或 List[str], 可选) — 待编码的提示
• num_images_per_prompt (int) — 每个提示应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用分类器自由指导
• negative_prompt (str 或 List[str]，可选） — 不用于指导图像生成的提示或提示列表。如果没有定义，则需要传递negative_prompt_embeds。在不使用指导时（即当 guidance_scale 小于 1 时）将被忽略。
• prompt_embeds (torch.Tensor，可选） — 预生成的文本嵌入。可以用于轻松调整文本输入，例如提示权重。如果没有提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor，可选） — 预生成的负文本嵌入。可以用于轻松调整文本输入，例如提示权重。如果没有提供，则从 negative_prompt 输入参数生成负文本嵌入。
• lora_scale （float，可选）— 当加载LoRA层时，将应用于文本编码器中所有LoRA层的LoRA缩放值。
• clip_skip （int，可选）— 在计算提示嵌入时要从CLIP跳过的层数。值为1表示将使用预最终层的输出进行计算提示嵌入。

参数

• prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示列表。如果没有定义，需要提供 prompt_embeds。
• image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], — List[PIL.Image.Image], 或 List[np.ndarray]): Image、NumPy 数组或张量，代表要使用的图像批次的起始点。对于 NumPy 数组和 PyTorch 张量，预期值范围是 [0, 1]。如果是张量或张量列表，则预期形状应为 (B, C, H, W) 或 (C, H, W)。如果是 NumPy 数组或数组列表，则预期形状应为 (B, H, W, C) 或 (H, W, C)。它还可以接受图像滞后作为 image，但如果是直接传递滞后，则不会再次编码。
• mask_image （torch.Tensor，PIL.Image.Image，np.ndarray，List[torch.Tensor]，— List[PIL.Image.Image]，或 List[np.ndarray]）：表示要遮罩 image 的图像批次的 Image、NumPy 数组或张量。可以在遮罩中重新绘制白色像素，而保留黑色像素。如果 mask_image 是 PIL 图像，在使用前将其转换为单通道（亮度）。如果是 NumPy 数组或 PyTorch 张量，则应包含一个颜色通道（L），而不是 3，因此 PyTorch 张量的预期形状为 (B, 1, H, W)，(B, H, W)，(1, H, W)，(H, W)。NumPy 数组的形状可能为 (B, H, W, 1)，(B, H, W)，(H, W, 1) 或 (H, W)。
• control_image （torch.Tensor，PIL.Image.Image，List[torch.Tensor]，List[PIL.Image.Image]，— List[List[torch.Tensor]]，或 List[List[PIL.Image.Image]]）：为 unet 生成提供指导的 ControlNet 输入条件。如果指定的类型为 torch.Tensor，则直接将其传递给 ControlNet。PIL.Image.Image 也可以接受作为图像。输出图像的尺寸默认为 image 的尺寸。如果传入高度和/或宽度，则相应地调整 image 的大小。如果在 init 中指定了多个 ControlNets，则必须将图像作为列表传递，以便正确地将列表中的每个元素批次输入单个 ControlNet。
• height (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（像素）。
• width (int, 可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（像素）。
• padding_mask_crop (int, 可选，默认为 None) — 对图像及其掩码进行修剪的边框大小。如果为 None，则不对图像和掩码图像进行修剪。如果 padding_mask_crop 不是 None，则首先找到一个与图像具有相同宽高比并包含所有掩码区域的矩形区域，并根据 padding_mask_crop 进行扩展。然后根据扩展区域裁剪图像和掩码图像，在尺寸调整回原始图像大小之前进行修复。这对于掩码区域小而图像大且包含不影响修复背景等无关信息是有用的。
• strength (float, 可选，默认为1.0) — 表示对参考 image 的变换程度。必须在0和1之间。将使用 image 作为起点，并添加更多噪声，当 strength 越高，添加的噪声就越多。降噪步数取决于初始添加的噪声量。当 strength 为1时，添加的噪声最大，降噪过程运行 num_inference_steps 中指定的全部迭代次数。1的值实际上忽略了 image。
• num_inference_steps (int, 可选，默认为50) — 降噪步骤的数量。更多的降噪步骤通常会导致图像质量更高，但推理会更慢。
• guidance_scale (float, 可选，默认为7.5) — 较高的引导尺度值会在降低图像质量的同时鼓励模型生成与文本 prompt 密切相关的图像。当 guidance_scale > 1 时，启用引导尺度。
• negative_prompt (str or List[str], 可选) — 导引图像生成时不包含内容的提示或提示列表。如果没有定义，需要传递 negative_prompt_embeds。在未使用指导的情况下（guidance_scale < 1）将被忽略。
• num_images_per_prompt (int, 可选, 默认为1) — 每个提示生成图像的数量。
• eta (float, 可选, 默认为0.0) — 与DDIM论文中的参数eta (η) 相对应。仅适用于DDIMScheduler，在其他调度器中将被忽略。
• generator (torch.Generator或List[torch.Generator] 可选) — 用于使生成过程确定性的torch.Generator。
• latents (torch.Tensor 可选) — 从高斯分布中预生成的噪声latents，作为图像生成的输入。可用于使用不同提示调整相同的生成。如果未提供，将使用提供的随机generator生成latents张量。
• prompt_embeds (torch.Tensor 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，将从prompt输入参数中生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。ip_adapter_image — (PipelineImageInput, 可选)：与 IP 适配器一起工作的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — 为 IP-Adapter 预生成的图像嵌入。它应该是一个长度与 IP-适配器数量相同的列表。每个元素应该是一个大小为（batch_size，num_images，emb_dim）的张量。如果 do_classifier_free_guidance 设置为 True，它应包含负图像嵌入。如果未提供，则从 ip_adapter_image 输入参数计算嵌入。
• output_type (str, 可选，默认为 "pil") — 生成的图像的输出格式。选择 PIL.Image 或 np.array。
• return_dict (bool, 可选, 默认为 True) — 是否返回StableDiffusionPipelineOutput而不是一个普通的元组。
• cross_attention_kwargs (dict, 可选) — 一个kwargs字典，如果指定，将被传递到self.processor中定义的AttentionProcessor。
• controlnet_conditioning_scale (float或List[float], 可选, 默认为0.5) — 在将ControlNet的输出添加到原始unet中的残差之前，将输出乘以controlnet_conditioning_scale。如果在init中指定了多个ControlNet，可以将相应的比例作为列表设置。
• guess_mode (bool, 可选, 默认为 False) — 当移除所有提示时，ControlNet 编码器尝试识别输入图像的内容。建议使用位于 3.0 到 5.0 之间的 guidance_scale 值。
• control_guidance_start (float 或 List[float], 可选, 默认为 0.0) — ControlNet 开始应用的步骤总数的百分比。
• control_guidance_end (float 或 List[float], 可选, 默认为 1.0) — ControlNet 停止应用的步骤总数的百分比。
• clip_skip (int, 可选) — 在计算提示嵌入时从 CLIP 跳过的层数。值为 1 表示将使用预最终层的输出计算提示嵌入。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 在推理过程中，每当去噪步骤结束时被调用的函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类。带有以下参数：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含根据 callback_on_step_end_tensor_inputs 指定的所有张量的列表。
• callback_on_step_end_tensor_inputs (, 可选) — callback_on_step_end 函数的输入张量列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含您的管道类 ._callback_tensor_inputs 属性中列出的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是一个包含生成的图像的列表，第二个元素是一个包含 bool 值的列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）的内容。

参数

• slice_size (str 或 int，可选，默认为 "auto") — 当 "auto" 时，将输入的注意力头数量减半，以便将注意力计算分为两步进行。如果 "max"，每次只运行一个切片，以最大程度地节省内存。如果提供了数字，使用 attention_head_dim // slice_size 的切片数量。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, 可选) — 覆盖默认的 None 操作符，将其用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

参数

• 预训练模型名称或路径 (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下任何一个或它们的列表：
  • 字符串，Hub上托管预训练模型的模型ID（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文本逆变换权重的目录的路径（例如 ./my_text_inversion_directory/）。
  • 包含文本逆变换权重的文件的路径（例如 ./my_text_inversions.pt）。
  • torch状态字典。
• token (str 或 List[str]，可选） — 重写用于文本逆变换权的token。如果 pretrained_model_name_or_path 是一个列表，那么 token 也必须是一个长度相等的列表。
• text_encoder (CLIPTextModel，可选） — 冻结的文本编码器（clip-vit-large-patch14）。如果不指定，函数将使用self.tokenizer。
• tokenizer (CLIPTokenizer, 可以省略) — 用于分词的CLIPTokenizer。如果没有指定，函数将使用self.tokenizer。
• weight_name (str, 可以省略) — 自定义权重文件的名字。当以下情况时使用此参数：
  • 保存的文本反转文件是🤗 Diffusers格式，但保存时使用了特定的权重名，例如text_inv.bin。
  • 保存的文本反转文件是Automatic1111格式。
• cache_dir (Union[str, os.PathLike], 可以省略) — 当不使用标准缓存时，预训练模型配置缓存的路径。
• force_download (bool, 可选，默认为 False) — 是否强制重新下载模型权重和配置文件，如存在缓存版本则覆盖。
• proxies (Dict[str, str], 可选) — 使用协议或端点指定的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理将在每次请求中使用。
• local_files_only (bool, 可选，默认为 False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• token (str 或 bool，可选） — 用来作为HTTP载体授权用于远程文件的令牌。如果为 True，则使用由 diffusers-cli login 生成（存储在 ~/.huggingface）的令牌。
• revision (str，可选，默认为 "main"） — 要使用的特定模型版本。它可以是一个分支名称、一个标签名称、一个提交id或Git允许的任何标识符。
• subfolder (str，可选，默认为 ""） — 在Hub或本地更大模型存储库中模型文件的子文件夹位置。
• mirror (str, 可选) — 镜像源地址，用于解决在中国下载模型时可能出现的可访问性问题。我们不保证源的及时性和安全性，请参阅镜像站点获取更多信息。

参数

• prompt (str 或 List[str], 可选) — 要编码的提示符设备 — (torch.device)：torch 设备
• num_images_per_prompt (int) — 每个提示应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用分类器无关的指导
• negative_prompt (str 或 List[str], 可选) — 不指导图像生成的提示或提示列表。如果未定义，则必须传递 negative_prompt_embeds。在没有使用指导的情况（即如果 guidance_scale 小于 1）将被忽略。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果没有提供，将从 negative_prompt 输入参数生成负文本嵌入。
• lora_scale (float, 可选) — 如果加载了 LoRA 层，将应用于文本解码器的所有 LoRA 层的 LoRA 比例。
• clip_skip (int, 可选) — 在计算提示嵌入时跳过的 CLIP 层数数。值 1 表示将使用预最终层的输出计算提示嵌入。

参数

• prompt_ids (jnp.ndarray) — 指导图像生成的提示或提示列表。
• image (jnp.ndarray) — 表示提供指导以供 unet 生成条件的 ControlNet 输入条件。
• params (Dict 或 FrozenDict) — 包含模型参数/权重的字典。
• prng_seed (jax.Array) — 包含随机数生成器密钥的数组。
• num_inference_steps (int, 可选, 默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致图像质量更高，但推理速度会变慢。
• guidance_scale （浮点数，可选，默认为7.5）— 更高的指导尺度值会鼓励模型生成与文本 prompt 紧密相关的图像，但会牺牲较低的图像质量。当 guidance_scale > 1 时，指导尺度启用。
• latents （jnp.ndarray，可选）— 从高斯分布中采样的预生成带噪声的latents，用于生成图像输入。可以用于用不同的提示调整相同的生成。如果不提供，将使用提供的随机 generator 生成latents数组。
• controlnet_conditioning_scale （浮点数或 jnp.ndarray，可选，默认为 1.0）— 在ControlNet的输出被添加到原始 unet 的残差之前，将ControlNet的乘以 controlnet_conditioning_scale。
• return_dict (bool, optional, defaults to True) — 是否返回 FlaxStableDiffusionPipelineOutput 而不是普通的元组。
• jit (bool, defaults to False) — 是否运行生成和安全性打分函数的 pmap 版本。
  
  

  此参数存在是因为 __call__ 尚未完全支持 pmap。它将在未来的版本中移除。

如果 return_dict 为 True，则返回 FlaxStableDiffusionPipelineOutput，否则返回一个包含生成的图像列表的第一个元素和指示相应生成的图像是否包含“不适合工作” (nsfw) 内容的布尔值列表的元组。