参数

• prompt (str 或 List[str], 可选) — 用于引导图像生成的提示或提示列表。 如果未定义，则需要传递 prompt_embeds。
• image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — Image、numpy 数组或张量，表示要进行图像修复的图像批次（使用 mask_image 遮罩图像的哪些部分，并根据 prompt 重新绘制）。 对于 numpy 数组和 pytorch 张量，预期值范围在 [0, 1] 之间。如果是张量或张量列表，则预期形状应为 (B, C, H, W) 或 (C, H, W)。 如果是 numpy 数组或数组列表，则预期形状应为 (B, H, W, C) 或 (H, W, C)。 它也可以接受图像潜在空间作为 image，但如果直接传递潜在空间，则不会再次编码。
• mask_image (torch.Tensor, PIL.Image.Image, np.ndarray, List[torch.Tensor], List[PIL.Image.Image], 或 List[np.ndarray]) — Image、numpy 数组或张量，表示要遮罩 image 的图像批次。 蒙版中的白色像素将被重新绘制，而黑色像素将被保留。 如果 mask_image 是 PIL 图像，则在使用前会将其转换为单通道（亮度）。 如果它是 numpy 数组或 pytorch 张量，则应包含一个颜色通道 (L) 而不是 3 个，因此 pytorch 张量的预期形状为 (B, 1, H, W)、(B, H, W)、(1, H, W)、(H, W)。 对于 numpy 数组，则为 (B, H, W, 1)、(B, H, W)、(H, W, 1) 或 (H, W)。
• height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。
• width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。
• padding_mask_crop (int, 可选, 默认为 None) — 应用于图像和蒙版的裁剪边距大小。 如果为 None，则不对图像和 mask_image 应用裁剪。 如果 padding_mask_crop 不为 None，它将首先找到一个具有与图像相同宽高比的矩形区域，该区域包含所有蒙版区域，然后根据 padding_mask_crop 扩展该区域。 然后，将根据扩展区域裁剪图像和 mask_image，然后再调整大小为原始图像大小以进行图像修复。 当蒙版区域很小而图像很大且包含与图像修复无关的信息（例如背景）时，这非常有用。
• strength (float, 可选, 默认为 1.0) — 指示转换参考 image 的程度。 必须介于 0 和 1 之间。image 用作起点，strength 越高，添加的噪声越大。 去噪步骤的数量取决于最初添加的噪声量。 当 strength 为 1 时，添加的噪声最大，并且去噪过程将运行在 num_inference_steps 中指定的完整迭代次数。 值为 1 本质上会忽略 image。
• num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。 更多的去噪步骤通常会带来更高质量的图像，但会牺牲推理速度。 此参数由 strength 调节。
• timesteps (List[int], 可选) — 用于去噪过程的自定义时间步长，适用于在其 set_timesteps 方法中支持 timesteps 参数的调度器。 如果未定义，则将使用传递 num_inference_steps 时的默认行为。 必须按降序排列。
• sigmas (List[float], 可选) — 用于去噪过程的自定义 sigmas，适用于在其 set_timesteps 方法中支持 sigmas 参数的调度器。 如果未定义，则将使用传递 num_inference_steps 时的默认行为。
• guidance_scale (float, 可选, 默认为 7.5) — 更高的 guidance scale 值会鼓励模型生成与文本 prompt 紧密相关的图像，但会降低图像质量。当 guidance_scale > 1 时，guidance scale 启用。
• negative_prompt (str 或 List[str], 可选) — 用于指导图像生成中不应包含的内容的 prompt 或 prompts。如果未定义，则需要传递 negative_prompt_embeds 代替。当不使用 guidance 时（guidance_scale < 1），将被忽略。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个 prompt 生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中会被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成具有确定性的 torch.Generator。
• latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声 latents，用作图像生成的输入。可用于通过不同的 prompts 调整相同的生成结果。如果未提供，则 latents tensor 将通过使用提供的随机 generator 进行采样来生成。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本 embeddings。可用于轻松调整文本输入（prompt 权重）。如果未提供，则文本 embeddings 会从 prompt 输入参数生成。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本 embeddings。可用于轻松调整文本输入（prompt 权重）。如果未提供，则 negative_prompt_embeds 会从 negative_prompt 输入参数生成。
• ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器一起使用的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — IP 适配器的预生成图像 embeddings。它应该是一个列表，长度与 IP 适配器的数量相同。每个元素都应该是一个形状为 (batch_size, num_images, emb_dim) 的 tensor。如果 do_classifier_free_guidance 设置为 True，则应包含负面图像 embedding。如果未提供，则 embeddings 会从 ip_adapter_image 输入参数计算得出。
• output_type (str, 可选, 默认为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通的 tuple。
• cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给 self.processor 中定义的 AttentionProcessor。
• clip_skip (int, 可选) — 从 CLIP 中跳过的层数，用于计算 prompt embeddings。值为 1 表示预最终层的输出将用于计算 prompt embeddings。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 一个函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类，它在推理期间的每个去噪步骤结束时被调用。具有以下参数： callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有 tensors 的列表。
• callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的 tensor 输入列表。列表中指定的 tensors 将作为 callback_kwargs 参数传递。你将只能包含在你的 pipeline 类的 ._callback_tensor_inputs 属性中列出的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）内容。

参数

• slice_size (str 或 int, 可选, 默认为 "auto") — 当为 "auto" 时，将 attention heads 的输入减半，以便分两步计算 attention。如果为 "max"，则通过一次只运行一个切片来最大程度地节省内存。如果提供数字，则使用的切片数量为 attention_head_dim // slice_size。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, 可选) — 覆盖默认的 None 运算符，用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
  • 一个字符串，即托管在 Hub 上的预训练模型的模型 ID (例如 sd-concepts-library/low-poly-hd-logos-icons)。
  • 一个目录的路径（例如 ./my_text_inversion_directory/），其中包含 textual inversion 权重。
  • 一个文件的路径（例如 ./my_text_inversions.pt），其中包含 textual inversion 权重。
  • 一个 torch state dict。
• token (str 或 List[str], 可选) — 覆盖用于文本反演权重的 token。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是等长的列表。
• text_encoder (CLIPTextModel, 可选) — 冻结的文本编码器 (clip-vit-large-patch14)。如果未指定，函数将采用 self.tokenizer。
• tokenizer (CLIPTokenizer, 可选) — 用于标记文本的 CLIPTokenizer。如果未指定，函数将采用 self.tokenizer。
• weight_name (str, 可选) — 自定义权重文件的名称。当以下情况时应使用此项：
  • 保存的文本反演文件为 🤗 Diffusers 格式，但以特定的权重名称（如 text_inv.bin）保存。
  • 保存的文本反演文件为 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], 可选) — 下载的预训练模型配置缓存目录的路径（如果未使用标准缓存）。
• force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖已缓存的版本（如果存在）。
• proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• local_files_only (bool, 可选, 默认为 False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• token (str 或 bool, 可选) — 用作远程文件 HTTP Bearer 授权的 token。如果为 True，则使用从 diffusers-cli login 生成的 token（存储在 ~/.huggingface 中）。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• subfolder (str, 可选, 默认为 "") — Hub 或本地较大模型仓库中模型文件的子文件夹位置。
• mirror (str, 可选) — 镜像源，用于解决在中国下载模型时的可访问性问题。我们不保证来源的及时性或安全性，您应参考镜像站点以获取更多信息。

参数

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 请参阅 lora_state_dict()。
• adapter_name (str, 可选) — 用于引用加载的适配器模型的适配器名称。如果未指定，则将使用 default_{i}，其中 i 是正在加载的适配器总数。
• low_cpu_mem_usage (bool, 可选) — 通过仅加载预训练的 LoRA 权重而不初始化随机权重来加速模型加载。
• kwargs (dict, 可选) — 请参阅 lora_state_dict()。

参数

• save_directory (str 或 os.PathLike) — 用于保存 LoRA 参数的目录。如果不存在，将创建该目录。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 unet 的 LoRA 层的状态字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 text_encoder 的 LoRA 层的状态字典。必须显式传递文本编码器 LoRA 状态字典，因为它来自 🤗 Transformers。
• is_main_process (bool, 可选, 默认为 True) — 调用此函数的进程是否为主进程。在分布式训练期间很有用，您需要在所有进程上调用此函数。在这种情况下，仅在主进程上设置 is_main_process=True，以避免竞争条件。
• save_function (Callable) — 用于保存状态字典的函数。在分布式训练中，当您需要用另一种方法替换 torch.save 时很有用。可以使用环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization (bool, 可选, 默认为 True) — 是否使用 safetensors 或传统的 PyTorch 方式 pickle 保存模型。

参数

• prompt (str 或 List[str], 可选) — 要编码的 prompt
• device — (torch.device): torch 设备
• num_images_per_prompt (int) — 每个 prompt 应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用无分类器引导（classifier free guidance）
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的 prompt 或 prompts。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时忽略（即，如果 guidance_scale 小于 1 则忽略）。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入（text embeddings）。可用于轻松调整文本输入，例如 prompt 权重。如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入（negative text embeddings）。可用于轻松调整文本输入，例如 prompt 权重。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
• lora_scale (float, 可选) — LoRA 缩放比例，如果加载了 LoRA 层，则将应用于文本编码器的所有 LoRA 层。
• clip_skip (int, 可选) — 在计算 prompt 嵌入时，要从 CLIP 跳过的层数。值为 1 表示预倒数第二层的输出将用于计算 prompt 嵌入。

参数

• w (torch.Tensor) — 生成具有指定引导比例的嵌入向量，以随后丰富时间步嵌入。
• embedding_dim (int, 可选, 默认为 512) — 要生成的嵌入的维度。
• dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成的嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• prompt (str 或 List[str]) — 用于引导图像生成的提示词。
• height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度像素值。
• width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度像素值。
• num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的图像，但会以较慢的推理速度为代价。此参数受 strength 调制。
• guidance_scale (float, 可选, 默认为 7.5) — 更高的引导尺度值会鼓励模型生成与文本 prompt 紧密相关的图像，但会以降低图像质量为代价。当 guidance_scale > 1 时，引导尺度启用。
• latents (jnp.ndarray, 可选) — 预生成的高斯分布噪声潜在空间，用作图像生成的输入。可用于使用不同的提示词调整相同的生成结果。如果未提供，则会通过使用提供的随机 generator 进行采样来生成潜在空间数组。
• jit (bool, 默认为 False) — 是否运行生成和安全评分函数的 pmap 版本。

  此参数的存在是因为 __call__ 尚未实现端到端 pmap 化。它将在未来的版本中移除。

• return_dict (bool, 可选, 默认为 True) — 是否返回 FlaxStableDiffusionPipelineOutput 而不是普通元组。

如果 return_dict 为 True，则返回 FlaxStableDiffusionPipelineOutput，否则返回 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作场合的”(nsfw) 内容。