参数

• prompt (str 或 List[str], 可选) — 用于引导图像生成的 prompt 或 prompts。如果未定义，则需要传递 prompt_embeds。
• height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素高度。
• width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的像素宽度。
• num_inference_steps (int, 可选, 默认为 50) — 去噪步骤的数量。更多去噪步骤通常会以较慢的推理速度为代价，带来更高质量的图像。
• timesteps (List[int], 可选) — 自定义 timesteps，用于支持在其 set_timesteps 方法中使用 timesteps 参数的调度器的去噪过程。如果未定义，将使用传递 num_inference_steps 时的默认行为。必须按降序排列。
• sigmas (List[float], 可选) — 自定义 sigmas，用于支持在其 set_timesteps 方法中使用 sigmas 参数的调度器的去噪过程。如果未定义，将使用传递 num_inference_steps 时的默认行为。
• guidance_scale (float, 可选, 默认为 7.5) — 更高的 guidance scale 值会鼓励模型生成与文本 prompt 紧密相关的图像，但会降低图像质量。当 guidance_scale > 1 时，会启用 guidance scale。
• negative_prompt (str 或 List[str], 可选) — 用于引导图像生成中不包含的内容的 prompt 或 prompts。如果未定义，则需要改为传递 negative_prompt_embeds。当不使用 guidance 时（guidance_scale < 1），将被忽略。
• num_images_per_prompt (int, 可选, 默认为 1) — 每个 prompt 生成的图像数量。
• eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中将被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — torch.Generator，用于使生成具有确定性。
• latents (torch.Tensor, 可选) — 预生成的高斯分布噪声潜变量，用作图像生成的输入。 可以用于使用不同的提示调整相同的生成结果。 如果未提供，则会使用提供的随机 generator 采样生成潜变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可以用于轻松调整文本输入（提示权重）。 如果未提供，则会从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。 可以用于轻松调整文本输入（提示权重）。 如果未提供，则会从 negative_prompt 输入参数生成 negative_prompt_embeds。 ip_adapter_image — (PipelineImageInput, 可选): 与 IP 适配器一起使用的可选图像输入。
• ip_adapter_image_embeds (List[torch.Tensor], 可选) — IP 适配器的预生成图像嵌入。 它应该是一个列表，其长度与 IP 适配器的数量相同。 每个元素都应是一个形状为 (batch_size, num_images, emb_dim) 的张量。 如果 do_classifier_free_guidance 设置为 True，则应包含负面图像嵌入。 如果未提供，则会从 ip_adapter_image 输入参数计算嵌入。
• output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。 在 PIL.Image 或 np.array 之间选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，则会传递给 self.processor 中定义的 AttentionProcessor。
• guidance_rescale (float, 可选, 默认为 0.0) — 来自 Common Diffusion Noise Schedules and Sample Steps are Flawed 的引导重缩放因子。 当使用零终端信噪比时，引导重缩放因子应修复过度曝光。
• clip_skip (int, 可选) — 在计算提示嵌入时，要从 CLIP 跳过的层数。 值为 1 表示将使用预最终层的输出计算提示嵌入。
• callback_on_step_end (Callable, PipelineCallback, MultiPipelineCallbacks, 可选) — 在推理期间的每个去噪步骤结束时调用的函数或 PipelineCallback 或 MultiPipelineCallbacks 的子类。 具有以下参数： callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。 callback_kwargs 将包含 callback_on_step_end_tensor_inputs 指定的所有张量列表。
• callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。 列表中指定的张量将作为 callback_kwargs 参数传递。 您将只能包含管道类的 ._callback_tensor_inputs 属性中列出的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）内容。

参数

• slice_size (str 或 int, 可选, 默认为 "auto") — 当为 "auto" 时，将注意力头的输入减半，因此注意力将在两个步骤中计算。 如果为 "max"，则通过一次仅运行一个切片来最大程度地节省内存。 如果提供数字，则使用 attention_head_dim // slice_size 个切片。 在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, 可选) — 覆盖默认的 None 运算符，用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
  • 字符串，托管在 Hub 上的预训练模型的模型 ID（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 目录的路径（例如 ./my_text_inversion_directory/），其中包含文本反演权重。
  • 文件的路径（例如 ./my_text_inversions.pt），其中包含文本反演权重。
  • torch 状态字典。
• token (str 或 List[str], 可选) — 覆盖用于文本反演权重的令牌。 如果 pretrained_model_name_or_path 是列表，则 token 也必须是相同长度的列表。
• text_encoder (CLIPTextModel, 可选) — 冻结的文本编码器 (clip-vit-large-patch14)。 如果未指定，函数将采用 self.tokenizer。
• tokenizer (CLIPTokenizer, optional) — 用于标记文本的 CLIPTokenizer。如果未指定，函数将采用 self.tokenizer。
• weight_name (str, optional) — 自定义权重文件的名称。在以下情况下应使用此参数：
  • 保存的文本反演文件为 🤗 Diffusers 格式，但以特定的权重名称（如 text_inv.bin）保存。
  • 保存的文本反演文件为 Automatic1111 格式。
• cache_dir (Union[str, os.PathLike], optional) — 缓存下载的预训练模型配置的目录路径（如果未使用标准缓存）。
• force_download (bool, optional, defaults to False) — 是否强制（重新）下载模型权重和配置文件，覆盖已缓存的版本（如果存在）。
• proxies (Dict[str, str], optional) — 代理服务器字典，用于按协议或端点使用，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• local_files_only (bool, optional, defaults to False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• token (str or bool, optional) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True，则使用从 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• subfolder (str, optional, defaults to "") — Hub 或本地的较大模型存储库中模型文件的子文件夹位置。
• mirror (str, optional) — 镜像源，用于解决在中国下载模型时的可访问性问题。我们不保证来源的及时性或安全性，您应参考镜像站点以获取更多信息。

参数

• pretrained_model_link_or_path (str or os.PathLike, optional) — 可以是：
  • Hub 上 .ckpt 文件的链接（例如 "https://huggingface.co/<repo_id>/blob/main/<path_to_file>.ckpt"）。
  • 包含所有 pipeline 权重的文件路径。
• torch_dtype (str or torch.dtype, optional) — 覆盖默认的 torch.dtype 并使用另一种 dtype 加载模型。
• force_download (bool, optional, defaults to False) — 是否强制（重新）下载模型权重和配置文件，覆盖已缓存的版本（如果存在）。
• cache_dir (Union[str, os.PathLike], optional) — 缓存下载的预训练模型配置的目录路径（如果未使用标准缓存）。
• proxies (Dict[str, str], optional) — 代理服务器字典，用于按协议或端点使用，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
• local_files_only (bool, optional, defaults to False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• token (str or bool, optional) — 用作远程文件的 HTTP Bearer 授权的令牌。如果为 True，则使用从 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, optional, defaults to "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
• original_config_file (str, optional) — 用于训练模型的原始配置文件路径。如果未提供，将从检查点文件推断配置文件。
• config (str, optional) — 可以是：
  • 字符串，Hub 上托管的预训练 pipeline 的 repo id（例如 CompVis/ldm-text2im-large-256）。
  • 目录的路径（例如 ./my_pipeline_directory/），其中包含 Diffusers 格式的 pipeline 组件配置。
• kwargs (剩余的关键字参数字典，optional) — 可用于覆盖可加载和可保存的变量（特定 pipeline 类的 pipeline 组件）。覆盖的组件直接传递给 pipeline 的 __init__ 方法。有关更多信息，请参见以下示例。

参数

• pretrained_model_name_or_path_or_dict (str or os.PathLike or dict) — 请参阅 lora_state_dict()。
• kwargs (dict, optional) — 请参阅 lora_state_dict()。
• adapter_name (str, optional) — 用于引用加载的适配器模型的适配器名称。如果未指定，将使用 default_{i}，其中 i 是正在加载的适配器总数。

参数

• save_directory (str 或 os.PathLike) — 保存 LoRA 参数的目录。如果目录不存在，则会创建。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 unet 的 LoRA 层的状态字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 对应于 text_encoder 的 LoRA 层的状态字典。 必须显式传递文本编码器 LoRA 状态字典，因为它来自 🤗 Transformers。
• is_main_process (bool, 可选, 默认为 True) — 调用此函数的进程是否为主进程。在分布式训练期间很有用，您需要在所有进程上调用此函数。在这种情况下，仅在主进程上设置 is_main_process=True 以避免竞争条件。
• save_function (Callable) — 用于保存状态字典的函数。在分布式训练中，当您需要用另一种方法替换 torch.save 时很有用。 可以使用环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization (bool, 可选, 默认为 True) — 是否使用 safetensors 或传统的 PyTorch 方式 pickle 保存模型。

参数

• prompt (str 或 List[str], 可选) — 要编码的提示词 device — (torch.device): torch 设备
• num_images_per_prompt (int) — 每个提示词应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用无分类器引导
• negative_prompt (str 或 List[str], 可选) — 不用于引导图像生成的提示或提示列表。 如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时（即，如果 guidance_scale 小于 1，则忽略）。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可以用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负面文本嵌入。 可以用于轻松调整文本输入，例如 提示词权重。 如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
• lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 缩放比例。
• clip_skip (int, 可选) — 从 CLIP 跳过的层数，用于计算提示嵌入。 值 1 表示将使用预最终层的输出计算提示嵌入。

参数

• w (torch.Tensor) — 使用指定的引导比例生成嵌入向量，以随后丰富时间步嵌入。
• embedding_dim (int, 可选, 默认为 512) — 要生成的嵌入的维度。
• dtype (torch.dtype, 可选, 默认为 torch.float32) — 生成的嵌入的数据类型。

形状为 (len(w), embedding_dim) 的嵌入向量。

参数

• prompt (str 或 List[str], optional) — 用于引导图像生成的提示或提示列表。
• height (int, optional, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度像素。
• width (int, optional, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度像素。
• num_inference_steps (int, optional, 默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高质量的图像，但会牺牲较慢的推理速度。
• guidance_scale (float, optional, 默认为 7.5) — 较高的 guidance scale 值会鼓励模型生成与文本 prompt 紧密相关的图像，但会牺牲较低的图像质量。当 guidance_scale > 1 时，guidance scale 启用。
• latents (jnp.ndarray, optional) — 从高斯分布中采样的预生成噪声潜在空间，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则会通过使用提供的随机 generator 进行采样来生成潜在空间数组。
• jit (bool, 默认为 False) — 是否运行生成和安全评分函数的 pmap 版本。

  此参数的存在是因为 __call__ 尚不能进行端到端 pmap。它将在未来的版本中删除。

• return_dict (bool, optional, 默认为 True) — 是否返回 FlaxStableDiffusionPipelineOutput 而不是普通元组。

如果 return_dict 为 True，则返回 FlaxStableDiffusionPipelineOutput，否则返回 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作场所”（nsfw）内容。