参数

• prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示列表。如果未定义，则需要传递 prompt_embeds。
• image (torch.Tensor、PIL.Image.Image、np.ndarray、List[torch.Tensor]、List[PIL.Image.Image] 或 List[np.ndarray]) — 用作起始点的图像批次的 图像 或张量。仅当 depth_map 不为 None 时，才能接受图像潜在变量作为 image。
• depth_map (torch.Tensor, 可选) — 用作图像生成过程附加条件的深度预测。如果未定义，它将使用 self.depth_estimator 自动预测深度。
• strength (float, 可选，默认为 0.8) — 指示变换参考 image 的程度。必须在 0 到 1 之间。image 用作起点，strength 越高，添加的噪声越多。降噪步骤的数量取决于最初添加的噪声量。当 strength 为 1 时，添加的噪声最大，并且降噪过程将运行 num_inference_steps 中指定的全部迭代次数。值为 1 基本上会忽略 image。
• num_inference_steps (int, 可选，默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。此参数受 strength 调节。
• guidance_scale (float, 可选，默认为 7.5) — 更高的引导比例值鼓励模型生成与文本 prompt 密切相关的图像，但代价是图像质量下降。当 guidance_scale > 1 时启用引导比例。
• negative_prompt (str 或 List[str], 可选) — 指导图像生成中不包含什么的提示或提示。如果未定义，则需要传递 negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。
• num_images_per_prompt (int, 可选，默认为 1) — 每个提示生成图像的数量。
• eta (float, 可选，默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中被忽略。
• generator (torch.Generator 或 List[torch.Generator], 可选) — 用于使生成确定性的 torch.Generator。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从 negative_prompt 输入参数生成 negative_prompt_embeds。
• output_type (str, 可选，默认为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
• return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• cross_attention_kwargs (dict, 可选) — 如果指定，则将此关键字参数字典传递给 self.processor 中定义的 AttentionProcessor。
• clip_skip (int, 可选) — 计算提示嵌入时跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
• callback_on_step_end (Callable, 可选) — 推理过程中每个去噪步骤结束时调用的函数。该函数使用以下参数调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
• callback_on_step_end_tensor_inputs (List, 可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含管道类 ._callback_tensor_inputs 属性中列出的变量。

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表。

参数

• slice_size (str 或 int, 可选, 默认为 "auto") — 当为 "auto" 时，将输入到注意力头的输入减半，因此注意力将分两步计算。如果为 "max"，则通过一次运行一个切片来节省最大内存。如果提供了一个数字，则使用与 attention_head_dim // slice_size 相同数量的切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

参数

• attention_op (Callable, 可选) — 覆盖默认的 None 运算符，用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 List[str or os.PathLike] 或 Dict 或 List[Dict]) — 可以是以下之一或它们的列表：
  • 一个字符串，预训练模型在 Hub 上的模型 ID（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 包含文本反转权重的目录的路径（例如 ./my_text_inversion_directory/）。
  • 包含文本反转权重的文件的路径（例如 ./my_text_inversions.pt）。
  • 一个 torch 状态字典。
• token (str 或 List[str], 可选) — 覆盖要用于文本反转权重的令牌。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是长度相等的列表。
• text_encoder (CLIPTextModel, 可选) — 冻结的文本编码器 (clip-vit-large-patch14)。如果未指定，则函数将使用 self.tokenizer。
• tokenizer (CLIPTokenizer, 可选) — 用于分词文本的 CLIPTokenizer。如果未指定，则函数将使用 self.tokenizer。
• weight_name (str, 可选) — 自定义权重文件的名称。这应该在以下情况下使用：
  • 保存的文本反转文件是 🤗 Diffusers 格式，但以特定权重名称保存，例如 text_inv.bin。
  • 保存的文本反转
  • cache_dir (Union[str, os.PathLike]，可选) — 如果不使用标准缓存，则下载预训练模型配置的缓存路径。
  • force_download (bool，可选，默认为 False) — 是否强制（重新）下载模型权重和配置文件，如果存在则覆盖缓存版本。
  • proxies (Dict[str, str]，可选) — 按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。这些代理用于每个请求。
  • local_files_only (bool，可选，默认为 False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则模型不会从 Hub 下载。
  • token (str 或 bool，可选) — 用作远程文件 HTTP 身份验证令牌的令牌。如果为 True，则使用 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
  • revision (str，可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
  • subfolder (str，可选，默认为 "") — Hub 或本地上更大模型存储库中模型文件的子文件夹位置。
  • mirror (str，可选) — 如果您在中国下载模型，则镜像源可以解决可访问性问题。我们不保证来源的及时性或安全性，您应该参考镜像站点以获取更多信息。

参数

• kwargs (dict, 可选) — 请参见 lora_state_dict()。
• adapter_name (str, 可选) — 用于引用已加载适配器模型的适配器名称。如果未指定，它将使用 default_{i}，其中 i 是正在加载的适配器总数。

参数

• save_directory (str 或 os.PathLike) — 保存 LoRA 参数的目录。如果不存在，将创建它。
• unet_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 与 unet 对应的 LoRA 层的状态字典。
• text_encoder_lora_layers (Dict[str, torch.nn.Module] 或 Dict[str, torch.Tensor]) — 与 text_encoder 对应的 LoRA 层的状态字典。必须显式传递文本编码器 LoRA 状态字典，因为它来自 🤗 Transformers。
• is_main_process (bool, 可选，默认为 True) — 调用此函数的进程是否为主进程。在分布式训练期间很有用，并且您需要在所有进程上调用此函数。在这种情况下，仅在主进程上将 is_main_process=True 设置为避免竞争条件。
• save_function (Callable) — 用于保存状态字典的函数。在分布式训练期间很有用，当您需要用其他方法替换 torch.save 时。可以使用环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization (bool, 可选，默认为 True) — 是否使用 safetensors 或使用传统的 PyTorch 方法（使用 pickle）保存模型。

参数

• prompt (str 或 List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备
• num_images_per_prompt (int) — 每个提示应该生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用分类器自由引导
• negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时被忽略（即，如果 guidance_scale 小于 1 则被忽略）。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
• lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
• clip_skip (int, 可选) — 在计算提示嵌入时要从 CLIP 跳过的层数。值为 1 意味着将使用倒数第二层的输出计算提示嵌入。