Diffusers 文档

自动流水线

Diffusers

加入 Hugging Face 社区

并获取增强文档体验

协作模型、数据集和空间

使用加速推理加速示例

切换文档主题

开始使用

AutoPipeline

AutoPipeline 旨在简化加载任务的检查点，而无需了解特定的管道类。根据任务，AutoPipeline 会自动从检查点的 model_index.json 文件中检索正确的管道类。

查看 AutoPipeline 教程，了解如何使用此 API！

AutoPipelineForText2Image

类 diffusers.AutoPipelineForText2Image

< 源代码 >

( *args **kwargs )

AutoPipelineForText2Image 是一个通用的管道类，它实例化了一个文本到图像的管道类。具体的底层管道类将自动从 from_pretrained() 或 from_pipe() 方法中选择。

此类无法使用 __init__() 实例化（会引发错误）。

类属性

config_name (str) — 存储所有扩散管道组件的类和模块名称的配置文件名。

from_pretrained

< 源代码 >

( pretrained_model_or_path **kwargs )

参数

pretrained_model_or_path (str 或 os.PathLike, 可选) — 可以是以下之一：
- 一个字符串，预训练管道的仓库 ID（例如 CompVis/ldm-text2im-large-256），托管在 Hub 上。
- 一个指向目录的路径（例如 ./my_pipeline_directory/），包含使用 save_pretrained() 保存的管道权重。
torch_dtype (str 或 torch.dtype, 可选) — 覆盖默认的 torch.dtype 并使用另一个 dtype 加载模型。如果传递“auto”，则 dtype 将自动从模型的权重中推断。
force_download (bool, 可选，默认为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖现有的缓存版本（如果存在）。
cache_dir (Union[str, os.PathLike], 可选) — 下载的预训练模型配置缓存的目录路径，如果未使用标准缓存。
proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理服务器在每个请求中使用。
output_loading_info(bool, 可选，默认为 False) — 是否还返回一个包含丢失键、意外键和错误消息的字典。
local_files_only (bool, 可选，默认为 False) — 是否仅加载本地模型权重和配置文件。如果设置为 True，则模型不会从 Hub 下载。
token (str 或 bool, 可选) — 用于远程文件 HTTP 身份验证的令牌。如果为 True，则使用从 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
revision (str, 可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
custom_revision (str, 可选，默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或提交 ID，类似于从 Hub 加载自定义管道时的 revision。它可以是 🤗 Diffusers 版本，用于从 GitHub 加载自定义管道，否则在从 Hub 加载时默认为 "main"。
mirror (str, 可选) — 如果您在中国下载模型，则镜像源可解决可访问性问题。我们不保证来源的及时性或安全性，您应该参考镜像站点以获取更多信息。
device_map (str 或 Dict[str, Union[int, str, torch.device]], 可选) — 指定每个子模块应该去哪里的映射。它不需要为每个参数/缓冲区名称定义；一旦给定模块名称在内部，它的每个子模块将被发送到相同的设备。

设置 device_map="auto" 使 🤗 Accelerate 自动计算最优化的 device_map。有关每个选项的更多信息，请参阅设计设备映射。
max_memory (Dict, 可选) — 用于最大内存的设备标识符字典。如果未设置，将默认为每个 GPU 的可用最大内存和可用的 CPU RAM。
offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含值 "disk"，则卸载权重的路径。
offload_state_dict (bool, 可选) — 如果为 True，则将 CPU 状态字典临时卸载到硬盘驱动器，以避免在 CPU 状态字典的权重 + 检查点最大分片不适合时耗尽 CPU RAM。在存在磁盘卸载时默认为 True。
low_cpu_mem_usage (bool, 可选，如果 torch 版本 >= 1.9.0 则默认为 True，否则为 False) — 加速模型加载，仅加载预训练权重，而不是初始化权重。这还尝试在加载模型时不使用超过 1x 模型大小的 CPU 内存（包括峰值内存）。仅支持 PyTorch >= 1.9.0。如果您使用的是旧版本的 PyTorch，将此参数设置为 True 将引发错误。
use_safetensors (bool, 可选，默认为 None) — 如果设置为 None，则如果 safetensors 权重可用并且安装了 safetensors 库，则会下载 safetensors 权重。如果设置为 True，则强制从 safetensors 权重加载模型。如果设置为 False，则不会加载 safetensors 权重。
kwargs (剩余关键字参数字典，可选) — 可用于覆盖加载和可保存的变量（特定管道类的管道组件）。覆盖的组件将直接传递到管道的 __init__ 方法。有关更多信息，请参阅下面的示例。
variant (str, 可选) — 从指定的变体文件名（例如 "fp16" 或 "ema"）加载权重。从 from_flax 加载时，此参数将被忽略。

从预训练的管道权重实例化一个文本到图像的 Pytorch 扩散管道。

from_pretrained() 方法通过以下方式确保返回正确的管道类实例：

根据其配置对象的 _class_name 属性检测预训练模型或路径的管道类。
使用管道类名称上的模式匹配查找与管道类关联的文本到图像管道。

如果传递了 controlnet 参数，它将实例化一个 StableDiffusionControlNetPipeline 对象。

默认情况下，管道处于评估模式 (model.eval()) 下。

如果出现以下错误消息，则需要为下游任务微调权重。

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at runwayml/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

要使用私有或受限模型，请使用 huggingface-cli login 登录。

示例

>>> from diffusers import AutoPipelineForText2Image

>>> pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> image = pipeline(prompt).images[0]

from_pipe

< 源代码 >

( pipeline **kwargs )

参数

pipeline (DiffusionPipeline) — 已实例化的 DiffusionPipeline 对象

从另一个已实例化的扩散管道类实例化一个文本到图像的 Pytorch 扩散管道。

from_pipe() 方法通过使用管道类名称上的模式匹配查找与管道类关联的文本到图像管道，确保返回正确的管道类实例。

管道包含的所有模块都将用于初始化新管道，而不会重新分配额外的内存。

默认情况下，管道处于评估模式 (model.eval()) 下。

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_i2i = AutoPipelineForImage2Image.from_pretrained(
...     "runwayml/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_t2i = AutoPipelineForText2Image.from_pipe(pipe_i2i)
>>> image = pipe_t2i(prompt).images[0]

AutoPipelineForImage2Image

类 diffusers.AutoPipelineForImage2Image

< 源代码 >

( *args **kwargs )

AutoPipelineForImage2Image 是一个通用的管道类，它实例化一个图像到图像的管道类。具体的底层管道类会从 from_pretrained() 或 from_pipe() 方法中自动选择。

此类无法使用 __init__() 实例化（会引发错误）。

类属性

config_name (str) — 存储所有扩散管道组件的类和模块名称的配置文件名。

from_pretrained

< 源代码 >

( pretrained_model_or_path **kwargs )

参数

pretrained_model_or_path (str 或 os.PathLike, 可选) — 可以是以下任一内容：
- 一个字符串，即托管在 Hub 上的预训练管道的仓库 ID（例如 CompVis/ldm-text2im-large-256）。
- 一个指向包含使用 save_pretrained() 保存的管道权重的目录的路径（例如 ./my_pipeline_directory/）。
torch_dtype (str 或 torch.dtype, 可选) — 覆盖默认的 torch.dtype 并使用其他 dtype 加载模型。如果传递“auto”，则将根据模型的权重自动推导出 dtype。
force_download (bool, 可选, 默认为 False) — 是否强制（重新）下载模型权重和配置文件，即使缓存版本存在。
cache_dir (Union[str, os.PathLike], 可选) — 预训练模型配置缓存的目录路径，如果未使用标准缓存。
proxies (Dict[str, str], 可选) — 按协议或端点使用的代理服务器字典，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理用于每个请求。
output_loading_info(bool, 可选, 默认为 False) — 是否也返回包含丢失键、意外键和错误消息的字典。
local_files_only (bool, 可选, 默认为 False) — 是否只加载本地模型权重和配置文件。如果设置为 True，模型将不会从 Hub 下载。
token (str 或 bool, 可选) — 用作远程文件 HTTP 身份验证令牌的令牌。如果为 True，则使用从 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
custom_revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。可以是分支名称、标签名称或提交 ID，类似于从 Hub 加载自定义管道时的 revision。从 GitHub 加载自定义管道时，它可以是 🤗 Diffusers 版本，否则在从 Hub 加载时，它默认为 "main"。
mirror (str, 可选) — 如果您在中国下载模型，则镜像源可解决可访问性问题。我们不保证源的及时性或安全性，您应参考镜像站点以获取更多信息。
device_map (str 或 Dict[str, Union[int, str, torch.device]], 可选) — 指定每个子模块应放置位置的映射。它不需要为每个参数/缓冲区名称定义；一旦某个模块名称在里面，它的每个子模块都将被发送到同一个设备。

设置 device_map="auto" 使 🤗 Accelerate 自动计算最优化的 device_map。有关每个选项的更多信息，请参见设计设备映射。
max_memory (Dict, 可选) — 设备标识符字典，用于指定最大内存。如果未设置，则默认使用每个 GPU 的最大可用内存和 CPU 可用内存。
offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含值 "disk"，则用于卸载权重的路径。
offload_state_dict (bool, 可选) — 如果为 True，则会将 CPU 状态字典临时卸载到硬盘驱动器，以避免在 CPU 状态字典的权重 + 检查点最大片段大小超出 CPU RAM 的限制时出现内存不足问题。当存在磁盘卸载时，默认值为 True。
low_cpu_mem_usage (bool, 可选，如果 torch 版本 >= 1.9.0 则默认为 True，否则为 False) — 加速模型加载，仅加载预训练的权重，而不初始化权重。这也尝试在加载模型时使用不超过模型大小 1 倍的 CPU 内存（包括峰值内存）。仅支持 PyTorch >= 1.9.0。如果你使用的是旧版本的 PyTorch，将此参数设置为 True 将会引发错误。
use_safetensors (bool, 可选，默认为 None) — 如果设置为 None，则会下载 safetensors 权重（如果可用）并且如果安装了 safetensors 库。如果设置为 True，则会强制从 safetensors 权重加载模型。如果设置为 False，则不会加载 safetensors 权重。
kwargs (剩余的关键字参数字典，可选) — 可用于覆盖加载和可保存的变量（特定管道类别的管道组件）。覆盖的组件将直接传递给管道的 __init__ 方法。有关更多信息，请参见下面的示例。
variant (str, 可选) — 从指定的变体文件名加载权重，例如 "fp16" 或 "ema"。从 from_flax 加载时，此参数将被忽略。

从预训练的管道权重实例化一个图像到图像 Pytorch 扩散管道。

from_pretrained() 方法通过以下方式确保返回正确的管道类实例：

根据其配置对象的 _class_name 属性检测预训练模型或路径的管道类。
使用管道类名称的模式匹配，查找与管道类关联的图像到图像管道。

如果传递了 controlnet 参数，它将实例化一个 StableDiffusionControlNetImg2ImgPipeline 对象。

默认情况下，管道处于评估模式 (model.eval()) 下。

如果出现以下错误消息，则需要为下游任务微调权重。

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at runwayml/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

要使用私有或受限模型，请使用 huggingface-cli login 登录。

示例

>>> from diffusers import AutoPipelineForImage2Image

>>> pipeline = AutoPipelineForImage2Image.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image).images[0]

from_pipe

< 源代码 >

( pipeline **kwargs )

参数

pipeline (DiffusionPipeline) — 已实例化的 DiffusionPipeline 对象

从另一个已实例化的扩散管道类实例化一个图像到图像 Pytorch 扩散管道。

from_pipe() 方法通过使用管道类名称的模式匹配，查找与管道类关联的图像到图像管道，确保返回正确的管道类实例。

管道包含的所有模块都将用于初始化新管道，而不会重新分配额外的内存。

默认情况下，管道处于评估模式 (model.eval()) 下。

示例

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForImage2Image

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "runwayml/stable-diffusion-v1-5", requires_safety_checker=False
... )

>>> pipe_i2i = AutoPipelineForImage2Image.from_pipe(pipe_t2i)
>>> image = pipe_i2i(prompt, image).images[0]

AutoPipelineForInpainting

class diffusers.AutoPipelineForInpainting

( *args **kwargs )

AutoPipelineForInpainting 是一个通用的管道类，它实例化了一个修复管道类。具体的底层管道类会自动从 from_pretrained() 或 from_pipe() 方法中选择。

此类无法使用 __init__() 实例化（会引发错误）。

类属性

config_name (str) — 存储所有扩散管道组件的类和模块名称的配置文件名。

from_pretrained

< 源代码 >

( pretrained_model_or_path **kwargs )

参数

pretrained_model_or_path (str 或 os.PathLike，可选) — 可以是以下任一：
- 一个字符串，预训练管道的仓库 ID（例如 CompVis/ldm-text2im-large-256），托管在 Hub 上。
- 一个指向目录的路径（例如 ./my_pipeline_directory/），其中包含使用 save_pretrained() 保存的管道权重。
torch_dtype (str 或 torch.dtype，可选) — 覆盖默认的 torch.dtype，并使用另一个数据类型加载模型。如果传递“auto”，数据类型将自动从模型的权重中推断。
force_download (bool，可选，默认值为 False) — 是否强制（重新）下载模型权重和配置文件，覆盖现有的缓存版本（如果存在）。
cache_dir (Union[str, os.PathLike]，可选) — 指向缓存已下载预训练模型配置的目录的路径，如果未使用标准缓存。
proxies (Dict[str, str]，可选) — 一个字典，用于按协议或端点使用代理服务器，例如，{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。代理在每个请求上使用。
output_loading_info(bool，可选，默认值为 False) — 是否还返回一个包含丢失键、意外键和错误消息的字典。
local_files_only (bool，可选，默认值为 False) — 是否仅加载本地模型权重和配置文件，或者不加载。如果设置为 True，则不会从 Hub 下载模型。
token (str 或 bool，可选) — 用于远程文件 HTTP 身份验证的令牌。如果为 True，则使用从 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
revision (str，可选，默认值为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 ID 或 Git 允许的任何标识符。
custom_revision (str, 可选, 默认值为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称或类似于从 Hub 加载自定义管道时的 revision 的提交 ID。从 GitHub 加载自定义管道时，它可以是 🤗 Diffusers 版本，否则在从 Hub 加载时默认值为 "main"。
mirror (str, 可选) — 如果你在中国下载模型，镜像源可以解决可访问性问题。我们不保证源的及时性或安全性，你应该参考镜像网站获取更多信息。
device_map (str 或 Dict[str, Union[int, str, torch.device]], 可选) — 指定每个子模块应该放置位置的映射。它不需要为每个参数/缓冲区名称定义；一旦给定的模块名称在其中，它的每个子模块都将被发送到同一个设备。

设置 device_map="auto" 使 🤗 Accelerate 自动计算最优化的 device_map。有关每个选项的更多信息，请参阅设计设备映射。
max_memory (Dict, 可选) — 设备标识符的字典，用于最大内存。如果未设置，将默认为每个 GPU 的最大可用内存和可用的 CPU RAM。
offload_folder (str 或 os.PathLike, 可选) — 如果 device_map 包含值 "disk"，则卸载权重的路径。
offload_state_dict (bool, 可选) — 如果为 True，则将 CPU 状态字典临时卸载到硬盘，以避免如果 CPU 状态字典的权重 + 检查点最大分片不适合而导致 CPU RAM 耗尽。如果存在一些磁盘卸载，则默认为 True。
low_cpu_mem_usage (bool, 可选, 默认值为 True 如果 torch 版本 >= 1.9.0 否则为 False) — 加速模型加载，仅加载预训练的权重，而不初始化权重。这还试图在加载模型时不使用超过模型大小 1 倍的 CPU 内存（包括峰值内存）。仅支持 PyTorch >= 1.9.0。如果你使用的是旧版本的 PyTorch，将此参数设置为 True 将引发错误。
use_safetensors (bool, 可选, 默认值为 None) — 如果设置为 None，则如果 safetensors 权重可用 **并且** 安装了 safetensors 库，则会下载 safetensors 权重。如果设置为 True，则强制从 safetensors 权重加载模型。如果设置为 False，则不会加载 safetensors 权重。
kwargs (其余关键字参数字典, 可选) — 可用于覆盖加载和可保存的变量（特定管道类的管道组件）。覆盖的组件将直接传递到管道的 __init__ 方法。有关更多信息，请参见下面的示例。
variant (str, 可选) — 从指定的变体文件名（如 "fp16" 或 "ema"）加载权重。从 from_flax 加载时，此参数会被忽略。

从预训练的管道权重实例化一个 inpainting Pytorch 扩散管道。

from_pretrained() 方法通过以下方式确保返回正确的管道类实例：

根据其配置对象的 _class_name 属性检测预训练模型或路径的管道类。
使用管道类名称的模式匹配找到与管道类关联的 inpainting 管道。

如果传递了 controlnet 参数，它将实例化一个 StableDiffusionControlNetInpaintPipeline 对象。

默认情况下，管道处于评估模式 (model.eval()) 下。

如果出现以下错误消息，则需要为下游任务微调权重。

Some weights of UNet2DConditionModel were not initialized from the model checkpoint at runwayml/stable-diffusion-v1-5 and are newly initialized because the shapes did not match:
- conv_in.weight: found shape torch.Size([320, 4, 3, 3]) in the checkpoint and torch.Size([320, 9, 3, 3]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.

要使用私有或受限模型，请使用 huggingface-cli login 登录。

示例

>>> from diffusers import AutoPipelineForInpainting

>>> pipeline = AutoPipelineForInpainting.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> image = pipeline(prompt, image=init_image, mask_image=mask_image).images[0]

from_pipe

< 源代码 >

( pipeline **kwargs )

参数

pipeline (DiffusionPipeline) — 已实例化的 DiffusionPipeline 对象

从另一个已实例化的扩散管道类实例化一个图像修复 Pytorch 扩散管道。

from_pipe() 方法通过使用管道类名称上的模式匹配找到与管道类链接的图像修复管道，从而负责返回正确的管道类实例。

管道类包含的所有模块都将用于初始化新的管道，而无需重新分配其他内存。

默认情况下，管道处于评估模式 (model.eval()) 下。

示例

>>> from diffusers import AutoPipelineForText2Image, AutoPipelineForInpainting

>>> pipe_t2i = AutoPipelineForText2Image.from_pretrained(
...     "DeepFloyd/IF-I-XL-v1.0", requires_safety_checker=False
... )

>>> pipe_inpaint = AutoPipelineForInpainting.from_pipe(pipe_t2i)
>>> image = pipe_inpaint(prompt, image=init_image, mask_image=mask_image).images[0]

< > 更新在 GitHub 上

←AuraFlow BLIP-Diffusion→