Hugging Face 的 LOGO

Diffusers 文档

高效的扩散模型

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

高效的扩散模型

让 DiffusionPipeline 生成特定风格或包含你想要的内容的图像可能很棘手。通常，你需要多次运行 DiffusionPipeline 才能得到一张满意的图像。但是，从无到有地生成东西是一个计算密集型过程，特别是如果你需要反复进行推理。

这就是为什么从 pipeline 中获得最高的*计算*（速度）和*内存*（GPU vRAM）效率非常重要，这样可以减少推理周期之间的时间，从而更快地迭代。

本教程将指导你如何使用 DiffusionPipeline 更快、更好地生成图像。

首先加载 stable-diffusion-v1-5/stable-diffusion-v1-5 模型

from diffusers import DiffusionPipeline

model_id = "stable-diffusion-v1-5/stable-diffusion-v1-5"
pipeline = DiffusionPipeline.from_pretrained(model_id, use_safetensors=True)

你将使用的示例提示词是一位年迈的部落酋长的肖像，但你也可以使用自己的提示词

prompt = "portrait photo of a old warrior chief"

速度

💡 如果你没有 GPU，可以从 GPU 提供商如 Colab 免费使用一个！

加快推理速度最简单的方法之一是将 pipeline 放置在 GPU 上，就像处理任何 PyTorch 模块一样

pipeline = pipeline.to("cuda")

为确保你能使用同一张图像并对其进行改进，请使用 Generator 并设置一个种子以实现可复现性

import torch

generator = torch.Generator("cuda").manual_seed(0)

现在你可以生成一张图像了

image = pipeline(prompt, generator=generator).images[0]
image

在 T4 GPU 上，这个过程大约花费了 30 秒（如果你的 GPU 比 T4 更好，可能会更快）。默认情况下，DiffusionPipeline 使用完整的 float32 精度进行 50 个推理步骤。你可以通过切换到较低的精度，如 float16，或运行更少的推理步骤来加快速度。

让我们先以 float16 格式加载模型并生成一张图像

import torch

pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, use_safetensors=True)
pipeline = pipeline.to("cuda")
generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator).images[0]
image

这一次，生成图像只花了大约 11 秒，比之前快了近 3 倍！

💡 我们强烈建议始终以 float16 格式运行你的 pipeline，到目前为止，我们很少看到输出质量有任何下降。

另一个选项是减少推理步骤的数量。选择一个更高效的调度器可以帮助减少步骤数而不牺牲输出质量。你可以通过调用 DiffusionPipeline 的 compatibles 方法来查找与当前模型兼容的调度器

pipeline.scheduler.compatibles
[
    diffusers.schedulers.scheduling_lms_discrete.LMSDiscreteScheduler,
    diffusers.schedulers.scheduling_unipc_multistep.UniPCMultistepScheduler,
    diffusers.schedulers.scheduling_k_dpm_2_discrete.KDPM2DiscreteScheduler,
    diffusers.schedulers.scheduling_deis_multistep.DEISMultistepScheduler,
    diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteScheduler,
    diffusers.schedulers.scheduling_dpmsolver_multistep.DPMSolverMultistepScheduler,
    diffusers.schedulers.scheduling_ddpm.DDPMScheduler,
    diffusers.schedulers.scheduling_dpmsolver_singlestep.DPMSolverSinglestepScheduler,
    diffusers.schedulers.scheduling_k_dpm_2_ancestral_discrete.KDPM2AncestralDiscreteScheduler,
    diffusers.utils.dummy_torch_and_torchsde_objects.DPMSolverSDEScheduler,
    diffusers.schedulers.scheduling_heun_discrete.HeunDiscreteScheduler,
    diffusers.schedulers.scheduling_pndm.PNDMScheduler,
    diffusers.schedulers.scheduling_euler_ancestral_discrete.EulerAncestralDiscreteScheduler,
    diffusers.schedulers.scheduling_ddim.DDIMScheduler,
]

Stable Diffusion 模型默认使用 PNDMScheduler，通常需要约 50 个推理步骤，但更高效的调度器如 DPMSolverMultistepScheduler 只需要约 20 或 25 个推理步骤。使用 from_config() 方法来加载一个新的调度器

from diffusers import DPMSolverMultistepScheduler

pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)

现在将 num_inference_steps 设置为 20

generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator, num_inference_steps=20).images[0]
image

太棒了，你已经成功将推理时间缩短到仅 4 秒！⚡️

内存

提升 pipeline 性能的另一个关键是减少内存消耗，这间接意味着更高的速度，因为你通常试图最大化每秒生成的图像数量。查看一次可以生成多少图像的最简单方法是尝试不同的批量大小，直到出现 OutOfMemoryError（OOM）错误。

创建一个函数，该函数将从一个提示词列表和 Generators 列表生成一批图像。确保为每个 Generator 分配一个种子，这样如果它产生了一个好的结果，你就可以重复使用它。

def get_inputs(batch_size=1):
    generator = [torch.Generator("cuda").manual_seed(i) for i in range(batch_size)]
    prompts = batch_size * [prompt]
    num_inference_steps = 20

    return {"prompt": prompts, "generator": generator, "num_inference_steps": num_inference_steps}

从 batch_size=4 开始，看看你消耗了多少内存

from diffusers.utils import make_image_grid

images = pipeline(**get_inputs(batch_size=4)).images
make_image_grid(images, 2, 2)

除非你的 GPU 有更多的 vRAM，否则上面的代码很可能返回一个 OOM 错误！大部分内存被交叉注意力层占用。你可以不以批处理方式运行此操作，而是按顺序运行，以节省大量内存。你所要做的就是配置 pipeline 以使用 enable_attention_slicing() 函数

pipeline.enable_attention_slicing()

现在尝试将 batch_size 增加到 8！

images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)

之前你甚至无法生成一批 4 张图像，现在你可以生成一批 8 张图像，每张图像约 3.5 秒！在 T4 GPU 上，这可能是在不牺牲质量的情况下能达到的最快速度了。

质量

在前两部分，你学习了如何通过使用 fp16、使用性能更好的调度器减少推理步骤数以及启用注意力切片来减少内存消耗来优化 pipeline 的速度。现在，你将专注于如何提高生成图像的质量。

更好的检查点

最显而易见的一步是使用更好的检查点。Stable Diffusion 模型是一个很好的起点，自从它正式发布以来，也发布了几个改进版本。然而，使用更新的版本并不意味着你就会自动获得更好的结果。你仍然需要自己尝试不同的检查点，并做一些研究（例如使用负面提示词）来获得最佳结果。

随着该领域的发展，越来越多的高质量检查点被微调以产生特定风格。尝试探索Hub和Diffusers Gallery，找到你感兴趣的检查点！

更好的 pipeline 组件

你还可以尝试用更新的版本替换当前的 pipeline 组件。让我们尝试将 Stability AI 最新的 自动编码器 加载到 pipeline 中，并生成一些图像

from diffusers import AutoencoderKL

vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", torch_dtype=torch.float16).to("cuda")
pipeline.vae = vae
images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)

更好的提示词工程

你用来生成图像的文本提示词非常重要，以至于它被称为*提示词工程*。在进行提示词工程时需要考虑的一些因素是

  • 我想要生成的图像或类似图像在互联网上是如何存储的？
  • 我可以提供哪些额外的细节来引导模型朝我想要的风格发展？

考虑到这些，让我们改进提示词，加入颜色和更高质量的细节

prompt += ", tribal panther make up, blue on red, side profile, looking away, serious eyes"
prompt += " 50mm portrait photography, hard rim lighting photography--beta --ar 2:3  --beta --upbeta"

使用新的提示词生成一批图像

images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)

相当令人印象深刻！让我们对第二张图像——对应于种子为 1 的 Generator ——进行一些调整，添加一些关于主题年龄的文字

prompts = [
    "portrait photo of the oldest warrior chief, tribal panther make up, blue on red, side profile, looking away, serious eyes 50mm portrait photography, hard rim lighting photography--beta --ar 2:3  --beta --upbeta",
    "portrait photo of an old warrior chief, tribal panther make up, blue on red, side profile, looking away, serious eyes 50mm portrait photography, hard rim lighting photography--beta --ar 2:3  --beta --upbeta",
    "portrait photo of a warrior chief, tribal panther make up, blue on red, side profile, looking away, serious eyes 50mm portrait photography, hard rim lighting photography--beta --ar 2:3  --beta --upbeta",
    "portrait photo of a young warrior chief, tribal panther make up, blue on red, side profile, looking away, serious eyes 50mm portrait photography, hard rim lighting photography--beta --ar 2:3  --beta --upbeta",
]

generator = [torch.Generator("cuda").manual_seed(1) for _ in range(len(prompts))]
images = pipeline(prompt=prompts, generator=generator, num_inference_steps=25).images
make_image_grid(images, 2, 2)

后续步骤

在本教程中，你学习了如何优化 DiffusionPipeline 以提高计算和内存效率，以及如何提高生成输出的质量。如果你有兴趣让你的 pipeline 更快，请查看以下资源

  • 了解 PyTorch 2.0 和 torch.compile 如何能够带来 5 - 300% 的推理速度提升。在 A100 GPU 上，推理速度可以提高高达 50%！
  • 如果你无法使用 PyTorch 2，我们建议你安装 xFormers。其内存高效的注意力机制与 PyTorch 1.13.1 配合得很好，可以提高速度并减少内存消耗。
  • 其他优化技术，如模型卸载，在本指南中有介绍。
< > 在 GitHub 上更新

←快速入门 安装→