DeepCache

DeepCache 通过利用 U-Net 架构，战略性地缓存和重用高级特征，同时有效地更新低级特征，从而加速了 StableDiffusionPipeline 和 StableDiffusionXLPipeline。

首先安装 DeepCache

pip install DeepCache

然后加载并启用 DeepCacheSDHelper

  import torch
  from diffusers import StableDiffusionPipeline
  pipe = StableDiffusionPipeline.from_pretrained('runwayml/stable-diffusion-v1-5', torch_dtype=torch.float16).to("cuda")

+ from DeepCache import DeepCacheSDHelper
+ helper = DeepCacheSDHelper(pipe=pipe)
+ helper.set_params(
+     cache_interval=3,
+     cache_branch_id=0,
+ )
+ helper.enable()

  image = pipe("a photo of an astronaut on a moon").images[0]

set_params 方法接受两个参数：cache_interval 和 cache_branch_id。cache_interval 表示特征缓存的频率，以每次缓存操作之间步骤数指定。cache_branch_id 标识网络的哪个分支（从最浅层到最深层排序）负责执行缓存过程。选择较低的 cache_branch_id 或较大的 cache_interval 可以导致更快的推理速度，但会以降低图像质量为代价（这两个超参数的消融实验可以在 论文 中找到）。设置完这些参数后，使用 enable 或 disable 方法激活或停用 DeepCacheSDHelper。

您可以在 WandB 报告 中找到更多生成的样本（原始管道与 DeepCache）以及相应的推理延迟。提示是从 MS-COCO 2017 数据集中随机选择的。

基准测试

我们测试了 DeepCache 在 NVIDIA RTX A5000 上使用 50 个推理步骤加速 Stable Diffusion v2.1 的速度有多快，使用了不同的分辨率、批次大小、缓存间隔 (I) 和缓存分支 (B) 配置。