Hugging Face 的 LOGO

Diffusers 文档

T-GATE

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

T-GATE

T-GATE 通过在交叉注意力计算收敛后跳过其计算，来加速 Stable Diffusion、PixArt 和 Latency Consistency Model 管道的推理。这种方法不需要额外的训练，并且可以将推理速度提高 10-50%。T-GATE 还与其他优化方法兼容，例如 DeepCache。

在开始之前，请确保已安装 T-GATE。

pip install tgate
pip install -U torch diffusers transformers accelerate DeepCache

要将 T-GATE 与管道一起使用，您需要使用其相应的加载器。

流水线 T-GATE 加载器
PixArt TgatePixArtLoader
Stable Diffusion XL TgateSDXLLoader
Stable Diffusion XL + DeepCache TgateSDXLDeepCacheLoader
Stable Diffusion TgateSDLoader
Stable Diffusion + DeepCache TgateSDDeepCacheLoader

接下来，使用管道、门控步（停止计算交叉注意力的时间步）和推理步数创建一个 TgateLoader。然后，使用提示、门控步和推理步数在管道上调用 tgate 方法。

让我们看看如何为几种不同的管道启用此功能。

PixArt
Stable Diffusion XL
带有 DeepCache 的 StableDiffusionXL
潜在一致性模型

使用 T-GATE 加速 PixArtAlphaPipeline

import torch
from diffusers import PixArtAlphaPipeline
from tgate import TgatePixArtLoader

pipe = PixArtAlphaPipeline.from_pretrained("PixArt-alpha/PixArt-XL-2-1024-MS", torch_dtype=torch.float16)

gate_step = 8
inference_step = 25
pipe = TgatePixArtLoader(
       pipe,
       gate_step=gate_step,
       num_inference_steps=inference_step,
).to("cuda")

image = pipe.tgate(
       "An alpaca made of colorful building blocks, cyberpunk.",
       gate_step=gate_step,
       num_inference_steps=inference_step,
).images[0]

T-GATE 还支持 StableDiffusionPipeline 和 PixArt-alpha/PixArt-LCM-XL-2-1024-MS。

基准

模型 乘法累加运算（MACs） 参数量 延迟 MS-COCO 上的零样本 10K-FID
SD-1.5 16.938万亿 8.5952亿 7.032秒 23.927
SD-1.5 w/ T-GATE 9.875万亿 8.15557亿 4.313秒 20.789
SD-2.1 38.041万亿 8.65785亿 16.121秒 22.609
SD-2.1 w/ T-GATE 22.208万亿 8.15433 亿 9.878秒 19.940
SD-XL 149.438万亿 25.7亿 53.187秒 24.628
SD-XL w/ T-GATE 84.438万亿 20.24亿 27.932秒 22.738
Pixart-Alpha 107.031万亿 6.1135亿 61.502秒 38.669
Pixart-Alpha w/ T-GATE 65.318万亿 4.62585亿 37.867秒 35.825
DeepCache (SD-XL) 57.888万亿 - 19.931秒 23.755
DeepCache w/ T-GATE 43.868万亿 - 14.666秒 23.999
LCM (SD-XL) 11.955万亿 25.7亿 3.805秒 25.044
LCM w/ T-GATE 11.171万亿 20.24亿 3.533秒 25.028
LCM (Pixart-Alpha) 8.563万亿 6.1135亿 4.733秒 36.086
LCM w/ T-GATE 7.623万亿 4.62585亿 4.543秒 37.048

延迟在 NVIDIA 1080TI 上测试，MACs 和参数量使用 calflops 计算，FID 使用 PytorchFID 计算。

< > 在 GitHub 上更新

←DeepCache xDiT→