Diffusers

加入 Hugging Face 社区

并获取增强文档体验

协作模型、数据集和空间

使用加速推理获得更快的示例

在文档主题之间切换

开始使用

DiT

基于 Transformer 的可扩展扩散模型 (DiT) 由 William Peebles 和 Saining Xie 提出。

论文摘要如下：

我们探索了一类基于 Transformer 架构的新型扩散模型。我们训练了图像的潜在扩散模型，用作用于潜在补丁的 Transformer 替换了常用的 U-Net 主干网络。我们通过以 Gflops 衡量的正向传递复杂度来分析扩散 Transformer (DiT) 的可扩展性。我们发现，具有更高 Gflops 的 DiT（通过增加 Transformer 深度/宽度或增加输入 token 数量）始终具有更低的 FID。除了拥有良好的可扩展性之外，我们最大的 DiT-XL/2 模型在类条件 ImageNet 512x512 和 256x256 基准测试中均优于所有以前的扩散模型，在后者上实现了 2.27 的最先进 FID。

原始代码库可在 facebookresearch/dit 找到。

请务必查看调度器指南，了解如何探索调度器速度和质量之间的权衡，并查看跨管道重用组件部分，了解如何有效地将相同组件加载到多个管道中。

DiTPipeline

class diffusers.DiTPipeline

< 源代码 >

( transformer: DiTTransformer2DModel vae: AutoencoderKL scheduler: KarrasDiffusionSchedulers id2label: Optional = None )

参数

transformer (DiTTransformer2DModel) — 用于对编码图像潜在表示进行去噪的类条件 DiTTransformer2DModel。
vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自动编码器 (VAE) 模型。
scheduler (DDIMScheduler) — 用于与 transformer 结合对编码图像潜在表示进行去噪的调度器。

基于 Transformer 主干网络而不是 UNet 的图像生成管道。

此模型继承自 DiffusionPipeline。请查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

call

< 源代码 >

( class_labels: List guidance_scale: float = 4.0 generator: Union = None num_inference_steps: int = 50 output_type: Optional = 'pil' return_dict: bool = True ) → ImagePipelineOutput 或 元组

参数

class_labels (List[int]) — 要生成的图像的 ImageNet 类标签列表。
guidance_scale (float, 可选，默认为 4.0) — 更高的引导尺度值鼓励模型生成与文本 提示 密切相关的图像，但会牺牲图像质量。当 guidance_scale > 1 时启用引导尺度。
生成器 (torch.Generator, 可选) — 用于使生成确定性的 torch.Generator。
推理步数 (int, 可选, 默认为 250) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。
输出类型 (str, 可选, 默认为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
是否返回字典 (bool, 可选, 默认为 True) — 是否返回 ImagePipelineOutput 而不是普通元组。

ImagePipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ImagePipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表。

管道生成函数。

示例

>>> from diffusers import DiTPipeline, DPMSolverMultistepScheduler
>>> import torch

>>> pipe = DiTPipeline.from_pretrained("facebook/DiT-XL-2-256", torch_dtype=torch.float16)
>>> pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
>>> pipe = pipe.to("cuda")

>>> # pick words from Imagenet class labels
>>> pipe.labels  # to print all available words

>>> # pick words that exist in ImageNet
>>> words = ["white shark", "umbrella"]

>>> class_ids = pipe.get_label_ids(words)

>>> generator = torch.manual_seed(33)
>>> output = pipe(class_labels=class_ids, num_inference_steps=25, generator=generator)

>>> image = output.images[0]  # label 'white shark'