Diffusers 文档
DiT
并获得增强的文档体验
开始使用
DiT
使用 Transformer 的可扩展扩散模型 (DiT) 由 William Peebles 和 Saining Xie 开发。
论文摘要如下:
我们探索了一种基于 Transformer 架构的新型扩散模型。我们训练图像的潜在扩散模型,将常用的 U-Net 主干替换为在潜在补丁上运行的 Transformer。我们通过 Gflops 衡量的正向传播复杂性来分析 Diffusion Transformers (DiTs) 的可扩展性。我们发现,Gflops 越高的 DiT(通过增加 Transformer 深度/宽度或增加输入 token 数量)FID 越低。除了具有良好的可扩展性,我们最大的 DiT-XL/2 模型在类别条件 ImageNet 512x512 和 256x256 基准测试中超越了所有先前的扩散模型,在后者上实现了 2.27 的最先进 FID。
原始代码库可在 facebookresearch/dit 找到。
DiTPipeline
class diffusers.DiTPipeline
< 源 >( transformer: DiTTransformer2DModel vae: AutoencoderKL scheduler: KarrasDiffusionSchedulers id2label: typing.Optional[typing.Dict[int, str]] = None )
参数
- transformer (DiTTransformer2DModel) — 一个类别条件式
DiTTransformer2DModel
,用于对编码后的图像潜在特征进行去噪。 - vae (AutoencoderKL) — 变分自编码器 (VAE) 模型,用于对图像进行编码和解码,以实现潜在表示。
- scheduler (DDIMScheduler) — 与
transformer
结合使用的调度器,用于对编码后的图像潜在特征进行去噪。
基于 Transformer 主干而不是 UNet 的图像生成管道。
此模型继承自 DiffusionPipeline。请查看超类文档,了解所有管道实现的通用方法(下载、保存、在特定设备上运行等)。
__call__
< 源 >( class_labels: typing.List[int] guidance_scale: float = 4.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None num_inference_steps: int = 50 output_type: typing.Optional[str] = 'pil' return_dict: bool = True ) → ImagePipelineOutput 或 tuple
参数
- class_labels (List[int]) — 要生成的图像的 ImageNet 类别标签列表。
- guidance_scale (
float
, 可选, 默认为 4.0) — 较高的引导比例值鼓励模型生成与文本prompt
紧密相关的图像,但会牺牲图像质量。当guidance_scale > 1
时启用引导比例。 - generator (
torch.Generator
, 可选) — 用于使生成具有确定性的torch.Generator
。 - num_inference_steps (
int
, 可选, 默认为 250) — 去噪步数。更多去噪步数通常会带来更高质量的图像,但会牺牲较慢的推理速度。 - output_type (
str
, 可选, 默认为"pil"
) — 生成图像的输出格式。选择PIL.Image
或np.array
。 - return_dict (
bool
, 可选, 默认为True
) — 是否返回 ImagePipelineOutput 而不是普通元组。
返回
ImagePipelineOutput 或 tuple
如果 return_dict
为 True
,则返回 ImagePipelineOutput,否则返回一个 tuple
,其中第一个元素是包含生成图像的列表。
用于生成的管道的调用函数。
示例
>>> from diffusers import DiTPipeline, DPMSolverMultistepScheduler
>>> import torch
>>> pipe = DiTPipeline.from_pretrained("facebook/DiT-XL-2-256", torch_dtype=torch.float16)
>>> pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
>>> pipe = pipe.to("cuda")
>>> # pick words from Imagenet class labels
>>> pipe.labels # to print all available words
>>> # pick words that exist in ImageNet
>>> words = ["white shark", "umbrella"]
>>> class_ids = pipe.get_label_ids(words)
>>> generator = torch.manual_seed(33)
>>> output = pipe(class_labels=class_ids, num_inference_steps=25, generator=generator)
>>> image = output.images[0] # label 'white shark'
get_label_ids
< 源 >( label: typing.Union[str, typing.List[str]] ) → int
的 list
将 ImageNet 的标签字符串映射到相应的类别 ID。
ImagePipelineOutput
class diffusers.ImagePipelineOutput
< 源 >( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] )
图像流水线的输出类。