Diffusers 文档

PixArt-Σ

Diffusers

加入 Hugging Face 社区

并获得增强文档体验

协作模型、数据集和空间

使用加速推理获得更快的示例

在文档主题之间切换

开始使用

PixArt-Σ

PixArt-Σ：用于 4K 文本到图像生成的扩散 Transformer 的弱到强训练的作者是陈俊松、于锦程、葛崇建、姚乐伟、谢恩泽、吴悦、王忠道、郭嘉伟、罗平、陆虎川和李正国。

论文的摘要如下：

本文介绍了 PixArt-Σ，这是一种能够直接生成 4K 分辨率图像的扩散 Transformer 模型 (DiT)。PixArt-Σ 代表了对其前身 PixArt-α 的重大进步，提供了更高保真度的图像，并改进了与文本提示的对齐。PixArt-Σ 的一个关键特征是其训练效率。它利用 PixArt-α 的基础预训练，通过整合更高质量的数据，从“较弱”的基线演变为“更强”的模型，我们称之为“弱到强训练”。PixArt-Σ 的改进有两个方面：(1) 高质量训练数据：PixArt-Σ 整合了高质量的图像数据，并配以更精确和详细的图像标题。(2) 高效的 Token 压缩：我们提出了一种在 DiT 框架内的新型注意力模块，该模块压缩键和值，显著提高了效率，并促进了超高分辨率图像生成。得益于这些改进，PixArt-Σ 在模型尺寸（0.6B 参数）显著小于现有的文本到图像扩散模型（例如 SDXL（2.6B 参数）和 SD Cascade（5.1B 参数））的情况下，实现了卓越的图像质量和用户提示遵循能力。此外，PixArt-Σ 生成 4K 图像的能力支持创建高分辨率海报和壁纸，有效地增强了电影和游戏等行业高质量视觉内容的制作。

您可以在 PixArt-alpha/PixArt-sigma 找到原始代码库，并在 PixArt-alpha 找到所有可用的检查点。

关于此管道的一些说明

它使用 Transformer 主干（而不是 UNet）进行去噪。因此，它的架构类似于 DiT。
它是使用从 T5 计算的文本条件进行训练的。这使得管道能够更好地遵循包含复杂细节的复杂文本提示。
它擅长生成不同纵横比的高分辨率图像。为了获得最佳结果，作者推荐了一些尺寸范围，可以在此处找到。
它与最先进的文本到图像生成系统（截至本文撰写之时）的质量相当，例如 PixArt-α、Stable Diffusion XL、Playground V2.0 和 DALL-E 3，同时比它们更有效率。
它展示了生成超高分辨率图像的能力，例如 2048px 甚至 4K。
它表明，文本到图像模型可以通过多项改进（VAE、数据集等）从弱模型发展到更强的模型。

请务必查看调度器指南，了解如何探索调度器速度和质量之间的权衡，并查看跨管道重用组件部分，了解如何有效地将相同的组件加载到多个管道中。

您可以通过将来自 PixArtSigmaPipeline 的生成的图像传递给 SDXL 细化器模型来进一步提高生成质量。

使用低于 8GB GPU 显存进行推理

通过以 8 位精度加载文本编码器，使用低于 8GB GPU 显存运行 PixArtSigmaPipeline。让我们逐步了解一个完整的示例。

首先，安装 bitsandbytes 库

pip install -U bitsandbytes

然后以 8 位加载文本编码器

from transformers import T5EncoderModel
from diffusers import PixArtSigmaPipeline
import torch

text_encoder = T5EncoderModel.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS",
    subfolder="text_encoder",
    load_in_8bit=True,
    device_map="auto",
)
pipe = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS",
    text_encoder=text_encoder,
    transformer=None,
    device_map="balanced"
)

现在，使用 pipe 编码提示

with torch.no_grad():
    prompt = "cute cat"
    prompt_embeds, prompt_attention_mask, negative_embeds, negative_prompt_attention_mask = pipe.encode_prompt(prompt)

由于文本嵌入已计算，请从内存中删除 text_encoder 和 pipe，并释放一些 GPU 显存

import gc

def flush():
    gc.collect()
    torch.cuda.empty_cache()

del text_encoder
del pipe
flush()

然后使用提示嵌入作为输入计算潜在变量

pipe = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS",
    text_encoder=None,
    torch_dtype=torch.float16,
).to("cuda")

latents = pipe(
    negative_prompt=None,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    prompt_attention_mask=prompt_attention_mask,
    negative_prompt_attention_mask=negative_prompt_attention_mask,
    num_images_per_prompt=1,
    output_type="latent",
).images

del pipe.transformer
flush()

请注意，在初始化 pipe 时，您将 text_encoder 设置为 None，以便它不会加载。

计算出潜在变量后，将其传递给 VAE 解码为真实的图像

with torch.no_grad():
    image = pipe.vae.decode(latents / pipe.vae.config.scaling_factor, return_dict=False)[0]
image = pipe.image_processor.postprocess(image, output_type="pil")[0]
image.save("cat.png")

通过删除您未使用组件并刷新 GPU 显存，您应该能够使用低于 8GB GPU 显存运行 PixArtSigmaPipeline。

如果您想要查看内存使用情况的报告，请运行此脚本。

以 8 位计算的文本嵌入可能会影响生成图像的质量，因为由于精度降低，表示空间中存在信息丢失。建议比较使用和不使用 8 位的结果。

在加载 text_encoder 时，您将 load_in_8bit 设置为 True。您还可以指定 load_in_4bit 将您的内存需求进一步降低到低于 7GB。

PixArtSigmaPipeline

class diffusers.PixArtSigmaPipeline

< 源代码 >

( tokenizer: T5Tokenizer text_encoder: T5EncoderModel vae: AutoencoderKL transformer: PixArtTransformer2DModel scheduler: KarrasDiffusionSchedulers )

使用 PixArt-Sigma 进行文本到图像生成的管道。

call

< 源代码 >

( prompt: Union = None negative_prompt: str = '' num_inference_steps: int = 20 timesteps: List = None sigmas: List = None guidance_scale: float = 4.5 num_images_per_prompt: Optional = 1 height: Optional = None width: Optional = None eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None prompt_attention_mask: Optional = None negative_prompt_embeds: Optional = None negative_prompt_attention_mask: Optional = None output_type: Optional = 'pil' return_dict: bool = True callback: Optional = None callback_steps: int = 1 clean_caption: bool = True use_resolution_binning: bool = True max_sequence_length: int = 300 **kwargs ) → ImagePipelineOutput 或 tuple

参数

prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。如果未定义，则必须传递 prompt_embeds。代替。
negative_prompt (str 或 List[str], 可选) — 不指导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds 代替。在不使用引导时忽略（即，如果 guidance_scale 小于 1，则忽略）。
num_inference_steps (int, 可选，默认为 100) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。
timesteps (List[int], 可选) — 用于降噪过程的自定义时间步长，适用于在其 set_timesteps 方法中支持 timesteps 参数的调度程序。如果未定义，则将使用传递 num_inference_steps 时的默认行为。必须按降序排列。
sigmas (List[float], 可选) — 用于降噪过程的自定义西格玛，适用于在其 set_timesteps 方法中支持 sigmas 参数的调度程序。如果未定义，则将使用传递 num_inference_steps 时的默认行为。
guidance_scale (float, 可选，默认为 4.5) — 如 Classifier-Free Diffusion Guidance 中所定义的引导比例。guidance_scale 定义为 Imagen 论文的公式 2 中的 w。通过设置 guidance_scale > 1 来启用引导比例。较高的引导比例鼓励生成与文本 prompt 密切相关的图像，通常以降低图像质量为代价。
num_images_per_prompt (int, 可选，默认为 1) — 每个提示生成的图像数量。
height (int, 可选，默认为 self.unet.config.sample_size) — 生成图像的高度（以像素为单位）。
width (int，可选，默认为 self.unet.config.sample_size) — 生成的图像的像素宽度。
eta (float，可选，默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)：https://arxiv.org/abs/2010.02502。仅适用于 schedulers.DDIMScheduler，其他情况将被忽略。
generator (torch.Generator 或 List[torch.Generator]，可选) — 一个或多个 torch 生成器用于使生成确定性。
latents (torch.Tensor，可选) — 预先生成的噪声潜在变量，从高斯分布中采样，用作图像生成的输入。可用于使用不同的提示微调相同的生成。如果未提供，则将通过使用提供的随机 generator 采样来生成潜在变量张量。
prompt_embeds (torch.Tensor，可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从 prompt 输入参数生成文本嵌入。
prompt_attention_mask (torch.Tensor，可选) — 预先生成的文本嵌入的注意力掩码。
negative_prompt_embeds (torch.Tensor，可选) — 预先生成的负文本嵌入。对于 PixArt-Sigma，此负提示应为空字符串 ("")。如果未提供，则将从 negative_prompt 输入参数生成 negative_prompt_embeds。
negative_prompt_attention_mask (torch.Tensor，可选) — 预先生成的负文本嵌入的注意力掩码。
output_type (str，可选，默认为 "pil") — 生成的图像的输出格式。在 PIL 之间选择：PIL.Image.Image 或 np.array。
return_dict (bool，可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion.IFPipelineOutput 而不是普通元组。
callback_steps (int，可选，默认为 1) — callback 函数调用的频率。如果未指定，则在每个步骤都调用回调函数。
clean_caption (bool，可选，默认为 True) — 是否在创建嵌入之前清理标题。需要安装 beautifulsoup4 和 ftfy。如果未安装依赖项，则将从原始提示创建嵌入。
use_resolution_binning (bool，默认为 True) — 如果设置为 True，则首先使用 ASPECT_RATIO_1024_BIN 将请求的高度和宽度映射到最接近的分辨率。在将生成的潜变量解码成图像后，将其重新调整为请求的分辨率。对于生成非正方形图像很有用。
max_sequence_length (int，默认为 300) — 与 prompt 一起使用的最大序列长度。

返回值

ImagePipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ImagePipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表

调用管道进行生成时调用的函数。

示例

>>> import torch
>>> from diffusers import PixArtSigmaPipeline

>>> # You can replace the checkpoint id with "PixArt-alpha/PixArt-Sigma-XL-2-512-MS" too.
>>> pipe = PixArtSigmaPipeline.from_pretrained(
...     "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", torch_dtype=torch.float16
... )
>>> # Enable memory optimizations.
>>> # pipe.enable_model_cpu_offload()

>>> prompt = "A small cactus with a happy face in the Sahara desert."
>>> image = pipe(prompt).images[0]

encode_prompt

< source >

( prompt: Union do_classifier_free_guidance: bool = True negative_prompt: str = '' num_images_per_prompt: int = 1 device: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None prompt_attention_mask: Optional = None negative_prompt_attention_mask: Optional = None clean_caption: bool = False max_sequence_length: int = 300 **kwargs )

参数

prompt (str 或 List[str]，可选) — 要编码的提示
negative_prompt (str 或 List[str]，可选) — 不引导图像生成的提示。如果未定义，则必须传递 negative_prompt_embeds。在不使用引导时被忽略（即，如果 guidance_scale 小于 1 则被忽略）。对于 PixArt-Alpha，这应该为空字符串 ("")。
do_classifier_free_guidance (bool，可选，默认为 True) — 是否使用分类器免费引导
num_images_per_prompt (int，可选，默认为 1) — 每个提示应生成的图像数量 device — (torch.device，可选)：将生成的嵌入放置到的 Torch 设备
prompt_embeds (torch.Tensor，可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，则将从prompt输入参数生成文本嵌入。
negative_prompt_embeds (torch.Tensor，可选) — 预生成的负面文本嵌入。对于 PixArt-Alpha，它应该是 "" 字符串的嵌入。
clean_caption (bool，默认为False) — 如果为True，则函数将在编码之前预处理和清理提供的标题。
max_sequence_length (int，默认为 300) — 用于提示的最大序列长度。

将提示编码为文本编码器隐藏状态。

< > 在 GitHub 上更新

←PixArt-α 自注意力引导→

Diffusers

PixArt-Σ

使用低于 8GB GPU 显存进行推理

PixArtSigmaPipeline

class diffusers.PixArtSigmaPipeline

__call__

encode_prompt

call