Diffusers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

SanaPipeline

SANA：基于线性扩散 Transformer 的高效高分辨率图像合成，由 NVIDIA 和麻省理工 HAN 实验室的 Enze Xie、Junsong Chen、Junyu Chen、Han Cai、Haotian Tang、Yujun Lin、Zhekai Zhang、Muyang Li、Ligeng Zhu、Yao Lu、Song Han 共同完成。

论文摘要如下：

我们引入了 Sana，一个文本到图像框架，能够高效生成高达 4096×4096 分辨率的图像。Sana 能够以极快的速度合成高分辨率、高质量的图像，并且具有强大的文本-图像对齐能力，可在笔记本电脑 GPU 上部署。核心设计包括：(1) 深度压缩自编码器：与传统仅压缩图像 8 倍的自编码器不同，我们训练了一个可将图像压缩 32 倍的自编码器，有效减少了潜在令牌的数量。(2) 线性 DiT：我们用线性注意力替换了 DiT 中的所有香草注意力，这在不牺牲质量的情况下在更高分辨率下更高效。(3) 仅解码器文本编码器：我们用现代仅解码器小型 LLM 替换了 T5 作为文本编码器，并设计了带有上下文学习的复杂人工指令，以增强图像-文本对齐。(4) 高效训练和采样：我们提出了 Flow-DPM-Solver 以减少采样步数，并采用高效的字幕标注和选择来加速收敛。因此，Sana-0.6B 与现代巨型扩散模型（例如 Flux-12B）相比非常有竞争力，其模型大小小 20 倍，吞吐量快 100 倍以上。此外，Sana-0.6B 可以在 16GB 笔记本电脑 GPU 上部署，生成 1024×1024 分辨率图像所需时间不到 1 秒。Sana 使得低成本内容创作成为可能。代码和模型将公开发布。

请务必查阅调度器指南，了解如何探索调度器速度与质量之间的权衡，并查看跨管道重用组件部分，了解如何有效地将相同组件加载到多个管道中。

此管道由 lawrence-cj 和 chenjy2003 贡献。原始代码库可在此处找到。原始权重可在 hf.co/Efficient-Large-Model 下找到。

可用模型

模型	推荐数据类型
`Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers`	`torch.bfloat16`
`Efficient-Large-Model/Sana_1600M_1024px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_1024px_MultiLing_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_512px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_512px_MultiLing_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_600M_1024px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_600M_512px_diffusers`	`torch.float16`

更多信息请参考此集合。

注意：推荐的数据类型是针对 Transformer 权重的。文本编码器和 VAE 权重必须保持为 `torch.bfloat16` 或 `torch.float32` 才能使模型正常工作。请参考下面的推理示例，了解如何使用推荐的数据类型加载模型。

请务必为下载的模型检查点传递 `variant` 参数，以减少磁盘空间占用。对于推荐数据类型为 `torch.float16` 的模型，请将其设置为 `"fp16"`；对于推荐数据类型为 `torch.bfloat16` 的模型，请将其设置为 `"bf16"`。默认情况下，会下载 `torch.float32` 权重，这会占用两倍的磁盘存储空间。此外，`torch.float32` 权重可以通过指定 `torch_dtype` 参数进行即时下转换。请参阅文档了解更多信息。

量化

量化有助于通过以较低精度数据类型存储模型权重来减少大型模型的内存需求。但是，量化对视频质量的影响可能因视频模型而异。

有关支持的量化后端以及如何选择适合您用例的量化后端，请参阅量化概述。以下示例演示了如何使用 bitsandbytes 加载量化的 SanaPipeline 进行推理。

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, SanaTransformer2DModel, SanaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, AutoModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = AutoModel.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    torch_dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = SanaTransformer2DModel.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    torch_dtype=torch.float16,
)

pipeline = SanaPipeline.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    torch_dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("sana.png")

Diffusers

SanaPipeline

量化

< 来源 >

class diffusers.SanaPipeline

__call__

disable_vae_slicing

disable_vae_tiling

enable_vae_slicing

enable_vae_tiling

encode_prompt

SanaPAGPipeline

class diffusers.SanaPAGPipeline