Diffusers 文档

AutoencoderKL

Diffusers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

AutoencoderKL

变分自动编码器 (VAE) 模型，带有 KL 损失，由 Diederik P. Kingma 和 Max Welling 在 Auto-Encoding Variational Bayes 中提出。该模型在 🤗 Diffusers 中用于将图像编码为潜在变量，并将潜在表示解码为图像。

论文摘要如下：

在存在具有难以处理的后验分布的连续潜在变量和大型数据集的情况下，我们如何才能在有向概率模型中进行高效推理和学习？我们引入了一种随机变分推理和学习算法，该算法可扩展到大型数据集，并且在一些温和的可微分条件下，甚至在难以处理的情况下也能工作。我们的贡献是双重的。首先，我们表明变分下界的重参数化产生了一个可以利用标准随机梯度方法直接优化的下界估计器。其次，我们表明对于每个数据点具有连续潜在变量的 i.i.d. 数据集，可以通过使用所提出的下界估计器将近似推理模型（也称为识别模型）拟合到难以处理的后验，从而使后验推理变得特别高效。理论优势体现在实验结果中。

从原始格式加载

默认情况下，AutoencoderKL 应该通过 from_pretrained() 加载，但也可以使用 FromOriginalModelMixin.from_single_file 从原始格式加载，如下所示：

from diffusers import AutoencoderKL

url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors"  # can also be a local file
model = AutoencoderKL.from_single_file(url)

AutoencoderKL

类 diffusers.AutoencoderKL

( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('DownEncoderBlock2D',) up_block_types: typing.Tuple[str] = ('UpDecoderBlock2D',) block_out_channels: typing.Tuple[int] = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 shift_factor: typing.Optional[float] = None latents_mean: typing.Optional[typing.Tuple[float]] = None latents_std: typing.Optional[typing.Tuple[float]] = None force_upcast: float = True use_quant_conv: bool = True use_post_quant_conv: bool = True mid_block_add_attention: bool = True )

参数

in_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
out_channels (int, 可选, 默认为 3) — 输出中的通道数。
down_block_types (Tuple[str], 可选, 默认为 ("DownEncoderBlock2D",)) — 下采样块类型的元组。
up_block_types (Tuple[str], 可选, 默认为 ("UpDecoderBlock2D",)) — 上采样块类型的元组。
block_out_channels (Tuple[int], 可选, 默认为 (64,)) — 块输出通道的元组。
act_fn (str, 可选, 默认为 "silu") — 要使用的激活函数。
latent_channels (int, 可选, 默认为 4) — 潜在空间中的通道数。
sample_size (int, 可选, 默认为 32) — 样本输入大小。
scaling_factor (float, 可选, 默认为 0.18215) — 使用训练集第一批计算出的训练潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在变量会通过公式 z = z * scaling_factor 进行缩放。解码时，潜在变量会通过公式 z = 1 / scaling_factor * z 缩放回原始比例。有关更多详细信息，请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 节和 D.1 节。
force_upcast (bool, 可选, 默认为 True) — 如果启用，它将强制 VAE 以 float32 运行高分辨率图像管道，例如 SD-XL。VAE 可以微调/训练到较低范围，而不会损失太多精度，在这种情况下，force_upcast 可以设置为 False - 请参阅：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
mid_block_add_attention (bool, 可选, 默认为 True) — 如果启用，编码器和解码器的 mid_block 将具有注意力块。如果设置为 false，mid_block 将只有残差块

一个具有 KL 损失的 VAE 模型，用于将图像编码为潜在变量并将潜在表示解码为图像。

此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。

包装器

( *args **kwargs )

包装器

( *args **kwargs )

禁用切片

( )

禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。

禁用平铺

( )

禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。

启用切片

( )

启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。

启用平铺

( use_tiling: bool = True )

启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。

前向传播

( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )

参数

sample (torch.Tensor) — 输入样本。
sample_posterior (bool, 可选, 默认为 False) — 是否从后验中采样。
return_dict (bool, 可选, 默认为 True) — 是否返回 DecoderOutput 而不是普通元组。

融合 qkv 投影

( )

启用融合 QKV 投影。对于自注意力模块，所有投影矩阵（即查询、键、值）都将融合。对于交叉注意力模块，键和值投影矩阵将融合。

此 API 是 🧪 实验性的。

设置注意力处理器

( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor, typing.Dict[str, typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )

参数

处理器 (AttentionProcessor 的 dict 或仅 AttentionProcessor) — 实例化的处理器类或处理器类字典，将设置为**所有** Attention 层的处理器。

如果 processor 是一个字典，则键需要定义到相应交叉注意力处理器的路径。这在设置可训练注意力处理器时强烈推荐。

设置用于计算注意力的注意力处理器。

设置默认注意力处理器

( )

禁用自定义注意力处理器并设置默认注意力实现。

分块解码

( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple

参数

z (torch.Tensor) — 潜在向量的输入批次。
return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通的 tuple。

使用分块解码器解码一批图像。

分块编码

( x: Tensor return_dict: bool = True ) → ~models.autoencoder_kl.AutoencoderKLOutput 或 tuple

参数

x (torch.Tensor) — 图像的输入批次。
return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.autoencoder_kl.AutoencoderKLOutput 对象而非普通元组。

返回

~models.autoencoder_kl.AutoencoderKLOutput 或 tuple

如果 return_dict 为 True，则返回一个 ~models.autoencoder_kl.AutoencoderKLOutput 对象，否则返回一个普通 tuple。

使用分块编码器编码一批图像。

启用此选项后，VAE 会将输入张量分割成块，分多步计算编码。这对于保持内存使用恒定，不随图像大小变化非常有用。分块编码的最终结果与非分块编码不同，因为每个块都使用不同的编码器。为了避免分块伪影，块之间会重叠并融合在一起，形成平滑的输出。您可能仍然会在输出中看到块大小的变化，但它们应该不那么明显。

unfuse_qkv_projections

( )

如果启用了，则禁用融合的 QKV 投影。

此 API 是 🧪 实验性的。

AutoencoderKLOutput

class diffusers.models.modeling_outputs.AutoencoderKLOutput

( latent_dist: DiagonalGaussianDistribution )

参数

latent_dist (DiagonalGaussianDistribution) — Encoder 的编码输出，表示为 DiagonalGaussianDistribution 的均值和对数方差。DiagonalGaussianDistribution 允许从分布中采样潜变量。

AutoencoderKL 编码方法的输出。

DecoderOutput

class diffusers.models.autoencoders.vae.DecoderOutput

( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )

参数

sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor) — 模型最后一层的解码输出样本。

解码方法的输出。

FlaxAutoencoderKL

class diffusers.FlaxAutoencoderKL

( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('DownEncoderBlock2D',) up_block_types: typing.Tuple[str] = ('UpDecoderBlock2D',) block_out_channels: typing.Tuple[int] = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 dtype: dtype = <class 'jax.numpy.float32'> parent: typing.Union[flax.linen.module.Module, flax.core.scope.Scope, flax.linen.module._Sentinel, NoneType] = <flax.linen.module._Sentinel object at 0x7fc460aac610> name: typing.Optional[str] = None )

参数

in_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
out_channels (int, 可选, 默认为 3) — 输出中的通道数。
down_block_types (Tuple[str], 可选, 默认为 (DownEncoderBlock2D)) — 下采样块类型的元组。
up_block_types (Tuple[str], 可选, 默认为 (UpDecoderBlock2D)) — 上采样块类型的元组。
block_out_channels (Tuple[str], 可选, 默认为 (64,)) — 块输出通道的元组。
layers_per_block (int, 可选, 默认为 2) — 每个块的 ResNet 层数。
act_fn (str, 可选, 默认为 silu) — 要使用的激活函数。
latent_channels (int, 可选, 默认为 4) — 潜在空间中的通道数。
norm_num_groups (int, 可选, 默认为 32) — 归一化的组数。
sample_size (int, 可选, 默认为 32) — 输入样本大小。
scaling_factor (float, 可选, 默认为 0.18215) — 使用训练集的第一批数据计算出的训练潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在变量会按照公式 z = z * scaling_factor 进行缩放。解码时，潜在变量会按照公式 z = 1 / scaling_factor * z 缩放回原始比例。有关更多详细信息，请参阅高分辨率图像合成与潜在扩散模型论文的 4.3.2 节和 D.1 节。
dtype (jnp.dtype, 可选, 默认为 jnp.float32) — 参数的 dtype。

使用 KL 损失解码潜在表示的 VAE 模型的 Flax 实现。

此模型继承自 FlaxModelMixin。请查看超类文档以了解所有模型实现的通用方法（例如下载或保存）。

此模型是 Flax Linen flax.linen.Module 的子类。将其作为常规 Flax Linen 模块使用，并参考 Flax 文档了解所有与其一般用法和行为相关的事项。

支持以下固有的 JAX 功能

FlaxAutoencoderKLOutput

class diffusers.models.vae_flax.FlaxAutoencoderKLOutput

( latent_dist: FlaxDiagonalGaussianDistribution )

参数

latent_dist (FlaxDiagonalGaussianDistribution) — Encoder 的编码输出，表示为 FlaxDiagonalGaussianDistribution 的均值和对数方差。FlaxDiagonalGaussianDistribution 允许从分布中采样潜在变量。

AutoencoderKL 编码方法的输出。

替换

( **updates )

返回一个新对象，用新值替换指定的字段。

FlaxDecoderOutput

class diffusers.models.vae_flax.FlaxDecoderOutput

( sample: Array )

参数

sample (形状为 (batch_size, num_channels, height, width) 的 jnp.ndarray) — 模型最后一层的解码输出样本。
dtype (jnp.dtype, 可选, 默认为 jnp.float32) — 参数的 dtype。

解码方法的输出。

替换

( **updates )

返回一个新对象，用新值替换指定的字段。

< > 在 GitHub 上更新

←AutoencoderDC AutoencoderKLAllegro→