Diffusers 文档
AutoencoderKL
并获得增强的文档体验
开始使用
AutoencoderKL
变分自动编码器 (VAE) 模型，带有 KL 损失，由 Diederik P. Kingma 和 Max Welling 在 Auto-Encoding Variational Bayes 中提出。该模型在 🤗 Diffusers 中用于将图像编码为潜在变量，并将潜在表示解码为图像。
论文摘要如下：
在存在具有难以处理的后验分布的连续潜在变量和大型数据集的情况下，我们如何才能在有向概率模型中进行高效推理和学习？我们引入了一种随机变分推理和学习算法，该算法可扩展到大型数据集，并且在一些温和的可微分条件下，甚至在难以处理的情况下也能工作。我们的贡献是双重的。首先，我们表明变分下界的重参数化产生了一个可以利用标准随机梯度方法直接优化的下界估计器。其次，我们表明对于每个数据点具有连续潜在变量的 i.i.d. 数据集，可以通过使用所提出的下界估计器将近似推理模型（也称为识别模型）拟合到难以处理的后验，从而使后验推理变得特别高效。理论优势体现在实验结果中。
从原始格式加载
默认情况下，AutoencoderKL 应该通过 from_pretrained() 加载，但也可以使用 FromOriginalModelMixin.from_single_file 从原始格式加载，如下所示：
from diffusers import AutoencoderKL
url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors" # can also be a local file
model = AutoencoderKL.from_single_file(url)AutoencoderKL
类 diffusers.AutoencoderKL
< 来源 >( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('DownEncoderBlock2D',) up_block_types: typing.Tuple[str] = ('UpDecoderBlock2D',) block_out_channels: typing.Tuple[int] = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 shift_factor: typing.Optional[float] = None latents_mean: typing.Optional[typing.Tuple[float]] = None latents_std: typing.Optional[typing.Tuple[float]] = None force_upcast: float = True use_quant_conv: bool = True use_post_quant_conv: bool = True mid_block_add_attention: bool = True )
参数
- in_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
- out_channels (int, 可选, 默认为 3) — 输出中的通道数。
- down_block_types (
Tuple[str], 可选, 默认为("DownEncoderBlock2D",)) — 下采样块类型的元组。 - up_block_types (
Tuple[str], 可选, 默认为("UpDecoderBlock2D",)) — 上采样块类型的元组。 - block_out_channels (
Tuple[int], 可选, 默认为(64,)) — 块输出通道的元组。 - act_fn (
str, 可选, 默认为"silu") — 要使用的激活函数。 - latent_channels (
int, 可选, 默认为 4) — 潜在空间中的通道数。 - sample_size (
int, 可选, 默认为32) — 样本输入大小。 - scaling_factor (
float, 可选, 默认为 0.18215) — 使用训练集第一批计算出的训练潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在变量会通过公式z = z * scaling_factor进行缩放。解码时，潜在变量会通过公式z = 1 / scaling_factor * z缩放回原始比例。有关更多详细信息，请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 节和 D.1 节。 - force_upcast (
bool, 可选, 默认为True) — 如果启用，它将强制 VAE 以 float32 运行高分辨率图像管道，例如 SD-XL。VAE 可以微调/训练到较低范围，而不会损失太多精度，在这种情况下，force_upcast可以设置为False- 请参阅：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix - mid_block_add_attention (
bool, 可选, 默认为True) — 如果启用，编码器和解码器的 mid_block 将具有注意力块。如果设置为 false，mid_block 将只有残差块
一个具有 KL 损失的 VAE 模型，用于将图像编码为潜在变量并将潜在表示解码为图像。
此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。
禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。
启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。
启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。
前向传播
< 来源 >( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )
设置注意力处理器
< 来源 >( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor, typing.Dict[str, typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )
设置用于计算注意力的注意力处理器。
禁用自定义注意力处理器并设置默认注意力实现。
分块解码
< 来源 >( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple
使用分块解码器解码一批图像。
分块编码
< 来源 >( x: Tensor return_dict: bool = True ) → ~models.autoencoder_kl.AutoencoderKLOutput 或 tuple
使用分块编码器编码一批图像。
启用此选项后，VAE 会将输入张量分割成块，分多步计算编码。这对于保持内存使用恒定，不随图像大小变化非常有用。分块编码的最终结果与非分块编码不同，因为每个块都使用不同的编码器。为了避免分块伪影，块之间会重叠并融合在一起，形成平滑的输出。您可能仍然会在输出中看到块大小的变化，但它们应该不那么明显。
AutoencoderKLOutput
class diffusers.models.modeling_outputs.AutoencoderKLOutput
< 来源 >( latent_dist: DiagonalGaussianDistribution )
AutoencoderKL 编码方法的输出。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< 来源 >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解码方法的输出。
FlaxAutoencoderKL
class diffusers.FlaxAutoencoderKL
< 来源 >( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('DownEncoderBlock2D',) up_block_types: typing.Tuple[str] = ('UpDecoderBlock2D',) block_out_channels: typing.Tuple[int] = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 dtype: dtype = <class 'jax.numpy.float32'> parent: typing.Union[flax.linen.module.Module, flax.core.scope.Scope, flax.linen.module._Sentinel, NoneType] = <flax.linen.module._Sentinel object at 0x7fc460aac610> name: typing.Optional[str] = None )
参数
- in_channels (
int, 可选, 默认为 3) — 输入图像中的通道数。 - out_channels (
int, 可选, 默认为 3) — 输出中的通道数。 - down_block_types (
Tuple[str], 可选, 默认为(DownEncoderBlock2D)) — 下采样块类型的元组。 - up_block_types (
Tuple[str], 可选, 默认为(UpDecoderBlock2D)) — 上采样块类型的元组。 - block_out_channels (
Tuple[str], 可选, 默认为(64,)) — 块输出通道的元组。 - layers_per_block (
int, 可选, 默认为2) — 每个块的 ResNet 层数。 - act_fn (
str, 可选, 默认为silu) — 要使用的激活函数。 - latent_channels (
int, 可选, 默认为4) — 潜在空间中的通道数。 - norm_num_groups (
int, 可选, 默认为32) — 归一化的组数。 - sample_size (
int, 可选, 默认为 32) — 输入样本大小。 - scaling_factor (
float, 可选, 默认为 0.18215) — 使用训练集的第一批数据计算出的训练潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在变量会按照公式z = z * scaling_factor进行缩放。解码时，潜在变量会按照公式z = 1 / scaling_factor * z缩放回原始比例。有关更多详细信息，请参阅 高分辨率图像合成与潜在扩散模型 论文的 4.3.2 节和 D.1 节。 - dtype (
jnp.dtype, 可选, 默认为jnp.float32) — 参数的dtype。
使用 KL 损失解码潜在表示的 VAE 模型的 Flax 实现。
此模型继承自 FlaxModelMixin。请查看超类文档以了解所有模型实现的通用方法（例如下载或保存）。
此模型是 Flax Linen flax.linen.Module 的子类。将其作为常规 Flax Linen 模块使用，并参考 Flax 文档了解所有与其一般用法和行为相关的事项。
支持以下固有的 JAX 功能
FlaxAutoencoderKLOutput
class diffusers.models.vae_flax.FlaxAutoencoderKLOutput
< 来源 >( latent_dist: FlaxDiagonalGaussianDistribution )
AutoencoderKL 编码方法的输出。
返回一个新对象，用新值替换指定的字段。
FlaxDecoderOutput
class diffusers.models.vae_flax.FlaxDecoderOutput
< 来源 >( sample: Array )
解码方法的输出。
返回一个新对象，用新值替换指定的字段。