Hugging Face's logo

Diffusers 文档

AutoencoderKL

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

AutoencoderKL

变分自编码器 (VAE) 模型和 KL 损失由 Diederik P. Kingma 和 Max Welling 在 Auto-Encoding Variational Bayes 中提出。该模型在 🤗 Diffusers 中用于将图像编码为潜在表示，并将潜在表示解码为图像。

以下是论文摘要：

在存在具有难处理后验分布的连续潜在变量和大型数据集的情况下，我们如何在有向概率模型中执行高效的推理和学习？我们引入了一种随机变分推理和学习算法，该算法可扩展到大型数据集，并且在一些温和的可微性条件下，甚至在难处理的情况下也能工作。我们的贡献是双重的。首先，我们表明，变分下界的重新参数化产生了一个下界估计器，可以使用标准随机梯度方法直接对其进行优化。其次，我们表明，对于每个数据点具有连续潜在变量的 i.i.d. 数据集，通过使用提出的下界估计器将近似推理模型（也称为识别模型）拟合到难处理的后验，可以使后验推理特别有效。理论优势反映在实验结果中。

从原始格式加载

默认情况下，AutoencoderKL 应使用 from_pretrained() 加载，但也可以使用 FromOriginalModelMixin.from_single_file 从原始格式加载，如下所示

from diffusers import AutoencoderKL

url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors"  # can also be a local file
model = AutoencoderKL.from_single_file(url)

AutoencoderKL

类 diffusers.AutoencoderKL

< >

( in_channels: int = 3 out_channels: int = 3 down_block_types: Tuple = ('DownEncoderBlock2D',) up_block_types: Tuple = ('UpDecoderBlock2D',) block_out_channels: Tuple = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 shift_factor: Optional = None latents_mean: Optional = None latents_std: Optional = None force_upcast: float = True use_quant_conv: bool = True use_post_quant_conv: bool = True mid_block_add_attention: bool = True )

参数

  • in_channels (int, 可选，默认为 3）— 输入图像中的通道数。
  • out_channels (int, 可选，默认为 3）— 输出中的通道数。
  • down_block_types (Tuple[str], 可选，默认为 ("DownEncoderBlock2D",)) — 下采样块类型元组。
  • up_block_types (Tuple[str], 可选, 默认为 ("UpDecoderBlock2D",)) — 上采样块类型的元组。
  • block_out_channels (Tuple[int], 可选, 默认为 (64,)) — 块输出通道的元组。
  • act_fn (str, 可选, 默认为 "silu") — 要使用的激活函数。
  • latent_channels (int, 可选, 默认为 4) — 潜在空间中的通道数。
  • sample_size (int, 可选, 默认为 32) — 样本输入大小。
  • scaling_factor (float, 可选, 默认为 0.18215) — 使用训练集的首批数据计算的训练后的潜在空间的逐分量标准差。这用于在训练扩散模型时缩放潜在空间以使其具有单位方差。在传递给扩散模型之前，潜在变量使用公式 z = z * scaling_factor 进行缩放。解码时，潜在变量使用公式 z = 1 / scaling_factor * z 缩放回原始尺度。有关更多详细信息，请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 和 D.1 节。
  • force_upcast (bool, 可选, 默认为 True) — 如果启用，它将强制 VAE 在 float32 中运行，以用于高图像分辨率管道，例如 SD-XL。 VAE 可以被微调/训练到较低的范围而不会损失太多精度，在这种情况下，可以将 force_upcast 设置为 False - 请参阅：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
  • mid_block_add_attention (bool, 可选, 默认为 True) — 如果启用，编码器和解码器的中间块将具有注意力块。如果设置为 false，则中间块将仅具有 resnet 块

一个 VAE 模型，带有 KL 损失，用于将图像编码为潜在表示，并将潜在表示解码为图像。

此模型继承自 ModelMixin。查看超类文档以获取为其所有模型实现的通用方法（例如下载或保存）。

包装器

< >

( *args **kwargs )

包装器

< >

( *args **kwargs )

disable_slicing

< >

( )

禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复为一步计算解码。

disable_tiling

< >

( )

禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复为一步计算解码。

enable_slicing

< >

( )

启用切片 VAE 解码。启用此选项后，VAE 将输入张量拆分为切片，以分步计算解码。这有助于节省一些内存并允许更大的批量大小。

enable_tiling

< >

( use_tiling: bool = True )

启用平铺 VAE 解码。启用此选项后，VAE 将输入张量拆分为图块，以分步计算解码和编码。这对于节省大量内存并允许处理更大的图像非常有用。

forward

< >

( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: Optional = None )

参数

  • sample (torch.Tensor) — 输入样本。
  • sample_posterior (bool, 可选, 默认为 False) — 是否从后验分布中采样。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 DecoderOutput 而不是普通元组。

fuse_qkv_projections

< >

( )

启用融合的 QKV 投影。对于自注意力模块，所有投影矩阵（即，查询、键、值）都被融合。对于交叉注意力模块，键和值投影矩阵被融合。

此 API 是 🧪 实验性的。

set_attn_processor

< >

( processor: Union )

参数

  • processor (AttentionProcessor 的 dict 或仅 AttentionProcessor) — 实例化的处理器类或处理器类字典，它将被设置为所有 Attention 层的处理器。

    如果 processor 是一个 dict，则键需要定义到相应交叉注意力处理器的路径。强烈建议在设置可训练的注意力处理器时使用。

设置用于计算注意力的注意力处理器。

set_default_attn_processor

< >

( )

禁用自定义注意力处理器并设置默认注意力实现。

tiled_decode

< >

( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple

参数

  • z (torch.Tensor) — 潜向量的输入批次。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通的元组。

返回值

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通 tuple。

使用分块解码器解码一批图像。

tiled_encode

< >

( x: Tensor return_dict: bool = True ) → ~models.autoencoder_kl.AutoencoderKLOutput 或 tuple

参数

  • x (torch.Tensor) — 图像的输入批次。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.autoencoder_kl.AutoencoderKLOutput 而不是普通的元组。

返回值

~models.autoencoder_kl.AutoencoderKLOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.autoencoder_kl.AutoencoderKLOutput，否则返回普通 tuple。

使用分块编码器编码一批图像。

启用此选项后，VAE 将输入张量拆分为瓦片以分步计算编码。 这对于保持内存使用恒定，而与图像大小无关非常有用。 分块编码的最终结果与非分块编码不同，因为每个瓦片都使用不同的编码器。 为了避免分块伪影，瓦片会重叠并混合在一起以形成平滑的输出。 您可能仍然会在输出中看到瓦片大小的变化，但它们应该不那么明显。

unfuse_qkv_projections

< >

( )

如果启用了融合 QKV 投影，则禁用它。

此 API 是 🧪 实验性的。

AutoencoderKLOutput

class diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

参数

  • latent_dist (DiagonalGaussianDistribution) — Encoder 的编码输出，表示为 DiagonalGaussianDistribution 的均值和对数方差。 DiagonalGaussianDistribution 允许从分布中采样潜在变量。

AutoencoderKL 编码方法的输出。

DecoderOutput

class diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensor commit_loss: Optional = None )

参数

  • sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor) — 来自模型最后一层的解码输出样本。

解码方法的输出。

FlaxAutoencoderKL

class diffusers.FlaxAutoencoderKL

< >

( in_channels: int = 3 out_channels: int = 3 down_block_types: Tuple = ('DownEncoderBlock2D',) up_block_types: Tuple = ('UpDecoderBlock2D',) block_out_channels: Tuple = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 dtype: dtype = <class 'jax.numpy.float32'> parent: Union = <flax.linen.module._Sentinel object at 0x7f529575c910> name: Optional = None )

参数

  • in_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
  • out_channels (int, 可选, 默认为 3) — 输出中的通道数。
  • down_block_types (Tuple[str], 可选, 默认为 (DownEncoderBlock2D)) — 下采样块类型的元组。
  • up_block_types (Tuple[str], 可选, 默认为 (UpDecoderBlock2D)) — 上采样块类型的元组。
  • block_out_channels (Tuple[str], 可选, 默认为 (64,)) — 块输出通道的元组。
  • layers_per_block (int, 可选, 默认为 2) — 每个块的 ResNet 层数。
  • act_fn (str, 可选, 默认为 silu) — 要使用的激活函数。
  • latent_channels (int, 可选, 默认为 4) — 潜在空间中的通道数。
  • norm_num_groups (int, 可选, 默认为 32) — 归一化的组数。
  • sample_size (int, 可选, 默认为 32) — 样本输入大小。
  • scaling_factor (float, 可选, 默认为 0.18215) — 使用训练集的第一批数据计算出的训练潜在空间的逐分量标准差。 这用于在训练扩散模型时缩放潜在空间以使其具有单位方差。 潜在变量在传递到扩散模型之前使用公式 z = z * scaling_factor 进行缩放。 解码时，潜在变量使用公式 z = 1 / scaling_factor * z 缩放回原始比例。 有关更多详细信息，请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 节和 D.1 节。
  • dtype (jnp.dtype, 可选, 默认为 jnp.float32) — 参数的 dtype。

Flax 实现的 VAE 模型，带有 KL 损失，用于解码潜在表示。

此模型继承自 FlaxModelMixin。查看超类文档，了解为其所有模型实现的通用方法（例如下载或保存）。

此模型是 Flax Linen flax.linen.Module 子类。将其用作常规 Flax Linen 模块，并参考 Flax 文档了解与其通用用法和行为相关的所有事项。

支持固有的 JAX 功能，例如以下内容

FlaxAutoencoderKLOutput

class diffusers.models.vae_flax.FlaxAutoencoderKLOutput

< >

( latent_dist: FlaxDiagonalGaussianDistribution )

参数

  • latent_dist (FlaxDiagonalGaussianDistribution) — Encoder 的编码输出，表示为 FlaxDiagonalGaussianDistribution 的均值和对数方差。 FlaxDiagonalGaussianDistribution 允许从分布中采样潜在变量。

AutoencoderKL 编码方法的输出。

replace

< >

( **updates )

“返回一个新对象，将指定的字段替换为新值。

FlaxDecoderOutput

class diffusers.models.vae_flax.FlaxDecoderOutput

< >

( sample: Array )

参数

  • sample (jnp.ndarray，形状为 (batch_size, num_channels, height, width)) — 模型最后一层的解码输出样本。
  • dtype (jnp.dtype, 可选, 默认为 jnp.float32) — 参数的 dtype。

解码方法的输出。

replace

< >

( **updates )

“返回一个新对象，将指定的字段替换为新值。

< > 在 GitHub 上更新

←VQModel AutoencoderKLCogVideoX→