Hugging Face 的徽标

Diffusers 文档

AutoencoderKL

Hugging Face's logo
加入 Hugging Face 社区

并获得扩增文档体验

开始

AutoencoderKL

由 Diederik P. Kingma 和 Max Welling 在论文 Auto-Encoding Variational Bayes 中引入的具有 KL 损失的变分自动编码器 (VAE) 模型。该模型用于 🤗 Diffusers 中来对图像进行潜变量编码，并对潜变量表示进行图像解码。

论文摘要如下

在存在具有难以处理的后验分布的连续潜在变量和大数据集的情况下，我们如何执行有效推理和学习有向概率模型？我们提出了一种随机变分推理和学习算法，该算法可以扩展到大型数据集，并且在一些温和的可微条件下，即使在难以处理的情况下也可以使用。我们的贡献有两个方面。首先，我们证明了变分下界的重新参数化产生了一个下界估计器，该估计器可以使用标准的随机梯度方法直接进行优化。其次，我们证明对于每个数据点具有连续潜在变量的 i.i.d. 数据集，可以通过使用所提出的下界估计器将近似推理模型（也称为识别模型）拟合到无法处理的后验中，从而特别有效地进行后验推理。理论优势在实验结果中得到了体现。

从原始格式加载

默认情况下，AutoencoderKL 应使用 from_pretrained() 加载，但也可以使用 FromOriginalModelMixin.from_single_file 从原始格式加载，如下所示

from diffusers import AutoencoderKL

url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors"  # can also be a local file
model = AutoencoderKL.from_single_file(url)

AutoencoderKL

class diffusers.AutoencoderKL

< >

( in_channels: int = 3 out_channels: int = 3 down_block_types: Tuple = ('DownEncoderBlock2D',) up_block_types: Tuple = ('UpDecoderBlock2D',) block_out_channels: Tuple = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 shift_factor: Optional = None latents_mean: Optional = None latents_std: Optional = None force_upcast: float = True use_quant_conv: bool = True use_post_quant_conv: bool = True mid_block_add_attention: bool = True )

参数

  • in_channels (int, 可选, 默认为 3) — 输入图像中的通道数量。
  • out_channels (int, 可选, 默认为 3) — 输出图像中的通道数量。
  • up_block_types (元组[str]，可选，默认值为 ("UpDecoderBlock2D",)) — 上采样块类型的元组。
  • block_out_channels (元组[int]，可选，默认值为 (64,)) — 块输出通道的元组。
  • latent_channels (int, 可选，默认为 4) — 隐空间中的通道数。
  • sample_size (int, 可选，默认为 32) — 示例输入大小。
  • scaling_factor （浮点类型、可选、默认为 0.18215）— 使用训练集的第一批次计算的训练过的潜在空间的组件标准差。这用于在训练 diffusion 模型时将潜在空间缩放为单位方差。潜在空间使用公式 z = z * scaling_factor 进行缩放，然后再传递给 diffusion 模型。在解码时，潜在空间使用公式 z = 1 / scaling_factor * z 缩放回原始比例。更多详细信息，请参阅 《使用潜在 diffusion 模型进行高分辨率图像合成》 论文的第 4.3.2 节和 D.1 节。
  • force_upcast （布尔类型、可选、默认为 True）— 如果启用，它将强制 VAE 以 float32 运行用于图像分辨率高的管道（比如 SD-XL）。VAE 可以微调或训练至较低范围，而不会丢失太多精度，在这种情况下可以将 force_upcast 设置为 False - 请参阅：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
  • mid_block_add_attention (bool, 可选，默认为 True) — 如果已启用，Encoder 和 Decoder 的 mid_block 将具有 attention 块。如果设置为 false，mid_block 将只包含 ResNet 块

一个具有 KL 损失的 VAE 模型，用于将图像编码成潜在变量，并将潜在表征解码成图像。

该模型继承自 ModelMixin。请查阅超类文档，了解为所有模型实现的通用方法（例如下载或保存）。

wrapper

< >

( *args **kwargs )

wrapper

< >

( *args **kwargs )

disable_slicing

< >

( )

禁用切片 VAE 解码。如果先前已启用 enable_slicing，此方法将返回计算一步解码。

disable_tiling

< >

( )

禁用切片 VAE 解码。如果之前已启用 enable_tiling，此方法将返回一步计算解码。

启用分片

< >

( )

启用切片 VAE 解码。在启用此选项时，VAE 将把输入张量拆分为多片并通过多个步骤计算解码。此举有助于节省存储空间，并允许使用更大的批量大小。

enable_tiling

< >

( use_tiling: bool = True )

启用分块 VAE 解码。当启用此选项时，VAE 将把输入张量拆分为分块，以分几步计算解码和编码。这有助于节省大量内存并允许处理更大的图像。

正向

< >

( sample: 张量 sample_posterior: bool = False return_dict: bool = True generator: 可选 = None )

参数

  • sample (torch.张量) — 输入样本。
  • sample_posterior (bool，可选，默认为 False) — 是否从后验中采样。
  • return_dict (bool, 可选，默认值为 True) — 是否返回 DecoderOutput 而不是普通元组。

fuse_qkv_projections

< >

( )

启用融合 QKV 投影。对于自注意力模块，所有投影矩阵（即查询、键、值）都融合在一起。对于交叉注意力模块，键和值投影矩阵融合在一起。

此 API 为 🧪 实验性功能。

set_attn_processor

< >

( processor: Union )

参数

  • processor （AttentionProcessor 的 dict 或仅 AttentionProcessor）— 设置为所有Attention 层的 processor 的已实例化的 processor 类或 processor 类词典。

    如果 processor 为 dict，则该键需要定义指向相应的交叉注意处理器的路径。在设置可训练的注意处理器时强烈推荐这样做。

设置用于计算注意力的注意处理器。

set_default_attn_processor

< >

( )

禁用自定义注意力处理器并设置默认注意力实现。

tiled_decode

< >

( z: 张量 return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple

参数

  • z (torch.Tensor) — 输入的潜在矢量批次。
  • return_dict (bool, 可选，默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回

~models.vae.DecoderOutput 或 元组

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通 元组。

使用平铺解码器对一批图像进行解码。

tiled_encode

< >

( x: Tensor return_dict: bool = True ) → ~models.autoencoder_kl.AutoencoderKLOutput 或 元组

参数

  • x (torch.Tensor) — 图像的输入批次。
  • return_dict (bool, 可选，默认为 True) — 是否返回 ~models.autoencoder_kl.AutoencoderKLOutput 而不是普通元组。

返回

~models.autoencoder_kl.AutoencoderKLOutput 或 元组

如果 return_dict 为 True，则返回 ~models.autoencoder_kl.AutoencoderKLOutput，否则返回普通 元组。

使用平铺编码器对一批图像进行编码。

启用此选项时，VAE 将把输入张量拆分成平铺，分多步计算编码。这对于在不考虑图像大小的情况下保持内存使用量恒定十分有用。平铺编码的最终效果不同于非平铺编码，因为每个平铺会使用不同的编码器。要避免平铺伪影，平铺会重叠在一起并混合成一个平滑的输出。你可能仍然会在输出中看到大小为平铺的更改，但它们应该不太明显。

unfuse_qkv_projections

< >

( )

如果已启用，则禁用融合 QKV 投影。

此 API 为 🧪 实验性功能。

AutoencoderKLOutput

类 diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: 对角 Gaussian 分布 )

参数

  • latent_dist (DiagonalGaussianDistribution) — Encoder 的编码输出，表示为 DiagonalGaussianDistribution 的均值和对数方差。 DiagonalGaussianDistribution 允许从分布中对潜在变量进行采样。

VAE 编码方法的输出。

DecoderOutput

class diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: 张量 commit_loss: 可选 = 无 )

参数

  • sample（形状为(batch_size, num_channels, height, width)的torch.Tensor）— 模型最后一层的解码输出示例。

解码方法的输出。

FlaxAutoencoderKL

类 diffusers.FlaxAutoencoderKL

< >

( in_channels: int = 3 out_channels: int = 3 down_block_types: Tuple = ('DownEncoderBlock2D',) up_block_types: Tuple = ('UpDecoderBlock2D',) block_out_channels: Tuple = (64,) layers_per_block: int = 1 act_fn: str = 'silu' latent_channels: int = 4 norm_num_groups: int = 32 sample_size: int = 32 scaling_factor: float = 0.18215 dtype: dtype = <class 'jax.numpy.float32'> parent: Union = <flax.linen.module._Sentinel object at 0x7fb2b317ed40> name: Optional = None )

参数

  • 输入通道 (int, 可选, 默认为 3) — 输入图像中的通道数。
  • out_channels (int, 可选，默认为 `3` ) - 输出中的通道数。
  • down_block_types (Tuple[str], 可选，默认为 `(DownEncoderBlock2D)` ) - 下采样块类型的元组。
  • block_out_channels (Tuple[str], optional, defaults to (64,)) — 模块输出通道元组。
  • layers_per_block (int, optional, defaults to 2) — 每个模块的 ResNet 层数。
  • latent_channels (int, 可选，默认为 4) — 潜在空间中通道数。
  • norm_num_groups (int, 可选，默认为 32) — 标准化组数。
  • scaling_factor (float, optional, defaults to 0.18215) — 训练集的第一批中使用训练出来的潜空间的按元素的标准差。在训练扩散模型时将其用于对潜空间进行缩放以使其具有单位方差。使用该公式对潜空间进行缩放 z = z * scaling_factor，然后将其传递给扩散模型。在解码时，使用以下公式将潜空间恢复到原始比例： z = 1 / scaling_factor * z。有关更多详细信息，请参阅论文使用隐式扩散模型进行高分辨率图像合成的第 4.3.2 节和 D.1 节。
  • dtype (jnp.dtype, optional, defaults to jnp.float32) — 参数的 dtype。

使用 KL 损失对潜在表示进行解码的 VAE 模型的 Flax 实现。

此模型继承自 FlaxModelMixin。查看超类的文档，了解为所有模型（例如下载或保存）实现的通用方法。

该模块是一个 Flax Linen flax.linen.Module 子类。按照常规 Flax Linen 模块的方式使用它，并参考 Flax 文档了解所有与一般用法和行为相关的内容。

支持下述固有的 JAX 特性

FlaxAutoencoderKLOutput

类 diffusers.models.vae_flax.FlaxAutoencoderKLOutput

< >

( latent_dist: FlaxDiagonalGaussianDistribution )

参数

  • latent_dist (FlaxDiagonalGaussianDistribution) — 编码器的编码结果，表示为 FlaxDiagonalGaussianDistribution 的均值和对数方差。FlaxDiagonalGaussianDistribution 允许从分布中抽取潜变量。

VAE 编码方法的输出。

replace

< >

( **updates )

“返回一个新的对象，用新值替换指定字段。

FlaxDecoderOutput

class diffusers.models.vae_flax.FlaxDecoderOutput

< >

( sample: 数组 )

参数

  • sample (jnp.ndarray，形状为 (batch_size, num_channels, height, width)) — 模型最后一层解码后的输出样本。
  • dtype (jnp.dtype，可选，默认为 jnp.float32) — 参数的 dtype。

解码方法的输出。

replace

< >

( **updates )

“返回一个新的对象，用新值替换指定字段。

< > 在 GitHub 上更新

←VQModel AutoencoderKLCogVideoX→