Hugging Face 的 LOGO

Diffusers 文档

AutoencoderKLCogVideoX

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AutoencoderKLCogVideoX

CogVideoX 中使用的 3D 变分自编码器（VAE）模型（带 KL 损失）由清华大学和智谱AI在 CogVideoX: 带有专家 Transformer 的文本到视频扩散模型中引入。

该模型可以通过以下代码片段加载。

from diffusers import AutoencoderKLCogVideoX

vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", torch_dtype=torch.float16).to("cuda")

AutoencoderKLCogVideoX

类 diffusers.AutoencoderKLCogVideoX

< >

( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D') up_block_types: typing.Tuple[str] = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 256, 512) latent_channels: int = 16 layers_per_block: int = 3 act_fn: str = 'silu' norm_eps: float = 1e-06 norm_num_groups: int = 32 temporal_compression_ratio: float = 4 sample_height: int = 480 sample_width: int = 720 scaling_factor: float = 1.15258426 shift_factor: typing.Optional[float] = None latents_mean: typing.Optional[typing.Tuple[float]] = None latents_std: typing.Optional[typing.Tuple[float]] = None force_upcast: float = True use_quant_conv: bool = False use_post_quant_conv: bool = False invert_scale_latents: bool = False )

参数

  • in_channels (整数, 可选, 默认为 3) — 输入图像中的通道数。
  • out_channels (整数, 可选, 默认为 3) — 输出中的通道数。
  • down_block_types (Tuple[str], 可选, 默认为 ("DownEncoderBlock2D",)) — 下采样块类型的元组。
  • up_block_types (Tuple[str], 可选, 默认为 ("UpDecoderBlock2D",)) — 上采样块类型的元组。
  • block_out_channels (Tuple[int], 可选, 默认为 (64,)) — 块输出通道的元组。
  • act_fn (str, 可选, 默认为 "silu") — 要使用的激活函数。
  • sample_size (int, 可选, 默认为 32) — 样本输入大小。
  • scaling_factor (float, 可选, 默认为 1.15258426) — 使用训练集的第一批数据计算出的训练后潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在值通过公式 z = z * scaling_factor 进行缩放。解码时，潜在值通过公式 z = 1 / scaling_factor * z 缩放回原始比例。有关更多详细信息，请参阅 《高分辨率图像合成与潜在扩散模型》论文的第 4.3.2 节和附录 D.1。
  • force_upcast (bool, 可选, 默认为 True) — 如果启用，将强制 VAE 以 float32 运行高分辨率图像管道（例如 SD-XL）。VAE 可以微调/训练到较低范围而不会损失太多精度，在这种情况下 force_upcast 可以设置为 False - 请参阅： https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

用于将图像编码为潜在值并将潜在表示解码为图像的带有 KL 损失的 VAE 模型。在 CogVideoX 中使用。

此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。

包装器

< >

( *args **kwargs )

包装器

< >

( *args **kwargs )

disable_slicing

< >

( )

禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。

disable_tiling

< >

( )

禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。

enable_slicing

< >

( )

启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。

enable_tiling

< >

( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_overlap_factor_height: typing.Optional[float] = None tile_overlap_factor_width: typing.Optional[float] = None )

参数

  • tile_sample_min_height (int, 可选) — 样本在高度维度上被分割成平铺所需的最小高度。
  • tile_sample_min_width (int, 可选) — 样本在宽度维度上被分割成平铺所需的最小宽度。
  • tile_overlap_factor_height (int, 可选) — 两个连续垂直平铺之间的最小重叠量。这旨在确保在高度维度上不会产生平铺伪影。必须在 0 到 1 之间。设置更高的值可能会导致处理更多平铺，从而减慢解码过程。
  • tile_overlap_factor_width (int, 可选) — 两个连续水平平铺之间的最小重叠量。这旨在确保在宽度维度上不会产生平铺伪影。必须在 0 到 1 之间。设置更高的值可能会导致处理更多平铺，从而减慢解码过程。

启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。

分块解码

< >

( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 元组

参数

  • z (torch.Tensor) — 潜在向量的输入批次。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通的 tuple。

使用分块解码器解码一批图像。

分块编码

< >

( x: Tensor ) → torch.Tensor

参数

  • x (torch.Tensor) — 视频输入批次。

返回

torch.Tensor

编码视频的潜在表示。

使用分块编码器编码一批图像。

启用此选项后，VAE 会将输入张量分割成平铺，以分多个步骤计算编码。这对于保持内存使用量与图像大小无关非常有用。平铺编码的最终结果与非平铺编码不同，因为每个平铺都使用不同的编码器。为了避免平铺伪影，平铺会重叠并混合在一起以形成平滑的输出。您可能仍然会看到输出中平铺大小的变化，但它们应该不太明显。

AutoencoderKLOutput

类 diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

参数

  • latent_dist (DiagonalGaussianDistribution) — Encoder 的编码输出，表示为 DiagonalGaussianDistribution 的均值和对数方差。DiagonalGaussianDistribution 允许从分布中采样潜在值。

AutoencoderKL 编码方法的输出。

DecoderOutput

类 diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )

参数

  • sample (torch.Tensor，形状为 (batch_size, num_channels, height, width)) — 模型最后一层的解码输出样本。

解码方法的输出。

< > 在 GitHub 上更新

←AutoencoderKLAllegro AutoencoderKLCosmos→