Hugging Face's logo

Diffusers 文档

AutoencoderKLHunyuanVideo

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AutoencoderKLHunyuanVideo

在 HunyuanVideo 中使用的带有 KL 损失的 3D 变分自动编码器 (VAE) 模型，该模型在腾讯的 HunyuanVideo: A Systematic Framework For Large Video Generative Models 中介绍。

该模型可以使用以下代码片段加载。

from diffusers import AutoencoderKLHunyuanVideo

vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="vae", torch_dtype=torch.float16)

AutoencoderKLHunyuanVideo

class diffusers.AutoencoderKLHunyuanVideo

< >

( in_channels: int = 3 out_channels: int = 3 latent_channels: int = 16 down_block_types: typing.Tuple[str, ...] = ('HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D') up_block_types: typing.Tuple[str, ...] = ('HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 512, 512) layers_per_block: int = 2 act_fn: str = 'silu' norm_num_groups: int = 32 scaling_factor: float = 0.476986 spatial_compression_ratio: int = 8 temporal_compression_ratio: int = 4 mid_block_add_attention: bool = True )

一个带有 KL 损失的 VAE 模型，用于将视频编码为潜在表示，并将潜在表示解码为视频。在 HunyuanVideo 中介绍。

此模型继承自 ModelMixin。查看超类文档，了解为所有模型实现的通用方法（例如下载或保存）。

wrapper

< >

( *args **kwargs )

disable_slicing

< >

( )

禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复为一步计算解码。

disable_tiling

< >

( )

禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复为一步计算解码。

enable_slicing

< >

( )

启用切片 VAE 解码。启用此选项后，VAE 将输入张量分割成切片，分步计算解码。这有助于节省一些内存，并允许更大的批量大小。

启用平铺 (enable_tiling)

< >

( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )

参数

  • tile_sample_min_height (int, 可选) — 将样本沿高度维度分离成瓦片所需的最小高度。
  • tile_sample_min_width (int, 可选) — 将样本沿宽度维度分离成瓦片所需的最小宽度。
  • tile_sample_min_num_frames (int, 可选) — 将样本沿帧维度分离成瓦片所需的最小帧数。
  • tile_sample_stride_height (int, 可选) — 两个连续垂直瓦片之间的最小重叠量。这是为了确保在高度维度上不会产生平铺伪影。
  • tile_sample_stride_width (int, 可选) — 两个连续水平瓦片之间的步幅。这是为了确保在宽度维度上不会产生平铺伪影。
  • tile_sample_stride_num_frames (int, 可选) — 两个连续帧瓦片之间的步幅。这是为了确保在帧维度上不会产生平铺伪影。

启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分步计算解码和编码。这对于节省大量内存并允许处理更大的图像非常有用。

前向传播 (forward)

< >

( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )

参数

  • sample (torch.Tensor) — 输入样本。
  • sample_posterior (bool, 可选, 默认为 False) — 是否从后验分布中采样。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 DecoderOutput 而不是普通元组。

平铺解码 (tiled_decode)

< >

( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple

参数

  • z (torch.Tensor) — 潜在向量的输入批次。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回值 (Returns)

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通 tuple。

使用平铺解码器解码一批图像。

平铺编码 (tiled_encode)

< >

( x: Tensor ) → torch.Tensor

参数

  • x (torch.Tensor) — 视频的输入批次。

返回值 (Returns)

torch.Tensor

编码视频的潜在表示。

使用平铺编码器编码一批图像。

DecoderOutput

类 (class) diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )

参数

  • sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor) — 模型最后一层的解码输出样本。

解码方法的输出。

< > 在 GitHub 上更新

←AutoencoderKLCogVideoX AutoencoderKLLTXVideo→