Diffusers 文档
AutoencoderKLHunyuanVideo
并获得增强的文档体验
开始使用
AutoencoderKLHunyuanVideo
在 HunyuanVideo 中使用的带 KL 损失的 3D 变分自编码器 (VAE) 模型，由腾讯在 HunyuanVideo: A Systematic Framework For Large Video Generative Models 中介绍。
该模型可以通过以下代码片段加载。
from diffusers import AutoencoderKLHunyuanVideo
vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="vae", torch_dtype=torch.float16)AutoencoderKLHunyuanVideo
class diffusers.AutoencoderKLHunyuanVideo
< 源 >( in_channels: int = 3 out_channels: int = 3 latent_channels: int = 16 down_block_types: typing.Tuple[str, ...] = ('HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D') up_block_types: typing.Tuple[str, ...] = ('HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 512, 512) layers_per_block: int = 2 act_fn: str = 'silu' norm_num_groups: int = 32 scaling_factor: float = 0.476986 spatial_compression_ratio: int = 8 temporal_compression_ratio: int = 4 mid_block_add_attention: bool = True )
一个 VAE 模型，带有 KL 损失，用于将视频编码为潜在空间，并将潜在表示解码为视频。在 HunyuanVideo 中引入。
此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。
禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。
启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。
启用分块
< 源 >( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )
参数
- tile_sample_min_height (
int, 可选) — 样本在高度维度上被分割成平铺块所需的最小高度。 - tile_sample_min_width (
int, 可选) — 样本在宽度维度上被分割成平铺块所需的最小宽度。 - tile_sample_min_num_frames (
int, 可选) — 样本在帧维度上被分割成平铺块所需的最小帧数。 - tile_sample_stride_height (
int, 可选) — 两个连续垂直平铺块之间的最小重叠量。这是为了确保在高度维度上不产生平铺伪影。 - tile_sample_stride_width (
int, 可选) — 两个连续水平平铺块之间的最小重叠量。这是为了确保在宽度维度上不产生平铺伪影。 - tile_sample_stride_num_frames (
int, 可选) — 两个连续帧平铺块之间的步幅。这是为了确保在帧维度上不产生平铺伪影。
启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。
前向
< 源 >( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )
分块解码
< 源 >( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple
使用分块解码器解码一批图像。
使用分块编码器编码一批图像。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< 源 >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解码方法的输出。