Hugging Face 的 LOGO

Diffusers 文档

AutoencoderKLMagvit

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

AutoencoderKLMagvit

阿里巴巴 PAI 推出了用于 EasyAnimate 的具有 KL 损失的 3D 变分自编码器 (VAE) 模型。

该模型可以通过以下代码片段加载。

from diffusers import AutoencoderKLMagvit

vae = AutoencoderKLMagvit.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="vae", torch_dtype=torch.float16).to("cuda")

AutoencoderKLMagvit

class diffusers.AutoencoderKLMagvit

< >

( in_channels: int = 3 latent_channels: int = 16 out_channels: int = 3 block_out_channels: typing.Tuple[int, ...] = [128, 256, 512, 512] down_block_types: typing.Tuple[str, ...] = ['SpatialDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D', 'SpatialTemporalDownBlock3D'] up_block_types: typing.Tuple[str, ...] = ['SpatialUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D', 'SpatialTemporalUpBlock3D'] layers_per_block: int = 2 act_fn: str = 'silu' norm_num_groups: int = 32 scaling_factor: float = 0.7125 spatial_group_norm: bool = True )

一个带有 KL 损失的 VAE 模型，用于将图像编码为潜在表示，并将潜在表示解码为图像。该模型用于 EasyAnimate。

此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。

包装器

< >

( *args **kwargs )

包装器

< >

( *args **kwargs )

disable_slicing

< >

( )

禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。

disable_tiling

< >

( )

禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。

enable_slicing

< >

( )

启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。

enable_tiling

< >

( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )

参数

  • tile_sample_min_height (int, 可选) — 样本在高度维度上被分割成瓦片所需的最小高度。
  • tile_sample_min_width (int, 可选) — 样本在宽度维度上被分割成瓦片所需的最小宽度。
  • tile_sample_stride_height (int, 可选) — 两个连续垂直瓦片之间的最小重叠量。这是为了确保在高度维度上不会产生瓦片伪影。
  • tile_sample_stride_width (int, 可选) — 两个连续水平瓦片之间的步幅。这是为了确保在宽度维度上不会产生瓦片伪影。

启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。

forward

< >

( sample: Tensor sample_posterior: bool = False return_dict: bool = True generator: typing.Optional[torch._C.Generator] = None )

参数

  • sample (torch.Tensor) — 输入样本。
  • sample_posterior (bool, 可选，默认为 False) — 是否从后验分布中采样。
  • return_dict (bool, 可选，默认为 True) — 是否返回 DecoderOutput 而不是纯元组。

AutoencoderKLOutput

class diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

参数

  • latent_dist (DiagonalGaussianDistribution) — Encoder 的编码输出，表示为 DiagonalGaussianDistribution 的均值和对数方差。DiagonalGaussianDistribution 允许从分布中采样潜在变量。

AutoencoderKL 编码方法的输出。

DecoderOutput

class diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )

参数

  • sample (形状为 (batch_size, num_channels, height, width) 的 torch.Tensor) — 模型最后一层解码后的输出样本。

解码方法的输出。

< > 在 GitHub 上更新

←AutoencoderKLLTXVideo AutoencoderKLMochi→