Diffusers 文档
AutoencoderKLLTX视频
并获得增强的文档体验
开始使用
AutoencoderKLLTX视频
LTX中使用的具有KL损失的3D变分自动编码器（VAE）模型由Lightricks引入。
该模型可以通过以下代码片段加载。
from diffusers import AutoencoderKLLTXVideo
vae = AutoencoderKLLTXVideo.from_pretrained("Lightricks/LTX-Video", subfolder="vae", torch_dtype=torch.float32).to("cuda")AutoencoderKLLTX视频
class diffusers.AutoencoderKLLTXVideo
< 源 >( in_channels: int = 3 out_channels: int = 3 latent_channels: int = 128 block_out_channels: typing.Tuple[int, ...] = (128, 256, 512, 512) down_block_types: typing.Tuple[str, ...] = ('LTXVideoDownBlock3D', 'LTXVideoDownBlock3D', 'LTXVideoDownBlock3D', 'LTXVideoDownBlock3D') decoder_block_out_channels: typing.Tuple[int, ...] = (128, 256, 512, 512) layers_per_block: typing.Tuple[int, ...] = (4, 3, 3, 3, 4) decoder_layers_per_block: typing.Tuple[int, ...] = (4, 3, 3, 3, 4) spatio_temporal_scaling: typing.Tuple[bool, ...] = (True, True, True, False) decoder_spatio_temporal_scaling: typing.Tuple[bool, ...] = (True, True, True, False) decoder_inject_noise: typing.Tuple[bool, ...] = (False, False, False, False, False) downsample_type: typing.Tuple[str, ...] = ('conv', 'conv', 'conv', 'conv') upsample_residual: typing.Tuple[bool, ...] = (False, False, False, False) upsample_factor: typing.Tuple[int, ...] = (1, 1, 1, 1) timestep_conditioning: bool = False patch_size: int = 4 patch_size_t: int = 1 resnet_norm_eps: float = 1e-06 scaling_factor: float = 1.0 encoder_causal: bool = True decoder_causal: bool = False spatial_compression_ratio: int = None temporal_compression_ratio: int = None )
参数
- in_channels (
int, 默认为3) — 输入通道数。 - out_channels (
int, 默认为3) — 输出通道数。 - latent_channels (
int, 默认为128) — 潜在通道数。 - block_out_channels (
Tuple[int, ...], 默认为(128, 256, 512, 512)) — 每个块的输出通道数。 - spatio_temporal_scaling (
Tuple[bool, ...], 默认为(True, True, True, False)` — 块是否应该包含时空下采样。 - layers_per_block (
Tuple[int, ...], 默认为(4, 3, 3, 3, 4)) — 每个块的层数。 - patch_size (
int, 默认为4) — 空间补丁的大小。 - patch_size_t (
int, 默认为1) — 时间补丁的大小。 - resnet_norm_eps (
float, 默认为1e-6) — ResNet归一化层的epsilon值。 - scaling_factor (
float, 可选, 默认为1.0) — 使用训练集的第一批数据计算的训练潜在空间的逐分量标准差。这用于在训练扩散模型时将潜在空间缩放到单位方差。在传递给扩散模型之前，潜在空间会根据公式z = z * scaling_factor进行缩放。解码时，潜在空间会根据公式z = 1 / scaling_factor * z缩放回原始比例。有关更多详细信息，请参阅《Latent Diffusion Models的高分辨率图像合成》论文的4.3.2节和D.1节。 - encoder_causal (
bool, 默认为True) — 编码器是否应因果行为（未来帧仅取决于过去帧）。 - decoder_causal (
bool, 默认为False) — 解码器是否应因果行为（未来帧仅取决于过去帧）。
一个具有KL损失的VAE模型，用于将图像编码为潜在表示，并将潜在表示解码为图像。用于LTX。
此模型继承自 ModelMixin。有关所有模型实现的通用方法（如下载或保存），请参阅超类文档。
禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复一步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复一步计算解码。
启用切片 VAE 解码。启用此选项后，VAE 会将输入张量分片，分步计算解码。这有助于节省一些内存并允许更大的批次大小。
启用平铺
< 源 >( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_sample_min_num_frames: typing.Optional[int] = None tile_sample_stride_height: typing.Optional[float] = None tile_sample_stride_width: typing.Optional[float] = None tile_sample_stride_num_frames: typing.Optional[float] = None )
启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分多步计算编码和解码。这对于节省大量内存和处理更大的图像非常有用。
分块解码
< 源 >( z: Tensor temb: typing.Optional[torch.Tensor] return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple
使用分块解码器解码一批图像。
使用分块编码器编码一批图像。
AutoencoderKLOutput
class diffusers.models.modeling_outputs.AutoencoderKLOutput
< 源 >( latent_dist: DiagonalGaussianDistribution )
AutoencoderKL 编码方法的输出。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< 源 >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解码方法的输出。