Diffusers 文档
AutoencoderKLCogVideoX
并获得增强的文档体验
开始使用
AutoencoderKLCogVideoX
CogVideoX 中使用的具有 KL 损失的 3D 变分自编码器 (VAE) 模型，由清华大学和智谱 AI 在 CogVideoX 中提出: Text-to-Video Diffusion Models with An Expert Transformer。
该模型可以使用以下代码片段加载。
from diffusers import AutoencoderKLCogVideoX
vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", torch_dtype=torch.float16).to("cuda")AutoencoderKLCogVideoX
class diffusers.AutoencoderKLCogVideoX
< 源代码 >( in_channels: int = 3 out_channels: int = 3 down_block_types: typing.Tuple[str] = ('CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D', 'CogVideoXDownBlock3D') up_block_types: typing.Tuple[str] = ('CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D', 'CogVideoXUpBlock3D') block_out_channels: typing.Tuple[int] = (128, 256, 256, 512) latent_channels: int = 16 layers_per_block: int = 3 act_fn: str = 'silu' norm_eps: float = 1e-06 norm_num_groups: int = 32 temporal_compression_ratio: float = 4 sample_height: int = 480 sample_width: int = 720 scaling_factor: float = 1.15258426 shift_factor: typing.Optional[float] = None latents_mean: typing.Optional[typing.Tuple[float]] = None latents_std: typing.Optional[typing.Tuple[float]] = None force_upcast: float = True use_quant_conv: bool = False use_post_quant_conv: bool = False invert_scale_latents: bool = False )
参数
- in_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
- out_channels (int, 可选, 默认为 3) — 输出中的通道数。
- down_block_types (
Tuple[str], 可选, 默认为("DownEncoderBlock2D",)) — 下采样块类型元组。 - up_block_types (
Tuple[str], 可选, 默认为("UpDecoderBlock2D",)) — 上采样块类型元组。 - block_out_channels (
Tuple[int], 可选, 默认为(64,)) — 块输出通道元组。 - act_fn (
str, 可选, 默认为"silu") — 要使用的激活函数。 - sample_size (
int, 可选, 默认为32) — 样本输入大小。 - scaling_factor (
float, 可选, 默认为1.15258426) — 使用训练集的第一批计算的训练后潜在空间的组件级标准差。这用于在训练扩散模型时缩放潜在空间以使其具有单位方差。潜在变量在传递到扩散模型之前使用公式 z = z * scaling_factor 进行缩放。解码时，潜在变量使用公式 z = 1 / scaling_factor * z 缩放回原始比例。 更多详细信息，请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 和 D.1 节。 - force_upcast (
bool, 可选，默认为True) — 如果启用，它将强制 VAE 在 float32 模式下运行，以用于高图像分辨率管线，例如 SD-XL。VAE 可以被微调/训练到较低的范围，而不会损失太多精度，在这种情况下，可以将force_upcast设置为False- 参见：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
一个带有 KL 损失的 VAE 模型，用于将图像编码为潜在表示，并将潜在表示解码为图像。在 CogVideoX 中使用。
此模型继承自 ModelMixin。查看超类文档，了解为所有模型实现的通用方法（例如下载或保存）。
禁用切片 VAE 解码。如果之前启用了 enable_slicing，此方法将恢复为单步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_tiling，此方法将恢复为单步计算解码。
启用切片 VAE 解码。启用此选项后，VAE 将把输入张量分割成切片，分步计算解码。这有助于节省一些内存并允许更大的批大小。
enable_tiling
< source >( tile_sample_min_height: typing.Optional[int] = None tile_sample_min_width: typing.Optional[int] = None tile_overlap_factor_height: typing.Optional[float] = None tile_overlap_factor_width: typing.Optional[float] = None )
参数
- tile_sample_min_height (
int, 可选) — 样本在高度维度上被分隔成瓦片的最小高度要求。 - tile_sample_min_width (
int, 可选) — 样本在宽度维度上被分隔成瓦片的最小宽度要求。 - tile_overlap_factor_height (
int, 可选) — 两个连续垂直瓦片之间的最小重叠量。这是为了确保在高度维度上不会产生平铺伪影。必须介于 0 和 1 之间。设置较高的值可能会导致处理更多瓦片，从而导致解码过程变慢。 - tile_overlap_factor_width (
int, 可选) — 两个连续水平瓦片之间的最小重叠量。这是为了确保在宽度维度上不会产生平铺伪影。必须介于 0 和 1 之间。设置较高的值可能会导致处理更多瓦片，从而导致解码过程变慢。
启用平铺 VAE 解码。启用此选项后，VAE 将把输入张量分割成瓦片，分步计算解码和编码。这对于节省大量内存并允许处理更大的图像非常有用。
tiled_decode
< source >( z: Tensor return_dict: bool = True ) → ~models.vae.DecoderOutput 或 tuple
使用平铺解码器解码一批图像。
tiled_encode
< source >( x: Tensor ) → torch.Tensor
使用平铺编码器编码一批图像。
启用此选项后，VAE 将把输入张量分割成瓦片，分步计算编码。这对于保持内存使用恒定，不受图像大小影响非常有用。平铺编码的最终结果与非平铺编码不同，因为每个瓦片都使用不同的编码器。为了避免平铺伪影，瓦片会重叠并混合在一起，形成平滑的输出。您可能仍然会在输出中看到瓦片大小的变化，但它们应该不太明显。
AutoencoderKLOutput
class diffusers.models.modeling_outputs.AutoencoderKLOutput
< source >( latent_dist: DiagonalGaussianDistribution )
AutoencoderKL 编码方法的输出。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< source >( sample: Tensor commit_loss: typing.Optional[torch.FloatTensor] = None )
解码方法的输出。