微型自动编码器
用于稳定扩散的微型自动编码器 (TAESD) 由 Ollin Boer Bohan 在 madebyollin/taesd 中引入。它是一个 Stable Diffusion 的 VAE 的微型蒸馏版本，可以几乎立即解码 StableDiffusionPipeline 或 StableDiffusionXLPipeline 中的潜在变量。
与 Stable Diffusion v-2.1 结合使用
import torch
from diffusers import DiffusionPipeline, AutoencoderTiny
pipe = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-1-base", torch_dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesd", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
image与 Stable Diffusion XL 1.0 结合使用
import torch
from diffusers import DiffusionPipeline, AutoencoderTiny
pipe = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taesdxl", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(prompt, num_inference_steps=25).images[0]
imageAutoencoderTiny
类 diffusers.AutoencoderTiny
< 源代码 >( in_channels: int = 3 out_channels: int = 3 encoder_block_out_channels: Tuple = (64, 64, 64, 64) decoder_block_out_channels: Tuple = (64, 64, 64, 64) act_fn: str = 'relu' upsample_fn: str = 'nearest' latent_channels: int = 4 upsampling_scaling_factor: int = 2 num_encoder_blocks: Tuple = (1, 3, 3, 3) num_decoder_blocks: Tuple = (3, 3, 3, 1) latent_magnitude: int = 3 latent_shift: float = 0.5 force_upcast: bool = False scaling_factor: float = 1.0 shift_factor: float = 0.0 )
参数
- in_channels (
int, 可选, 默认为 3) — 输入图像的通道数。 - out_channels (
int, 可选, 默认为 3) — 输出的通道数。 - encoder_block_out_channels (
Tuple[int], 可选, 默认为(64, 64, 64, 64)) — 整数元组，表示每个编码器块的输出通道数。元组的长度应等于编码器块的数量。 - decoder_block_out_channels (
Tuple[int], 可选, 默认为(64, 64, 64, 64)) — 整数元组，表示每个解码器块的输出通道数。元组的长度应等于解码器块的数量。 - act_fn (
str, 可选, 默认为"relu") — 在整个模型中使用的激活函数。 - latent_channels (
int, 可选, 默认为 4) — 潜在表示中的通道数。潜在空间充当输入图像的压缩表示。 - upsampling_scaling_factor (
int, 可选, 默认为 2) — 解码器中上采样的缩放因子。它决定了上采样过程中输出图像的大小。 - num_encoder_blocks (
Tuple[int], 可选, 默认为(1, 3, 3, 3)) — 整数元组，表示编码过程中每个阶段的编码器块的数量。元组的长度应等于编码器中阶段的数量。每个阶段都有不同数量的编码器块。 - num_decoder_blocks (
Tuple[int]，可选，默认为(3, 3, 3, 1)) — 表示解码过程每个阶段解码块数量的整数元组。元组的长度应等于解码器中阶段的数量。每个阶段具有不同数量的解码块。 - latent_magnitude (
float，可选，默认为 3.0) — 潜在表示的幅度。此参数缩放潜在表示值以控制信息保留的程度。 - latent_shift (float，可选，默认为 0.5) — 应用于潜在表示的偏移量。此参数控制潜在空间的中心。
- scaling_factor (
float，可选，默认为 1.0) — 使用训练集的第一批计算的训练潜在空间的逐分量标准差。在训练扩散模型时，这用于将潜在空间缩放为具有单位方差。在传递到扩散模型之前，潜在变量将使用公式z = z * scaling_factor进行缩放。解码时，潜在变量将使用公式z = 1 / scaling_factor * z缩放到原始比例。有关更多详细信息，请参阅使用潜在扩散模型的高分辨率图像合成论文的第 4.3.2 节和 D.1 节。但是，对于此自动编码器，未使用此类缩放因子，因此默认值为 1.0。 - force_upcast (
bool，可选，默认为False) — 如果启用，它将强制 VAE 以 float32 格式运行，以用于高图像分辨率管道，例如 SD-XL。VAE 可以微调/训练到较低范围而不会损失太多精度，在这种情况下，可以将force_upcast设置为False（请参阅此 fp16 友好的自动编码器）。
一个用于将图像编码为潜在变量并解码潜在表示为图像的小型蒸馏 VAE 模型。
AutoencoderTiny 是 TAESD 原有实现的包装器。
此模型继承自 ModelMixin。查看超类文档以了解为所有模型实现的通用方法（例如下载或保存）。
禁用分片 VAE 解码。如果之前启用了 enable_slicing，则此方法将恢复为一步计算解码。
禁用平铺 VAE 解码。如果之前启用了 enable_tiling，则此方法将恢复为一步计算解码。
启用分片 VAE 解码。启用此选项后，VAE 将输入张量拆分为多个切片，以分步计算解码。这有助于节省一些内存并允许更大的批次大小。
启用平铺 VAE 解码。启用此选项后，VAE 将输入张量拆分为多个平铺，以分步计算解码和编码。这有助于节省大量内存并允许处理更大的图像。
前向传播
< 源代码 >( sample: 张量 return_dict: bool = True )
原始潜在变量 -> [0, 1]
[0, 1] -> 原始潜在变量
AutoencoderTinyOutput
类 diffusers.models.autoencoders.autoencoder_tiny.AutoencoderTinyOutput
< 源代码 >( latents: 张量 )
AutoencoderTiny 编码方法的输出。