潜在扩散
潜在扩散模型由Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser和Björn Ommer在使用潜在扩散模型进行高分辨率图像合成中提出。
论文的摘要如下：
通过将图像形成过程分解为降噪自动编码器的顺序应用，扩散模型（DM）在图像数据及其他领域实现了最先进的合成结果。此外，它们的公式允许使用引导机制来控制图像生成过程，而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，因此强大 DM 的优化通常会消耗数百个 GPU 天，并且由于顺序评估，推理成本很高。为了在有限的计算资源上启用 DM 训练，同时保留其质量和灵活性，我们将其应用于强大的预训练自动编码器的潜在空间。与之前的工作相比，在这种表示上训练扩散模型首次实现了复杂度降低和细节保留之间的近乎最佳的平衡点，极大地提高了视觉保真度。通过在模型架构中引入交叉注意力层，我们将扩散模型转变为用于通用条件输入（如文本或边界框）的强大且灵活的生成器，并且可以通过卷积方式实现高分辨率合成。我们的潜在扩散模型 (LDM) 在图像修复方面实现了新的技术水平，并在各种任务中取得了极具竞争力的性能，包括无条件图像生成、语义场景合成和超分辨率，同时与基于像素的 DM 相比，显著降低了计算需求。
原始代码库可以在CompVis/latent-diffusion找到。
LDMTextToImagePipeline
类 diffusers.LDMTextToImagePipeline
< 源代码 >( vqvae: Union bert: 预训练模型 tokenizer: 预训练分词器 unet: Union scheduler: Union )
参数
- vqvae (VQModel) — 用于将图像编码和解码到潜在表示以及从潜在表示解码的矢量量化 (VQ) 模型。
- bert (
LDMBertModel) — 基于BERT的文本编码器模型。 - tokenizer (BertTokenizer) — 用于分词文本的
BertTokenizer。 - unet (UNet2DConditionModel) — 用于对编码的图像潜在变量进行降噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 与
unet结合使用以对编码的图像潜在变量进行降噪的调度器。可以是DDIMScheduler、LMSDiscreteScheduler或PNDMScheduler之一。
用于使用潜在扩散进行文本到图像生成的管道。
此模型继承自DiffusionPipeline。请查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
__call__
< 源代码 >( prompt: Union height: Optional = None width: Optional = None num_inference_steps: Optional = 50 guidance_scale: Optional = 1.0 eta: Optional = 0.0 generator: Union = None latents: Optional = None output_type: Optional = 'pil' return_dict: bool = True **kwargs ) → ImagePipelineOutput 或 tuple
参数
- prompt (
str或List[str]) — 指导图像生成的提示或提示列表。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。 - num_inference_steps (
int, 可选, 默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。 - guidance_scale (
float, 可选, 默认为 1.0) — 更高的引导尺度值鼓励模型生成与文本prompt密切相关的图像，但会牺牲图像质量。当guidance_scale > 1时启用引导尺度。 - generator (
torch.Generator, 可选) — 用于使生成确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 从高斯分布采样的预生成噪声潜变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则潜变量张量将通过使用提供的随机generator进行采样来生成。 - output_type (
str, 可选, 默认为"pil") — 生成的图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 ImagePipelineOutput 而不是普通元组。
返回值
ImagePipelineOutput 或 tuple
如果 return_dict 为 True，则返回 ImagePipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表。
管道生成调用的函数。
示例
>>> from diffusers import DiffusionPipeline
>>> # load model and scheduler
>>> ldm = DiffusionPipeline.from_pretrained("CompVis/ldm-text2im-large-256")
>>> # run pipeline in inference (sample random noise and denoise)
>>> prompt = "A painting of a squirrel eating a burger"
>>> images = ldm([prompt], num_inference_steps=50, eta=0.3, guidance_scale=6).images
>>> # save images
>>> for idx, image in enumerate(images):
... image.save(f"squirrel-{idx}.png")LDMSuperResolutionPipeline
类 diffusers.LDMSuperResolutionPipeline
< 源代码 >( vqvae: VQModel unet: UNet2DModel scheduler: Union )
参数
- vqvae (VQModel) — 用于将图像编码和解码到潜在表示的矢量量化 (VQ) 模型。
- unet (UNet2DModel) — 用于对编码图像进行去噪的
UNet2DModel。 - scheduler (SchedulerMixin) — 与
unet结合使用以对编码图像潜伏状态进行去噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler、EulerDiscreteScheduler、EulerAncestralDiscreteScheduler、DPMSolverMultistepScheduler 或 PNDMScheduler 之一。
使用潜在扩散进行图像超分辨率的管道。
此模型继承自DiffusionPipeline。请查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
__call__
< 源代码 >( image: Union = None batch_size: Optional = 1 num_inference_steps: Optional = 100 eta: Optional = 0.0 generator: Union = None output_type: Optional = 'pil' return_dict: bool = True ) → ImagePipelineOutput 或 元组
参数
- image (
torch.Tensor或PIL.Image.Image) — 用作过程起点的图像批次的Image或张量。 - batch_size (
int, 可选，默认为 1) — 要生成的图像数量。 - num_inference_steps (
int, 可选，默认为 100) — 去噪步骤的数量。更多的去噪步骤通常会导致更高的图像质量，但推理速度会变慢。 - eta (
float，可选，默认为 0.0) — 对应于来自 DDIM 论文的参数 eta (η)。仅适用于 DDIMScheduler，并在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator]，可选) — 用于使生成确定性的torch.Generator。 - output_type (
str，可选，默认为"pil") — 生成的图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool，可选，默认为True) — 是否返回 ImagePipelineOutput 而不是普通元组。
返回值
ImagePipelineOutput 或 tuple
如果 return_dict 为 True，则返回 ImagePipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表
管道生成调用的函数。
示例
>>> import requests
>>> from PIL import Image
>>> from io import BytesIO
>>> from diffusers import LDMSuperResolutionPipeline
>>> import torch
>>> # load model and scheduler
>>> pipeline = LDMSuperResolutionPipeline.from_pretrained("CompVis/ldm-super-resolution-4x-openimages")
>>> pipeline = pipeline.to("cuda")
>>> # let's download an image
>>> url = (
... "https://user-images.githubusercontent.com/38061659/199705896-b48e17b8-b231-47cd-a270-4ffa5a93fa3e.png"
... )
>>> response = requests.get(url)
>>> low_res_img = Image.open(BytesIO(response.content)).convert("RGB")
>>> low_res_img = low_res_img.resize((128, 128))
>>> # run pipeline in inference (sample random noise and denoise)
>>> upscaled_image = pipeline(low_res_img, num_inference_steps=100, eta=1).images[0]
>>> # save image
>>> upscaled_image.save("ldm_generated_image.png")ImagePipelineOutput
类 diffusers.ImagePipelineOutput
< 源代码 >( images: Union )
图像管道输出类。