潜在放大器
稳定扩散潜在放大器模型是由 Katherine Crowson 与 Stability AI 合作创建的。它用于将输出图像分辨率提高 2 倍（请参阅此演示 笔记本 以了解原始实现的演示）。
请务必查看稳定扩散 提示 部分，了解如何探索调度器速度和质量之间的权衡，以及如何有效地重用管道组件！
如果您有兴趣为任务使用官方检查点之一，请浏览 CompVis、Runway 和 Stability AI 集线器组织！
StableDiffusionLatentUpscalePipeline
类 diffusers.StableDiffusionLatentUpscalePipeline
< 源代码 >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: EulerDiscreteScheduler )
参数
- vae (AutoencoderKL) — 变分自动编码器 (VAE) 模型，用于将图像编码和解码到潜在表示中，以及从潜在表示中编码和解码图像。
- text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
- tokenizer (CLIPTokenizer) — 用于标记文本的
CLIPTokenizer。 - unet (UNet2DConditionModel) — 用于对编码图像潜在变量进行去噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 与
unet结合使用，对编码图像潜在变量进行去噪的EulerDiscreteScheduler。
用于将 Stable Diffusion 输出图像分辨率放大 2 倍的管道。
此模型继承自 DiffusionPipeline。请查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
该管道还继承了以下加载方法
- from_single_file() 用于加载
.ckpt文件
__call__
< source >( prompt: Union image: Union = None num_inference_steps: int = 75 guidance_scale: float = 9.0 negative_prompt: Union = None generator: Union = None latents: Optional = None output_type: Optional = 'pil' return_dict: bool = True callback: Optional = None callback_steps: int = 1 ) → StableDiffusionPipelineOutput 或 tuple
参数
- prompt (
str或List[str]) — 用于指导图像放大的提示或提示列表。 - image (
torch.Tensor、PIL.Image.Image、np.ndarray、List[torch.Tensor]、List[PIL.Image.Image]或List[np.ndarray]) — 要放大的图像批次的Image或张量。如果它是张量，它可以是 Stable Diffusion 模型的潜在输出，也可以是范围在[-1, 1]内的图像张量。如果image.shape[1]为4，则将其视为潜在变量；否则，将其视为图像表示，并使用此管道的vae编码器进行编码。 - num_inference_steps (
int，可选，默认为 50) — 去噪步骤的数量。更多的去噪步骤通常会导致更高的图像质量，但推理速度会变慢。 - guidance_scale (
float，可选，默认为 7.5) — 更高的引导尺度值鼓励模型生成与文本prompt密切相关的图像，但会以降低图像质量为代价。当guidance_scale > 1时启用引导尺度。 - negative_prompt (
str或List[str]，可选) — 用于指导图像生成中不包含什么的提示或提示列表。如果未定义，则需要改为传递negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。 - eta (
float，可选，默认为 0.0) — 对应于< - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 从高斯分布采样的预先生成的噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机generator采样生成潜在变量张量。 - output_type (
str, 可选, 默认为"pil") — 生成的图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - callback (
Callable, 可选) — 在推理过程中每隔callback_steps步调用一次的函数。该函数使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。 - callback_steps (
int, 可选, 默认为 1) — 调用callback函数的频率。如果未指定，则在每个步骤都调用回调。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表。
管道生成调用的函数。
示例
>>> from diffusers import StableDiffusionLatentUpscalePipeline, StableDiffusionPipeline
>>> import torch
>>> pipeline = StableDiffusionPipeline.from_pretrained(
... "CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16
... )
>>> pipeline.to("cuda")
>>> model_id = "stabilityai/sd-x2-latent-upscaler"
>>> upscaler = StableDiffusionLatentUpscalePipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> upscaler.to("cuda")
>>> prompt = "a photo of an astronaut high resolution, unreal engine, ultra realistic"
>>> generator = torch.manual_seed(33)
>>> low_res_latents = pipeline(prompt, generator=generator, output_type="latent").images
>>> with torch.no_grad():
... image = pipeline.decode_latents(low_res_latents)
>>> image = pipeline.numpy_to_pil(image)[0]
>>> image.save("../images/a1.png")
>>> upscaled_image = upscaler(
... prompt=prompt,
... image=low_res_latents,
... num_inference_steps=20,
... guidance_scale=0,
... generator=generator,
... ).images[0]
>>> upscaled_image.save("../images/a2.png")enable_sequential_cpu_offload
< 源代码 >( gpu_id: Optional = None device: Union = 'cuda' )
使用 🤗 Accelerate 将所有模型卸载到 CPU，从而显着减少内存使用量。调用时，所有 torch.nn.Module 组件（除了 self._exclude_from_cpu_offload 中的组件）的状态字典将保存到 CPU，然后移动到 torch.device('meta')，并且仅在特定子模块调用其 forward 方法时才加载到 GPU。卸载在子模块基础上进行。与 enable_model_cpu_offload 相比，内存节省更高，但性能较低。
启用切片注意力计算。启用此选项后，注意力模块会将输入张量分割成切片，以分多个步骤计算注意力。对于多个注意力头，计算将按每个头的顺序执行。这有助于以牺牲少量速度为代价来节省一些内存。
⚠️ 如果您已经在使用 PyTorch 2.0 或 xFormers 中的 scaled_dot_product_attention (SDPA)，请不要启用注意力切片。这些注意力计算本身已经非常节省内存，因此您无需启用此功能。如果在使用 SDPA 或 xFormers 的情况下启用注意力切片，可能会导致严重的减速！
示例
>>> import torch
>>> from diffusers import StableDiffusionPipeline
>>> pipe = StableDiffusionPipeline.from_pretrained(
... "runwayml/stable-diffusion-v1-5",
... torch_dtype=torch.float16,
... use_safetensors=True,
... )
>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]禁用切片注意力计算。如果之前调用了 enable_attention_slicing，则注意力将一步计算。
enable_xformers_memory_efficient_attention
< 源代码 >( attention_op: Optional = None )
参数
- attention_op (
Callable, 可选) — 覆盖默认的None运算符，用作 xFormers 的memory_efficient_attention()函数的op参数。
启用来自 xFormers 的内存高效注意力。启用此选项后，您应该会看到推理期间 GPU 内存使用量的降低以及潜在的加速。训练期间的加速无法保证。
⚠️ 当同时启用内存高效注意力和切片注意力时，内存高效注意力优先。
示例
>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp
>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)StableDiffusionPipelineOutput
class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput
< 源代码 >( images: Union nsfw_content_detected: Optional )
Stable Diffusion 管道的输出类。