Hugging Face 的 logo

Diffusers 文档

超分辨率

Hugging Face's logo
加入 Hugging Face 社区

并获取增强型文档体验

开始使用

超分辨率

Stable Diffusion 放大扩散模型由来自 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它用于将输入图像的分辨率提高 4 倍。

请务必查看 Stable Diffusion 技巧 部分，了解如何探索调度器速度和质量之间的权衡，以及如何有效地重复使用管道组件！

如果您有兴趣使用其中一个官方检查点来执行任务，请探索 CompVis、Runway 和 Stability AI Hub 组织！

StableDiffusionUpscalePipeline

class diffusers.StableDiffusionUpscalePipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel low_res_scheduler: DDPMScheduler scheduler: KarrasDiffusionSchedulers safety_checker: Optional = None feature_extractor: Optional = None watermarker: Optional = None max_noise_level: int = 350 )

参数

使用 Stable Diffusion 2 进行文本引导图像超分辨率的管道。

此模型继承自 DiffusionPipeline。查看超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

管道还继承以下加载方法

__call__

< >

( prompt: Union = None image: Union = None num_inference_steps: int = 75 guidance_scale: float = 9.0 noise_level: int = 20 negative_prompt: Union = None num_images_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True callback: Optional = None callback_steps: int = 1 cross_attention_kwargs: Optional = None clip_skip: int = None ) → StableDiffusionPipelineOutput 或 元组

参数

  • prompt (str 或 List[str], 可选) — 指导图像生成的提示或提示。如果未定义，则需要传递 prompt_embeds。
  • image (torch.Tensor、PIL.Image.Image、np.ndarray、List[torch.Tensor]、List[PIL.Image.Image] 或 List[np.ndarray]) — 代表要上采样的图像批次的 Image 或张量。
  • num_inference_steps (int, 可选, 默认值为 50) — 降噪步骤数量。 更多降噪步骤通常会导致更高质量的图像，但会降低推理速度。
  • guidance_scale (float, 可选, 默认值为 7.5) — 较高的引导比例值鼓励模型生成与文本 prompt 密切相关的图像，但会降低图像质量。 当 guidance_scale > 1 时启用引导比例。
  • negative_prompt (str 或 List[str], 可选) — 指导图像生成中不包含内容的提示或提示。 如果未定义，则需要传递 negative_prompt_embeds 而不是。 当不使用引导（guidance_scale < 1）时被忽略。
  • num_images_per_prompt (int, 可选, 默认值为 1) — 每个提示要生成的图像数量。
  • eta (float, 可选, 默认值为 0.0) — 对应于 DDIM 论文中的参数 η。 仅适用于 DDIMScheduler，在其他调度器中被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator，用于使生成确定性。
  • latents (torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜码，用作图像生成的输入。 可以用来用不同的提示调整相同的生成。 如果未提供，则潜码张量通过使用提供的随机 generator 采样生成。
  • prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。 可以用来轻松调整文本输入（提示加权）。 如果未提供，则文本嵌入从 prompt 输入参数生成。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负文本嵌入。 可以用来轻松调整文本输入（提示加权）。 如果未提供，则 negative_prompt_embeds 从 negative_prompt 输入参数生成。
  • output_type (str, 可选, 默认值为 "pil") — 生成的图像的输出格式。 在 PIL.Image 或 np.array 之间选择。
  • callback (Callable, 可选) — 在推理过程中每 callback_steps 步调用一次的函数。该函数将使用以下参数调用: callback(step: int, timestep: int, latents: torch.Tensor).
  • callback_steps (int, 可选, 默认值为 1) — callback 函数调用的频率。如果未指定，则在每一步都调用回调函数。
  • cross_attention_kwargs (dict, 可选) — 如果指定，则传递给 self.processor 中定义的 AttentionProcessor 的关键字参数字典。
  • clip_skip (int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。

返回值

StableDiffusionPipelineOutput 或 元组

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 元组，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作”(nsfw) 内容。

用于生成的管道调用函数。

示例

>>> import requests
>>> from PIL import Image
>>> from io import BytesIO
>>> from diffusers import StableDiffusionUpscalePipeline
>>> import torch

>>> # load model and scheduler
>>> model_id = "stabilityai/stable-diffusion-x4-upscaler"
>>> pipeline = StableDiffusionUpscalePipeline.from_pretrained(
...     model_id, variant="fp16", torch_dtype=torch.float16
... )
>>> pipeline = pipeline.to("cuda")

>>> # let's download an  image
>>> url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd2-upscale/low_res_cat.png"
>>> response = requests.get(url)
>>> low_res_img = Image.open(BytesIO(response.content)).convert("RGB")
>>> low_res_img = low_res_img.resize((128, 128))
>>> prompt = "a white cat"

>>> upscaled_image = pipeline(prompt=prompt, image=low_res_img).images[0]
>>> upscaled_image.save("upsampled_cat.png")

enable_attention_slicing

< >

( slice_size: Union = 'auto' )

参数

  • slice_size (str 或 int, 可选, 默认值为 "auto") — 当为 "auto" 时，将注意力头的输入减半，因此注意力将在两步中计算。如果为 "max"，则通过一次运行一个切片来节省最大的内存。如果提供了数字，则使用与 attention_head_dim // slice_size 相同数量的切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

启用切片注意力计算。启用此选项后，注意力模块会将输入张量分成切片，以便在多个步骤中计算注意力。对于多个注意力头，计算将依次在每个头上进行。这有助于在稍微降低速度的情况下节省一些内存。

⚠️ 不要在使用 PyTorch 2.0 或 xFormers 中的 scaled_dot_product_attention (SDPA) 时启用注意力切片。这些注意力计算已经非常节省内存，因此您无需启用此功能。如果您在使用 SDPA 或 xFormers 的情况下启用注意力切片，则可能会导致严重的减速！

示例

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5",
...     torch_dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

disable_attention_slicing

< >

( )

禁用切片注意力计算。如果之前调用过 enable_attention_slicing，则注意力将在一步中计算。

enable_xformers_memory_efficient_attention

< >

( attention_op: Optional = None )

参数

  • attention_op (Callable, 可选) — 覆盖默认的 None 运算符，用于作为 op 参数传递给 xFormers 的 memory_efficient_attention() 函数。

启用来自 xFormers 的内存高效注意力。当启用此选项时，您应该观察到较低的 GPU 内存使用量，以及推理过程中的潜在加速。训练过程中的加速无法保证。

⚠️ 当内存高效注意力和切片注意力同时启用时，内存高效注意力优先。

示例

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

disable_xformers_memory_efficient_attention

< >

( )

禁用来自 xFormers 的内存高效注意力。

encode_prompt

< >

( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )

参数

  • prompt (str 或 List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备
  • num_images_per_prompt (int) — 每个提示应该生成的图像数量
  • do_classifier_free_guidance (bool) — 是否使用分类器免费引导
  • negative_prompt (str 或 List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递 negative_prompt_embeds。当不使用引导时忽略（即，如果 guidance_scale 小于 1，则忽略）。
  • prompt_embeds (torch.Tensor, 可选) — 预先生成的文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
  • negative_prompt_embeds (torch.Tensor, 可选) — 预先生成的负面文本嵌入。可用于轻松调整文本输入，例如提示加权。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
  • lora_scale (float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。
  • clip_skip (int, 可选) — 在计算提示嵌入时，要从 CLIP 跳过的层数。值为 1 意味着将使用倒数第二层的输出计算提示嵌入。

将提示编码为文本编码器隐藏状态。

StableDiffusionPipelineOutput

class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput

< >

( images: Union nsfw_content_detected: Optional )

参数

  • images (List[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表，或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (List[bool]) — 指示相应的生成图像是否包含“不适合工作”（nsfw）内容的列表，如果无法执行安全检查，则为 None。

Stable Diffusion 管道的输出类。

< > 在 GitHub 上更新

←潜在上采样器 K-扩散→