Hugging Face 的 logo

Diffusers 文档

图像变化

Hugging Face's logo
加入 Hugging Face 社区

并访问增强型文档体验

开始使用

图像变体

稳定扩散模型还可以从输入图像生成变体。它使用由Justin Pinkney来自Lambda微调的稳定扩散模型版本。

原始代码库可以在LambdaLabsML/lambda-diffusers中找到，图像变体的其他官方检查点可以在lambdalabs/sd-image-variations-diffusers中找到。

请务必查看稳定扩散提示部分，了解如何探索调度器速度和质量之间的权衡，以及如何有效地重用管道组件！

StableDiffusionImageVariationPipeline

类 diffusers.StableDiffusionImageVariationPipeline

< >

( vae: AutoencoderKL image_encoder: CLIPVisionModelWithProjection unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor requires_safety_checker: bool = True )

参数

使用 Stable Diffusion 从输入图像生成图像变体的管道。

此模型继承自 DiffusionPipeline。 请查看超类文档，了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。

__call__

< >

( 图像: Union 高度: Optional = None 宽度: Optional = None 推理步数: int = 50 引导尺度: float = 7.5 每个提示的图像数: Optional = 1 eta: float = 0.0 生成器: Union = None 潜在变量: Optional = None 输出类型: Optional = 'pil' 返回字典: bool = True 回调函数: Optional = None 回调步数: int = 1 ) → StableDiffusionPipelineOutput 或 元组

参数

  • 图像 (PIL.Image.Image 或 List[PIL.Image.Image] 或 torch.Tensor) — 用于引导图像生成的图像或图像列表。 如果提供张量，则它需要与 CLIPImageProcessor 兼容。
  • width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。
  • num_inference_steps (int，可选，默认为 50) — 降噪步骤的数量。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。此参数受 strength 调节。
  • guidance_scale (float，可选，默认为 7.5) — 更高的引导尺度值鼓励模型生成与文本 prompt 密切相关的图像，但会以降低图像质量为代价。当 guidance_scale > 1 时启用引导尺度。
  • num_images_per_prompt (int，可选，默认为 1) — 每个提示生成图像的数量。
  • eta (float，可选，默认为 0.0) — 对应于来自 DDIM 论文的 eta (η) 参数。仅适用于 DDIMScheduler，在其他调度器中会被忽略。
  • generator (torch.Generator 或 List[torch.Generator]，可选) — 一个 torch.Generator 用于使生成确定性。
  • latents (torch.Tensor，可选) — 从高斯分布中采样的预生成噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机 generator 采样来生成潜在变量张量。
  • output_type (str，可选，默认为 "pil") — 生成的图像的输出格式。在 PIL.Image 或 np.array 之间选择。
  • return_dict (bool，可选，默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
  • callback (Callable，可选) — 在推理过程中每隔 callback_steps 步调用一次的函数。该函数使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int，可选，默认为 1) — callback 函数调用的频率。如果未指定，则在每个步骤都调用回调函数。

返回

StableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是一个包含生成图像的列表，第二个元素是一个包含 bool 值的列表，指示相应的生成图像是否包含“不适合工作”（nsfw）内容。

管道生成函数的调用函数。

示例

from diffusers import StableDiffusionImageVariationPipeline
from PIL import Image
from io import BytesIO
import requests

pipe = StableDiffusionImageVariationPipeline.from_pretrained(
    "lambdalabs/sd-image-variations-diffusers", revision="v2.0"
)
pipe = pipe.to("cuda")

url = "https://lh3.googleusercontent.com/y-iFOHfLTwkuQSUegpwDdgKmOjRSTvPxat63dQLB25xkTs4lhIbRUFeNBWZzYf370g=s1200"

response = requests.get(url)
image = Image.open(BytesIO(response.content)).convert("RGB")

out = pipe(image, num_images_per_prompt=3, guidance_scale=15)
out["images"][0].save("result.jpg")

enable_attention_slicing

< >

( slice_size: Union = 'auto' )

参数

  • slice_size (str 或 int，可选，默认为 "auto") — 当为 "auto" 时，将输入到注意力头的输入减半，因此注意力将分两步计算。如果为 "max"，则通过一次运行一个切片来最大限度地节省内存。如果提供了一个数字，则使用 attention_head_dim // slice_size 个切片。在这种情况下，attention_head_dim 必须是 slice_size 的倍数。

启用切片注意力计算。启用此选项后，注意力模块会将输入张量分割成切片，以便分多个步骤计算注意力。对于多个注意力头，计算将按顺序在每个头上执行。这有助于以牺牲少量速度降低为代价来节省一些内存。

⚠️ 如果您已经在使用 PyTorch 2.0 或 xFormers 中的 scaled_dot_product_attention (SDPA)，请不要启用注意力切片。这些注意力计算已经非常节省内存，因此您无需启用此功能。如果使用 SDPA 或 xFormers 启用注意力切片，可能会导致严重的速度下降！

示例

>>> import torch
>>> from diffusers import StableDiffusionPipeline

>>> pipe = StableDiffusionPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5",
...     torch_dtype=torch.float16,
...     use_safetensors=True,
... )

>>> prompt = "a photo of an astronaut riding a horse on mars"
>>> pipe.enable_attention_slicing()
>>> image = pipe(prompt).images[0]

disable_attention_slicing

< >

( )

禁用切片注意力计算。如果之前调用了 enable_attention_slicing，则注意力将在一步中计算。

enable_xformers_memory_efficient_attention

< >

( attention_op: Optional = None )

参数

  • attention_op (Callable，可选) — 覆盖默认的 None 运算符，用作 xFormers 的 memory_efficient_attention() 函数的 op 参数。

启用来自 xFormers 的内存高效注意力。启用此选项后，您应该会观察到推理期间 GPU 内存使用量的降低以及潜在的速度提升。训练期间的速度提升无法保证。

⚠️ 当内存高效注意力和切片注意力都启用时，内存高效注意力优先。

示例

>>> import torch
>>> from diffusers import DiffusionPipeline
>>> from xformers.ops import MemoryEfficientAttentionFlashAttentionOp

>>> pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1", torch_dtype=torch.float16)
>>> pipe = pipe.to("cuda")
>>> pipe.enable_xformers_memory_efficient_attention(attention_op=MemoryEfficientAttentionFlashAttentionOp)
>>> # Workaround for not accepting attention shape using VAE for Flash Attention
>>> pipe.vae.enable_xformers_memory_efficient_attention(attention_op=None)

disable_xformers_memory_efficient_attention

< >

( )

禁用来自 xFormers 的内存高效注意力。

StableDiffusionPipelineOutput

类 diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput

<

( images: Union nsfw_content_detected: Optional )

参数

  • images (List[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (List[bool]) — 指示相应的生成图像是否包含“不适合工作场所”（nsfw）内容的列表，如果无法执行安全检查，则为 None。

Stable Diffusion 管道的输出类。

< > 在 GitHub 上更新

←深度到图像 安全稳定扩散→