Hugging Face 的 LOGO

Diffusers 文档

语义引导

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

语义引导

扩散模型的语义引导是在 SEGA: Instructing Text-to-Image Models using Semantic Guidance 中提出的，它为图像生成提供了强大的语义控制。通常情况下，文本提示的微小改动会导致完全不同的输出图像。然而，通过 SEGA，可以轻松直观地控制图像的各种变化，同时保持原始图像构图的真实性。

论文摘要如下：

文本到图像扩散模型最近因其仅通过文本就能生成高保真图像的惊人能力而受到了广泛关注。然而，实现与用户意图一致的一次性生成几乎是不可能的，而且输入提示的微小改动通常会导致截然不同的图像。这使得用户对语义的控制很少。为了让用户掌握控制权，我们展示了如何与扩散过程交互，以灵活地沿着语义方向引导它。这种语义引导（SEGA）可以推广到任何使用无分类器引导的生成架构。更重要的是，它允许进行细微而广泛的编辑、构图和风格的变化，以及优化整体艺术构思。我们通过各种任务在潜在和基于像素的扩散模型（如 Stable Diffusion、Paella 和 DeepFloyd-IF）上演示了 SEGA 的有效性，从而为其多功能性、灵活性以及相对于现有方法的改进提供了强有力的证据。

请务必查看调度器指南，了解如何探索调度器速度和质量之间的权衡，并查看跨管道重用组件部分，了解如何高效地将相同组件加载到多个管道中。

SemanticStableDiffusionPipeline

class diffusers.SemanticStableDiffusionPipeline

< >

( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor requires_safety_checker: bool = True )

__call__

< >

( prompt: typing.Union[str, typing.List[str]] height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: int = 1 editing_prompt: typing.Union[str, typing.List[str], NoneType] = None editing_prompt_embeddings: typing.Optional[torch.Tensor] = None reverse_editing_direction: typing.Union[bool, typing.List[bool], NoneType] = False edit_guidance_scale: typing.Union[float, typing.List[float], NoneType] = 5 edit_warmup_steps: typing.Union[int, typing.List[int], NoneType] = 10 edit_cooldown_steps: typing.Union[int, typing.List[int], NoneType] = None edit_threshold: typing.Union[float, typing.List[float], NoneType] = 0.9 edit_momentum_scale: typing.Optional[float] = 0.1 edit_mom_beta: typing.Optional[float] = 0.4 edit_weights: typing.Optional[typing.List[float]] = None sem_guidance: typing.Optional[typing.List[torch.Tensor]] = None ) → ~pipelines.semantic_stable_diffusion.SemanticStableDiffusionPipelineOutput or tuple

参数

  • prompt (str 或 List[str]) — 用于引导图像生成的提示或提示列表。
  • height (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（像素）。
  • width (int, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（像素）。
  • num_inference_steps (int, 可选, 默认为 50) — 去噪步数。更多的去噪步数通常会带来更高的图像质量，但推理速度会变慢。
  • guidance_scale (float, 可选, 默认为 7.5) — 更高的引导尺度值会鼓励模型生成与文本prompt更紧密相关的图像，但会牺牲图像质量。当 guidance_scale > 1 时启用引导尺度。
  • negative_prompt (str 或 List[str], 可选) — 用于引导图像生成中不包含内容的提示或提示列表。如果未定义，则需要传入 negative_prompt_embeds。当不使用引导（guidance_scale < 1）时，此参数将被忽略。
  • num_images_per_prompt (int, 可选, 默认为 1) — 每个提示要生成的图像数量。
  • eta (float, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中将被忽略。
  • generator (torch.Generator 或 List[torch.Generator], 可选) — 一个 torch.Generator 用于使生成具有确定性。
  • latents (torch.Tensor, 可选) — 预先生成的从高斯分布中采样的噪声潜在变量，用作图像生成的输入。可用于使用不同提示调整相同生成。如果未提供，则通过使用提供的随机generator进行采样来生成潜在张量。
  • output_type (str, 可选, 默认为 "pil") — 生成图像的输出格式。在 PIL.Image 或 np.array 之间选择。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
  • callback (Callable, 可选) — 一个函数，在推理过程中每隔 callback_steps 步调用一次。该函数将使用以下参数调用：callback(step: int, timestep: int, latents: torch.Tensor)。
  • callback_steps (int, 可选, 默认为 1) — 调用 callback 函数的频率。如果未指定，则在每一步都调用回调函数。
  • editing_prompt (str 或 List[str], 可选) — 用于语义引导的提示或提示列表。通过设置 editing_prompt = None 禁用语义引导。提示的引导方向应通过 reverse_editing_direction 指定。
  • editing_prompt_embeddings (torch.Tensor, 可选) — 用于语义引导的预计算嵌入。嵌入的引导方向应通过 reverse_editing_direction 指定。
  • reverse_editing_direction (bool 或 List[bool], 可选, 默认为 False) — editing_prompt 中对应的提示是否应该增加或减少。
  • edit_guidance_scale (float 或 List[float], 可选, 默认为 5) — 语义引导的引导尺度。如果作为列表提供，值应与 editing_prompt 对应。
  • edit_warmup_steps (float 或 List[float], 可选, 默认为 10) — 不应用语义引导的扩散步数（每个提示）。动量在这些步中计算，并在所有预热期结束后应用。
  • edit_cooldown_steps (float 或 List[float], 可选, 默认为 None) — 在此之后不再应用语义引导的扩散步数（每个提示）。
  • edit_threshold (float 或 List[float], 可选, 默认为 0.9) — 语义引导的阈值。
  • edit_momentum_scale (float, 可选, 默认为 0.1) — 在每个扩散步中添加到语义引导的动量尺度。如果设置为 0.0，则禁用动量。动量已在预热期间（对于小于 sld_warmup_steps 的扩散步）建立。一旦所有预热期结束，动量才添加到潜在引导中。
  • edit_mom_beta (float, 可选, 默认为 0.4) — 定义语义引导动量如何建立。edit_mom_beta 表示保留多少先前的动量。动量已在预热期间（对于小于 edit_warmup_steps 的扩散步）建立。
  • edit_weights (List[float], 可选, 默认为 None) — 指示每个单独概念对整体引导的影响程度。如果未提供权重，则所有概念都将同等应用。
  • sem_guidance (List[torch.Tensor], 可选) — 预先生成的引导向量列表，将在生成时应用。列表长度必须与 num_inference_steps 对应。

返回

~pipelines.semantic_stable_diffusion.SemanticStableDiffusionPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ~pipelines.semantic_stable_diffusion.SemanticStableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是指示相应生成图像是否包含“不适合工作”（nsfw）内容的 bool 列表。

用于生成的管道的调用函数。

示例

>>> import torch
>>> from diffusers import SemanticStableDiffusionPipeline

>>> pipe = SemanticStableDiffusionPipeline.from_pretrained(
...     "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16
... )
>>> pipe = pipe.to("cuda")

>>> out = pipe(
...     prompt="a photo of the face of a woman",
...     num_images_per_prompt=1,
...     guidance_scale=7,
...     editing_prompt=[
...         "smiling, smile",  # Concepts to apply
...         "glasses, wearing glasses",
...         "curls, wavy hair, curly hair",
...         "beard, full beard, mustache",
...     ],
...     reverse_editing_direction=[
...         False,
...         False,
...         False,
...         False,
...     ],  # Direction of guidance i.e. increase all concepts
...     edit_warmup_steps=[10, 10, 10, 10],  # Warmup period for each concept
...     edit_guidance_scale=[4, 5, 5, 5.4],  # Guidance scale for each concept
...     edit_threshold=[
...         0.99,
...         0.975,
...         0.925,
...         0.96,
...     ],  # Threshold for each concept. Threshold equals the percentile of the latent space that will be discarded. I.e. threshold=0.99 uses 1% of the latent dimensions
...     edit_momentum_scale=0.3,  # Momentum scale that will be added to the latent guidance
...     edit_mom_beta=0.6,  # Momentum beta
...     edit_weights=[1, 1, 1, 1, 1],  # Weights of the individual concepts against each other
... )
>>> image = out.images[0]

SemanticStableDiffusionPipelineOutput

class diffusers.pipelines.semantic_stable_diffusion.pipeline_output.SemanticStableDiffusionPipelineOutput

< >

( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] nsfw_content_detected: typing.Optional[typing.List[bool]] )

参数

  • images (List[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表，或形状为 (batch_size, height, width, num_channels) 的 NumPy 数组。
  • nsfw_content_detected (List[bool]) — 列表，指示相应的生成图像是否包含“不安全”（nsfw）内容，如果无法执行安全检查，则为 None。

Stable Diffusion 管道的输出类。

< > 在 GitHub 上更新

←自注意力引导 Shap-E→