Diffusers 文档
Attend-and-Excite
并获得增强的文档体验
开始使用
Attend-and-Excite
Attend-and-Excite for Stable Diffusion 是在 Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models 中提出的，它提供了对图像生成的文本注意力控制。
论文摘要如下：
最近的文本到图像生成模型展示了根据目标文本提示生成多样化和创意图像的无与伦比的能力。尽管具有革命性，但目前最先进的扩散模型在生成完全传达给定文本提示语义的图像方面可能仍会失败。我们分析了公开可用的Stable Diffusion模型，并评估了灾难性忽略的存在，即模型未能生成输入提示中的一个或多个主体。此外，我们发现，在某些情况下，模型也未能将其属性（例如，颜色）正确绑定到其对应的主体。为了帮助缓解这些失败情况，我们引入了生成语义护理（GSN）的概念，我们试图在推理时即时干预生成过程，以提高生成图像的忠实度。通过GSN的基于注意力的公式，称为Attend-and-Excite，我们引导模型细化交叉注意力单元，以关注文本提示中的所有主体token，并增强——或激发——它们的激活，鼓励模型生成文本提示中描述的所有主体。我们将我们的方法与替代方法进行比较，并证明它在各种文本提示中更忠实地传达了所需的 концепции。
您可以在项目页面、原始代码库上找到有关Attend-and-Excite的更多信息，或者在演示中试用。
StableDiffusionAttendAndExcitePipeline
class diffusers.StableDiffusionAttendAndExcitePipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器（VAE）模型。
- text_encoder (CLIPTextModel) — 冻结文本编码器（clip-vit-large-patch14）。
- tokenizer (CLIPTokenizer) — 用于对文本进行token化的
CLIPTokenizer。 - unet (UNet2DConditionModel) — 用于对编码图像潜伏进行去噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 用于与
unet结合对编码图像潜伏进行去噪的调度器。可以是DDIMScheduler、LMSDiscreteScheduler或PNDMScheduler之一。 - safety_checker (
StableDiffusionSafetyChecker) — 分类模块，用于评估生成的图像是否可能被认为是冒犯性或有害的。有关模型潜在危害的更多详细信息，请参阅模型卡。 - feature_extractor (CLIPImageProcessor) — 用于从生成的图像中提取特征的
CLIPImageProcessor；用作safety_checker的输入。
用于使用Stable Diffusion和Attend-and-Excite进行文本到图像生成的管道。
此模型继承自DiffusionPipeline。请查看超类文档以了解为所有管道实现通用方法（下载、保存、在特定设备上运行等）。
该管道还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
__call__
< source >( prompt: typing.Union[str, typing.List[str]] token_indices: typing.Union[typing.List[int], typing.List[typing.List[int]]] height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: int = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True callback: typing.Optional[typing.Callable[[int, int, torch.Tensor], NoneType]] = None callback_steps: int = 1 cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None max_iter_to_alter: int = 25 thresholds: dict = {0: 0.05, 10: 0.5, 20: 0.8} scale_factor: int = 20 attn_res: typing.Optional[typing.Tuple[int]] = (16, 16) clip_skip: typing.Optional[int] = None ) → StableDiffusionPipelineOutput or tuple
参数
- prompt (
str或List[str], 可选) — 用于引导图像生成的提示词。如果未定义，则需要传入prompt_embeds。 - token_indices (
List[int]) — 用于通过attend-and-excite进行修改的token索引。 - height (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（像素）。 - width (
int, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（像素）。 - num_inference_steps (
int, 可选, 默认为 50) — 去噪步数。更多去噪步数通常会导致更高质量的图像，但推理速度会变慢。 - guidance_scale (
float, 可选, 默认为 7.5) — 较高的引导比例值鼓励模型生成与文本prompt密切相关的图像，但代价是图像质量较低。当guidance_scale > 1时，启用引导比例。 - negative_prompt (
str或List[str], 可选) — 用于引导图像生成中不包含内容的提示词。如果未定义，则需要传入negative_prompt_embeds。当不使用引导（guidance_scale < 1）时，此参数将被忽略。 - num_images_per_prompt (
int, 可选, 默认为 1) — 每个提示词生成的图像数量。 - eta (
float, 可选, 默认为 0.0) — 对应于DDIM论文中的参数eta (η)。仅适用于DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成具有确定性的torch.Generator。 - latents (
torch.Tensor, 可选) — 从高斯分布中采样的预生成噪声潜在变量，用作图像生成的输入。可用于使用不同提示词调整同一生成。如果未提供，将使用提供的随机generator采样生成一个潜在张量。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，将从 `prompt` 输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入（提示权重）。如果未提供，`negative_prompt_embeds` 将从 `negative_prompt` 输入参数生成。 - output_type (
str, 可选, 默认为"pil") — 生成图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认为True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - callback (
Callable, 可选) — 在推理过程中每 `callback_steps` 步调用的函数。该函数将使用以下参数调用：`callback(step: int, timestep: int, latents: torch.Tensor)`。 - callback_steps (
int, 可选, 默认为 1) — 调用 `callback` 函数的频率。如果未指定，则在每一步都调用回调。 - cross_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给self.processor中定义的 `AttentionProcessor`。 - max_iter_to_alter (
int, 可选, 默认为25) — 应用 Attend-and-Excite 的去噪步数。`max_iter_to_alter` 去噪步是应用 Attend-and-Excite 的时候。例如，如果 `max_iter_to_alter` 为 `25`，总共有 `30` 个去噪步，则前 `25` 个去噪步应用 Attend-and-Excite，后 `5` 个去噪步不应用。 - thresholds (
dict, 可选, 默认为{0 -- 0.05, 10: 0.5, 20: 0.8})：定义迭代和所需的阈值以应用迭代潜在细化的字典。 - scale_factor (
int, 可选, 默认为 20) — 控制每次 Attend-and-Excite 更新步长的缩放因子。 - attn_res (
tuple, 可选, 默认为根据宽度和高度计算) — 语义注意力图的二维分辨率。 - clip_skip (
int, 可选) — 在计算提示嵌入时从 CLIP 中跳过的层数。值为 1 表示使用倒数第二层的输出来计算提示嵌入。
返回
StableDiffusionPipelineOutput 或 tuple
如果 `return_dict` 为 `True`，则返回 StableDiffusionPipelineOutput，否则返回一个 `tuple`，其中第一个元素是生成的图像列表，第二个元素是指示相应生成的图像是否包含“不安全内容”（nsfw）的 `bool` 列表。
用于生成的管道的调用函数。
示例
>>> import torch
>>> from diffusers import StableDiffusionAttendAndExcitePipeline
>>> pipe = StableDiffusionAttendAndExcitePipeline.from_pretrained(
... "CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16
... ).to("cuda")
>>> prompt = "a cat and a frog"
>>> # use get_indices function to find out indices of the tokens you want to alter
>>> pipe.get_indices(prompt)
{0: '<|startoftext|>', 1: 'a</w>', 2: 'cat</w>', 3: 'and</w>', 4: 'a</w>', 5: 'frog</w>', 6: '<|endoftext|>'}
>>> token_indices = [2, 5]
>>> seed = 6141
>>> generator = torch.Generator("cuda").manual_seed(seed)
>>> images = pipe(
... prompt=prompt,
... token_indices=token_indices,
... guidance_scale=7.5,
... generator=generator,
... num_inference_steps=50,
... max_iter_to_alter=25,
... ).images
>>> image = images[0]
>>> image.save(f"../images/{prompt}_{seed}.png")encode_prompt
< 来源 >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str或List[str], 可选) — 待编码的提示词 - device — (
torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示词应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用分类器自由引导 - negative_prompt (
str或List[str], 可选) — 不用于引导图像生成的提示词或提示词列表。如果未定义，则必须传递 `negative_prompt_embeds`。在使用非引导模式时（即 `guidance_scale` 小于 `1` 时），此参数将被忽略。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，文本嵌入将从 `prompt` 输入参数生成。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如提示权重。如果未提供，负文本嵌入将从 `negative_prompt` 输入参数生成。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，将应用于文本编码器所有 LoRA 层的 LoRA 缩放因子。 - clip_skip (
int, 可选) — 在计算提示嵌入时从 CLIP 中跳过的层数。值为 1 表示使用倒数第二层的输出来计算提示嵌入。
将提示编码为文本编码器隐藏状态。
实用函数，用于列出您希望更改的令牌的索引
StableDiffusionPipelineOutput
class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput
< 来源 >( images: typing.Union[typing.List[PIL.Image.Image], numpy.ndarray] nsfw_content_detected: typing.Optional[typing.List[bool]] )
Stable Diffusion 管道的输出类。