Attend-and-Excite
Attend-and-Excite for Stable Diffusion 在 Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models 中提出，并提供对图像生成的文本注意力控制。
论文摘要如下：
最近的文本到图像生成模型展示了无与伦比的能力，能够根据目标文本提示生成多样化和创造性的图像。虽然具有革命性，但当前最先进的扩散模型在生成能够完全传达给定文本提示语义的图像方面可能仍然会失败。我们分析了公开可用的 Stable Diffusion 模型，并评估了灾难性忽略的存在，即模型无法生成输入提示中的一个或多个主题。此外，我们发现，在某些情况下，模型也无法将属性（例如颜色）正确绑定到其对应的主题。为了帮助缓解这些失败案例，我们引入了生成语义护理 (GSN) 的概念，其中我们寻求在推理过程中动态干预生成过程，以提高生成图像的真实性。使用基于注意力的 GSN 公式，称为 Attend-and-Excite，我们引导模型细化交叉注意力单元以关注文本提示中的所有主题令牌，并加强（或激发）它们的激活，鼓励模型生成文本提示中描述的所有主题。我们将我们的方法与替代方法进行比较，并证明它在各种文本提示中更忠实地传达了所需的概念。
您可以在 项目页面、原始代码库 上找到有关 Attend-and-Excite 的更多信息，或在 演示 中试用它。
StableDiffusionAttendAndExcitePipeline
class diffusers.StableDiffusionAttendAndExcitePipeline
< 源代码 >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: UNet2DConditionModel scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码到潜在表示以及从潜在表示解码的变分自动编码器 (VAE) 模型。
- text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
- tokenizer (CLIPTokenizer) — 用于对文本进行标记的
CLIPTokenizer。 - unet (UNet2DConditionModel) — 用于对编码的图像潜在表示进行降噪的
UNet2DConditionModel。 - scheduler (SchedulerMixin) — 用于与
unet结合对编码的图像潜在表示进行降噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - 安全检查器 (
StableDiffusionSafetyChecker) — 用于评估生成图像是否可能被视为攻击性或有害的分类模块。 有关模型潜在危害的更多详细信息，请参阅 模型卡。 - 特征提取器 (CLIPImageProcessor) — 用于从生成图像中提取特征的
CLIPImageProcessor； 用作safety_checker的输入。
使用 Stable Diffusion 和 Attend-and-Excite 进行文本到图像生成的管道。
此模型继承自 DiffusionPipeline。 检查超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
该管道还继承了以下加载方法
- load_textual_inversion() 用于加载文本反转嵌入
__call__
< 源代码 >( 提示: Union token_indices: Union 高度: Optional = None 宽度: Optional = None 推理步骤数量: int = 50 引导比例: float = 7.5 负面提示: Union = None 每个提示的图像数量: int = 1 eta: float = 0.0 生成器: Union = None 潜在变量: Optional = None 提示嵌入: Optional = None 负面提示嵌入: Optional = None 输出类型: Optional = 'pil' 返回字典: bool = True 回调: Optional = None 回调步骤: int = 1 交叉注意力参数: Optional = None 最大迭代次数: int = 25 阈值: dict = {0: 0.05, 10: 0.5, 20: 0.8} 缩放因子: int = 20 attn_res: Optional = (16, 16) clip_skip: Optional = None ) → StableDiffusionPipelineOutput 或 元组
参数
- 提示 (
str或List[str], 可选) — 用于引导图像生成的提示或提示。 如果未定义，您需要传递prompt_embeds。 - token_indices (
List[int]) — 要使用 attend-and-excite 改变的 token 索引。 - 高度 (
int, 可选, 默认值self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。 - 宽度 (
int, 可选, 默认值self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的宽度（以像素为单位）。 - num_inference_steps (
int, 可选, 默认值 50) — 降噪步骤数。更多降噪步骤通常会导致更高质量的图像，但会牺牲推理速度。 - guidance_scale (
float, 可选, 默认值 7.5) — 较高的引导比例值会鼓励模型生成与文本prompt密切相关的图像，但会牺牲图像质量。当guidance_scale > 1时，引导比例被启用。 - negative_prompt (
str或List[str], 可选) — 指导图像生成中不包含内容的提示或提示。如果未定义，您需要传递negative_prompt_embeds。当不使用引导（guidance_scale < 1）时被忽略。 - num_images_per_prompt (
int, 可选, 默认值 1) — 每个提示生成图像的数量。 - eta (
float, 可选, 默认值 0.0) — 对应于DDIM论文中的参数 eta (η)。仅适用于DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 一个torch.Generator，用于使生成确定性。 - latents (
torch.Tensor, 可选) — 从高斯分布采样的预生成噪声潜在变量，用作图像生成的输入。可以用来用不同的提示微调相同的生成。如果没有提供，则通过使用提供的随机generator进行采样来生成潜在变量张量。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可以用来轻松调整文本输入（提示加权）。如果没有提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。可以用来轻松调整文本输入（提示加权）。如果没有提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - output_type (
str, 可选, 默认值"pil") — 生成的图像的输出格式。在PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认值为True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - callback (
Callable, 可选) — 在推理期间每callback_steps步调用一次的函数。 该函数将使用以下参数调用:callback(step: int, timestep: int, latents: torch.Tensor)。 - callback_steps (
int, 可选, 默认值为 1) —callback函数调用的频率。 如果未指定，则在每一步调用回调。 - cross_attention_kwargs (
dict, 可选) — 如果指定，则传递给self.processor中定义的AttentionProcessor的关键字参数字典。 - max_iter_to_alter (
int, 可选, 默认值为25) — 应用注意力和激发的去噪步骤数量。max_iter_to_alter去噪步骤是应用注意力和激发的步骤。 例如，如果max_iter_to_alter为25且总共30个去噪步骤，则前25个去噪步骤将应用注意力和激发，最后5个则不会。 - thresholds (
dict, 可选, 默认值为{0 -- 0.05, 10: 0.5, 20: 0.8}): 定义迭代次数和所需阈值的字典，用于应用迭代潜在细化。 - scale_factor (
int, 可选, 默认值为 20) — 用于控制每个注意力和激发更新的步长大小的缩放因子。 - attn_res (
tuple, 可选, 默认值从宽度和高度计算) — 语义注意力图的二维分辨率。 - clip_skip (
int, 可选) — 从 CLIP 计算提示嵌入时要跳过的层数。 值 1 表示将使用倒数第二层的输出计算提示嵌入。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是 bool 列表，指示相应的生成图像是否包含“不适合工作”(nsfw) 内容。
用于生成到管道的调用函数。
示例
>>> import torch
>>> from diffusers import StableDiffusionAttendAndExcitePipeline
>>> pipe = StableDiffusionAttendAndExcitePipeline.from_pretrained(
... "CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16
... ).to("cuda")
>>> prompt = "a cat and a frog"
>>> # use get_indices function to find out indices of the tokens you want to alter
>>> pipe.get_indices(prompt)
{0: '<|startoftext|>', 1: 'a</w>', 2: 'cat</w>', 3: 'and</w>', 4: 'a</w>', 5: 'frog</w>', 6: '<|endoftext|>'}
>>> token_indices = [2, 5]
>>> seed = 6141
>>> generator = torch.Generator("cuda").manual_seed(seed)
>>> images = pipe(
... prompt=prompt,
... token_indices=token_indices,
... guidance_scale=7.5,
... generator=generator,
... num_inference_steps=50,
... max_iter_to_alter=25,
... ).images
>>> image = images[0]
>>> image.save(f"../images/{prompt}_{seed}.png")encode_prompt
< 源代码 ( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - num_images_per_prompt (
int) — 每个提示应该生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示。 如果未定义，则必须传递negative_prompt_embeds。 在不使用引导时被忽略（即，如果guidance_scale小于1，则被忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。 可以用来轻松调整文本输入，例如 提示权重。 如果未提供，文本嵌入将从prompt输入参数生成。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。 可以用来轻松调整文本输入，例如 提示权重。 如果未提供，negative_prompt_embeds将从negative_prompt输入参数生成。 - lora_scale (
float, 可选) — 如果加载了 LoRA 层，将应用于文本编码器所有 LoRA 层的 LoRA 比例。 - clip_skip (
int, 可选) — 在计算提示嵌入时要跳过的 CLIP 层数。 值为 1 表示将使用倒数第二层的输出来计算提示嵌入。
将提示编码为文本编码器隐藏状态。
实用函数，用于列出要更改的标记的索引
StableDiffusionPipelineOutput
class diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput
< source >( images: Union nsfw_content_detected: Optional )
Stable Diffusion 管道的输出类。