ControlNet-XS
ControlNet-XS 由 Denis Zavadski 和 Carsten Rother 在 ControlNet-XS 中引入。它基于这样的观察：原始 ControlNet 中的控制模型可以做得更小，并且仍然可以产生良好的结果。
与原始 ControlNet 模型一样，您可以提供额外的控制图像来调节和控制 Stable Diffusion 的生成。例如，如果您提供深度图，ControlNet 模型将生成一个保留深度图空间信息的图像。这是一种更灵活、更准确的控制图像生成过程的方法。
ControlNet-XS 生成的图像质量与常规 ControlNet 相当，但速度提高了 20-25%（参见基准测试，使用 StableDiffusion-XL），并且内存使用量减少了约 45%。
以下是 项目页面 中的概述
随着计算能力的不断提高，当前的模型架构似乎遵循了一种趋势，即简单地放大所有组件，而没有验证这样做的必要性。在本项目中，我们研究了 ControlNet [Zhang 等人，2023] 的大小和架构设计，以控制基于稳定扩散的模型的图像生成过程。我们表明，一个新的架构，其参数仅为基础模型的 1%，即可实现最先进的结果，在 FID 分数方面大大优于 ControlNet。因此，我们将其称为 ControlNet-XS。我们提供了控制 StableDiffusion-XL [Podell 等人，2023]（模型 B，48M 参数）和 StableDiffusion 2.1 [Rombach 等人，2022]（模型 B，14M 参数）的代码，所有代码均在开放许可证下。
此模型由 UmerHA 贡献。❤️
StableDiffusionControlNetXSPipeline
class diffusers.StableDiffusionControlNetXSPipeline
< 源代码 >( vae: AutoencoderKL text_encoder: CLIPTextModel tokenizer: CLIPTokenizer unet: Union controlnet: ControlNetXSAdapter scheduler: KarrasDiffusionSchedulers safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码到潜在表示的变分自动编码器 (VAE) 模型。
- text_encoder (CLIPTextModel) — 冻结的文本编码器 (clip-vit-large-patch14)。
- tokenizer (CLIPTokenizer) — 用于标记文本的
CLIPTokenizer。 - unet (UNet2DConditionModel) — 用于创建 UNetControlNetXSModel 来对编码的图像潜在表示进行去噪的 UNet2DConditionModel。
- controlnet (
ControlNetXSAdapter) — 用于与unet结合对编码的图像潜在表示进行去噪的ControlNetXSAdapter。 - feature_extractor (CLIPImageProcessor) — 用于从生成图像中提取特征的
CLIPImageProcessor；用作safety_checker的输入。
使用带有 ControlNet-XS 指导的 Stable Diffusion 进行文本到图像生成的管道。
此模型继承自DiffusionPipeline。检查超类文档以了解为所有管道实现的通用方法（下载、保存、在特定设备上运行等）。
该管道还继承以下加载方法
- load_textual_inversion() 用于加载文本反转嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- loaders.FromSingleFileMixin.from_single_file() 用于加载
.ckpt文件
__call__
< 源代码 >( prompt: Union = None image: Union = None height: Optional = None width: Optional = None num_inference_steps: int = 50 guidance_scale: float = 7.5 negative_prompt: Union = None num_images_per_prompt: Optional = 1 eta: float = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None output_type: Optional = 'pil' return_dict: bool = True cross_attention_kwargs: Optional = None controlnet_conditioning_scale: Union = 1.0 control_guidance_start: float = 0.0 control_guidance_end: float = 1.0 clip_skip: Optional = None callback_on_step_end: Union = None callback_on_step_end_tensor_inputs: List = ['latents'] ) → StableDiffusionPipelineOutput 或 元组
参数
- prompt (
str或List[str], 可选) — 指导图像生成的提示或提示。如果未定义，则需要传递prompt_embeds。 - image (
torch.Tensor,PIL.Image.Image,np.ndarray,List[torch.Tensor],List[PIL.Image.Image],List[np.ndarray], —List[List[torch.Tensor]],List[List[np.ndarray]]或List[List[PIL.Image.Image]]): 用于为生成提供指导的 ControlNet 输入条件，以指导unet进行生成。如果类型指定为torch.Tensor，则按原样传递给 ControlNet。PIL.Image.Image也可作为图像接受。输出图像的尺寸默认为image的尺寸。如果传递了高度和/或宽度，则相应地调整image的大小。如果在init中指定了多个 ControlNet，则必须将图像作为列表传递，以便列表的每个元素都可以正确地批量处理以作为输入传递给单个 ControlNet。 - height (
int, 可选，默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像的高度（以像素为单位）。 - width (
int，可选，默认为self.unet.config.sample_size * self.vae_scale_factor) — 生成的图像宽度（像素）。 - num_inference_steps (
int，可选，默认为 50) — 降噪步骤数。更多的降噪步骤通常会导致更高的图像质量，但推理速度会变慢。 - guidance_scale (
float，可选，默认为 7.5) — 更高的引导尺度值鼓励模型生成与文本prompt密切相关的图像，但会以降低图像质量为代价。当guidance_scale > 1时启用引导尺度。 - negative_prompt (
str或List[str]，可选) — 指导图像生成中不应包含内容的提示或提示列表。如果未定义，则需要传递negative_prompt_embeds。在不使用引导（guidance_scale < 1）时忽略。 - num_images_per_prompt (
int，可选，默认为 1) — 每个提示生成图像的数量。 - eta (
float，可选，默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator]，可选) — 一个torch.Generator用于使生成确定性。 - latents (
torch.Tensor，可选) — 从高斯分布中采样的预先生成的噪声潜在变量，用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供，则通过使用提供的随机generator采样生成潜在变量张量。 - prompt_embeds (
torch.Tensor，可选) — 预先生成的文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor，可选) — 预先生成的负文本嵌入。可用于轻松调整文本输入（提示加权）。如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - cross_attention_kwargs (
dict，可选) — 如果指定，则传递给self.processor中定义的AttentionProcessor的关键字参数字典。 - controlnet_conditioning_scale (
float或List[float]，可选，默认为 1.0) — ControlNet 的输出在添加到原始unet的残差之前，将乘以controlnet_conditioning_scale。如果在init中指定了多个 ControlNet，则可以将相应的比例设置为列表。 - control_guidance_start (
float或List[float]，可选，默认为 0.0) — ControlNet 开始应用的总步数的百分比。 - control_guidance_end (
float或List[float]，可选，默认为 1.0) — ControlNet 停止应用的总步数的百分比。 - clip_skip (
int，可选) — 计算提示嵌入时要从 CLIP 跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。 - callback_on_step_end (
Callable，PipelineCallback，MultiPipelineCallbacks，可选) — 在推理过程中每次去噪步骤结束时调用的函数或PipelineCallback或MultiPipelineCallbacks的子类。参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs将包含由callback_on_step_end_tensor_inputs指定的所有张量的列表。 - callback_on_step_end_tensor_inputs (
List，可选) —callback_on_step_end函数的张量输入列表。列表中指定的张量将作为callback_kwargs参数传递。您只能包含管道类._callback_tensor_inputs属性中列出的变量。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是包含 bool 值的列表，指示相应的生成图像是否包含“不适合工作”（nsfw）内容。
用于生成图像的管道调用函数。
示例
>>> # !pip install opencv-python transformers accelerate
>>> from diffusers import StableDiffusionControlNetXSPipeline, ControlNetXSAdapter
>>> from diffusers.utils import load_image
>>> import numpy as np
>>> import torch
>>> import cv2
>>> from PIL import Image
>>> prompt = "aerial view, a futuristic research complex in a bright foggy jungle, hard lighting"
>>> negative_prompt = "low quality, bad quality, sketches"
>>> # download an image
>>> image = load_image(
... "https://hf.co/datasets/hf-internal-testing/diffusers-images/resolve/main/sd_controlnet/hf-logo.png"
... )
>>> # initialize the models and pipeline
>>> controlnet_conditioning_scale = 0.5
>>> controlnet = ControlNetXSAdapter.from_pretrained(
... "UmerHA/Testing-ConrolNetXS-SD2.1-canny", torch_dtype=torch.float16
... )
>>> pipe = StableDiffusionControlNetXSPipeline.from_pretrained(
... "stabilityai/stable-diffusion-2-1-base", controlnet=controlnet, torch_dtype=torch.float16
... )
>>> pipe.enable_model_cpu_offload()
>>> # get canny image
>>> image = np.array(image)
>>> image = cv2.Canny(image, 100, 200)
>>> image = image[:, :, None]
>>> image = np.concatenate([image, image, image], axis=2)
>>> canny_image = Image.fromarray(image)
>>> # generate image
>>> image = pipe(
... prompt, controlnet_conditioning_scale=controlnet_conditioning_scale, image=canny_image
... ).images[0]encode_prompt
< source >( prompt device num_images_per_prompt do_classifier_free_guidance negative_prompt = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None lora_scale: Optional = None clip_skip: Optional = None )
参数
- 提示词 (
str或List[str], 可选) — 要编码的提示词 device — (torch.device): torch 设备 - 每个提示词生成的图像数量 (
int) — 每个提示词应该生成的图像数量 - 是否使用分类器免费引导 (
bool) — 是否使用分类器免费引导 - 负面提示词 (
str或List[str], 可选) — 不用于引导图像生成的提示词或提示词。如果未定义，则必须传递negative_prompt_embeds。在不使用引导时被忽略（即，如果guidance_scale小于1，则被忽略）。 - 提示词嵌入 (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示词加权。如果未提供，则将从prompt输入参数生成文本嵌入。 - 负面提示词嵌入 (
torch.Tensor, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入，例如 提示词加权。如果未提供，则将从negative_prompt输入参数生成negative_prompt_embeds。 - LoRA 比例 (
float, 可选) — 如果加载了 LoRA 层，则将应用于文本编码器所有 LoRA 层的 LoRA 比例。 - CLIP 跳过层数 (
int, 可选) — 计算提示词嵌入时要从 CLIP 跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示词嵌入。
将提示词编码为文本编码器隐藏状态。
StableDiffusionPipelineOutput
类 diffusers.pipelines.stable_diffusion.StableDiffusionPipelineOutput
< 源代码 >( images: Union nsfw_content_detected: Optional )
Stable Diffusion 管道的输出类。