Diffusers 文档
ControlNetUnion
并获得增强的文档体验
开始使用
ControlNetUnion
ControlNetUnionModel 是 Stable Diffusion XL 的 ControlNet 实现。
ControlNet 模型由 xinsir6 在 ControlNetPlus 中引入。它支持多个条件输入,而不会增加计算量。
我们设计了一种新架构,可以在条件文本到图像生成中支持 10 种以上的控制类型,并能生成在视觉上与 Midjourney 相媲美的高分辨率图像。该网络基于原始 ControlNet 架构,我们提出了两个新模块:1. 扩展原始 ControlNet 以支持使用相同网络参数的不同图像条件。2. 支持多个条件输入而不会增加计算卸载,这对于想要详细编辑图像的设计师来说尤其重要,不同的条件使用相同的条件编码器,无需额外计算或参数。
StableDiffusionXLControlNetUnionPipeline
类 diffusers.StableDiffusionXLControlNetUnionPipeline
< 来源 >( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: typing.Union[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel, typing.List[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel], typing.Tuple[diffusers.models.controlnets.controlnet_union.ControlNetUnionModel], diffusers.models.controlnets.multicontrolnet_union.MultiControlNetUnionModel] scheduler: KarrasDiffusionSchedulers force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )
参数
- vae (AutoencoderKL) — 用于编码和解码图像到潜在表示的变分自动编码器 (VAE) 模型。
- text_encoder (CLIPTextModel) — 冻结文本编码器 (clip-vit-large-patch14)。
- text_encoder_2 (CLIPTextModelWithProjection) — 第二个冻结文本编码器 (laion/CLIP-ViT-bigG-14-laion2B-39B-b160k)。
- tokenizer (CLIPTokenizer) — 用于标记文本的
CLIPTokenizer
。 - tokenizer_2 (CLIPTokenizer) — 用于标记文本的
CLIPTokenizer
。 - unet (UNet2DConditionModel) — 用于对编码图像潜在表示去噪的
UNet2DConditionModel
。 - controlnet (ControlNetUnionModel
) -- 在去噪过程中为
unet` 提供额外条件。 - scheduler (SchedulerMixin) — 与
unet
结合使用,用于对编码图像潜在表示去噪的调度器。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - force_zeros_for_empty_prompt (
bool
, 可选, 默认为"True"
) — 负面提示词嵌入是否应始终设置为 0。另请参阅stabilityai/stable-diffusion-xl-base-1-0
的配置。 - add_watermarker (
bool
, 可选) — 是否使用 invisible_watermark 库对输出图像添加水印。如果未定义,如果已安装该包,则默认为True
;否则不使用水印器。
使用 Stable Diffusion XL 和 ControlNet 指导的文本到图像生成流水线。
此模型继承自 DiffusionPipeline。有关所有管道实现的通用方法(下载、保存、在特定设备上运行等),请查阅超类文档。
该管道还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- from_single_file() 用于加载
.ckpt
文件 - load_ip_adapter() 用于加载 IP 适配器
__call__
< 来源 >( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], typing.List[typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]]]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None num_inference_steps: int = 50 timesteps: typing.List[int] = None sigmas: typing.List[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 1.0 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], typing.List[typing.List[int]], NoneType] = None original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] ) → StableDiffusionPipelineOutput 或 tuple
参数
- prompt (
str
或List[str]
, 可选) — 用于引导图像生成的提示词。如果未定义,则需要传入prompt_embeds
。 - prompt_2 (
str
或List[str]
, 可选) — 发送给tokenizer_2
和text_encoder_2
的提示词。如果未定义,则在两个文本编码器中都使用prompt
。 - control_image (
PipelineImageInput
或List[PipelineImageInput]
, 可选) — ControlNet 输入条件,用于为unet
提供生成指导。如果类型指定为torch.Tensor
,则直接传递给 ControlNet。PIL.Image.Image
也可以作为图像接受。输出图像的尺寸默认为image
的尺寸。如果传入 height 和/或 width,则image
会相应地调整大小。如果在init
中指定了多个 ControlNet,则图像必须作为列表传递,以便列表的每个元素可以正确地批量输入到单个 ControlNet。 - height (
int
, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor
) — 生成图像的像素高度。低于 512 像素的图像对于 stabilityai/stable-diffusion-xl-base-1.0 以及未专门针对低分辨率进行微调的检查点效果不佳。 - width (
int
, 可选, 默认为self.unet.config.sample_size * self.vae_scale_factor
) — 生成图像的像素宽度。低于 512 像素的图像对于 stabilityai/stable-diffusion-xl-base-1.0 以及未专门针对低分辨率进行微调的检查点效果不佳。 - num_inference_steps (
int
, 可选, 默认为 50) — 去噪步数。更多的去噪步数通常会带来更高质量的图像,但推理速度会变慢。 - timesteps (
List[int]
, 可选) — 用于去噪过程的自定义时间步,适用于其set_timesteps
方法支持timesteps
参数的调度器。如果未定义,将使用传入num_inference_steps
时的默认行为。必须按降序排列。 - sigmas (
List[float]
, 可选) — 用于去噪过程的自定义 sigmas,适用于其set_timesteps
方法支持sigmas
参数的调度器。如果未定义,将使用传入num_inference_steps
时的默认行为。 - denoising_end (
float
, 可选) — 指定时,确定在有意提前终止之前完成的总去噪过程的分数(介于 0.0 和 1.0 之间)。因此,返回的样本仍将保留由调度器选择的离散时间步所确定的相当数量的噪声。denoising_end
参数应在管道作为“去噪器混合”多管道设置的一部分时理想地使用,如精炼图像输出中所详述。 - guidance_scale (
float
, 可选, 默认为 5.0) — 较高的引导比例值鼓励模型生成与文本prompt
密切相关的图像,但会牺牲较低的图像质量。当guidance_scale > 1
时启用引导比例。 - negative_prompt (
str
或List[str]
, 可选) — 用于指导图像生成中不包含内容的提示。如果未定义,则需要传入negative_prompt_embeds
。当不使用引导时 (guidance_scale < 1
) 忽略。 - negative_prompt_2 (
str
或List[str]
, 可选) — 用于指导图像生成中不包含内容的提示。此提示将发送给tokenizer_2
和text_encoder_2
。如果未定义,negative_prompt
将在两个文本编码器中使用。 - num_images_per_prompt (
int
, 可选, 默认为 1) — 每个提示生成的图像数量。 - eta (
float
, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler,在其他调度器中忽略。 - generator (
torch.Generator
或List[torch.Generator]
, 可选) — 用于使生成具有确定性的torch.Generator
。 - latents (
torch.Tensor
, 可选) — 从高斯分布采样的预生成噪声潜在变量,用作图像生成的输入。可用于使用不同提示微调相同的生成。如果未提供,将使用提供的随机generator
采样生成潜在张量。 - prompt_embeds (
torch.Tensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,文本嵌入将从prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,negative_prompt_embeds
将从negative_prompt
输入参数生成。 - pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,池化文本嵌入将从prompt
输入参数生成。 - negative_pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负池化文本嵌入。可用于轻松调整文本输入(提示权重)。如果未提供,池化negative_prompt_embeds
将从negative_prompt
输入参数生成。 - ip_adapter_image — (
PipelineImageInput
, 可选): 用于 IP Adapters 的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor]
, 可选) — IP-Adapter 的预生成图像嵌入。它应该是一个列表,长度与 IP-Adapter 的数量相同。每个元素应该是一个形状为(batch_size, num_images, emb_dim)
的张量。如果do_classifier_free_guidance
设置为True
,它应该包含负图像嵌入。如果未提供,嵌入将从ip_adapter_image
输入参数计算。 - output_type (
str
, 可选, 默认为"pil"
) — 生成图像的输出格式。选择PIL.Image
或np.array
。 - return_dict (
bool
, 可选, 默认为True
) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - cross_attention_kwargs (
dict
, 可选) — 一个 kwargs 字典,如果指定,将作为self.processor
中定义的AttentionProcessor
的参数传入。 - controlnet_conditioning_scale (
float
或List[float]
, 可选, 默认为 1.0) — ControlNet 的输出乘以controlnet_conditioning_scale
后再添加到原始unet
中的残差。如果init
中指定了多个 ControlNet,则可以将其相应的比例设置为列表。 - guess_mode (
bool
, 可选, 默认为False
) — 即使您删除所有提示,ControlNet 编码器也会尝试识别输入图像的内容。建议guidance_scale
值在 3.0 到 5.0 之间。 - control_guidance_start (
float
或List[float]
, 可选, 默认为 0.0) — ControlNet 开始应用的步数总百分比。 - control_guidance_end (
float
或List[float]
, 可选, 默认为 1.0) — ControlNet 停止应用的步数总百分比。 - control_mode (
int
或List[int]
或List[List[int]]
, 可选) — ControlNet 的控制条件类型。有关可用控制模式的信息,请参阅 ControlNet 的模型卡。如果在init
中指定了多个 ControlNet,则control_mode
应该是一个列表,其中每个 ControlNet 都有其相应的控制模式列表。应反映control_image
中条件的顺序。 - original_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 如果original_size
与target_size
不同,图像将显示为下采样或上采样。如果未指定,original_size
默认为(height, width)
。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。 - crops_coords_top_left (
Tuple[int]
, 可选, 默认为 (0, 0)) —crops_coords_top_left
可用于生成从crops_coords_top_left
位置向下“裁剪”的图像。通过将crops_coords_top_left
设置为 (0, 0) 通常可以获得令人满意、居中的图像。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。 - target_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 在大多数情况下,target_size
应设置为生成图像的所需高度和宽度。如果未指定,它将默认为(height, width)
。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。 - negative_original_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 根据特定图像分辨率对生成过程进行负面条件限制。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。欲了解更多信息,请参阅此问题讨论串: https://github.com/huggingface/diffusers/issues/4208。 - negative_crops_coords_top_left (
Tuple[int]
, 可选, 默认为 (0, 0)) — 根据特定裁剪坐标对生成过程进行负面条件限制。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。欲了解更多信息,请参阅此问题讨论串: https://github.com/huggingface/diffusers/issues/4208。 - negative_target_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 根据目标图像分辨率对生成过程进行负面条件限制。在大多数情况下,它应与target_size
相同。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 第 2.2 节所述。欲了解更多信息,请参阅此问题讨论串: https://github.com/huggingface/diffusers/issues/4208。 - clip_skip (
int
, 可选) — 在计算提示嵌入时,从 CLIP 跳过的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。 - callback_on_step_end (
Callable
,PipelineCallback
,MultiPipelineCallbacks
, 可选) — 在推理过程中每次去噪步骤结束时调用的函数或PipelineCallback
或MultiPipelineCallbacks
的子类,具有以下参数:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)
。callback_kwargs
将包含callback_on_step_end_tensor_inputs
指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List
, 可选) —callback_on_step_end
函数的张量输入列表。列表中指定的张量将作为callback_kwargs
参数传递。您只能包含管道类._callback_tensor_inputs
属性中列出的变量。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict
为 True
,则返回 StableDiffusionPipelineOutput,否则返回包含输出图像的 tuple
。
用于生成的管道的调用函数。
示例
>>> # !pip install controlnet_aux
>>> from controlnet_aux import LineartAnimeDetector
>>> from diffusers import StableDiffusionXLControlNetUnionPipeline, ControlNetUnionModel, AutoencoderKL
>>> from diffusers.utils import load_image
>>> import torch
>>> prompt = "A cat"
>>> # download an image
>>> image = load_image(
... "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/kandinsky/cat.png"
... ).resize((1024, 1024))
>>> # initialize the models and pipeline
>>> controlnet = ControlNetUnionModel.from_pretrained(
... "xinsir/controlnet-union-sdxl-1.0", torch_dtype=torch.float16
... )
>>> vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
>>> pipe = StableDiffusionXLControlNetUnionPipeline.from_pretrained(
... "stabilityai/stable-diffusion-xl-base-1.0",
... controlnet=controlnet,
... vae=vae,
... torch_dtype=torch.float16,
... variant="fp16",
... )
>>> pipe.enable_model_cpu_offload()
>>> # prepare image
>>> processor = LineartAnimeDetector.from_pretrained("lllyasviel/Annotators")
>>> controlnet_img = processor(image, output_type="pil")
>>> # generate image
>>> image = pipe(prompt, control_image=[controlnet_img], control_mode=[3], height=1024, width=1024).images[0]
encode_prompt
< source >( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str
或List[str]
, 可选) — 待编码的提示 - prompt_2 (
str
或List[str]
, 可选) — 将发送到tokenizer_2
和text_encoder_2
的提示。如果未定义,prompt
将在两个文本编码器中使用。 - device — (
torch.device
): torch 设备 - num_images_per_prompt (
int
) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool
) — 是否使用分类器自由引导 - negative_prompt (
str
或List[str]
, 可选) — 不用于引导图像生成的提示。如果未定义,则必须传入negative_prompt_embeds
。当不使用引导时(即,如果guidance_scale
小于1
时),此参数将被忽略。 - negative_prompt_2 (
str
或List[str]
, 可选) — 不用于引导图像生成的提示,将发送给tokenizer_2
和text_encoder_2
。如果未定义,negative_prompt
将在两个文本编码器中使用。 - prompt_embeds (
torch.Tensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,文本嵌入将从prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,negative_prompt_embeds
将从negative_prompt
输入参数生成。 - pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化文本嵌入将从prompt
输入参数生成。 - negative_pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化negative_prompt_embeds
将从negative_prompt
输入参数生成。 - lora_scale (
float
, 可选) — 将应用于文本编码器所有 LoRA 层的 LoRA 比例(如果 LoRA 层已加载)。 - clip_skip (
int
, 可选) — 计算提示嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
将提示编码为文本编码器隐藏状态。
get_guidance_scale_embedding
< source >( w: Tensor embedding_dim: int = 512 dtype: dtype = torch.float32 ) → torch.Tensor
StableDiffusionXLControlNetUnionImg2ImgPipeline
class diffusers.StableDiffusionXLControlNetUnionImg2ImgPipeline
< source >( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: ControlNetUnionModel scheduler: KarrasDiffusionSchedulers requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: CLIPImageProcessor = None image_encoder: CLIPVisionModelWithProjection = None )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自编码器 (VAE) 模型。
- text_encoder (
CLIPTextModel
) — 冻结的文本编码器。Stable Diffusion 使用 CLIP 的文本部分,特别是 clip-vit-large-patch14 变体。 - text_encoder_2 (
CLIPTextModelWithProjection
) — 第二个冻结的文本编码器。Stable Diffusion XL 使用 CLIP 的文本和池化部分,特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。 - tokenizer (
CLIPTokenizer
) — CLIPTokenizer 类的分词器。 - tokenizer_2 (
CLIPTokenizer
) — CLIPTokenizer 类的第二个分词器。 - unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行去噪的条件 U-Net 架构。
- controlnet (ControlNetUnionModel) — 在去噪过程中为 unet 提供额外的条件。
- scheduler (SchedulerMixin) — 与
unet
结合使用的调度器,用于对编码图像潜在表示进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 之一。 - requires_aesthetics_score (
bool
, 可选, 默认为"False"
) —unet
是否需要在推理期间传递aesthetic_score
条件。另请参阅stabilityai/stable-diffusion-xl-refiner-1-0
的配置。 - force_zeros_for_empty_prompt (
bool
, 可选, 默认为"True"
) — 是否强制将负面提示嵌入始终设置为 0。另请参阅stabilityai/stable-diffusion-xl-base-1-0
的配置。 - add_watermarker (
bool
, 可选) — 是否使用 invisible_watermark 库 为输出图像添加水印。如果未定义,如果包已安装,则默认为 True,否则不使用水印。 - feature_extractor (CLIPImageProcessor) — 用于从生成的图像中提取特征的
CLIPImageProcessor
;用作safety_checker
的输入。
使用 Stable Diffusion XL 和 ControlNet 引导的图像到图像生成管道。
此模型继承自 DiffusionPipeline。有关库为所有管道实现的通用方法(例如下载或保存、在特定设备上运行等),请查看超类文档。
该管道还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- load_ip_adapter() 用于加载 IP 适配器
__call__
< source >( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None strength: float = 0.8 num_inference_steps: int = 50 guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 0.8 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], NoneType] = None original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None negative_original_size: typing.Optional[typing.Tuple[int, int]] = None negative_crops_coords_top_left: typing.Tuple[int, int] = (0, 0) negative_target_size: typing.Optional[typing.Tuple[int, int]] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → StableDiffusionPipelineOutput 或 tuple
参数
- prompt (
str
或List[str]
, 可选) — 用于引导图像生成的提示或多个提示。如果未定义,则必须传入prompt_embeds
。 - prompt_2 (
str
或List[str]
, 可选) — 要发送到tokenizer_2
和text_encoder_2
的提示或多个提示。如果未定义,则在两个文本编码器中都使用prompt
。 - image (
torch.Tensor
,PIL.Image.Image
,np.ndarray
,List[torch.Tensor]
,List[PIL.Image.Image]
,List[np.ndarray]
, —List[List[torch.Tensor]]
,List[List[np.ndarray]]
或List[List[PIL.Image.Image]]
): 初始图像将用作图像生成过程的起点。如果直接传入潜在表示,也可以将图像潜在表示作为image
接受,它将不会再次编码。 - control_image (
PipelineImageInput
) — ControlNet 输入条件。ControlNet 使用此输入条件为 Unet 生成引导。如果类型指定为torch.Tensor
,则直接将其传递给 ControlNet。PIL.Image.Image
也可以作为图像接受。输出图像的维度默认为image
的维度。如果传递了 height 和/或 width,则根据它们调整image
的大小。如果在 init 中指定了多个 ControlNet,则必须将图像作为列表传递,以便列表的每个元素都可以正确批量处理以输入到单个 controlnet。 - height (
int
, 可选, 默认为 control_image 的大小) — 生成图像的高度(像素)。对于 stabilityai/stable-diffusion-xl-base-1.0 和未专门针对低分辨率进行微调的检查点,低于 512 像素的任何尺寸都无法很好地工作。 - width (
int
, 可选, 默认为 control_image 的大小) — 生成图像的宽度(像素)。对于 stabilityai/stable-diffusion-xl-base-1.0 和未专门针对低分辨率进行微调的检查点,低于 512 像素的任何尺寸都无法很好地工作。 - strength (
float
, 可选, 默认为 0.8) — 指示转换参考image
的程度。必须介于 0 和 1 之间。image
用作起点,strength
越高,添加的噪声越多。去噪步数取决于最初添加的噪声量。当strength
为 1 时,添加的噪声最大,去噪过程将运行num_inference_steps
中指定的完整迭代次数。值为 1 基本上忽略了image
。 - num_inference_steps (
int
, 可选, 默认为 50) — 去噪步数。更多的去噪步数通常会带来更高的图像质量,但推理速度会变慢。 - guidance_scale (
float
, 可选, 默认为 7.5) — 如 Classifier-Free Diffusion Guidance 中定义的引导尺度。guidance_scale
定义为 Imagen Paper 中公式 2 的w
。通过设置guidance_scale > 1
启用引导尺度。较高的引导尺度会鼓励生成与文本prompt
密切相关的图像,但通常会牺牲图像质量。 - negative_prompt (
str
或List[str]
, 可选) — 不用于引导图像生成的提示或多个提示。如果未定义,则必须传入negative_prompt_embeds
。在不使用引导时(即,如果guidance_scale
小于1
),此参数将被忽略。 - negative_prompt_2 (
str
或List[str]
, 可选) — 不用于引导图像生成的提示或多个提示,将发送到tokenizer_2
和text_encoder_2
。如果未定义,则在两个文本编码器中都使用negative_prompt
。 - num_images_per_prompt (
int
, 可选, 默认为 1) — 每个提示生成的图像数量。 - eta (
float
, 可选, 默认为 0.0) — 对应于 DDIM 论文中的参数 eta (η):https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler,对于其他调度器将被忽略。 - generator (
torch.Generator
或List[torch.Generator]
, 可选) — 一个或多个 torch 生成器,用于使生成具有确定性。 - latents (
torch.Tensor
, 可选) — 预生成的带噪声的潜在表示,从高斯分布中采样,用作图像生成的输入。可用于使用不同的提示调整相同的生成。如果未提供,将通过使用提供的随机generator
进行采样来生成潜在表示张量。 - prompt_embeds (
torch.Tensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,文本嵌入将从prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,negative_prompt_embeds
将从negative_prompt
输入参数生成。 - pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化文本嵌入将从prompt
输入参数生成。 - negative_pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化负面提示嵌入将从negative_prompt
输入参数生成。 - ip_adapter_image — (
PipelineImageInput
, 可选): 与 IP 适配器一起使用的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor]
, 可选) — 适用于 IP-Adapter 的预生成图像嵌入。它应该是一个列表,长度与 IP-adapter 的数量相同。每个元素都应该是一个形状为(batch_size, num_images, emb_dim)
的张量。如果do_classifier_free_guidance
设置为True
,则应包含负图像嵌入。如果未提供,则从ip_adapter_image
输入参数计算嵌入。 - output_type (
str
, 可选, 默认为"pil"
) — 生成图像的输出格式。在 PIL:PIL.Image.Image
或np.array
之间选择。 - return_dict (
bool
, 可选, 默认为True
) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - cross_attention_kwargs (
dict
, 可选) — 一个 kwargs 字典,如果指定,则传递给 diffusers.models.attention_processor 中self.processor
下定义的AttentionProcessor
。 - controlnet_conditioning_scale (
float
或List[float]
, 可选, 默认为 1.0) — ControlNet 的输出在添加到原始 unet 的残差之前会乘以controlnet_conditioning_scale
。如果在 init 中指定了多个 ControlNet,则可以将相应的比例设置为列表。 - guess_mode (
bool
, 可选, 默认为False
) — 在此模式下,即使您删除所有提示,ControlNet 编码器也将尽力识别输入图像的内容。建议guidance_scale
在 3.0 到 5.0 之间。 - control_guidance_start (
float
或List[float]
, 可选, 默认为 0.0) — controlnet 开始应用的步骤总数的百分比。 - control_guidance_end (
float
或List[float]
, 可选, 默认为 1.0) — controlnet 停止应用的步骤总数的百分比。 - original_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 如果original_size
与target_size
不同,图像将显示为缩小或放大。如果未指定,original_size
默认为(height, width)
。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。 - crops_coords_top_left (
Tuple[int]
, 可选, 默认为 (0, 0)) —crops_coords_top_left
可用于生成从crops_coords_top_left
位置向下“裁剪”的图像。通常通过将crops_coords_top_left
设置为 (0, 0) 来获得居中且效果良好的图像。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。 - target_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 大多数情况下,target_size
应设置为生成图像的所需高度和宽度。如果未指定,它将默认为(height, width)
。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。 - negative_original_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 用于基于特定图像分辨率对生成过程进行负面条件化。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息,请参阅此问题讨论串:https://github.com/huggingface/diffusers/issues/4208。 - negative_crops_coords_top_left (
Tuple[int]
, 可选, 默认为 (0, 0)) — 用于基于特定裁剪坐标对生成过程进行负面条件化。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息,请参阅此问题讨论串:https://github.com/huggingface/diffusers/issues/4208。 - negative_target_size (
Tuple[int]
, 可选, 默认为 (1024, 1024)) — 用于基于目标图像分辨率对生成过程进行负面条件化。在大多数情况下,它应该与target_size
相同。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。有关更多信息,请参阅此问题讨论串:https://github.com/huggingface/diffusers/issues/4208。 - aesthetic_score (
float
, 可选, 默认为 6.0) — 通过影响正面文本条件来模拟生成图像的美学得分。SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。 - negative_aesthetic_score (
float
, 可选, 默认为 2.5) — SDXL 微条件的一部分,如 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节所述。可用于通过影响负面文本条件来模拟生成图像的美学得分。 - clip_skip (
int
, 可选) — 计算提示嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。 - callback_on_step_end (
Callable
,PipelineCallback
,MultiPipelineCallbacks
, 可选) — 在推理过程中,每个去噪步骤结束时调用的函数或PipelineCallback
或MultiPipelineCallbacks
的子类。参数如下:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)
。callback_kwargs
将包含callback_on_step_end_tensor_inputs
指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List
, 可选) —callback_on_step_end
函数的张量输入列表。列表中指定的张量将作为callback_kwargs
参数传递。您只能包含管道类的._callback_tensor_inputs
属性中列出的变量。
返回
StableDiffusionPipelineOutput 或 tuple
StableDiffusionPipelineOutput 如果 return_dict
为 True,否则为包含输出图像的 tuple
。
调用管道进行生成时调用的函数。
示例
# !pip install controlnet_aux
from diffusers import (
StableDiffusionXLControlNetUnionImg2ImgPipeline,
ControlNetUnionModel,
AutoencoderKL,
)
from diffusers.utils import load_image
import torch
from PIL import Image
import numpy as np
prompt = "A cat"
# download an image
image = load_image(
"https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/kandinsky/cat.png"
)
# initialize the models and pipeline
controlnet = ControlNetUnionModel.from_pretrained(
"brad-twinkl/controlnet-union-sdxl-1.0-promax", torch_dtype=torch.float16
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetUnionImg2ImgPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
controlnet=controlnet,
vae=vae,
torch_dtype=torch.float16,
variant="fp16",
).to("cuda")
# `enable_model_cpu_offload` is not recommended due to multiple generations
height = image.height
width = image.width
ratio = np.sqrt(1024.0 * 1024.0 / (width * height))
# 3 * 3 upscale correspond to 16 * 3 multiply, 2 * 2 correspond to 16 * 2 multiply and so on.
scale_image_factor = 3
base_factor = 16
factor = scale_image_factor * base_factor
W, H = int(width * ratio) // factor * factor, int(height * ratio) // factor * factor
image = image.resize((W, H))
target_width = W // scale_image_factor
target_height = H // scale_image_factor
images = []
crops_coords_list = [
(0, 0),
(0, width // 2),
(height // 2, 0),
(width // 2, height // 2),
0,
0,
0,
0,
0,
]
for i in range(scale_image_factor):
for j in range(scale_image_factor):
left = j * target_width
top = i * target_height
right = left + target_width
bottom = top + target_height
cropped_image = image.crop((left, top, right, bottom))
cropped_image = cropped_image.resize((W, H))
images.append(cropped_image)
# set ControlNetUnion input
result_images = []
for sub_img, crops_coords in zip(images, crops_coords_list):
new_width, new_height = W, H
out = pipe(
prompt=[prompt] * 1,
image=sub_img,
control_image=[sub_img],
control_mode=[6],
width=new_width,
height=new_height,
num_inference_steps=30,
crops_coords_top_left=(W, H),
target_size=(W, H),
original_size=(W * 2, H * 2),
)
result_images.append(out.images[0])
new_im = Image.new("RGB", (new_width * scale_image_factor, new_height * scale_image_factor))
new_im.paste(result_images[0], (0, 0))
new_im.paste(result_images[1], (new_width, 0))
new_im.paste(result_images[2], (new_width * 2, 0))
new_im.paste(result_images[3], (0, new_height))
new_im.paste(result_images[4], (new_width, new_height))
new_im.paste(result_images[5], (new_width * 2, new_height))
new_im.paste(result_images[6], (0, new_height * 2))
new_im.paste(result_images[7], (new_width, new_height * 2))
new_im.paste(result_images[8], (new_width * 2, new_height * 2))
encode_prompt
< 来源 >( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str
或List[str]
, 可选) — 要编码的提示 - prompt_2 (
str
或List[str]
, 可选) — 要发送到tokenizer_2
和text_encoder_2
的提示。如果未定义,prompt
将用于两个文本编码器。 - device — (
torch.device
): torch 设备 - num_images_per_prompt (
int
) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool
) — 是否使用分类器自由引导 - negative_prompt (
str
或List[str]
, 可选) — 不引导图像生成的提示。如果未定义,则必须传递negative_prompt_embeds
。不使用引导时忽略(即,如果guidance_scale
小于1
则忽略)。 - negative_prompt_2 (
str
或List[str]
, 可选) — 不引导图像生成并发送到tokenizer_2
和text_encoder_2
的提示。如果未定义,negative_prompt
将用于两个文本编码器。 - prompt_embeds (
torch.Tensor
, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,将从prompt
输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负面文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,将从negative_prompt
输入参数生成负面文本嵌入。 - pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,将从prompt
输入参数生成池化文本嵌入。 - negative_pooled_prompt_embeds (
torch.Tensor
, 可选) — 预生成的负面池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,将从negative_prompt
输入参数生成池化负面文本嵌入。 - lora_scale (
float
, 可选) — 如果加载了 LoRA 层,则将应用于文本编码器所有 LoRA 层的 LoRA 比例。 - clip_skip (
int
, 可选) — 计算提示嵌入时要跳过的 CLIP 层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
将提示编码为文本编码器隐藏状态。
StableDiffusionXLControlNetUnionInpaintPipeline
类 diffusers.StableDiffusionXLControlNetUnionInpaintPipeline
< 来源 >( vae: AutoencoderKL text_encoder: CLIPTextModel text_encoder_2: CLIPTextModelWithProjection tokenizer: CLIPTokenizer tokenizer_2: CLIPTokenizer unet: UNet2DConditionModel controlnet: ControlNetUnionModel scheduler: KarrasDiffusionSchedulers requires_aesthetics_score: bool = False force_zeros_for_empty_prompt: bool = True add_watermarker: typing.Optional[bool] = None feature_extractor: typing.Optional[transformers.models.clip.image_processing_clip.CLIPImageProcessor] = None image_encoder: typing.Optional[transformers.models.clip.modeling_clip.CLIPVisionModelWithProjection] = None )
参数
- vae (AutoencoderKL) — 用于将图像编码和解码为潜在表示的变分自动编码器 (VAE) 模型。
- text_encoder (
CLIPTextModel
) — 冻结文本编码器。Stable Diffusion XL 使用 CLIP 的文本部分,特别是 clip-vit-large-patch14 变体。 - text_encoder_2 (
CLIPTextModelWithProjection
) — 第二个冻结文本编码器。Stable Diffusion XL 使用 CLIP 的文本和池化部分,特别是 laion/CLIP-ViT-bigG-14-laion2B-39B-b160k 变体。 - tokenizer (
CLIPTokenizer
) — CLIPTokenizer 类的分词器。 - tokenizer_2 (
CLIPTokenizer
) — CLIPTokenizer 类的第二个分词器。 - unet (UNet2DConditionModel) — 用于对编码图像潜在表示进行去噪的条件 U-Net 架构。
- scheduler (SchedulerMixin) — 用于与
unet
结合使用的调度器,以对编码图像潜在表示进行去噪。可以是 DDIMScheduler、LMSDiscreteScheduler 或 PNDMScheduler 中的一个。
用于使用 Stable Diffusion XL 进行文本到图像生成的管道。
此模型继承自 DiffusionPipeline。有关库为所有管道实现的通用方法(例如下载或保存、在特定设备上运行等),请查看超类文档。
该管道还继承了以下加载方法
- load_textual_inversion() 用于加载文本反演嵌入
- load_lora_weights() 用于加载 LoRA 权重
- save_lora_weights() 用于保存 LoRA 权重
- from_single_file() 用于加载
.ckpt
文件 - load_ip_adapter() 用于加载 IP 适配器
__call__
< 来源 >( prompt: typing.Union[str, typing.List[str]] = None prompt_2: typing.Union[str, typing.List[str], NoneType] = None image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None mask_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None control_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor]] = None height: typing.Optional[int] = None width: typing.Optional[int] = None padding_mask_crop: typing.Optional[int] = None strength: float = 0.9999 num_inference_steps: int = 50 denoising_start: typing.Optional[float] = None denoising_end: typing.Optional[float] = None guidance_scale: float = 5.0 negative_prompt: typing.Union[str, typing.List[str], NoneType] = None negative_prompt_2: typing.Union[str, typing.List[str], NoneType] = None num_images_per_prompt: typing.Optional[int] = 1 eta: float = 0.0 generator: typing.Union[torch._C.Generator, typing.List[torch._C.Generator], NoneType] = None latents: typing.Optional[torch.Tensor] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None ip_adapter_image: typing.Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, typing.List[PIL.Image.Image], typing.List[numpy.ndarray], typing.List[torch.Tensor], NoneType] = None ip_adapter_image_embeds: typing.Optional[typing.List[torch.Tensor]] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None output_type: typing.Optional[str] = 'pil' return_dict: bool = True cross_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None controlnet_conditioning_scale: typing.Union[float, typing.List[float]] = 1.0 guess_mode: bool = False control_guidance_start: typing.Union[float, typing.List[float]] = 0.0 control_guidance_end: typing.Union[float, typing.List[float]] = 1.0 control_mode: typing.Union[int, typing.List[int], NoneType] = None guidance_rescale: float = 0.0 original_size: typing.Tuple[int, int] = None crops_coords_top_left: typing.Tuple[int, int] = (0, 0) target_size: typing.Tuple[int, int] = None aesthetic_score: float = 6.0 negative_aesthetic_score: float = 2.5 clip_skip: typing.Optional[int] = None callback_on_step_end: typing.Union[typing.Callable[[int, int, typing.Dict], NoneType], diffusers.callbacks.PipelineCallback, diffusers.callbacks.MultiPipelineCallbacks, NoneType] = None callback_on_step_end_tensor_inputs: typing.List[str] = ['latents'] **kwargs ) → ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput
或 tuple
参数
- prompt (
str
或List[str]
, 可选) — 引导图像生成的提示。如果未定义,则必须传递prompt_embeds
。 - prompt_2 (
str
或List[str]
, 可选) — 要发送到tokenizer_2
和text_encoder_2
的提示。如果未定义,prompt
将用于两个文本编码器。 - image (
PIL.Image.Image
) — 要进行修复的图像,即图像的一部分将被mask_image
遮罩,并根据prompt
重新绘制。可以是Image
或表示图像批次的张量。 - mask_image (
PIL.Image.Image
) — 用于遮罩image
的图像或表示图像批次的张量。遮罩中白色像素的部分将被重新绘制,而黑色像素的部分将被保留。如果mask_image
是 PIL 图像,它在使用前将被转换为单通道(亮度)。如果它是张量,它应该包含一个颜色通道 (L) 而不是 3 个,所以预期的形状是(B, H, W, 1)
。 - height (
int
, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度(像素)。 - width (
int
, 可选, 默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度(像素)。 - padding_mask_crop (
int
, optional, defaults toNone
) — 裁剪应用于图像和遮罩的边距大小。如果为None
,则不裁剪图像和遮罩图像。如果padding_mask_crop
不为None
,它将首先找到一个与图像长宽比相同且包含所有遮罩区域的矩形区域,然后根据padding_mask_crop
扩展该区域。然后,图像和遮罩图像将根据扩展区域进行裁剪,然后调整大小到原始图像尺寸进行修复。当遮罩区域较小而图像较大且包含与修复无关的信息(如背景)时,这很有用。 - strength (
float
, optional, defaults to 0.9999) — 从概念上讲,表示对参考image
的遮罩部分进行转换的程度。必须介于 0 和 1 之间。image
将用作起点,strength
越大,添加的噪声越多。去噪步骤的数量取决于最初添加的噪声量。当strength
为 1 时,添加的噪声将最大,并且去噪过程将运行num_inference_steps
中指定的全部迭代次数。因此,值为 1 基本上会忽略参考image
的遮罩部分。请注意,如果denoising_start
声明为整数,则将忽略strength
的值。 - num_inference_steps (
int
, optional, defaults to 50) — 去噪步骤的数量。更多的去噪步骤通常会带来更高的图像质量,但代价是推理速度变慢。 - denoising_start (
float
, optional) — 当指定时,表示在去噪过程开始之前要跳过的总去噪过程的百分比(介于 0.0 和 1.0 之间)。因此,去噪过程的初始部分被跳过,并假定传入的image
是一个部分去噪的图像。请注意,当指定此参数时,将忽略 strength。denoising_start
参数在将此管道集成到“去噪器混合”多管道设置中时特别有用,详见 优化图像输出。 - denoising_end (
float
, optional) — 当指定时,确定在去噪过程被有意提前终止之前要完成的总去噪过程的百分比(介于 0.0 和 1.0 之间)。因此,返回的样本将仍然保留大量的噪声(约需最后 20% 的时间步长),并且应该由一个后续管道进行去噪,该管道将denoising_start
设置为 0.8,以便它只去噪调度器的最后 20%。当此管道构成“去噪器混合”多管道设置的一部分时,应理想地使用denoising_end
参数,详见 优化图像输出。 - guidance_scale (
float
, optional, defaults to 7.5) — 在 Classifier-Free Diffusion Guidance 中定义的引导比例。guidance_scale
定义为 Imagen Paper 方程 2 中的w
。通过将guidance_scale > 1
设置为启用引导比例。更高的引导比例鼓励生成与文本prompt
密切相关的图像,通常以牺牲图像质量为代价。 - negative_prompt (
str
或List[str]
, optional) — 不用于引导图像生成的提示或提示列表。如果未定义,则必须传入negative_prompt_embeds
。当不使用引导时(即,如果guidance_scale
小于1
时),将被忽略。 - negative_prompt_2 (
str
或List[str]
, optional) — 用于不引导图像生成的提示或提示列表,将发送到tokenizer_2
和text_encoder_2
。如果未定义,则在两个文本编码器中都使用negative_prompt
。 - prompt_embeds (
torch.Tensor
, optional) — 预先生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,将根据prompt
输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor
, optional) — 预先生成的负文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,负文本嵌入将根据negative_prompt
输入参数生成。 - ip_adapter_image — (
PipelineImageInput
, optional): 用于 IP Adapter 的可选图像输入。 - ip_adapter_image_embeds (
List[torch.Tensor]
, optional) — 用于 IP-Adapter 的预先生成的图像嵌入。它应该是一个列表,长度与 IP-adapter 的数量相同。每个元素都应该是一个形状为(batch_size, num_images, emb_dim)
的张量。如果do_classifier_free_guidance
设置为True
,它应该包含负图像嵌入。如果未提供,则根据ip_adapter_image
输入参数计算嵌入。 - pooled_prompt_embeds (
torch.Tensor
, optional) — 预先生成的池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化文本嵌入将根据prompt
输入参数生成。 - negative_pooled_prompt_embeds (
torch.Tensor
, optional) — 预先生成的负池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化负文本嵌入将根据negative_prompt
输入参数生成。 - num_images_per_prompt (
int
, optional, defaults to 1) — 每个提示要生成的图像数量。 - eta (
float
, optional, defaults to 0.0) — 对应于 DDIM 论文中的参数 eta (η):https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler,对其他调度器将被忽略。 - generator (
torch.Generator
, optional) — 一个或一个 torch generator(s) 列表,用于使生成具有确定性。 - latents (
torch.Tensor
, optional) — 预先生成的噪声潜在变量,从高斯分布中采样,用作图像生成的输入。可用于使用不同提示调整相同的生成。如果未提供,将使用提供的随机generator
进行采样生成潜在变量张量。 - output_type (
str
, optional, defaults to"pil"
) — 生成图像的输出格式。选择 PIL:PIL.Image.Image
或np.array
。 - return_dict (
bool
, optional, defaults toTrue
) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - cross_attention_kwargs (
dict
, optional) — 一个 kwargs 字典,如果指定,将作为参数传递给 diffusers.models.attention_processor 中定义的self.processor
的AttentionProcessor
。 - original_size (
Tuple[int]
, optional, defaults to (1024, 1024)) — 如果original_size
与target_size
不同,图像将显示为下采样或上采样。如果未指定,original_size
默认为(width, height)
。作为 SDXL 微条件的一部分,详见 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节。 - crops_coords_top_left (
Tuple[int]
, optional, defaults to (0, 0)) —crops_coords_top_left
可用于生成从crops_coords_top_left
位置向下“裁剪”的图像。通常通过将crops_coords_top_left
设置为 (0, 0) 来获得有利的、居中图像。作为 SDXL 微条件的一部分,详见 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节。 - target_size (
Tuple[int]
, optional, defaults to (1024, 1024)) — 在大多数情况下,target_size
应设置为生成图像的所需高度和宽度。如果未指定,它将默认为(width, height)
。作为 SDXL 微条件的一部分,详见 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节。 - aesthetic_score (
float
, optional, defaults to 6.0) — 通过影响正面文本条件来模拟生成图像的美学分数。作为 SDXL 微条件的一部分,详见 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节。 - negative_aesthetic_score (
float
, optional, defaults to 2.5) — 作为 SDXL 微条件的一部分,详见 https://huggingface.ac.cn/papers/2307.01952 的第 2.2 节。可用于通过影响负面文本条件来模拟生成图像的美学分数。 - clip_skip (
int
, optional) — 在计算提示嵌入时,要跳过 CLIP 的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。 - callback_on_step_end (
Callable
,PipelineCallback
,MultiPipelineCallbacks
, optional) — 在推理过程中每次去噪步骤结束时调用的函数或PipelineCallback
或MultiPipelineCallbacks
的子类,具有以下参数:callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)
。callback_kwargs
将包含callback_on_step_end_tensor_inputs
指定的所有张量列表。 - callback_on_step_end_tensor_inputs (
List
, optional) —callback_on_step_end
函数的张量输入列表。列表中指定的张量将作为callback_kwargs
参数传递。您只能包含管道类的._callback_tensor_inputs
属性中列出的变量。
返回
~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput
或 tuple
如果 return_dict
为 True,则为 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput
,否则为 tuple
。返回元组时,第一个元素是生成的图像列表。
调用管道进行生成时调用的函数。
示例
from diffusers import StableDiffusionXLControlNetUnionInpaintPipeline, ControlNetUnionModel, AutoencoderKL
from diffusers.utils import load_image
import torch
import numpy as np
from PIL import Image
prompt = "A cat"
# download an image
image = load_image(
"https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/in_paint/overture-creations-5sI6fQgYIuo.png"
).resize((1024, 1024))
mask = load_image(
"https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/in_paint/overture-creations-5sI6fQgYIuo_mask.png"
).resize((1024, 1024))
# initialize the models and pipeline
controlnet = ControlNetUnionModel.from_pretrained(
"brad-twinkl/controlnet-union-sdxl-1.0-promax", torch_dtype=torch.float16
)
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetUnionInpaintPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
controlnet=controlnet,
vae=vae,
torch_dtype=torch.float16,
variant="fp16",
)
pipe.enable_model_cpu_offload()
controlnet_img = image.copy()
controlnet_img_np = np.array(controlnet_img)
mask_np = np.array(mask)
controlnet_img_np[mask_np > 0] = 0
controlnet_img = Image.fromarray(controlnet_img_np)
# generate image
image = pipe(prompt, image=image, mask_image=mask, control_image=[controlnet_img], control_mode=[7]).images[0]
image.save("inpaint.png")
encode_prompt
< 源 >( prompt: str prompt_2: typing.Optional[str] = None device: typing.Optional[torch.device] = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: typing.Optional[str] = None negative_prompt_2: typing.Optional[str] = None prompt_embeds: typing.Optional[torch.Tensor] = None negative_prompt_embeds: typing.Optional[torch.Tensor] = None pooled_prompt_embeds: typing.Optional[torch.Tensor] = None negative_pooled_prompt_embeds: typing.Optional[torch.Tensor] = None lora_scale: typing.Optional[float] = None clip_skip: typing.Optional[int] = None )
参数
- prompt (
str
或List[str]
, optional) — 要编码的提示 - prompt_2 (
str
或List[str]
, optional) — 要发送到tokenizer_2
和text_encoder_2
的提示或提示列表。如果未定义,则在两个文本编码器中都使用prompt
。 - device — (
torch.device
): torch 设备 - num_images_per_prompt (
int
) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool
) — 是否使用无分类器引导 - negative_prompt (
str
或List[str]
, optional) — 不用于引导图像生成的提示或提示列表。如果未定义,则必须传入negative_prompt_embeds
。当不使用引导时(即,如果guidance_scale
小于1
时),将被忽略。 - negative_prompt_2 (
str
或List[str]
, optional) — 用于不引导图像生成的提示或提示列表,将发送到tokenizer_2
和text_encoder_2
。如果未定义,则在两个文本编码器中都使用negative_prompt
。 - prompt_embeds (
torch.Tensor
, optional) — 预先生成的文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,文本嵌入将根据prompt
输入参数生成。 - negative_prompt_embeds (
torch.Tensor
, optional) — 预先生成的负文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,负文本嵌入将根据negative_prompt
输入参数生成。 - pooled_prompt_embeds (
torch.Tensor
, optional) — 预先生成的池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化文本嵌入将根据prompt
输入参数生成。 - negative_pooled_prompt_embeds (
torch.Tensor
, optional) — 预先生成的负池化文本嵌入。可用于轻松调整文本输入,例如提示权重。如果未提供,池化负文本嵌入将根据negative_prompt
输入参数生成。 - lora_scale (
float
, optional) — 如果加载了 LoRA 层,则将应用于文本编码器的所有 LoRA 层的 LoRA 比例。 - clip_skip (
int
, optional) — 在计算提示嵌入时,要跳过 CLIP 的层数。值为 1 表示将使用倒数第二层的输出计算提示嵌入。
将提示编码为文本编码器隐藏状态。