ControlNet 与 Hunyuan-DiT
HunyuanDiTControlNetPipeline 是 ControlNet 的一个实现，用于 Hunyuan-DiT。
ControlNet 在 为文本到图像扩散模型添加条件控制 中被引入，作者为吕敏张、饶安怡和玛尼什·阿格拉瓦尔。
使用 ControlNet 模型，你可以提供额外的控制图像来调节和控制 Hunyuan-DiT 的生成。例如，如果你提供一个深度图，ControlNet 模型将生成一个保留深度图空间信息的图像。这是一种更灵活、更准确的控制图像生成过程的方法。
本文的摘要是
我们提出了 ControlNet，这是一种神经网络架构，可以为大型预训练的文本到图像扩散模型添加空间条件控制。 ControlNet 锁定生产就绪的大型扩散模型，并重用其使用数十亿图像预训练的深度和鲁棒编码层作为强大的骨干，以学习各种条件控制。 神经架构与“零卷积”（零初始化卷积层）相连，这些卷积层从零开始逐渐增长参数，并确保没有任何有害噪声会影响微调。 我们使用 Stable Diffusion 测试了各种条件控制，例如边缘、深度、分割、人体姿态等，使用单个或多个条件，带或不带提示。 我们表明，ControlNet 的训练在小（<50k）和大（>1m）数据集上都是稳健的。 广泛的结果表明，ControlNet 可能有助于更广泛的应用来控制图像扩散模型。
此代码由腾讯混元团队实现。 您可以在 腾讯混元 上找到 Hunyuan-DiT ControlNet 的预训练检查点。
HunyuanDiTControlNetPipeline
class diffusers.HunyuanDiTControlNetPipeline
< source >( vae: AutoencoderKL text_encoder: BertModel tokenizer: BertTokenizer transformer: HunyuanDiT2DModel scheduler: DDPMScheduler safety_checker: StableDiffusionSafetyChecker feature_extractor: CLIPImageProcessor controlnet: Union text_encoder_2 = <class 'transformers.models.t5.modeling_t5.T5EncoderModel'> tokenizer_2 = <class 'transformers.models.t5.tokenization_t5.T5Tokenizer'> requires_safety_checker: bool = True )
参数
- vae (AutoencoderKL) — 变分自编码器（VAE）模型，用于将图像编码和解码到潜在表示中，并从潜在表示中解码图像。 我们使用 `sdxl-vae-fp16-fix`。
- text_encoder (Optional[
~transformers.BertModel,~transformers.CLIPTextModel]) — 冻结的文本编码器 (clip-vit-large-patch14)。 混元DiT 使用微调的 [双语 CLIP]。 - tokenizer (Optional[
~transformers.BertTokenizer,~transformers.CLIPTokenizer]) — 用于对文本进行标记的 `BertTokenizer` 或 `CLIPTokenizer`。 - transformer (HunyuanDiT2DModel) — 腾讯混元设计的混元DiT 模型。
- text_encoder_2 (
T5EncoderModel) — mT5 嵌入器。 具体来说，它是 `t5-v1_1-xxl`。 - tokenizer_2 (
MT5Tokenizer) — mT5 嵌入器的标记器。 - scheduler ( controlnet (HunyuanDiT2DControlNetModel 或
List[HunyuanDiT2DControlNetModel]或 HunyuanDiT2DControlNetModel) — 在去噪过程中为unet提供额外的条件。如果您将多个 ControlNets 设置为列表，则来自每个 ControlNet 的输出将加在一起以创建一个组合的额外条件。
使用 HunyuanDiT 进行英文/中文到图像的生成管道。
此模型继承自 DiffusionPipeline。请查看超类文档以了解库为所有管道实现的通用方法（例如下载或保存、在特定设备上运行等）。
HunyuanDiT 使用两个文本编码器：mT5 和 [双语 CLIP](由我们自己微调)
__call__
< 源代码 >( prompt: Union = None height: Optional = None width: Optional = None num_inference_steps: Optional = 50 guidance_scale: Optional = 5.0 control_image: Union = None controlnet_conditioning_scale: Union = 1.0 negative_prompt: Union = None num_images_per_prompt: Optional = 1 eta: Optional = 0.0 generator: Union = None latents: Optional = None prompt_embeds: Optional = None prompt_embeds_2: Optional = None negative_prompt_embeds: Optional = None negative_prompt_embeds_2: Optional = None prompt_attention_mask: Optional = None prompt_attention_mask_2: Optional = None negative_prompt_attention_mask: Optional = None negative_prompt_attention_mask_2: Optional = None output_type: Optional = 'pil' return_dict: bool = True callback_on_step_end: Union = None callback_on_step_end_tensor_inputs: List = ['latents'] guidance_rescale: float = 0.0 original_size: Optional = (1024, 1024) target_size: Optional = None crops_coords_top_left: Tuple = (0, 0) use_resolution_binning: bool = True ) → StableDiffusionPipelineOutput 或 tuple
参数
- prompt (
str或List[str], 可选) — 指导图像生成的提示或提示。如果没有定义，您需要传递prompt_embeds。 - height (
int) — 生成的图像的高度（以像素为单位）。 - width (
int) — 生成的图像的宽度（以像素为单位）。 - num_inference_steps (
int, 可选, 默认值 50) — 去噪步骤的数量。更多的去噪步骤通常会导致更高的图像质量，但代价是更慢的推理。此参数由strength调制。 - guidance_scale (
float, 可选, 默认值 7.5) — 更高的引导比例值会鼓励模型生成与文本prompt紧密相关的图像，但会降低图像质量。当guidance_scale > 1时，引导比例被启用。 - control_guidance_start (
float或List[float], 可选, 默认值 0.0) — ControlNet 开始应用的总步数的百分比。 - control_guidance_end (
float或List[float], 可选, 默认值 1.0) — ControlNet 停止应用的总步数的百分比。 - control_image (
torch.Tensor,PIL.Image.Image,np.ndarray,List[torch.Tensor],List[PIL.Image.Image],List[np.ndarray], —List[List[torch.Tensor]],List[List[np.ndarray]]或List[List[PIL.Image.Image]]): 用于为生成过程中的unet提供指导的 ControlNet 输入条件。如果类型指定为torch.Tensor，则按原样传递给 ControlNet。PIL.Image.Image也可以作为图像接受。输出图像的尺寸默认为image的尺寸。如果传递了高度和/或宽度，则image会相应地调整大小。如果在init中指定了多个 ControlNet，则必须将图像作为列表传递，以便列表的每个元素都能够正确地进行批处理，作为单个 ControlNet 的输入。 - controlnet_conditioning_scale (
float或List[float], 可选, 默认值 1.0) — ControlNet 的输出在添加到原始unet中的残差之前，会乘以controlnet_conditioning_scale。如果在init中指定了多个 ControlNet，则可以将相应的比例设置为列表。 - negative_prompt (
str或List[str], 可选) — 指导图像生成中不包含内容的提示或提示列表。如果没有定义，则需要传递negative_prompt_embeds。在不使用引导（guidance_scale < 1）时被忽略。 - num_images_per_prompt (
int, 可选, 默认值 1) — 每个提示生成图像的数量。 - eta (
float, 可选, 默认值 0.0) — 对应于 DDIM 论文中的参数 η。仅适用于 DDIMScheduler，在其他调度器中被忽略。 - generator (
torch.Generator或List[torch.Generator], 可选) — 用于使生成过程确定的torch.Generator。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可以用来轻松调整文本输入（提示加权）。如果没有提供，则从prompt输入参数生成文本嵌入。 - prompt_embeds_2 (
torch.Tensor, 可选) — 预生成的文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从prompt输入参数生成文本嵌入。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - negative_prompt_embeds_2 (
torch.Tensor, 可选) — 预生成的负面文本嵌入。 可用于轻松调整文本输入（提示加权）。 如果未提供，则从negative_prompt输入参数生成negative_prompt_embeds。 - prompt_attention_mask (
torch.Tensor, 可选) — 提示的注意力掩码。 当直接传递prompt_embeds时需要。 - prompt_attention_mask_2 (
torch.Tensor, 可选) — 提示的注意力掩码。 当直接传递prompt_embeds_2时需要。 - negative_prompt_attention_mask (
torch.Tensor, 可选) — 负面提示的注意力掩码。 当直接传递negative_prompt_embeds时需要。 - negative_prompt_attention_mask_2 (
torch.Tensor, 可选) — 负面提示的注意力掩码。 当直接传递negative_prompt_embeds_2时需要。 - output_type (
str, 可选, 默认值"pil") — 生成的图像的输出格式。 在PIL.Image或np.array之间选择。 - return_dict (
bool, 可选, 默认值True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。 - callback_on_step_end (
Callable[[int, int, Dict], None],PipelineCallback,MultiPipelineCallbacks, 可选) — 在每个降噪步骤结束时调用的回调函数或回调函数列表。 - original_size (
Tuple[int, int], 可选, 默认值为(1024, 1024)) — 图像的原始大小。用于计算时间标识。 - target_size (
Tuple[int, int], 可选) — 图像的目标大小。用于计算时间标识。 - crops_coords_top_left (
Tuple[int, int], 可选, 默认值为(0, 0)) — 裁剪的左上角坐标。用于计算时间标识。 - use_resolution_binning (
bool, 可选, 默认值为True) — 是否使用分辨率分箱。如果为True，则输入分辨率将映射到最接近的标准分辨率。支持的分辨率为 1024x1024、1280x1280、1024x768、1152x864、1280x960、768x1024、864x1152、960x1280、1280x768 和 768x1280。建议将此设置为True。
返回
StableDiffusionPipelineOutput 或 tuple
如果 return_dict 为 True，则返回 StableDiffusionPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表，第二个元素是包含 bool 的列表，指示相应的生成图像是否包含“不适合工作” (nsfw) 内容。
使用 HunyuanDiT 进行生成的管道调用函数。
示例
from diffusers import HunyuanDiT2DControlNetModel, HunyuanDiTControlNetPipeline
import torch
controlnet = HunyuanDiT2DControlNetModel.from_pretrained(
"Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Canny", torch_dtype=torch.float16
)
pipe = HunyuanDiTControlNetPipeline.from_pretrained(
"Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers", controlnet=controlnet, torch_dtype=torch.float16
)
pipe.to("cuda")
from diffusers.utils import load_image
cond_image = load_image(
"https://huggingface.co/Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Canny/resolve/main/canny.jpg?download=true"
)
## You may also use English prompt as HunyuanDiT supports both English and Chinese
prompt = "在夜晚的酒店门前，一座古老的中国风格的狮子雕像矗立着，它的眼睛闪烁着光芒，仿佛在守护着这座建筑。背景是夜晚的酒店前，构图方式是特写，平视，居中构图。这张照片呈现了真实摄影风格，蕴含了中国雕塑文化，同时展现了神秘氛围"
# prompt="At night, an ancient Chinese-style lion statue stands in front of the hotel, its eyes gleaming as if guarding the building. The background is the hotel entrance at night, with a close-up, eye-level, and centered composition. This photo presents a realistic photographic style, embodies Chinese sculpture culture, and reveals a mysterious atmosphere."
image = pipe(
prompt,
height=1024,
width=1024,
control_image=cond_image,
num_inference_steps=50,
).images[0]encode_prompt
< 源代码 >( prompt: str device: device = None dtype: dtype = None num_images_per_prompt: int = 1 do_classifier_free_guidance: bool = True negative_prompt: Optional = None prompt_embeds: Optional = None negative_prompt_embeds: Optional = None prompt_attention_mask: Optional = None negative_prompt_attention_mask: Optional = None max_sequence_length: Optional = None text_encoder_index: int = 0 )
参数
- prompt (
str或List[str], 可选) — 要编码的提示 device — (torch.device): torch 设备 - dtype (
torch.dtype) — torch 数据类型 - num_images_per_prompt (
int) — 每个提示应生成的图像数量 - do_classifier_free_guidance (
bool) — 是否使用无分类器引导 - negative_prompt (
str或List[str], 可选) — 不引导图像生成的提示或提示。如果未定义，则必须传递negative_prompt_embeds。在不使用引导时忽略（即，如果guidance_scale小于1，则忽略）。 - prompt_embeds (
torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则文本嵌入将从prompt输入参数生成。 - negative_prompt_embeds (
torch.Tensor, 可选) — 预生成的负文本嵌入。可用于轻松调整文本输入，例如 提示权重。如果未提供，则negative_prompt_embeds将从negative_prompt输入参数生成。 - prompt_attention_mask (
torch.Tensor, 可选) — 提示的注意力掩码。在直接传递prompt_embeds时需要。 - negative_prompt_attention_mask (
torch.Tensor, 可选) — 负提示的注意力掩码。在直接传递negative_prompt_embeds时需要。 - max_sequence_length (
int, 可选) — 用于提示的最大序列长度。 - text_encoder_index (
int, 可选) — 要使用的文本编码器的索引。0用于 clip，1用于 T5。
将提示编码为文本编码器隐藏状态。