HunyuanDiT2DControlNetModel
HunyuanDiT2DControlNetModel 是 ControlNet 在 Hunyuan-DiT 上的实现。
ControlNet 在 为文本到图像扩散模型添加条件控制 中由 Lvmin Zhang、Anyi Rao 和 Maneesh Agrawala 提出。
使用 ControlNet 模型，您可以提供额外的控制图像来调节和控制 Hunyuan-DiT 生成。例如，如果您提供深度图，ControlNet 模型将生成保留深度图空间信息的图像。这是一种更灵活、更准确的控制图像生成过程的方法。
论文的摘要是
我们提出了 ControlNet，这是一种神经网络架构，用于为大型预训练文本到图像扩散模型添加空间条件控制。ControlNet 锁定现成的巨大扩散模型，并重用其使用数十亿张图像预训练的深度和鲁棒的编码层作为强大的骨干，以学习各种条件控制。神经网络架构与“零卷积”（零初始化卷积层）相连，这些卷积层逐步从零开始增长参数，并确保没有有害噪声会影响微调。我们使用 Stable Diffusion 测试了各种条件控制，例如边缘、深度、分割、人体姿态等，使用单个或多个条件，并带有或不带有提示。我们表明，ControlNet 的训练对于小型（<50k）和大型（>1m）数据集都是稳健的。大量结果表明，ControlNet 可以促进更广泛的应用来控制图像扩散模型。
此代码由腾讯混元团队实现。您可以在 腾讯混元 上找到 Hunyuan-DiT ControlNet 的预训练检查点。
加载 HunyuanDiT2DControlNetModel 的示例
from diffusers import HunyuanDiT2DControlNetModel
import torch
controlnet = HunyuanDiT2DControlNetModel.from_pretrained("Tencent-Hunyuan/HunyuanDiT-v1.1-ControlNet-Diffusers-Pose", torch_dtype=torch.float16)HunyuanDiT2DControlNetModel
类 diffusers.HunyuanDiT2DControlNetModel
< 源代码 >( conditioning_channels: int = 3 num_attention_heads: int = 16 attention_head_dim: int = 88 in_channels: Optional = None patch_size: Optional = None activation_fn: str = 'gelu-approximate' sample_size = 32 hidden_size = 1152 transformer_num_layers: int = 40 mlp_ratio: float = 4.0 cross_attention_dim: int = 1024 cross_attention_dim_t5: int = 2048 pooled_projection_dim: int = 1024 text_len: int = 77 text_len_t5: int = 256 use_style_cond_and_image_meta_size: bool = True )
前向传播
< 源代码 >( hidden_states timestep controlnet_cond: Tensor conditioning_scale: float = 1.0 encoder_hidden_states = None text_embedding_mask = None encoder_hidden_states_t5 = None text_embedding_mask_t5 = None image_meta_size = None style = None image_rotary_emb = None return_dict = True )
参数
- hidden_states (
torch.Tensor形状为(batch size, dim, height, width)) — 输入张量。 - timestep (
torch.LongTensor, 可选) — 用于指示去噪步骤。 - controlnet_cond (
torch.Tensor) — ControlNet 的条件输入。 - conditioning_scale (
float) — 指示条件缩放比例。 - encoder_hidden_states (
torch.Tensor形状为(batch size, sequence len, embed dims), 可选) — 用于交叉注意力层的条件嵌入。 这是BertModel的输出。text_embedding_mask — torch.Tensor 形状为(batch, key_tokens)的注意力掩码应用于encoder_hidden_states。 这是BertModel的输出。 - encoder_hidden_states_t5 (
torch.Tensor形状为(batch size, sequence len, embed dims), 可选) — 用于交叉注意力层的条件嵌入。 这是 T5 文本编码器的输出。text_embedding_mask_t5 — torch.Tensor 形状为(batch, key_tokens)的注意力掩码应用于encoder_hidden_states。 这是 T5 文本编码器的输出。 - image_meta_size (torch.Tensor) — 条件嵌入指示图像大小 style — torch.Tensor: 条件嵌入指示风格
- image_rotary_emb (
torch.Tensor) — 在注意力计算期间应用于查询和键张量的图像旋转嵌入。return_dict — bool 是否返回字典。
HunyuanDiT2DControlNetModel 的前向方法。
set_attn_processor
< 源代码 >( processor: Union )
设置用于计算注意力的注意力处理器。