Hugging Face 的 LOGO

Diffusers 文档

FluxControlNetModel

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

FluxControlNetModel

FluxControlNetModel 是 ControlNet for Flux.1 的一个实现。

ControlNet 模型由 Lvmin Zhang、Anyi Rao、Maneesh Agrawala 在《Adding Conditional Control to Text-to-Image Diffusion Models》中提出。通过对模型进行额外的输入（如边缘图、深度图、分割图和姿态检测的关键点）进行条件化，它提供了对文本到图像生成的更大程度的控制。

论文摘要如下：

我们提出了 ControlNet，一种神经网络架构，用于为大型预训练文本到图像扩散模型添加空间条件控制。ControlNet 锁定生产级大型扩散模型，并重新利用其用数十亿图像预训练的深层、稳健的编码层作为强大的主干，以学习多样化的条件控制。该神经网络架构通过“零卷积”（零初始化卷积层）连接，这些层从零开始逐步增长参数，并确保不会有害的噪声影响微调。我们测试了各种条件控制，例如，边缘、深度、分割、人体姿态等，与 Stable Diffusion 配合使用，可以使用单个或多个条件，带或不带提示。我们表明，ControlNet 的训练对于小型（<50k）和大型（>1m）数据集都非常稳健。大量结果表明，ControlNet 可能有助于更广泛地应用以控制图像扩散模型。

从原始格式加载

默认情况下，FluxControlNetModel 应使用 from_pretrained() 加载。

from diffusers import FluxControlNetPipeline
from diffusers.models import FluxControlNetModel, FluxMultiControlNetModel

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
controlnet = FluxMultiControlNetModel([controlnet])
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)

FluxControlNetModel

class diffusers.FluxControlNetModel

< >

( patch_size: int = 1 in_channels: int = 64 num_layers: int = 19 num_single_layers: int = 38 attention_head_dim: int = 128 num_attention_heads: int = 24 joint_attention_dim: int = 4096 pooled_projection_dim: int = 768 guidance_embeds: bool = False axes_dims_rope: typing.List[int] = [16, 56, 56] num_mode: int = None conditioning_embedding_channels: int = None )

forward

< >

( hidden_states: Tensor controlnet_cond: Tensor controlnet_mode: Tensor = None conditioning_scale: float = 1.0 encoder_hidden_states: Tensor = None pooled_projections: Tensor = None timestep: LongTensor = None img_ids: Tensor = None txt_ids: Tensor = None guidance: Tensor = None joint_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None return_dict: bool = True )

参数

  • hidden_states (torch.FloatTensor，形状为 (批大小, 通道, 高度, 宽度)) — 输入的 hidden_states。
  • controlnet_cond (torch.Tensor) — 形状为 (批大小, 序列长度, 隐藏大小) 的条件输入张量。
  • controlnet_mode (torch.Tensor) — 形状为 (批大小, 1) 的模式张量。
  • conditioning_scale (float, 默认为 1.0) — ControlNet 输出的比例因子。
  • encoder_hidden_states (torch.FloatTensor，形状为 (批大小, 序列长度, 嵌入维度)) — 要使用的条件嵌入（从提示等输入条件计算的嵌入）。
  • pooled_projections (torch.FloatTensor，形状为 (批大小, 投影维度)) — 从输入条件的嵌入投影而来的嵌入。
  • timestep (torch.LongTensor) — 用于指示去噪步骤。
  • block_controlnet_hidden_states — (torch.Tensor 列表)：如果指定，将添加到变压器块残差中的张量列表。
  • joint_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 diffusers.models.attention_processor 中定义的 self.processor 的 AttentionProcessor。
  • return_dict (bool, 可选, 默认为 True) — 是否返回 ~models.transformer_2d.Transformer2DModelOutput 而不是纯元组。

FluxTransformer2DModel 的 forward 方法。

设置注意力处理器

< >

( processor )

参数

  • processor (AttentionProcessor 的 dict 或仅 AttentionProcessor) — 将设置为**所有** Attention 层的处理器的实例化处理器类或处理器类字典。

    如果 processor 是一个字典，则键需要定义到相应交叉注意力处理器的路径。在设置可训练注意力处理器时强烈建议这样做。

设置用于计算注意力的注意力处理器。

FluxControlNetOutput

class diffusers.models.controlnet_flux.FluxControlNetOutput

< >

( *args **kwargs )

< > 在 GitHub 上更新

←ControlNetUnionModel HunyuanDiT2DControlNetModel→