Diffusers 文档
FluxControlNet模型
并获得增强的文档体验
开始使用
FluxControlNet模型
FluxControlNet模型是 ControlNet 在 Flux.1 上的实现。
ControlNet 模型在 Adding Conditional Control to Text-to-Image Diffusion Models （通过条件控制添加到文本到图像扩散模型）一文中被 Lvmin Zhang、Anyi Rao、Maneesh Agrawala 提出。它通过基于附加输入（例如边缘图、深度图、分割图和姿势检测的关键点）调节模型，从而提供对文本到图像生成更高级别的控制。
该论文的摘要如下
我们提出了 ControlNet，一种神经网络架构，用于向大型预训练文本到图像扩散模型添加空间条件控制。 ControlNet 锁定生产就绪的大型扩散模型，并重用其通过数十亿图像进行预训练的深度且强大的编码层，作为学习各种条件控制的强大骨干。该神经网络架构与“零卷积”（零初始化的卷积层）连接，这些卷积层逐渐从零开始增长参数，并确保没有有害噪声会影响微调。我们使用 Stable Diffusion 测试了各种条件控制，例如，边缘、深度、分割、人体姿势等，使用单个或多个条件，有或没有提示。结果表明，ControlNet 的训练对于小型（<50k）和大型（>1m）数据集都是稳健的。广泛的结果表明，ControlNet 可以促进更广泛的应用来控制图像扩散模型。
从原始格式加载
默认情况下，应使用 from_pretrained() 加载 FluxControlNet模型。
from diffusers import FluxControlNetPipeline
from diffusers.models import FluxControlNetModel, FluxMultiControlNetModel
controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)
controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
controlnet = FluxMultiControlNetModel([controlnet])
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)FluxControlNet模型
class diffusers.FluxControlNetModel
< source >( patch_size: int = 1 in_channels: int = 64 num_layers: int = 19 num_single_layers: int = 38 attention_head_dim: int = 128 num_attention_heads: int = 24 joint_attention_dim: int = 4096 pooled_projection_dim: int = 768 guidance_embeds: bool = False axes_dims_rope: typing.List[int] = [16, 56, 56] num_mode: int = None conditioning_embedding_channels: int = None )
前向传播
< source >( hidden_states: Tensor controlnet_cond: Tensor controlnet_mode: Tensor = None conditioning_scale: float = 1.0 encoder_hidden_states: Tensor = None pooled_projections: Tensor = None timestep: LongTensor = None img_ids: Tensor = None txt_ids: Tensor = None guidance: Tensor = None joint_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None return_dict: bool = True )
参数
- hidden_states (
torch.FloatTensor，形状为(batch size, channel, height, width)) — 输入hidden_states。 - controlnet_cond (
torch.Tensor) — 形状为(batch_size, sequence_length, hidden_size)的条件输入张量。 - controlnet_mode (
torch.Tensor) — 形状为(batch_size, 1)的模式张量。 - conditioning_scale (
float, 默认为1.0) — ControlNet 输出的缩放因子。 - encoder_hidden_states (形状为
(batch size, sequence_len, embed_dims)的torch.FloatTensor) — 条件嵌入（从输入条件（如提示）计算出的嵌入）以供使用。 - pooled_projections (形状为
(batch_size, projection_dim)的torch.FloatTensor) — 从输入条件的嵌入投影的嵌入。 - timestep (
torch.LongTensor) — 用于指示去噪步骤。 - block_controlnet_hidden_states — (
torch.Tensor列表): 张量列表，如果指定，则添加到 Transformer 块的残差中。 - joint_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，则传递给 diffusers.models.attention_processor 中self.processor下定义的AttentionProcessor。 - return_dict (
bool, 可选, 默认为True) — 是否返回~models.transformer_2d.Transformer2DModelOutput而不是普通元组。
The FluxTransformer2DModel forward 方法。
set_attn_processor
< source >( processor )
设置用于计算注意力的注意力处理器。