Hugging Face's logo

Diffusers 文档

PixArtTransformer2DModel

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

PixArtTransformer2DModel

一个用于来自 PixArt-Alpha 和 PixArt-Sigma 的类图像数据的 Transformer 模型。

PixArtTransformer2DModel

class diffusers.PixArtTransformer2DModel

< >

( num_attention_heads: int = 16 attention_head_dim: int = 72 in_channels: int = 4 out_channels: typing.Optional[int] = 8 num_layers: int = 28 dropout: float = 0.0 norm_num_groups: int = 32 cross_attention_dim: typing.Optional[int] = 1152 attention_bias: bool = True sample_size: int = 128 patch_size: int = 2 activation_fn: str = 'gelu-approximate' num_embeds_ada_norm: typing.Optional[int] = 1000 upcast_attention: bool = False norm_type: str = 'ada_norm_single' norm_elementwise_affine: bool = False norm_eps: float = 1e-06 interpolation_scale: typing.Optional[int] = None use_additional_conditions: typing.Optional[bool] = None caption_channels: typing.Optional[int] = None attention_type: typing.Optional[str] = 'default' )

参数

  • num_attention_heads (int, 可选, 默认为 16) — 用于多头注意力的头的数量。
  • attention_head_dim (int, 可选, 默认为 72) — 每个头的通道数。
  • in_channels (int, 默认为 4) — 输入中的通道数。
  • out_channels (int, 可选) — 输出中的通道数。 如果输出通道数与输入不同，请指定此参数。
  • num_layers (int, 可选, 默认为 28) — 要使用的 Transformer 块的层数。
  • dropout (float, 可选, 默认为 0.0) — 在 Transformer 块内使用的 dropout 概率。
  • norm_num_groups (int, 可选, 默认为 32) — Transformer 块内组归一化的组数。
  • cross_attention_dim (int, 可选) — 跨注意力层的维度，通常与编码器的隐藏层维度匹配。
  • attention_bias (bool, 可选, 默认为 True) — 配置 Transformer 块的注意力是否应包含 bias 参数。
  • sample_size (int, 默认为 128) — 潜在图像的宽度。此参数在训练期间是固定的。
  • patch_size (int, 默认为 2) — 模型处理的 patch 大小，与处理非序列数据的架构相关。
  • activation_fn (str, 可选, 默认为 “gelu-approximate”) — 在 Transformer 块内的前馈网络中使用的激活函数。
  • num_embeds_ada_norm (int, 可选, 默认为 1000) — AdaLayerNorm 的嵌入数量，在训练期间固定，并影响推理期间的最大去噪步数。
  • upcast_attention (bool, 可选, 默认为 False) — 如果为 true，则提升注意力机制维度，以潜在地提高性能。
  • norm_type (str, 可选, 默认为 “ada_norm_zero”) — 指定使用的归一化类型，可以是 ‘ada_norm_zero’。
  • norm_elementwise_affine (bool, 可选, 默认为 False) — 如果为 true，则在归一化层中启用逐元素仿射参数。
  • norm_eps (float, 可选, 默认为 1e-6) — 添加到归一化层分母中的一个很小的常数，以防止除以零。
  • interpolation_scale (int, 可选) — 在插值位置嵌入期间使用的缩放因子。
  • use_additional_conditions (bool, 可选) — 是否使用附加条件作为输入。
  • attention_type (str, 可选, 默认为 “default”) — 要使用的注意力机制的类型。
  • caption_channels (int, 可选, 默认为 None) — 用于投影 caption 嵌入的通道数。
  • use_linear_projection (bool, 可选, 默认为 False) — 已弃用的参数。 将在未来的版本中移除。
  • num_vector_embeds (bool, 可选, 默认为 False) — 已弃用的参数。 将在未来的版本中移除。

PixArt 模型系列中引入的 2D Transformer 模型 (https://arxiv.org/abs/2310.00426, https://arxiv.org/abs/2403.04692)。

forward

< >

( hidden_states: Tensor encoder_hidden_states: typing.Optional[torch.Tensor] = None timestep: typing.Optional[torch.LongTensor] = None added_cond_kwargs: typing.Dict[str, torch.Tensor] = None cross_attention_kwargs: typing.Dict[str, typing.Any] = None attention_mask: typing.Optional[torch.Tensor] = None encoder_attention_mask: typing.Optional[torch.Tensor] = None return_dict: bool = True )

参数

  • hidden_states (torch.FloatTensor，形状为 (batch size, channel, height, width)) — 输入 hidden_states。
  • encoder_hidden_states (torch.FloatTensor，形状为 (batch size, sequence len, embed dims), 可选) — 用于跨注意力层的条件嵌入。 如果未给出，则跨注意力默认为自注意力。
  • timestep (torch.LongTensor, 可选) — 用于指示去噪步骤。 可选的时间步，用作 AdaLayerNorm 中的嵌入。
  • added_cond_kwargs — (Dict[str, Any], 可选): 要用作输入的附加条件。
  • cross_attention_kwargs ( Dict[str, Any], 可选) — 一个 kwargs 字典，如果指定，则会传递给 AttentionProcessor，如 diffusers.models.attention_processor 的 self.processor 下所定义。
  • attention_mask ( torch.Tensor, 可选) — 形状为 (batch, key_tokens) 的注意力掩码，应用于 encoder_hidden_states。 如果为 1，则保留掩码；如果为 0，则丢弃。 掩码将转换为偏置，这将向对应于“丢弃”令牌的注意力分数添加大的负值。
  • encoder_attention_mask ( torch.Tensor, 可选) — 应用于 encoder_hidden_states 的交叉注意力掩码。 支持两种格式：

    • 掩码 (batch, sequence_length)，True = 保留，False = 丢弃。
    • 偏置 (batch, 1, sequence_length)，0 = 保留，-10000 = 丢弃。

    如果 ndim == 2：将被解释为掩码，然后转换为与上述格式一致的偏置。 此偏置将添加到交叉注意力分数中。

  • return_dict (bool, 可选, 默认为 True) — 是否返回 UNet2DConditionOutput 而不是纯元组。

The PixArtTransformer2DModel forward 方法。

fuse_qkv_projections

< >

( )

启用融合 QKV 投影。 对于自注意力模块，所有投影矩阵（即，查询、键、值）都会融合。 对于交叉注意力模块，键和值投影矩阵会融合。

此 API 处于 🧪 实验性阶段。

set_attn_processor

< >

( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )

参数

  • processor (AttentionProcessor 的 dict 或仅 AttentionProcessor) — 实例化的处理器类或处理器类字典，它将被设置为所有 Attention 层的处理器。

    如果 processor 是一个 dict，则键需要定义到相应交叉注意力处理器的路径。 强烈建议在设置可训练的注意力处理器时使用此方法。

设置用于计算注意力的注意力处理器。

set_default_attn_processor

< >

( )

禁用自定义注意力处理器并设置默认的注意力实现。

可以直接使用 AttnProcessor()，因为 PixArt 在默认模型中没有任何特殊的注意力处理器。

unfuse_qkv_projections

< >

( )

如果已启用，则禁用融合 QKV 投影。

此 API 处于 🧪 实验性阶段。

< > 在 GitHub 上更新

←MochiTransformer3DModel PriorTransformer→