Hugging Face 徽标

Diffusers 文档

PixArtTransformer2DModel

Hugging Face's logo
加入 Hugging Face 社区

获得增强文档体验的访问权限

开始使用

PixArtTransformer2DModel

来自 PixArt-Alpha 和 PixArt-Sigma 的图像数据 Transformer 模型。

PixArtTransformer2DModel

类 diffusers.PixArtTransformer2DModel

< >

( num_attention_heads: int = 16 attention_head_dim: int = 72 in_channels: int = 4 out_channels: Optional = 8 num_layers: int = 28 dropout: float = 0.0 norm_num_groups: int = 32 cross_attention_dim: Optional = 1152 attention_bias: bool = True sample_size: int = 128 patch_size: int = 2 activation_fn: str = 'gelu-approximate' num_embeds_ada_norm: Optional = 1000 upcast_attention: bool = False norm_type: str = 'ada_norm_single' norm_elementwise_affine: bool = False norm_eps: float = 1e-06 interpolation_scale: Optional = None use_additional_conditions: Optional = None caption_channels: Optional = None attention_type: Optional = 'default' )

参数

  • num_attention_heads（int 型，可选，默认值为 16） — 用于多头注意的头部数量。
  • in_channels（int，默认为 4）— 输入中的通道数。
  • out_channels（int，可选）— 输出中的通道数。如果输出通道数与输入不同，则指定该参数。
  • dropout（浮点数，可选，默认为 0.0）—— Transformer 块内使用的 dropout 概率。
  • norm_num_groups（整型，可选，默认为 32）—— Transformer 块内用于组归一化的组数。
  • attention_bias (bool，可选，默认为 True) — 配置 Transformer 块的注意力是否应包含偏差参数。
  • sample_size (int，默认为 128) — 潜在图像的宽度。此参数在训练期间是固定的。
  • activation_fn (字符串，可选，默认为“gelu-approximate”） — Transformer 块内前馈网络中使用的激活函数。
  • num_embeds_ada_norm (整数，可选，默认为 1000) — AdaLayerNorm 的嵌入数量，该数量在训练期间固定并且会影响推理期间的最大去噪步骤。
  • upcast_attention（布尔值，可选，默认为 False）——如果为 true，则将注意力机制的维度提升，以潜在提高性能。
  • norm_type（str，可选，默认为 "ada_norm_zero"）——指定使用的归一化类型，可以是“ada_norm_zero”。
  • norm_eps（float，可选，默认为 1e-6）— 向归一化层中的分母添加的一个小常量，以防止除以零。
  • interpolation_scale（整数，可选）— 在插值位置嵌入过程中使用的比例因子。
  • attention_type (字符串，可选，默认为“default”）——要使用的注意力机制的种类。
  • caption_channels (整数，可选，默认为 None）——要用于 caption 嵌入投影的通道数。
  • num_vector_embeds (布尔值，可选，默认为 False) — 已弃用的参数。将在以后版本中移除。

PixArt 模型系列中引入的二维 Transformer 模型（https://arxiv.org/abs/2310.00426，https://arxiv.org/abs/2403.04692）。

向前

< >

( hidden_states: 张量 encoder_hidden_states: 可选 = 无 timestep: 可选 = 无 added_cond_kwargs: 字典 = 无 cross_attention_kwargs: 字典 = 无 attention_mask: 可选 = 无 encoder_attention_mask: 可选 = 无 return_dict: bool = 真 )

参数

  • hidden_states (形状为 (batch size, channel, height, width) 的 torch.FloatTensor) — 输入 hidden_states。
  • encoder_hidden_states (torch.FloatTensor，形状为 (batch size, sequence len, embed dims)，可选) — 交叉注意层条件嵌入。如果没有给出，交叉注意默认为自注意。
  • timestep (torch.LongTensor，可选) — 用于指示去噪步骤。可选的 timetep 添加到 AdaLayerNorm 作为嵌入。added_cond_kwargs — (Dict[str, Any]，可选): 其他条件作为输入使用。
  • cross_attention_kwargs ( Dict[str, Any]，可选) - 一个 kwargs 字典，如果指定，将作为 AttentionProcessor 传递，如下所示在 diffusers.models.attention_processor 中 self.processor 所定义。
  • attention_mask ( torch.Tensor，可选) - 应用了一个形状为 (batch, key_tokens) 的注意力掩码到 encoder_hidden_states，如果为 1，则保留掩码，否则如果为 0，则将其丢弃。掩码将被转换成为偏差，这对对应于“丢弃”标记的注意力得分增加较大的负值。
  • encoder_attention_mask ( torch.Tensor, optional) —

    对encoder_hidden_states应用交叉注意力掩码。支持两种格式：

    • 掩码 (batch, sequence_length) True = 保留，False = 舍弃。
    • 偏置 (batch, 1, sequence_length) 0 = 保留，-10000 = 舍弃。

    如果 ndim == 2: 将被解释为掩码，然后转换成与上述格式一致的偏置。此偏置将添加到交叉注意力评分中。

  • return_dict (bool, optional, defaults to True) — 是否返回 UNet2DConditionOutput 而不是简单元组。

PixArtTransformer2DModel 的 forward 方法。

fuse_qkv_projections

< >

( )

启用融合的 QKV 投影。对于自注意力模块，所有投影矩阵（即查询、键、值）都已融合。对于交叉注意力模块，键和值投影矩阵已融合。

此 API 属于🧪 实验性质。

set_attn_processor

< >

( processor: Union )

参数

  • processor (dict 形式的 AttentionProcessor 或仅 AttentionProcessor) — 已实例化的处理器类或处理器类字典，它将被设置为 所有 Attention 层的处理器。

    如果 processor 是一个字典，则密钥需要定义到相应交叉注意力处理器的路径。在设置可训练注意力处理器时，强烈建议这样做。

设置用于计算注意力的注意力处理器。

unfuse_qkv_projections

< >

( )

如果已启用，则禁用融合的 QKV 投影。

此 API 属于🧪 实验性质。

< > Github 上更新

←Transformer2DModel DiTTransformer2DModel→