DiTTransformer2DModel
来自 DiT 的用于图像类数据的 Transformer 模型。
DiTTransformer2DModel
class diffusers.DiTTransformer2DModel
< 源代码 >( num_attention_heads: int = 16 attention_head_dim: int = 72 in_channels: int = 4 out_channels: Optional = None num_layers: int = 28 dropout: float = 0.0 norm_num_groups: int = 32 attention_bias: bool = True sample_size: int = 32 patch_size: int = 2 activation_fn: str = 'gelu-approximate' num_embeds_ada_norm: Optional = 1000 upcast_attention: bool = False norm_type: str = 'ada_norm_zero' norm_elementwise_affine: bool = False norm_eps: float = 1e-05 )
参数
- num_attention_heads (int, 可选, 默认为 16) — 多头注意力使用的头数。
- attention_head_dim (int, 可选, 默认为 72) — 每个头的通道数。
- in_channels (int, 默认为 4) — 输入的通道数。
- out_channels (int, 可选) — 输出的通道数。如果输出通道数与输入不同，请指定此参数。
- num_layers (int, 可选, 默认为 28) — 要使用的 Transformer 块的层数。
- dropout (float, 可选, 默认为 0.0) — Transformer 块中使用的 dropout 概率。
- norm_num_groups (int, 可选, 默认为 32) — Transformer 块内组归一化的组数。
- attention_bias (bool, 可选, 默认为 True) — 配置 Transformer 块的注意力是否应包含偏差参数。
- sample_size (int, 默认为 32) — 潜在图像的宽度。此参数在训练期间是固定的。
- patch_size (int，默认为 2) — 模型处理的补丁大小，与处理非顺序数据的架构相关。
- activation_fn (str，可选，默认为 “gelu-approximate”) — Transformer 块内前馈网络中使用的激活函数。
- num_embeds_ada_norm (int，可选，默认为 1000) — AdaLayerNorm 的嵌入数量，在训练期间固定，并影响推理期间的最大去噪步骤。
- upcast_attention (bool，可选，默认为 False) — 如果为真，则提升注意力机制的维度，以提高性能。
- norm_type (str，可选，默认为 “ada_norm_zero”) — 指定使用的归一化类型，可以是 ‘ada_norm_zero’。
- norm_elementwise_affine (bool，可选，默认为 False) — 如果为真，则在归一化层中启用逐元素仿射参数。
- norm_eps (float，可选，默认为 1e-5) — 添加到归一化层分母中的一个小常数，以防止除以零。
DiT 中介绍的 2D Transformer 模型 (https://arxiv.org/abs/2212.09748).
前向传播
< 源代码 >( hidden_states: 张量 timestep: 可选 = None class_labels: 可选 = None cross_attention_kwargs: 字典 = None return_dict: bool = True )
参数
- hidden_states (形状为
(批大小, 潜在像素数)的torch.LongTensor（如果为离散），形状为(批大小, 通道, 高度, 宽度)的torch.FloatTensor（如果为连续）) — 输入hidden_states。 - timestep (
torch.LongTensor，可选) — 用于指示去噪步骤。可选时间步长，作为AdaLayerNorm中的嵌入应用。 - cross_attention_kwargs (
Dict[str, Any]，可选) — 如果指定，则将此关键字参数字典传递给AttentionProcessor，该处理器在diffusers.models.attention_processor 中的self.processor下定义。 - return_dict (
bool，可选，默认为True) — 是否返回 UNet2DConditionOutput 而不是普通元组。
DiTTransformer2DModel 的前向方法。