Diffusers 文档
DiTTransformer2DModel
并获取增强的文档体验
开始使用
DiTTransformer2DModel
来自 DiT 的类图像数据的 Transformer 模型。
DiTTransformer2DModel
class diffusers.DiTTransformer2DModel
< source >( num_attention_heads: int = 16 attention_head_dim: int = 72 in_channels: int = 4 out_channels: typing.Optional[int] = None num_layers: int = 28 dropout: float = 0.0 norm_num_groups: int = 32 attention_bias: bool = True sample_size: int = 32 patch_size: int = 2 activation_fn: str = 'gelu-approximate' num_embeds_ada_norm: typing.Optional[int] = 1000 upcast_attention: bool = False norm_type: str = 'ada_norm_zero' norm_elementwise_affine: bool = False norm_eps: float = 1e-05 )
参数
- num_attention_heads (int, optional, defaults to 16) — 用于多头注意力机制的头的数量。
- attention_head_dim (int, optional, defaults to 72) — 每个头的通道数。
- in_channels (int, defaults to 4) — 输入中的通道数。
- out_channels (int, optional) — 输出中的通道数。 如果输出通道数与输入不同，请指定此参数。
- num_layers (int, optional, defaults to 28) — 要使用的 Transformer 块的层数。
- dropout (float, optional, defaults to 0.0) — 用于 Transformer 模块内的 dropout 概率。
- norm_num_groups (int, optional, defaults to 32) — Transformer 模块内组归一化的组数。
- attention_bias (bool, optional, defaults to True) — 配置 Transformer 模块的注意力机制是否应包含偏置参数。
- sample_size (int, defaults to 32) — 潜在图像的宽度。此参数在训练期间是固定的。
- patch_size (int, defaults to 2) — 模型处理的 patch 大小，与处理非序列数据的架构相关。
- activation_fn (str, optional, defaults to “gelu-approximate”) — 在 Transformer 模块的前馈网络中使用的激活函数。
- num_embeds_ada_norm (int, optional, defaults to 1000) — AdaLayerNorm 的嵌入数量，在训练期间固定，并影响推理期间的最大去噪步数。
- upcast_attention (bool, optional, defaults to False) — 如果为 true，则提升注意力机制的维度，以潜在地提高性能。
- norm_type (str, optional, defaults to “ada_norm_zero”) — 指定使用的归一化类型，可以是 ‘ada_norm_zero’。
- norm_elementwise_affine (bool, optional, defaults to False) — 如果为 true，则在归一化层中启用逐元素的仿射参数。
- norm_eps (float, optional, defaults to 1e-5) — 一个小的常数，添加到归一化层中的分母，以防止除以零。
DiT (https://arxiv.org/abs/2212.09748) 中引入的 2D Transformer 模型。
forward
< source >( hidden_states: Tensor timestep: typing.Optional[torch.LongTensor] = None class_labels: typing.Optional[torch.LongTensor] = None cross_attention_kwargs: typing.Dict[str, typing.Any] = None return_dict: bool = True )
参数
- hidden_states (
torch.LongTensor, 形状为(batch size, num latent pixels)如果是离散的，形状为torch.FloatTensor如果是连续的，形状为(batch size, channel, height, width)) — 输入hidden_states。 - timestep (
torch.LongTensor, optional) — 用于指示去噪步骤。可选的时间步，将作为嵌入应用于AdaLayerNorm。 - class_labels (
torch.LongTensor, 形状为(batch size, num classes), optional) — 用于指示类别标签条件。可选的类别标签，将作为嵌入应用于AdaLayerZeroNorm。 - cross_attention_kwargs (
Dict[str, Any], optional) — 一个 kwargs 字典，如果指定，则会传递给AttentionProcessor，如 diffusers.models.attention_processor 下的self.processor中定义的那样。 - return_dict (
bool, optional, defaults toTrue) — 是否返回 UNet2DConditionOutput 而不是普通的元组。
DiTTransformer2DModel 的 forward 方法。