AuraFlowTransformer2DModel
来自 AuraFlow 的图像数据转换器模型。
AuraFlowTransformer2DModel
类 diffusers.AuraFlowTransformer2DModel
< 源代码 >( sample_size: int = 64 patch_size: int = 2 in_channels: int = 4 num_mmdit_layers: int = 4 num_single_dit_layers: int = 32 attention_head_dim: int = 256 num_attention_heads: int = 12 joint_attention_dim: int = 2048 caption_projection_dim: int = 3072 out_channels: int = 4 pos_embed_max_size: int = 1024 )
参数
- sample_size (
int) — 潜藏图像的宽度。由于它用于学习一定数量的位置嵌入，因此在训练期间是固定的。 - patch_size (
int) — 将输入数据转换为小块的块大小。 - in_channels (
int, 可选, 默认为 16) — 输入的通道数。 - num_mmdit_layers (
int, 可选, 默认为 4) — 要使用的 MMDiT Transformer 块的层数。 - num_single_dit_layers (
int, 可选, 默认为 4) — 要使用的 Transformer 块的层数。这些块使用连接的图像和文本表示。 - attention_head_dim (
int, 可选, 默认为 64) — 每个头的通道数。 - num_attention_heads (
int, 可选, 默认为 18) — 用于多头注意力的头部数量。 - joint_attention_dim (
int, 可选) — 要使用的encoder_hidden_states维度数。 - caption_projection_dim (
int) — 投影encoder_hidden_states时使用的维度数。
AuraFlow (https://blog.fal.ai/auraflow/) 中引入的 2D Transformer 模型。
启用融合的 QKV 投影。对于自注意力模块，所有投影矩阵（即查询、键、值）都进行融合。对于交叉注意力模块，键和值投影矩阵进行融合。
此 API 处于 🧪 实验阶段。
set_attn_processor
< 源代码 >( processor: Union )
设置用于计算注意力的注意力处理器。