Diffusers 文档
SD3 Transformer 模型
并获得增强的文档体验
开始使用
SD3 Transformer 模型
在 Stable Diffusion 3 中引入的 Transformer 模型。其新颖之处在于 MMDiT transformer 块。
SD3Transformer2DModel
class diffusers.SD3Transformer2DModel
< 源 >( sample_size: int = 128 patch_size: int = 2 in_channels: int = 16 num_layers: int = 18 attention_head_dim: int = 64 num_attention_heads: int = 18 joint_attention_dim: int = 4096 caption_projection_dim: int = 1152 pooled_projection_dim: int = 2048 out_channels: int = 16 pos_embed_max_size: int = 96 dual_attention_layers: typing.Tuple[int, ...] = () qk_norm: typing.Optional[str] = None )
参数
- sample_size (
int, 默认为128) — 潜在空间的宽度/高度。这在训练期间是固定的，因为它用于学习多个位置嵌入。 - patch_size (
int, 默认为2) — 用于将输入数据转换为小块的块大小。 - in_channels (
int, 默认为16) — 输入中的潜在通道数。 - num_layers (
int, 默认为18) — 要使用的 transformer 块的层数。 - attention_head_dim (
int, 默认为64) — 每个头的通道数。 - num_attention_heads (
int, 默认为18) — 用于多头注意力的头数。 - joint_attention_dim (
int, 默认为4096) — 用于联合文本图像注意力的嵌入维度。 - caption_projection_dim (
int, 默认为1152) — 标题嵌入的嵌入维度。 - pooled_projection_dim (
int, 默认为2048) — 池化文本投影的嵌入维度。 - out_channels (
int, 默认为16) — 输出中的潜在通道数。 - pos_embed_max_size (
int, 默认为96) — 位置嵌入的最大潜在高度/宽度。 - dual_attention_layers (
Tuple[int, ...], 默认为()) — 要使用的双流 transformer 块的数量。 - qk_norm (
str, 可选, 默认为None) — 在注意力层中用于查询和键的归一化方式。如果为None，则不使用归一化。
在 Stable Diffusion 3 中引入的 Transformer 模型。
forward
< 源 >( hidden_states: Tensor encoder_hidden_states: Tensor = None pooled_projections: Tensor = None timestep: LongTensor = None block_controlnet_hidden_states: typing.List = None joint_attention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None return_dict: bool = True skip_layers: typing.Optional[typing.List[int]] = None )
参数
- hidden_states (形状为
(批次大小, 通道数, 高度, 宽度)的torch.Tensor) — 输入的hidden_states。 - encoder_hidden_states (形状为
(批次大小, 序列长度, 嵌入维度)的torch.Tensor) — 要使用的条件嵌入（从输入条件（如提示）计算的嵌入）。 - pooled_projections (形状为
(批次大小, 投影维度)的torch.Tensor) — 从输入条件嵌入中投影的嵌入。 - timestep (
torch.LongTensor) — 用于指示去噪步骤。 - block_controlnet_hidden_states (
torch.Tensor列表) — 如果指定，则将添加到 transformer 块残差中的张量列表。 - joint_attention_kwargs (
dict, 可选) — 一个 kwargs 字典，如果指定，将传递给 diffusers.models.attention_processor 中定义的self.processor的AttentionProcessor。 - return_dict (
bool, 可选, 默认为True) — 是否返回~models.transformer_2d.Transformer2DModelOutput而不是普通元组。 - skip_layers (
int列表, 可选) — 在前向传播期间要跳过的层索引列表。
SD3Transformer2DModel 前向方法。
设置注意力处理器
< 源 >( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )
设置用于计算注意力的注意力处理器。