Diffusers 文档
ConsisIDTransformer3D模型
并获得增强的文档体验
开始使用
ConsisIDTransformer3D模型
ConsisIDTransformer3D模型是一种用于3D数据的扩散Transformer模型，由ConsisID项目在通过频率分解实现身份保留文本到视频生成论文中提出，作者包括北京大学、罗切斯特大学等。
该模型可以通过以下代码片段加载。
from diffusers import ConsisIDTransformer3DModel
transformer = ConsisIDTransformer3DModel.from_pretrained("BestWishYsh/ConsisID-preview", subfolder="transformer", torch_dtype=torch.bfloat16).to("cuda")ConsisIDTransformer3D模型
class diffusers.ConsisIDTransformer3DModel
< 来源 >( num_attention_heads: int = 30 attention_head_dim: int = 64 in_channels: int = 16 out_channels: typing.Optional[int] = 16 flip_sin_to_cos: bool = True freq_shift: int = 0 time_embed_dim: int = 512 text_embed_dim: int = 4096 num_layers: int = 30 dropout: float = 0.0 attention_bias: bool = True sample_width: int = 90 sample_height: int = 60 sample_frames: int = 49 patch_size: int = 2 temporal_compression_ratio: int = 4 max_text_seq_length: int = 226 activation_fn: str = 'gelu-approximate' timestep_activation_fn: str = 'silu' norm_elementwise_affine: bool = True norm_eps: float = 1e-05 spatial_interpolation_scale: float = 1.875 temporal_interpolation_scale: float = 1.0 use_rotary_positional_embeddings: bool = False use_learned_positional_embeddings: bool = False is_train_face: bool = False is_kps: bool = False cross_attn_interval: int = 2 cross_attn_dim_head: int = 128 cross_attn_num_heads: int = 16 LFE_id_dim: int = 1280 LFE_vit_dim: int = 1024 LFE_depth: int = 10 LFE_dim_head: int = 64 LFE_num_heads: int = 16 LFE_num_id_token: int = 5 LFE_num_querie: int = 32 LFE_output_dim: int = 2048 LFE_ff_mult: int = 4 LFE_num_scale: int = 5 local_face_scale: float = 1.0 )
参数
- num_attention_heads (
int, 默认为30) — 用于多头注意力机制的头数量。 - attention_head_dim (
int, 默认为64) — 每个注意力头中的通道数量。 - in_channels (
int, 默认为16) — 输入中的通道数量。 - out_channels (
int, 可选, 默认为16) — 输出中的通道数量。 - flip_sin_to_cos (
bool, 默认为True) — 是否在时间嵌入中翻转sin到cos。 - time_embed_dim (
int, 默认为512) — 时间步嵌入的输出维度。 - text_embed_dim (
int, 默认为4096) — 文本编码器中文本嵌入的输入维度。 - num_layers (
int, 默认为30) — 要使用的Transformer块层数。 - dropout (
float, 默认为0.0) — 要使用的dropout概率。 - attention_bias (
bool, 默认为True) — 是否在注意力投影层中使用偏置。 - sample_width (
int, 默认为90) — 输入潜在的宽度。 - sample_height (
int, 默认为60) — 输入潜在的高度。 - sample_frames (
int, 默认为49) — 输入潜在中的帧数。请注意，此参数被错误地初始化为49而不是13，因为ConsisID在默认和推荐设置中一次处理13个潜在帧，但为确保向后兼容性，无法更改为正确的值。要创建具有K个潜在帧的Transformer，这里传递的正确值应为：((K - 1) * temporal_compression_ratio + 1)。 - patch_size (
int, 默认为2) — 补丁嵌入层中要使用的补丁大小。 - temporal_compression_ratio (
int, 默认为4) — 时间维度上的压缩比。参见sample_frames的文档。 - max_text_seq_length (
int, 默认为226) — 输入文本嵌入的最大序列长度。 - activation_fn (
str, 默认为"gelu-approximate") — 前馈网络中使用的激活函数。 - timestep_activation_fn (
str, 默认为"silu") — 生成时间步嵌入时使用的激活函数。 - norm_elementwise_affine (
bool, 默认为True) — 是否在归一化层中使用元素仿射。 - norm_eps (
float, 默认为1e-5) — 归一化层中使用的epsilon值。 - spatial_interpolation_scale (
float, 默认为1.875) — 在3D位置嵌入中应用于空间维度的缩放因子。 - temporal_interpolation_scale (
float, 默认为1.0) — 在3D位置嵌入中应用于时间维度的缩放因子。 - is_train_face (
bool, 默认为False) — 在训练过程中是否启用身份保留模块。当设置为True时，模型将专注于身份保留任务。 - is_kps (
bool, 默认为False) — 是否为全局面部提取器启用关键点。如果为True，模型将包含关键点。 - cross_attn_interval (
int, 默认为2) — Transformer架构中交叉注意力层之间的间隔。较大的值可能会减少交叉注意力计算的频率，这有助于降低计算开销。 - cross_attn_dim_head (
int, 可选, 默认为128) — Transformer架构中交叉注意力层中每个注意力头的维度。较大的值增加了关注更复杂模式的能力，但也会增加内存和计算成本。 - cross_attn_num_heads (
int, 可选, 默认为16) — 交叉注意力层中的注意力头数量。更多的头允许更多的并行注意力机制，捕捉输入不同组件之间的多样化关系，但也会增加计算需求。 - LFE_id_dim (
int, 可选, 默认为1280) — 局部面部提取器（LFE）中使用的身份向量的维度。该向量表示面部身份特征，对于面部识别和跨不同帧的身份保留任务非常重要。 - LFE_vit_dim (
int, 可选, 默认为1024) — 局部面部提取器（LFE）中使用的视觉Transformer（ViT）输出的维度。此值决定了用于面部特征提取的Transformer生成特征向量的大小。 - LFE_depth (
int, 可选，默认为10) — 局部面部提取器 (LFE) 中的层数。增加深度可以使模型捕获更复杂的面部特征表示，但也会增加计算负载。 - LFE_dim_head (
int, 可选，默认为64) — 局部面部提取器 (LFE) 中每个注意力头的维度。此参数会影响模型在提取过程中处理和聚焦面部特征不同部分的精细程度。 - LFE_num_heads (
int, 可选，默认为16) — 局部面部提取器 (LFE) 中注意力头的数量。更多的头可以提高模型捕获不同面部特征的能力，但会增加计算复杂性。 - LFE_num_id_token (
int, 可选，默认为5) — 局部面部提取器 (LFE) 中使用的身份令牌数量。这定义了模型将处理多少个与身份相关的令牌，以确保在特征提取过程中保留面部身份。 - LFE_num_querie (
int, 可选，默认为32) — 局部面部提取器 (LFE) 中使用的查询令牌数量。这些令牌用于捕获有助于准确提取面部特征的高频面部相关信息。 - LFE_output_dim (
int, 可选，默认为2048) — 局部面部提取器 (LFE) 的输出维度。此维度决定了 LFE 模块生成的特征向量的大小，这些特征向量将用于后续任务，如人脸识别或跟踪。 - LFE_ff_mult (
int, 可选，默认为4) — 应用于局部面部提取器 (LFE) 中前馈网络隐藏层大小的乘法因子。值越高会增加模型学习更复杂面部特征变换的能力，但也会增加计算和内存需求。 - LFE_num_scale (
int, 可选，默认为5) — 视觉特征的不同尺度的数量。值越高会增加模型学习更复杂面部特征变换的能力，但也会增加计算和内存需求。 - local_face_scale (
float, 默认为1.0) — 用于调整模型中局部面部特征重要性的缩放因子。这会影响模型对高频面部相关内容的关注程度。
用于 ConsisID 中类视频数据的 Transformer 模型。
设置注意力处理器
< 源 >( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor, typing.Dict[str, typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )
设置用于计算注意力的注意力处理器。
Transformer2DModelOutput
class diffusers.models.modeling_outputs.Transformer2DModelOutput
< 源 >( sample: torch.Tensor )
参数
- sample (形状为
(batch_size, num_channels, height, width)的torch.Tensor或如果 Transformer2DModel 是离散的，则为(batch size, num_vector_embeds - 1, num_latent_pixels)) — 在encoder_hidden_states输入上输出的隐藏状态。如果是离散的，则返回未去噪潜在像素的概率分布。
Transformer2DModel 的输出。