Diffusers 文档
CogVideoXTransformer3D模型
并获得增强的文档体验
开始使用
CogVideoXTransformer3D模型
来自 CogVideoX 的 3D 数据扩散 Transformer 模型在清华大学和智谱 AI 的 CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer 中被介绍。
该模型可以使用以下代码片段加载。
from diffusers import CogVideoXTransformer3DModel
vae = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-2b", subfolder="transformer", torch_dtype=torch.float16).to("cuda")CogVideoXTransformer3D模型
class diffusers.CogVideoXTransformer3DModel
< source >( num_attention_heads: int = 30 attention_head_dim: int = 64 in_channels: int = 16 out_channels: typing.Optional[int] = 16 flip_sin_to_cos: bool = True freq_shift: int = 0 time_embed_dim: int = 512 ofs_embed_dim: typing.Optional[int] = None text_embed_dim: int = 4096 num_layers: int = 30 dropout: float = 0.0 attention_bias: bool = True sample_width: int = 90 sample_height: int = 60 sample_frames: int = 49 patch_size: int = 2 patch_size_t: typing.Optional[int] = None temporal_compression_ratio: int = 4 max_text_seq_length: int = 226 activation_fn: str = 'gelu-approximate' timestep_activation_fn: str = 'silu' norm_elementwise_affine: bool = True norm_eps: float = 1e-05 spatial_interpolation_scale: float = 1.875 temporal_interpolation_scale: float = 1.0 use_rotary_positional_embeddings: bool = False use_learned_positional_embeddings: bool = False patch_bias: bool = True )
参数
- num_attention_heads (
int, 默认为30) — 用于多头注意力机制的头的数量。 - attention_head_dim (
int, 默认为64) — 每个头部的通道数。 - in_channels (
int, 默认为16) — 输入中的通道数。 - out_channels (
int, 可选, 默认为16) — 输出中的通道数。 - flip_sin_to_cos (
bool, 默认为True) — 是否在时间嵌入中将 sin 翻转为 cos。 - time_embed_dim (
int, 默认为512) — 时间步长嵌入的输出维度。 - ofs_embed_dim (
int, 默认为512) — 版本 1.5 中 CogVideoX-5b-I2B 使用的 “ofs” 嵌入的输出维度。 - text_embed_dim (
int, 默认为4096) — 来自文本编码器的文本嵌入的输入维度。 - num_layers (
int, 默认为30) — 要使用的 Transformer 块的层数。 - dropout (
float, 默认为0.0) — 要使用的 dropout 概率。 - attention_bias (
bool, 默认为True) — 是否在注意力投影层中使用偏置。 - sample_width (
int, 默认为90) — 输入潜在变量的宽度。 - sample_height (
int, 默认为60) — 输入潜在变量的高度。 - sample_frames (
int, 默认为49) — 输入潜在变量中的帧数。 请注意，此参数被错误地初始化为 49 而不是 13，因为 CogVideoX 在其默认和推荐设置中一次处理 13 个潜在帧，但为了确保向后兼容性，无法更改为正确的值。 要创建具有 K 个潜在帧的 Transformer，此处传递的正确值应为：((K - 1) * temporal_compression_ratio + 1)。 - patch_size (
int, 默认为2) — 在 patch 嵌入层中使用的 patch 大小。 - temporal_compression_ratio (
int, 默认为4) — 跨时间维度的压缩率。 请参阅sample_frames的文档。 - max_text_seq_length (
int, 默认为226) — 输入文本嵌入的最大序列长度。 - activation_fn (
str, 默认为"gelu-approximate") — 在前馈网络中使用的激活函数。 - timestep_activation_fn (
str, 默认为"silu") — 生成时间步长嵌入时使用的激活函数。 - norm_elementwise_affine (
bool, 默认为True) — 是否在归一化层中使用逐元素仿射变换。 - norm_eps (
float, 默认为1e-5) — 在归一化层中使用的 epsilon 值。 - spatial_interpolation_scale (
float, 默认为1.875) — 在空间维度上应用于 3D 位置嵌入的缩放因子。 - temporal_interpolation_scale (
float, 默认为1.0) — 在时间维度上应用于 3D 位置嵌入的缩放因子。
用于 CogVideoX 中类视频数据的 Transformer 模型。
启用融合 QKV 投影。 对于自注意力模块，所有投影矩阵（即，查询、键、值）都将被融合。 对于交叉注意力模块，键和值投影矩阵将被融合。
此 API 处于 🧪 实验性阶段。
set_attn_processor
< source >( processor: typing.Union[diffusers.models.attention_processor.AttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor, diffusers.models.attention_processor.AttnAddedKVProcessor2_0, diffusers.models.attention_processor.JointAttnProcessor2_0, diffusers.models.attention_processor.PAGJointAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0, diffusers.models.attention_processor.FusedJointAttnProcessor2_0, diffusers.models.attention_processor.AllegroAttnProcessor2_0, diffusers.models.attention_processor.AuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0, diffusers.models.attention_processor.FluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0, diffusers.models.attention_processor.FusedFluxAttnProcessor2_0_NPU, diffusers.models.attention_processor.CogVideoXAttnProcessor2_0, diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0, diffusers.models.attention_processor.XFormersAttnAddedKVProcessor, diffusers.models.attention_processor.XFormersAttnProcessor, diffusers.models.attention_processor.XLAFlashAttnProcessor2_0, diffusers.models.attention_processor.AttnProcessorNPU, diffusers.models.attention_processor.AttnProcessor2_0, diffusers.models.attention_processor.MochiVaeAttnProcessor2_0, diffusers.models.attention_processor.MochiAttnProcessor2_0, diffusers.models.attention_processor.StableAudioAttnProcessor2_0, diffusers.models.attention_processor.HunyuanAttnProcessor2_0, diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0, diffusers.models.attention_processor.LuminaAttnProcessor2_0, diffusers.models.attention_processor.FusedAttnProcessor2_0, diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor, diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0, diffusers.models.attention_processor.SlicedAttnProcessor, diffusers.models.attention_processor.SlicedAttnAddedKVProcessor, diffusers.models.attention_processor.SanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleLinearAttention, diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0, diffusers.models.attention_processor.SanaMultiscaleAttentionProjection, diffusers.models.attention_processor.IPAdapterAttnProcessor, diffusers.models.attention_processor.IPAdapterAttnProcessor2_0, diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor, diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0, diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0, diffusers.models.attention_processor.LoRAAttnProcessor, diffusers.models.attention_processor.LoRAAttnProcessor2_0, diffusers.models.attention_processor.LoRAXFormersAttnProcessor, diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]] )
设置用于计算注意力的注意力处理器。
Transformer2DModelOutput
class diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
参数
- sample (
torch.Tensor，形状为(batch_size, num_channels, height, width)或(batch size, num_vector_embeds - 1, num_latent_pixels)，如果 Transformer2DModel 是离散的) — 以encoder_hidden_states输入为条件的隐藏状态输出。 如果是离散的，则返回未降噪的潜在像素的概率分布。
Transformer2DModel 的输出。