CogVideoXTransformer3DModel
一个来自 CogVideoX 的用于 3D 数据的扩散 Transformer 模型，在 CogVideoX: 带有专家 Transformer 的文本到视频扩散模型 中由清华大学和 ZhipuAI 提出。
该模型可以使用以下代码片段加载。
from diffusers import CogVideoXTransformer3DModel
vae = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-2b", subfolder="transformer", torch_dtype=torch.float16).to("cuda")CogVideoXTransformer3DModel
class diffusers.CogVideoXTransformer3DModel
< 源代码 >( num_attention_heads: int = 30 attention_head_dim: int = 64 in_channels: int = 16 out_channels: Optional = 16 flip_sin_to_cos: bool = True freq_shift: int = 0 time_embed_dim: int = 512 text_embed_dim: int = 4096 num_layers: int = 30 dropout: float = 0.0 attention_bias: bool = True sample_width: int = 90 sample_height: int = 60 sample_frames: int = 49 patch_size: int = 2 temporal_compression_ratio: int = 4 max_text_seq_length: int = 226 activation_fn: str = 'gelu-approximate' timestep_activation_fn: str = 'silu' norm_elementwise_affine: bool = True norm_eps: float = 1e-05 spatial_interpolation_scale: float = 1.875 temporal_interpolation_scale: float = 1.0 use_rotary_positional_embeddings: bool = False use_learned_positional_embeddings: bool = False )
参数
- num_attention_heads (
int, 默认值为30) — 多头注意力机制中使用的头数。 - attention_head_dim (
int, 默认值为64) — 每个头的通道数。 - in_channels (
int, 默认值为16) — 输入的通道数。 - out_channels (
int, 可选, 默认值为16) — 输出的通道数。 - flip_sin_to_cos (
bool, 默认值为True) — 是否将时间嵌入中的sin翻转为cos。 - time_embed_dim (
int, 默认值为512) — 时间步嵌入的输出维度。 - text_embed_dim (
int, 默认值为4096) — 来自文本编码器的文本嵌入的输入维度。 - num_layers (
int, 默认值为30) — 要使用的 Transformer 块层数。 - sample_width (
int，默认值为90) — 输入潜在变量的宽度。 - sample_height (
int，默认值为60) — 输入潜在变量的高度。 - sample_frames (
int，默认值为49) — 输入潜在变量中的帧数。请注意，此参数错误地初始化为 49 而不是 13，因为 CogVideoX 在其默认和推荐设置中一次处理 13 个潜在帧，但不能更改为正确的值以确保向后兼容性。要创建具有 K 个潜在帧的转换器，此处传递的正确值应为：((K - 1) * temporal_compression_ratio + 1)。 - patch_size (
int，默认值为2) — 在补丁嵌入层中使用的补丁大小。 - temporal_compression_ratio (
int，默认值为4) — 跨时间维度的压缩比。请参阅sample_frames的文档。 - max_text_seq_length (
int，默认值为226) — 输入文本嵌入的最大序列长度。 - activation_fn (
str，默认值为"gelu-approximate") — 在前馈中使用的激活函数。 - timestep_activation_fn (
str，默认值为"silu") — 生成时间步嵌入时使用的激活函数。 - norm_elementwise_affine (
bool，默认值为True) — 是否在归一化层中使用逐元素仿射。 - temporal_interpolation_scale (
float, 默认值为1.0) — 在时间维度上应用于 3D 位置嵌入的缩放因子。
一个用于 CogVideoX 中视频数据的 Transformer 模型。
启用融合的 QKV 投影。对于自注意力模块，所有投影矩阵（即查询、键、值）都被融合。对于交叉注意力模块，键和值投影矩阵被融合。
此 API 处于 🧪 实验阶段。
set_attn_processor
< 源代码 >( processor: Union )
设置用于计算注意力的注意力处理器。
Transformer2DModelOutput
class diffusers.models.modeling_outputs.Transformer2DModelOutput
< 源代码 >( sample: torch.Tensor )
参数
- sample (
torch.Tensor形状为(batch_size, num_channels, height, width)或(batch size, num_vector_embeds - 1, num_latent_pixels)如果 Transformer2DModel 是离散的) — 在encoder_hidden_states输入条件下输出的隐藏状态。如果为离散型，则返回未加噪声的潜在像素的概率分布。
Transformer2DModel 的输出。