Diffusers 文档
LTXVideoTransformer3DModel
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
LTXVideoTransformer3DModel
Lightricks 引入了来自 LTX 的用于 3D 数据的扩散 Transformer 模型。
该模型可以使用以下代码片段加载。
from diffusers import LTXVideoTransformer3DModel
transformer = LTXVideoTransformer3DModel.from_pretrained("Lightricks/LTX-Video", subfolder="transformer", torch_dtype=torch.bfloat16).to("cuda")LTXVideoTransformer3DModel
class diffusers.LTXVideoTransformer3DModel
< source >( in_channels: int = 128 out_channels: int = 128 patch_size: int = 1 patch_size_t: int = 1 num_attention_heads: int = 32 attention_head_dim: int = 64 cross_attention_dim: int = 2048 num_layers: int = 28 activation_fn: str = 'gelu-approximate' qk_norm: str = 'rms_norm_across_heads' norm_elementwise_affine: bool = False norm_eps: float = 1e-06 caption_channels: int = 4096 attention_bias: bool = True attention_out_bias: bool = True )
参数
- in_channels (
int, 默认为128) — 输入中的通道数。 - out_channels (
int, 默认为128) — 输出中的通道数。 - patch_size (
int, 默认为1) — 在 patch 嵌入层中使用的空间 patch 的大小。 - patch_size_t (
int, defaults to1) — 用于patch嵌入层的时序patch的大小。 - num_attention_heads (
int, defaults to32) — 用于多头注意力机制的头的数量。 - attention_head_dim (
int, defaults to64) — 每个注意力头中的通道数。 - cross_attention_dim (
int, defaults to2048) — 交叉注意力头的通道数。 - num_layers (
int, defaults to28) — 要使用的Transformer块的层数。 - activation_fn (
str, defaults to"gelu-approximate") — 在前馈网络中使用的激活函数。 - qk_norm (
str, defaults to"rms_norm_across_heads") — 要使用的归一化层。
用于LTX中类似视频数据的Transformer模型。
Transformer2DModelOutput
class diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
参数
- sample (
torch.Tensorof shape(batch_size, num_channels, height, width)or(batch size, num_vector_embeds - 1, num_latent_pixels)if Transformer2DModel 是离散的) — 以encoder_hidden_states输入为条件的隐藏状态输出。 如果是离散的，则返回未噪声的潜在像素的概率分布。
Transformer2DModel 的输出。