参数

• sample_size (int) — 潜在图像的宽度。由于它用于学习一定数量的位置嵌入，因此在训练期间是固定的。
• patch_size (int, 可选, (int, 可选, 默认为 2) — 图像中每个补丁的大小。此参数定义馈送到模型的补丁的分辨率。
• in_channels (int, 可选, 默认为 4) — 模型的输入通道数。通常，这与输入图像中的通道数匹配。
• hidden_size (int, 可选, 默认为 4096) — 模型中隐藏层的维度。此参数决定模型隐藏表示的宽度。
• num_layers (int, 可选, 默认为 32) — 模型中的层数。这定义了神经网络的深度。
• num_attention_heads (int, 可选, 默认为 32) — 每个注意力层中的注意力头的数量。此参数指定使用了多少个独立的注意力机制。
• num_kv_heads (int, 可选, 默认为 8) — 注意力机制中键值头的数量，如果与注意力头的数量不同。如果为 None，则默认为 num_attention_heads。
• multiple_of (int, 可选, 默认为 256) — 隐藏大小应为其倍数的因子。这可以帮助优化某些硬件配置。
• ffn_dim_multiplier (float, 可选) — 前馈网络维度的乘数。如果为 None，则使用基于模型配置的默认值。
• norm_eps (float, 可选, 默认为 1e-5) — 添加到分母中的一个小值，用于在归一化层中提高数值稳定性。
• qk_norm (bool, 可选，默认为 True) — 指示注意力机制中的查询和键是否应该被标准化。
• cross_attention_dim (int, 可选，默认为 2048) — 文本嵌入的维度。此参数定义模型中使用的文本表示的大小。
• scaling_factor (float, 可选，默认为 1.0) — 应用于模型中某些参数或层的缩放因子。这可用于调整模型操作的整体规模。