Diffusers 文档

归一化层

Diffusers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上进行协作

通过加速推理获得更快的示例

切换文档主题

开始使用

归一化层

用于支持 🤗 Diffusers 中各种模型的定制归一化层。

AdaLayerNorm

类 diffusers.models.normalization.AdaLayerNorm

< 来源 >

( embedding_dim: int num_embeddings: typing.Optional[int] = None output_dim: typing.Optional[int] = None norm_elementwise_affine: bool = False norm_eps: float = 1e-05 chunk_dim: int = 0 )

参数

embedding_dim (int) — 每个嵌入向量的大小。
num_embeddings (int, 可选) — 嵌入字典的大小。
output_dim (int, 可选) —
norm_elementwise_affine (bool, 默认为`False) —
norm_eps (bool, 默认为 False) —
chunk_dim (int, 默认为 0) —

归一化层经过修改，以结合时间步嵌入。

AdaLayerNormZero

类 diffusers.models.normalization.AdaLayerNormZero

< 来源 >

( embedding_dim: int num_embeddings: typing.Optional[int] = None norm_type = 'layer_norm' bias = True )

参数

embedding_dim (int) — 每个嵌入向量的大小。
num_embeddings (int) — 嵌入字典的大小。

自适应层归一化层零（adaLN-Zero）。

AdaLayerNormSingle

类 diffusers.models.normalization.AdaLayerNormSingle

< 来源 >

( embedding_dim: int use_additional_conditions: bool = False )

参数

embedding_dim (int) — 每个嵌入向量的大小。
use_additional_conditions (bool) — 是否使用额外条件进行归一化。

自适应层归一化单（adaLN-single）。

如 PixArt-Alpha 中所提议（参见：https://huggingface.ac.cn/papers/2310.00426；第 2.3 节）。

AdaGroupNorm

类 diffusers.models.normalization.AdaGroupNorm

< 来源 >

( embedding_dim: int out_dim: int num_groups: int act_fn: typing.Optional[str] = None eps: float = 1e-05 )

参数

embedding_dim (int) — 每个嵌入向量的大小。
num_embeddings (int) — 嵌入字典的大小。
num_groups (int) — 将通道分成组的数量。
act_fn (str, 可选, 默认为 None) — 要使用的激活函数。
eps (float, 可选, 默认为 1e-5) — 用于数值稳定性的 epsilon 值。

经过修改的 GroupNorm 层，以结合时间步嵌入。

AdaLayerNormContinuous

类 diffusers.models.normalization.AdaLayerNormContinuous

< 来源 >

( embedding_dim: int conditioning_embedding_dim: int elementwise_affine = True eps = 1e-05 bias = True norm_type = 'layer_norm' )

参数

embedding_dim (int) — 在投影期间使用的嵌入维度。
conditioning_embedding_dim (int) — 输入条件的维度。
elementwise_affine (bool, 默认为 True) — 表示是否应用仿射变换的布尔标志。
eps (float, 默认为 1e-5) — Epsilon 因子。
bias (bias, 默认为 True) — 是否也训练 bias 参数。
norm_type (str, 默认为 "layer_norm") — 要使用的归一化层。支持的值：“layer_norm”、“rms_norm”。

带有归一化层（layer_norm 或 rms_norm）的自适应归一化层。

RMSNorm

类 diffusers.models.normalization.RMSNorm

< 来源 >

( dim eps: float elementwise_affine: bool = True bias: bool = False )

参数

dim (int) — 用于 weights 的维度数量。仅在 elementwise_affine 为 True 时有效。
eps (float) — 计算平方根倒数时使用的微小值。
elementwise_affine (bool, 默认为 True) — 表示是否应用仿射变换的布尔标志。
bias (bool, 默认为 False) — 如果也训练 bias 参数。

Zhang 等人在 https://huggingface.co/papers/1910.07467 中引入的 RMS 归一化。

GlobalResponseNorm

类 diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

参数

dim (int) — 用于 `gamma` 和 `beta` 的维度数。

ConvNeXt-v2 中引入的全局响应归一化 (https://huggingface.co/papers/2301.00808)。

LuminaLayerNormContinuous

class diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: int conditioning_embedding_dim: int elementwise_affine = True eps = 1e-05 bias = True norm_type = 'layer_norm' out_dim: typing.Optional[int] = None )