Hugging Face 的 logo

Diffusers 文档

激活函数

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

开始使用

激活函数

自定义激活函数，用于支持 🤗 Diffusers 中的各种模型。

GELU

类 diffusers.models.activations.GELU

< >

( dim_in: int dim_out: int approximate: str = 'none' bias: bool = True )

参数

  • dim_in (int) — 输入通道数。
  • dim_out (int) — 输出通道数。
  • approximate (str, 可选, 默认为 "none") — 如果为 "tanh"，则使用 tanh 近似。
  • bias (bool, 默认为 True) — 线性层中是否使用偏置。

带有 tanh 近似支持的 GELU 激活函数，使用 approximate="tanh"。

GEGLU

类 diffusers.models.activations.GEGLU

< >

( dim_in: int dim_out: int bias: bool = True )

参数

  • dim_in (int) — 输入通道数。
  • dim_out (int) — 输出通道数。
  • bias (bool, defaults to True) — 线性层是否使用偏置。

门控线性单元激活函数的一个变体。

ApproximateGELU

class diffusers.models.activations.ApproximateGELU

< >

( dim_in: int dim_out: int bias: bool = True )

参数

  • dim_in (int) — 输入通道数。
  • dim_out (int) — 输出通道数。
  • bias (bool, defaults to True) — 线性层是否使用偏置。

高斯误差线性单元 (GELU) 的近似形式。更多详细信息，请参阅这篇论文的第 2 节。

< > 在 GitHub 上更新

←注意力处理器 自定义归一化层→