Accelerate 文档
FP8
并获得增强的文档体验
开始使用
FP8
以下是与底层 FP8 实现相关的函数和类
FP8RecipeKwargs
class accelerate.utils.FP8RecipeKwargs
< 源代码 >( opt_level: typing.Literal['O1', 'O2'] = None use_autocast_during_eval: bool = None margin: int = None interval: int = None fp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = None amax_history_len: int = None amax_compute_algo: typing.Literal['max', 'most_recent'] = None override_linear_precision: tuple = None backend: typing.Literal['MSAMP', 'TE'] = None )
已弃用。请改用适当的 FP8 配方 kwargs 类，例如 `TERecipeKwargs` 或 `MSAMPRecipeKwargs`。
convert_model
accelerate.utils.convert_model
< 源代码 >( model to_transformer_engine = True _convert_linear = True _convert_ln = True )
递归地将模型的线性和层归一化层转换为它们对应的 transformers_engine 版本。
has_transformer_engine_layers
返回给定模型是否包含 transformer_engine 层。
contextual_fp8_autocast
accelerate.utils.contextual_fp8_autocast
< 源代码 >( model_forward fp8_recipe use_during_eval = False )
一个用于模型前向方法的包装器，以应用 FP8 自动转换。它具有上下文感知能力，意味着默认情况下它会在评估模式下禁用 FP8 自动转换，这通常有助于获得更准确的指标。
apply_fp8_autowrap
将 FP8 上下文管理器应用于模型的前向方法