Accelerate 文档
FP8
并获得增强的文档体验
开始使用
FP8
以下是与底层 FP8 实现相关的功能和类
FP8RecipeKwargs
class accelerate.utils.FP8RecipeKwargs
< 源代码 >( opt_level: typing.Literal['O1', 'O2'] = None use_autocast_during_eval: bool = None margin: int = None interval: int = None fp8_format: typing.Literal['E4M3', 'HYBRID'] = None amax_history_len: int = None amax_compute_algo: typing.Literal['max', 'most_recent'] = None override_linear_precision: tuple = None backend: typing.Literal['MSAMP', 'TE'] = None )
已弃用。请使用适当的 FP8 recipe kwargs 类之一，例如 TERecipeKwargs 或 MSAMPRecipeKwargs。
convert_model
accelerate.utils.convert_model
< 源代码 >( model to_transformer_engine = True _convert_linear = True _convert_ln = True )
递归地将模型的线性层和 Layernorm 层转换为其 transformers_engine 对等项。
has_transformer_engine_layers
返回给定模型是否具有 transformer_engine 层。
contextual_fp8_autocast
accelerate.utils.contextual_fp8_autocast
< 源代码 >( model_forward fp8_recipe use_during_eval = False )
模型前向方法的包装器，用于应用 FP8 自动类型转换。它具有上下文感知能力，这意味着默认情况下，它将在评估模式下禁用 FP8 自动类型转换，这通常更利于获得更准确的指标。
apply_fp8_autowrap
将 FP8 上下文管理器应用于模型的前向方法