GaudiConfig

以下是每个配置参数的描述

• use_fused_adam 用于决定是否使用 英特尔® Gaudi® AI 加速器提供的 ADAM 优化器的自定义融合实现。
• use_fused_clip_norm 用于决定是否使用 英特尔® Gaudi® AI 加速器提供的梯度范数裁剪的自定义融合实现。
• use_torch_autocast 启用 PyTorch 自动转换；用于定义良好的预定义配置；用户应优先使用 --bf16 训练参数
• autocast_bf16_ops 应在自动转换上下文中以 bf16 精度运行的操作列表；使用环境标志 LOWER_LIST 是覆盖操作符自动转换列表的首选方法
• autocast_fp32_ops 应在自动转换上下文中以 fp32 精度运行的操作列表；使用环境标志 FP32_LIST 是覆盖操作符自动转换列表的首选方法

您可以在 Hugging Face Hub 上的 Habana 模型存储库 中找到 Gaudi 配置的示例。例如，对于 BERT Large，我们有

{
  "use_fused_adam": true,
  "use_fused_clip_norm": true,
}

要在您的脚本中自己实例化 Gaudi 配置，您可以执行以下操作

from optimum.habana import GaudiConfig

gaudi_config = GaudiConfig.from_pretrained(
    gaudi_config_name,
    cache_dir=model_args.cache_dir,
    revision=model_args.model_revision,
    token=model_args.token,
)

并使用 gaudi_config 参数将其传递给训练器。

GaudiConfig