英特尔 Gaudi

英特尔 Gaudi AI 加速器家族包括 Intel Gaudi 1、Intel Gaudi 2 和 Intel Gaudi 3。每台服务器都配备 8 个设备，称为 Habana 处理单元 (HPU)，在 Gaudi 3 上提供 128GB 内存，在 Gaudi 2 上提供 96GB，在第一代 Gaudi 上提供 32GB。有关底层硬件架构的更多详细信息，请查看 Gaudi 架构概述。

TrainingArguments、Trainer 和 Pipeline 会在 Intel Gaudi 设备可用时检测并设置后端设备为 hpu。无需额外更改即可在您的设备上启用训练和推理。

Transformers 中的某些建模代码未针对 HPU 惰性模式进行优化。如果遇到任何错误，请设置以下环境变量以使用急切模式

PT_HPU_LAZY_MODE=0

在某些情况下，您还需要启用 int64 支持，以避免长整数的类型转换问题

PT_ENABLE_INT64_SUPPORT=1

有关更多详细信息，请参阅 Gaudi 文档。