🤗 Optimum

🤗 Optimum 是 Transformers 的扩展，提供了一套性能优化工具，可最大程度地高效训练和运行模型。

AI 生态系统发展迅速，每天都有越来越多的专业硬件及其各自的优化方案出现。因此，Optimum 使开发人员能够像使用 Transformers 一样轻松高效地使用这些平台中的任何一个。

🤗 Optimum 作为一系列软件包发布 - 请查看以下链接，深入了解每个软件包。

硬件合作伙伴

以下软件包可让您在各种设备上充分利用 🤗 Hugging Face 生态系统。

在 NVIDIA 平台上使用 NVIDIA TensorRT-LLM 加速推理

为 AMD Instinct GPU 和 AMD Ryzen AI NPU 启用性能优化

使用 OpenVINO、Neural Compressor 和 IPEX 优化模型以加速推理

使用 AWS Trainium 和 AWS Inferentia 加速您的训练和推理工作流

使用 Google TPUs 加速您的训练和推理工作流

使用 Habana 的 Gaudi 处理器最大化训练吞吐量和效率

在 FuriosaAI WARBOY 上进行快速高效的推理

🤗 Optimum 还支持各种开源框架，使模型优化变得非常简单。

应用量化和图优化，以使用 ONNX Runtime 加速 Transformers 模型的训练和推理

通过 ExecuTorch 在边缘进行推理的 PyTorch 原生解决方案

将您的 PyTorch 或 TensorFlow 模型导出为 ONNX 和 TFLite 等不同格式

使用 Torch FX 创建和组合自定义图转换，以优化 PyTorch Transformers 模型