🤗 Optimum

🤗 Optimum 是 Transformers 的扩展，提供了一套性能优化工具，以便在目标硬件上以最高效率训练和运行模型。

人工智能生态系统发展迅速，越来越多的专用硬件及其自身的优化不断涌现。因此，Optimum 使开发人员能够像使用 Transformers 一样轻松高效地使用任何这些平台。

🤗 Optimum 以软件包集合的形式分发 - 查看以下链接以深入了解每个软件包。

硬件合作伙伴

以下软件包使您能够在各种类型的设备上充分利用 🤗 Hugging Face 生态系统。

在 NVIDIA 平台上使用 NVIDIA TensorRT-LLM 加速推理

为 AMD Instinct GPU 和 AMD Ryzen AI NPU 启用性能优化

优化您的模型，以使用 OpenVINO、Neural Compressor 和 IPEX 加速推理

使用 AWS Trainium 和 AWS Inferentia 加速您的训练和推理工作流程

使用 Google TPU 加速您的训练和推理工作流程

使用 Habana 的 Gaudi 处理器最大化训练吞吐量和效率

在 FuriosaAI WARBOY 上实现快速高效的推理

🤗 Optimum 还支持各种开源框架，以使模型优化非常容易。

应用量化和图优化，以使用 ONNX Runtime 加速 Transformers 模型训练和推理

将您的 PyTorch 或 TensorFlow 模型导出为不同的格式，例如 ONNX 和 TFLite

一个单行集成，用于将 PyTorch 的 BetterTransformer 与 Transformers 模型一起使用

创建和组合自定义图转换，以使用 Torch FX 优化 PyTorch Transformers 模型