🤗 Optimum

🤗 Optimum 是 Transformers 的扩展，它提供了一套性能优化工具，以便在目标硬件上以最大效率训练和运行模型。

人工智能生态系统发展迅速，越来越多的专用硬件及其自身的优化技术每天都在涌现。因此，Optimum 使开发人员能够轻松地使用任何这些平台，就像使用 Transformers 一样。

🤗 Optimum 以一组软件包的形式分发——查看下面的链接以深入了解每个软件包。

硬件合作伙伴

以下软件包使您能够在各种类型的设备上获得 🤗 Hugging Face 生态系统的最佳体验。

在 NVIDIA 平台上使用 NVIDIA TensorRT-LLM 加速推理

为 AMD Instinct GPU 和 AMD Ryzen AI NPU 启用性能优化

优化您的模型以使用 OpenVINO、Neural Compressor 和 IPEX 加速推理

使用 AWS Trainium 和 AWS Inferentia 加速您的训练和推理工作流程

使用 Google TPU 加速您的训练和推理工作流程

使用 Habana 的 Gaudi 处理器最大限度地提高训练吞吐量和效率

在 FuriosaAI WARBOY 上进行快速高效的推理

一些软件包提供与硬件无关的功能（例如，Optimum Intel 中的 INC 接口）。

🤗 Optimum 还支持各种开源框架，使模型优化变得非常容易。

应用量化和图优化以使用 ONNX Runtime 加速 Transformers 模型的训练和推理

将您的 PyTorch 或 TensorFlow 模型导出为不同的格式，例如 ONNX 和 TFLite

一行代码集成，使用 PyTorch 的 BetterTransformer 与 Transformers 模型

创建和组合自定义图形转换，以使用 Torch FX 优化 PyTorch Transformers 模型