🤗 Optimum TPU

Optimum TPU 提供了所有必要的机制来利用和优化在 Google Cloud TPU 设备上运行的 AI 工作负载。Optimum-TPU 是 HuggingFace 针对 TPU 平台优化 HuggingFace 产品的解决方案。这允许用户在 TPU 上使用 HuggingFace 功能和易于使用的库，以获得最佳性能。我们目前优化 transformers 和 TGI，并集成 HuggingFace hub，以便您可以访问 HuggingFace 庞大的模型库。

如果您来这里是为了开始在 TPU 上使用 HuggingFace 产品，那么您来对地方了

该 API 提供了与 HuggingFace transformers 总体相同的用户体验，只需进行最少的更改即可针对推理和训练的性能。

Optimum TPU 旨在尽可能减少摩擦，以便利用 Google Cloud TPU 加速器。因此，我们提供了一个可通过 pip 安装的软件包，以确保每个人都可以轻松入门。

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

为什么选择 TPU

TPU 在大规模机器学习工作负载方面表现出色，这些工作负载包括矩阵计算、扩展的训练周期和大型批量大小。相比之下，GPU 为具有自定义操作或混合 CPU/GPU 工作负载的模型提供了更大的灵活性。对于需要频繁分支、高精度算术或自定义训练循环操作的工作负载，TPU 并非理想选择。更多信息请访问 https://cloud.google.com/tpu/docs/intro-to-tpu#when_to_use_tpus

为什么选择 Optimum-TPU

Optimum-TPU 充当 HuggingFace 生态系统和 Google Cloud TPU 硬件之间的桥梁。它极大地简化了原本复杂的集成过程，提供了一个直观的界面，该界面抽象出了 TPU 特定的实现细节，同时保持了高性能。通过自动化优化、高效的批处理策略、智能内存管理等，Optimum-TPU 确保您的模型在 TPU 硬件上以最佳效率运行。该框架与 HuggingFace Hub 模型和数据集目录的深度集成使得可以轻松部署和微调最先进的模型，同时保持 HuggingFace 库熟悉的易用性，并最大程度地发挥 TPU 硬件的功能。