🤗 Optimum TPU

Optimum TPU 提供了所有必要的机制，以利用和优化在 Google Cloud TPU 设备上运行的 AI 工作负载。Optimum-TPU 是一个 HuggingFace 解决方案，旨在为 TPU 平台优化 HuggingFace 产品。这使得用户可以在 TPU 上使用 HuggingFace 的功能和易于使用的库，并获得最佳性能。我们目前优化了 Transformers 和 TGI，并集成了 HuggingFace Hub，这样你就可以访问 HuggingFace 庞大的模型库。

如果你想开始在 TPU 上使用 HuggingFace 产品，那么你来对地方了

该 API 提供了与 HuggingFace Transformers 总体相同的用户体验，只需进行最少的更改即可实现推理和训练的性能目标。

Optimum TPU 旨在尽可能减少利用 Google Cloud TPU 加速器的阻力。因此，我们提供了一个可通过 pip 安装的包，以确保每个人都能轻松上手。

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

为何选择 TPU

TPU 在处理涉及矩阵计算、训练周期长和批次量大的大规模机器学习工作负载方面表现出色。相比之下，GPU 为具有自定义操作或 CPU/GPU 混合工作负载的模型提供了更大的灵活性。TPU 不适合需要频繁分支、高精度算术或自定义训练循环操作的工作负载。更多信息请参见 https://cloud.google.com/tpu/docs/intro-to-tpu#when_to_use_tpus

为何选择 Optimum-TPU

Optimum-TPU 是连接 HuggingFace 生态系统和 Google Cloud TPU 硬件的桥梁。它极大地简化了原本复杂的集成过程，提供了一个直观的界面，该界面在保持高性能的同时，抽象化了 TPU 特定的实现细节。通过自动优化、高效的批处理策略、智能内存管理等方式，Optimum-TPU 确保你的模型在 TPU 硬件上以最高效率运行。该框架与 HuggingFace Hub 的模型和数据集目录深度集成，使得部署和微调最先进的模型变得简单，同时保留了 HuggingFace 库熟悉的易用性，并最大化了 TPU 硬件的能力。