安装

这假设您已经有一个正在运行的 TPU 实例。如果没有，请查看 TPU 设置教程

如果这是您第一次使用 TPU，请查看我们的教程，其中解释了 如何首次设置 TPU

本演练将解释如何安装 optimum-tpu 包，以利用 HuggingFace 的解决方案在 Google TPU 上尽可能快地运行 AI 工作负载 🚀

Optimum-TPU

安装 optimum-tpu python 包主要用于训练。如果您希望进行服务，建议的方式是通过 我们的 TGI 容器 进行交互。您还可以查看我们的 服务教程 以获取更多信息。

要安装 Optimum-TPU，应该非常简单，只需：

$ python3 -m pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html
$ export PJRT_DEVICE=TPU

您现在可以通过 Optimum-TPU 利用 PyTorch/XLA。您可以使用以下命令验证安装，该命令应打印 xla:0，因为我们确实有一个绑定到此实例的 TPU 设备。

$ python -c "import torch_xla.core.xla_model as xm; print(xm.xla_device())"
xla:0

您还可以查看我们的 微调示例 的其余部分，以获取有关如何使用 optimum-tpu 包的更多信息

备注：您还可以使用 optimum-tpu 训练容器，以获得预先设置好的容器，其中安装了 optimum-tpu 和所有预先配置的 HuggingFace 库