在 Google Cloud TPU 实例上训练

欢迎来到 🤗 Optimum-TPU 训练指南！本节介绍如何使用 Google Cloud TPU 微调模型。

支持的模型

请参阅 支持的模型。

入门

前提条件

在开始训练过程之前，请确保您已拥有

1. 已配置的 Google Cloud TPU 实例（请参阅 部署指南）
2. 已安装支持 PyTorch/XLA 的 Optimum-TPU

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

示例训练脚本

现在您可以按照我们的几个示例脚本之一开始操作

1. Gemma 微调

   • 请参阅我们的 Gemma 微调 notebook 以获取逐步指南

2. LLaMA 微调

   • 请查看我们的 LLaMA 微调 notebook 以获取详细说明