在 Google Cloud TPU 实例上进行训练

欢迎阅读 🤗 Optimum-TPU 训练指南！本节介绍如何使用 Google Cloud TPU 对模型进行微调。

支持的模型

请参阅支持的模型。

入门

先决条件

在开始训练过程之前，请确保您已具备：

1. 配置好的 Google Cloud TPU 实例（请参阅部署指南）
2. 安装了支持 PyTorch/XLA 的 Optimum-TPU

pip install optimum-tpu -f https://storage.googleapis.com/libtpu-releases/index.html

训练脚本示例

现在您可以按照我们的一些示例脚本开始训练

1. Gemma 微调

   • 请参阅我们的Gemma 微调笔记本以获取分步指南

2. LLaMA 微调

   • 请查看我们的LLaMA 微调笔记本以获取详细说明