optimum-tpu 文档
Google Cloud 上的首次 TPU 设置
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
Google Cloud 上的首次 TPU 设置
本指南将引导您完成在 Google Cloud Platform (GCP) 上设置和访问您的首个 TPU 实例的过程。
先决条件
在开始之前,请确保您已拥有
- Google Cloud 帐户
- 您的帐户已启用结算功能
- 云控制台的基本操作知识
步骤 1:启用 TPU 访问权限
导航到 TPU 仪表板:https://console.cloud.google.com/compute/tpus
- 注意:如果尚未启用 TPU API,则需要启用它
- 有效的结算帐户必须链接到您的项目
如果出现提示,请为您的项目启用 TPU API
步骤 2:创建 TPU 实例
单击“创建”按钮以设置您的 TPU 实例。
区域选择
- 查看 TPU 的可用区域和可用区:https://cloud.google.com/tpu/docs/regions-zones
- 在此示例中,我们将使用
us-west-4a
可用区- 重要提示:TPU 的可用性可能因区域而异
- 提示:选择离您的主要使用位置较近的区域
TPU 配置
- 选择 TPU 类型
- 我们将使用 TPU
v5e-8
(对应于 v5litepod8)。这是一个包含 8 个 v5e TPU 芯片的 TPU 节点 - 有关 TPU 类型的详细规格,请参阅我们的 TPU 硬件类型文档
- 我们将使用 TPU
- 选择运行时
- 选择
v2-alpha-tpuv5-lite
运行时 - 此运行时针对 TPU v5e 进行了优化
- 有关运行时的更多信息,请参阅我们的 TPU 硬件页面中关于 TPU 推荐运行时的部分
- 选择
步骤 3:访问您的 TPU
创建后,您的 TPU 实例应该可以通过 ssh 访问
访问您的 TPU
- 单击控制台中的 SSH 按钮以获得即时终端访问
如需永久 SSH 访问
- 按照以下指南添加您的 SSH 密钥:https://cloud.google.com/compute/docs/connect/add-ssh-keys
- 这将为未来的会话提供更便捷的访问
- 您还可以查看我们的 关于 gcloud cli 的指南中的 ssh 部分
后续步骤
现在您已经拥有一个可用的 TPU 环境,您可以开始将其用于 AI 工作负载。我们根据您的用例提供两条主要路径
AI 推理和训练教程
TPU 上的模型服务
- 请按照我们的服务教程:TPU 上的首次模型服务
- 了解如何在 TPU 上高效地部署和服务 ML 模型
TPU 上的模型训练
- 从我们的训练指南开始:TPU 上的首次模型训练
- 了解如何在 TPU 上开始训练 ML 模型
选择最符合您当前需求的教程