optimum-tpu 文档

首次在 Google Cloud 上设置 TPU

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

首次在 Google Cloud 上设置 TPU

本指南将引导您在 Google Cloud Platform (GCP) 上设置和访问您的第一个 TPU 实例。

先决条件

在开始之前,请确保您已具备

  • 一个 Google Cloud 账号
  • 您的账号已启用结算功能
  • 对云控制台有基本了解

步骤 1:启用 TPU 访问权限

  1. 导航到 TPU 仪表板:https://console.cloud.google.com/compute/tpus

    • 注意:如果您尚未启用 TPU API,则需要启用它
    • 必须将有效的结算账号关联到您的项目
  2. 如果出现提示,请为您的项目启用 TPU API

TPU Dashboard

步骤 2:创建您的 TPU 实例

点击“创建”按钮设置您的 TPU 实例。

TPU Setup

区域选择

  1. 查看可用的 TPU 区域和可用区:https://cloud.google.com/tpu/docs/regions-zones
  2. 在此示例中,我们将使用 us-west-4a 可用区
    • 重要提示:TPU 的可用性可能因区域而异
    • 提示:选择靠近您主要使用地点的区域

TPU 配置

  1. 选择 TPU 类型
    • 我们将使用 TPU v5e-8(对应于 v5litepod8)。这是一个包含 8 个 v5e TPU 芯片的 TPU 节点。
    • 有关 TPU 类型的详细规格,请参阅我们的TPU 硬件类型文档
  2. 选择运行时
    • 选择 v2-alpha-tpuv5-lite 运行时
    • 此运行时已针对 TPU v5e 进行了优化
      • 有关运行时的更多信息,请参阅我们的TPU 硬件页面中 TPU 推荐运行时部分

步骤 3:访问您的 TPU

创建后,您的 TPU 实例应该可以通过 SSH 访问。

  1. 访问您的 TPU

    • 点击控制台中的 SSH 按钮以立即访问终端

    TPU SSH

  2. 永久 SSH 访问

后续步骤

现在您已经拥有了一个可用的 TPU 环境,您可以开始将其用于 AI 工作负载。我们根据您的用例提供两种主要路径:

AI 推理和训练教程

  1. 在 TPU 上进行模型服务

  2. 在 TPU 上进行模型训练

选择最符合您当前需求的教程