optimum-tpu 文档

Google Cloud 上的首次 TPU 设置

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

Google Cloud 上的首次 TPU 设置

本指南将引导您完成在 Google Cloud Platform (GCP) 上设置和访问您的首个 TPU 实例的过程。

先决条件

在开始之前,请确保您已拥有

  • Google Cloud 帐户
  • 您的帐户已启用结算功能
  • 云控制台的基本操作知识

步骤 1:启用 TPU 访问权限

  1. 导航到 TPU 仪表板:https://console.cloud.google.com/compute/tpus

    • 注意:如果尚未启用 TPU API,则需要启用它
    • 有效的结算帐户必须链接到您的项目
  2. 如果出现提示,请为您的项目启用 TPU API

TPU Dashboard

步骤 2:创建 TPU 实例

单击“创建”按钮以设置您的 TPU 实例。

TPU Setup

区域选择

  1. 查看 TPU 的可用区域和可用区:https://cloud.google.com/tpu/docs/regions-zones
  2. 在此示例中,我们将使用 us-west-4a 可用区
    • 重要提示:TPU 的可用性可能因区域而异
    • 提示:选择离您的主要使用位置较近的区域

TPU 配置

  1. 选择 TPU 类型
    • 我们将使用 TPU v5e-8(对应于 v5litepod8)。这是一个包含 8 个 v5e TPU 芯片的 TPU 节点
    • 有关 TPU 类型的详细规格,请参阅我们的 TPU 硬件类型文档
  2. 选择运行时
    • 选择 v2-alpha-tpuv5-lite 运行时
    • 此运行时针对 TPU v5e 进行了优化
      • 有关运行时的更多信息,请参阅我们的 TPU 硬件页面中关于 TPU 推荐运行时的部分

步骤 3:访问您的 TPU

创建后,您的 TPU 实例应该可以通过 ssh 访问

  1. 访问您的 TPU

    • 单击控制台中的 SSH 按钮以获得即时终端访问

    TPU SSH

  2. 如需永久 SSH 访问

后续步骤

现在您已经拥有一个可用的 TPU 环境,您可以开始将其用于 AI 工作负载。我们根据您的用例提供两条主要路径

AI 推理和训练教程

  1. TPU 上的模型服务

  2. TPU 上的模型训练

选择最符合您当前需求的教程