optimum-tpu 文档
首次在 Google Cloud 上设置 TPU
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
首次在 Google Cloud 上设置 TPU
本指南将引导您在 Google Cloud Platform (GCP) 上设置和访问您的第一个 TPU 实例。
先决条件
在开始之前,请确保您已具备
- 一个 Google Cloud 账号
- 您的账号已启用结算功能
- 对云控制台有基本了解
步骤 1:启用 TPU 访问权限
导航到 TPU 仪表板:https://console.cloud.google.com/compute/tpus
- 注意:如果您尚未启用 TPU API,则需要启用它
- 必须将有效的结算账号关联到您的项目
如果出现提示,请为您的项目启用 TPU API
步骤 2:创建您的 TPU 实例
点击“创建”按钮设置您的 TPU 实例。
区域选择
- 查看可用的 TPU 区域和可用区:https://cloud.google.com/tpu/docs/regions-zones
- 在此示例中,我们将使用
us-west-4a
可用区- 重要提示:TPU 的可用性可能因区域而异
- 提示:选择靠近您主要使用地点的区域
TPU 配置
- 选择 TPU 类型
- 我们将使用 TPU
v5e-8
(对应于 v5litepod8)。这是一个包含 8 个 v5e TPU 芯片的 TPU 节点。 - 有关 TPU 类型的详细规格,请参阅我们的TPU 硬件类型文档
- 我们将使用 TPU
- 选择运行时
- 选择
v2-alpha-tpuv5-lite
运行时 - 此运行时已针对 TPU v5e 进行了优化
- 有关运行时的更多信息,请参阅我们的TPU 硬件页面中 TPU 推荐运行时部分
- 选择
步骤 3:访问您的 TPU
创建后,您的 TPU 实例应该可以通过 SSH 访问。
访问您的 TPU
- 点击控制台中的 SSH 按钮以立即访问终端
永久 SSH 访问
- 按照以下指南添加您的 SSH 密钥:https://cloud.google.com/compute/docs/connect/add-ssh-keys
- 这将为未来的会话提供更便捷的访问
- 您还可以查看我们关于 gcloud cli 的指南中的 ssh 部分
后续步骤
现在您已经拥有了一个可用的 TPU 环境,您可以开始将其用于 AI 工作负载。我们根据您的用例提供两种主要路径:
AI 推理和训练教程
在 TPU 上进行模型服务
- 请遵循我们的服务教程:首次在 TPU 上进行模型服务
- 了解如何在 TPU 上高效部署和提供 ML 模型
在 TPU 上进行模型训练
- 从我们的训练指南开始:首次在 TPU 上进行模型训练
- 了解如何在 TPU 上开始训练 ML 模型
选择最符合您当前需求的教程