optimum-tpu 文档
Optimum TPU 容器
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
Optimum TPU 容器
文本生成推理 (TGI) 容器
| 容器 | 描述 | Optimum TPU | 镜像 URL |
|---|---|---|---|
| TGI Base | TPU 优化的 TGI，不含 GCP 依赖项 | 0.2.3 | ghcr.io/huggingface/optimum-tpu:v0.2.3-tgi |
| TGI GCP | TPU 优化的 TGI，含 GCP 依赖项 | 0.2.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-text-generation-inference-tpu.0.2.3.py310 |
训练容器
| 容器 | 描述 | PyTorch | Transformers | 镜像 URL |
|---|---|---|---|---|
| 训练 GCP | 带 GCP 依赖项的 PyTorch 训练 | 2.5.1 | 4.46.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-pytorch-training-tpu.2.5.1.transformers.4.46.3.py310 |
每个容器都针对特定用例进行了优化
- TGI Base 是一个为 TPU 优化的裸机 TGI 服务器
- TGI GCP 包含一些额外的 GCP 依赖项，并托管在 GCP 上。这是在 GCP 上部署 TGI 的推荐方式
- 用于在 TPU VM 上训练模型的训练 GCP 容器
版本信息
GCP 上的每个版本都固定到特定版本的 optimum-tpu、PyTorch 和/或 transformers。要检查最新的可用镜像