optimum-tpu 文档
Optimum TPU 容器
加入 Hugging Face 社区
并获取增强的文档体验
开始使用
Optimum TPU 容器
文本生成推理 (TGI) 容器
| 容器 | 描述 | Optimum TPU | 镜像 URL |
|---|---|---|---|
| TGI 基础 | TPU 优化的 TGI，不依赖 GCP | 0.2.3 | ghcr.io/huggingface/optimum-tpu:v0.2.3-tgi |
| TGI GCP | TPU 优化的 TGI，依赖 GCP | 0.2.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-text-generation-inference-tpu.0.2.3.py310 |
训练容器
| 容器 | 描述 | PyTorch | Transformers | 镜像 URL |
|---|---|---|---|---|
| Training GCP | PyTorch 训练，依赖 GCP | 2.5.1 | 4.46.3 | us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-pytorch-training-tpu.2.5.1.transformers.4.46.3.py310 |
每个容器都针对特定用例进行了优化
- TGI 基础是为 TPU 优化的精简 TGI 服务器
- TGI GCP 包含一些额外的 GCP 依赖项，并托管在 GCP 上。这是在 GCP 上部署 TGI 的推荐方式
- Training GCP 容器用于在 TPU VM 上训练模型
版本信息
GCP 上的每个版本都固定到特定版本的 optimum-tpu、PyTorch 和/或 transformers。要查看最新的可用镜像