text-generation-inference 文档

在 Google TPU 上使用 TGI

text-generation-inference

加入 Hugging Face 社区

并获得增强的文档体验

协作处理模型、数据集和 Spaces

通过加速推理获得更快的示例

切换文档主题

开始使用

在 Google TPU 上使用 TGI

查看这份关于如何在 TPU 上使用 TGI 服务模型的指南。

< > 更新在 GitHub 上

←在 AWS Trainium 和 Inferentia 上使用 TGI 在 Intel GPU 上使用 TGI→