text-generation-inference 文档

将 TGI 与 Inferentia 结合使用

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

将 TGI 与 Inferentia 结合使用

您可以使用 TGI Neuron 后端在 AWS Trainium 和 Inferentia 平台上使用 TGI。

< > 在 GitHub 上更新