NeuronX Text-generation-inference for AWS inferentia2

文本生成推理 (TGI) 是一个用于部署和提供大型语言模型 (LLMs) 服务的工具包。

一个 neuron 后端 允许为 Trainium 和 Inferentia 芯片部署 TGI。