用于 AWS inferentia2 的 NeuronX 文本生成推理

文本生成推理（TGI）是用于部署和提供大型语言模型（LLMs）服务的工具包。

neuron 后端允许为 Trainium 和 Inferentia 芯片部署 TGI。