使用 TGI CLI

您可以使用 TGI 命令行界面 (CLI) 下载权重、服务和量化模型，或获取有关服务参数的信息。要安装 CLI，请参阅安装部分。

text-generation-server 允许您使用 download-weights 命令下载模型，如下所示 👇

text-generation-server download-weights MODEL_HUB_ID

您也可以使用它来量化模型，如下所示 👇

text-generation-server quantize MODEL_HUB_ID OUTPUT_DIR

您可以使用 text-generation-launcher 来服务模型。

text-generation-launcher --model-id MODEL_HUB_ID --port 8080

您可以将许多选项和参数传递给 text-generation-launcher。CLI 的文档保持在最低限度，旨在依赖于自生成文档，可以通过运行以下命令找到：

text-generation-launcher --help

您也可以在此 Swagger UI 中找到它。

text-generation-server 也有相同的文档。

text-generation-server --help