使用 TGI 命令行界面

您可以使用 TGI 命令行界面 (CLI) 下载权重、服务和量化模型，或者获取有关服务参数的信息。要安装 CLI，请参考 安装部分。

text-generation-server 允许您使用以下命令下载模型：download-weights 👇

text-generation-server download-weights MODEL_HUB_ID

您也可以使用它来量化模型，如下所示 👇

text-generation-server quantize MODEL_HUB_ID OUTPUT_DIR

您可以使用 text-generation-launcher 来服务模型。

text-generation-launcher --model-id MODEL_HUB_ID --port 8080

您可以传递许多选项和参数到 text-generation-launcher。CLI 文档保持简短，旨在依靠自生成文档，您可以通过运行以下命令找到这些文档：

text-generation-launcher --help

您也可以在 Swagger UI 中找到它。

text-generation-server 的文档相同。

text-generation-server --help