text-generation-inference 文档

从源代码安装

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验的访问权限

开始使用

从源代码安装

从源代码安装 TGI 不是推荐的使用方法。我们强烈建议通过 Docker 使用 TGI,请查看 快速入门Nvidia GPU 安装AMD GPU 安装,了解如何使用 Docker 使用 TGI。

安装 CLI

您可以使用 TGI 命令行界面 (CLI) 下载权重、提供和量化模型,或获取有关服务参数的信息。

要安装 CLI,您需要先克隆 TGI 存储库,然后运行 make

git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
make install

如果您想使用自定义内核服务模型,请运行

BUILD_EXTENSIONS=True make install

本地从源代码安装

在开始之前,您需要设置您的环境并安装文本生成推理。文本生成推理在 **Python 3.9+** 上经过测试。

文本生成推理在 pypi、conda 和 GitHub 上可用。

要本地安装和启动,首先 安装 Rust 并创建一个至少使用 Python 3.9 的 Python 虚拟环境,例如使用 conda

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

conda create -n text-generation-inference python=3.9
conda activate text-generation-inference

您可能还需要安装 Protoc。

在 Linux 上

PROTOC_ZIP=protoc-21.12-linux-x86_64.zip
curl -OL https://github.com/protocolbuffers/protobuf/releases/download/v21.12/$PROTOC_ZIP
sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
sudo unzip -o $PROTOC_ZIP -d /usr/local 'include/*'
rm -f $PROTOC_ZIP

在 MacOS 上,使用 Homebrew

brew install protobuf

然后运行以安装文本生成推理

git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
BUILD_EXTENSIONS=True make install

在某些机器上,您可能还需要 OpenSSL 库和 gcc。在 Linux 机器上,运行

sudo apt-get install libssl-dev gcc -y

安装完成后,只需运行

make run-falcon-7b-instruct

这将从端口 8080 提供 Falcon 7B Instruct 模型,我们可以查询该模型。

< > 更新 在 GitHub 上