从源代码安装
从源代码安装 TGI 不是推荐的使用方法。我们强烈建议通过 Docker 使用 TGI,请查看 快速入门、Nvidia GPU 安装 和 AMD GPU 安装,了解如何使用 Docker 使用 TGI。
安装 CLI
您可以使用 TGI 命令行界面 (CLI) 下载权重、提供和量化模型,或获取有关服务参数的信息。
要安装 CLI,您需要先克隆 TGI 存储库,然后运行 make
。
git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
make install
如果您想使用自定义内核服务模型,请运行
BUILD_EXTENSIONS=True make install
本地从源代码安装
在开始之前,您需要设置您的环境并安装文本生成推理。文本生成推理在 **Python 3.9+** 上经过测试。
文本生成推理在 pypi、conda 和 GitHub 上可用。
要本地安装和启动,首先 安装 Rust 并创建一个至少使用 Python 3.9 的 Python 虚拟环境,例如使用 conda
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
conda create -n text-generation-inference python=3.9
conda activate text-generation-inference
您可能还需要安装 Protoc。
在 Linux 上
PROTOC_ZIP=protoc-21.12-linux-x86_64.zip
curl -OL https://github.com/protocolbuffers/protobuf/releases/download/v21.12/$PROTOC_ZIP
sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
sudo unzip -o $PROTOC_ZIP -d /usr/local 'include/*'
rm -f $PROTOC_ZIP
在 MacOS 上,使用 Homebrew
brew install protobuf
然后运行以安装文本生成推理
git clone https://github.com/huggingface/text-generation-inference.git && cd text-generation-inference
BUILD_EXTENSIONS=True make install
在某些机器上,您可能还需要 OpenSSL 库和 gcc。在 Linux 机器上,运行
sudo apt-get install libssl-dev gcc -y
安装完成后,只需运行
make run-falcon-7b-instruct
这将从端口 8080 提供 Falcon 7B Instruct 模型,我们可以查询该模型。
< > 更新 在 GitHub 上