text-generation-inference 文档

支持的模型

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

支持的模型

文本生成推理支持服务优化的模型。以下部分列出了支持的模型(VLM 和 LLM)。

如果上述列表没有您想服务的模型,根据模型的管道类型,您可以尝试初始化并服务该模型,以查看其表现如何,但对于未优化的模型,性能无法保证。

# for causal LMs/text-generation models
AutoModelForCausalLM.from_pretrained(<model>, device_map="auto")
# or, for text-to-text generation models
AutoModelForSeq2SeqLM.from_pretrained(<model>, device_map="auto")

如果您希望服务一个已存在于本地文件夹中的受支持模型,只需指向该本地文件夹即可。

text-generation-launcher --model-id <PATH-TO-LOCAL-BLOOM>
< > 在 GitHub 上更新