text-generation-inference 文档
支持的模型
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
支持的模型
Text Generation Inference 能够服务优化的模型。以下部分列出了支持的模型（VLMs 和 LLMs）。
- Deepseek V2
- Deepseek V3
- Idefics 2 (多模态)
- Idefics 3 (多模态)
- Llava Next (1.6) (多模态)
- Llama
- Llama4
- Phi 3
- Granite
- Gemma
- PaliGemma
- Gemma2
- Gemma3
- Gemma3 Text
- Cohere
- Dbrx
- Mamba
- Mistral
- Mixtral
- Gpt Bigcode
- Phi
- PhiMoe
- Baichuan
- Falcon
- StarCoder 2
- Qwen 2
- Qwen 2 VL
- Qwen 2.5 VL
- Opt
- T5
- Galactica
- SantaCoder
- Bloom
- Mpt
- Gpt2
- Gpt Neox
- Gptj
- Idefics (多模态)
- Mllama (多模态)
如果以上列表缺少您想要服务的模型，根据模型的 pipeline 类型，您可以尝试初始化并服务该模型，看看它的性能如何，但非优化模型的性能不能保证。
# for causal LMs/text-generation models
AutoModelForCausalLM.from_pretrained(<model>, device_map="auto")
# or, for text-to-text generation models
AutoModelForSeq2SeqLM.from_pretrained(<model>, device_map="auto")如果您希望服务于本地文件夹中已存在的受支持模型，只需指向本地文件夹即可。
text-generation-launcher --model-id <PATH-TO-LOCAL-BLOOM>