支持的模型
文本生成推理支持提供优化的模型。以下部分列出了支持的模型（VLMs 和 LLMs）。
- Deepseek V2
- Idefics 2（多模态）
- Llava Next (1.6)（多模态）
- Llama
- Phi 3
- Gemma
- PaliGemma
- Gemma2
- Cohere
- Dbrx
- Mamba
- Mistral
- Mixtral
- Gpt Bigcode
- Phi
- PhiMoe
- Baichuan
- Falcon
- StarCoder 2
- Qwen 2
- Opt
- T5
- Galactica
- SantaCoder
- Bloom
- Mpt
- Gpt2
- Gpt Neox
- Gptj
- Idefics（多模态）
- Mllama（多模态）
如果上面的列表缺少您想要提供的模型，请根据模型的管道类型，尝试初始化并提供模型，以查看其性能。但是，对于未优化的模型，性能无法保证。
# for causal LMs/text-generation models
AutoModelForCausalLM.from_pretrained(<model>, device_map="auto")`
# or, for text-to-text generation models
AutoModelForSeq2SeqLM.from_pretrained(<model>, device_map="auto")如果您希望提供已存在于本地文件夹中的受支持模型，只需指向本地文件夹即可。
text-generation-launcher --model-id <PATH-TO-LOCAL-BLOOM>