文本生成推理 (TGI)

特征	可用
工具	是*
多模态	是*

* 工具仅支持使用 Xenova 分词器的 Cohere Command R+ 模型。请参阅工具部分。

* 多模态仅支持 IDEFICS 模型。请参阅多模态部分。

默认情况下，如果未指定endpoints，则聊天 UI 将使用模型名称在托管的 Hugging Face 推理 API 上查找模型，并使用您的HF_TOKEN。有关模型配置的更多信息，请参阅概述。

MODELS=`[
  {
    "name": "mistralai/Mistral-7B-Instruct-v0.2",
    "displayName": "mistralai/Mistral-7B-Instruct-v0.2",
    "description": "Mistral 7B is a new Apache 2.0 model, released by Mistral AI that outperforms Llama2 13B in benchmarks.",
    "websiteUrl": "https://mistral.ai/news/announcing-mistral-7b/",
    "preprompt": "",
    "chatPromptTemplate" : "<s>{{#each messages}}{{#ifUser}}[INST] {{#if @first}}{{#if @root.preprompt}}{{@root.preprompt}}\n{

{/if}

}{

{/if}

}{{content}} [/INST]{{/ifUser}}{{#ifAssistant}}{{content}}</s>{{/ifAssistant}}{{/each}}",
    "parameters": {
      "temperature": 0.3,
      "top_p": 0.95,
      "repetition_penalty": 1.2,
      "top_k": 50,
      "truncate": 3072,
      "max_new_tokens": 1024,
      "stop": ["</s>"]
    },
    "promptExamples": [
      {
        "title": "Write an email from bullet list",
        "prompt": "As a restaurant owner, write a professional email to the supplier to get these products every week: \n\n- Wine (x10)\n- Eggs (x24)\n- Bread (x12)"
      }, {
        "title": "Code a snake game",
        "prompt": "Code a basic snake game in python, give explanations for each step."
      }, {
        "title": "Assist in a task",
        "prompt": "How do I make a delicious lemon cheesecake?"
      }
    ]
  }
]`

使用自定义端点运行您自己的模型

如果您希望，可以本地运行您自己的模型，而不是在 Hugging Face 推理 API 上访问模型。

一个不错的选择是访问文本生成推理端点。例如，在官方的聊天 UI 空间 Docker 模板中就是这样做的：此应用程序和文本生成推理服务器都在同一个容器内运行。

为此，您可以通过为MODELS中的每个模型添加"endpoints"键，将您自己的端点添加到.env.local中的MODELS变量。

MODELS=`[{
  "name": "your-model-name",
  "displayName": "Your Model Name",
  ... other model config
  "endpoints": [{
    "type" : "tgi",
    "url": "https://HOST:PORT",
  }]
}]

< > 在 GitHub 上更新