模型概述

您可以通过更新 .env.local 中的 MODELS 变量来自定义传递给模型的参数，甚至使用新模型。默认值可以在 .env 中找到，如下所示

MODELS=`[
  {
    "name": "mistralai/Mistral-7B-Instruct-v0.2",
    "displayName": "mistralai/Mistral-7B-Instruct-v0.2",
    "description": "Mistral 7B is a new Apache 2.0 model, released by Mistral AI that outperforms Llama2 13B in benchmarks.",
    "websiteUrl": "https://mistral.ai/news/announcing-mistral-7b/",
    "preprompt": "",
    "chatPromptTemplate" : "<s>{{#each messages}}{{#ifUser}}[INST] {{#if @first}}{{#if @root.preprompt}}{{@root.preprompt}}\n{

{/if}

}{

{/if}

}{{content}} [/INST]{{/ifUser}}{{#ifAssistant}}{{content}}</s>{{/ifAssistant}}{{/each}}",
    "parameters": {
      "temperature": 0.3,
      "top_p": 0.95,
      "repetition_penalty": 1.2,
      "top_k": 50,
      "truncate": 3072,
      "max_new_tokens": 1024,
      "stop": ["</s>"]
    },
    "promptExamples": [
      {
        "title": "Write an email from bullet list",
        "prompt": "As a restaurant owner, write a professional email to the supplier to get these products every week: \n\n- Wine (x10)\n- Eggs (x24)\n- Bread (x12)"
      }, {
        "title": "Code a snake game",
        "prompt": "Code a basic snake game in python, give explanations for each step."
      }, {
        "title": "Assist in a task",
        "prompt": "How do I make a delicious lemon cheesecake?"
      }
    ]
  }
]`

您可以更改参数或自定义预提示以更好地满足您的需求。例如，您还可以通过向数组添加更多对象来添加更多模型，并为不同的模型使用不同的预提示。

聊天提示模板

在查询模型以获取聊天回复时，将使用 chatPromptTemplate 模板。messages 是聊天消息的数组，格式为 [{ content: string }, ...]。要识别消息是用户消息还是助手消息，可以使用 ifUser 和 ifAssistant 块辅助程序。

以下是默认的 chatPromptTemplate，尽管已添加换行符和缩进以提高可读性。您可以在此处找到用于 HuggingChat 的提示此处。使用的模板语言是 Handlebars。

{{preprompt}}
{{#each messages}}
	{

{#ifUser}

}{{@root.userMessageToken}}{{content}}{{@root.userMessageEndToken}}{{/ifUser}}
	{

{#ifAssistant
	}

}{{@root.assistantMessageToken}}{{content}}{{@root.assistantMessageEndToken}}{{/ifAssistant}}
{{/each}}
{{assistantMessageToken}}

自定义端点授权

基本和 Bearer

自定义端点可能需要授权，具体取决于您如何配置它们。身份验证通常使用 Basic 或 Bearer 设置。

对于 Basic，我们需要生成用户名和密码的 base64 编码。

echo -n "USER:PASS" | base64

VVNFUjpQQVNT

对于 Bearer，您可以使用令牌，可以从此处获取。

然后，您可以将生成的信息和 authorization 参数添加到您的 .env.local 中。

"endpoints": [
  {
    "url": "https://HOST:PORT",
    "authorization": "Basic VVNFUjpQQVNT",
  }
]

请注意，如果 HF_TOKEN 也已设置或不为空，它将优先。

托管在多个自定义端点上的模型

如果要托管的模型将在多个服务器/实例上可用，请将weight参数添加到您的.env.local文件中。weight将用于确定请求特定端点的概率。

"endpoints": [
  {
    "url": "https://HOST:PORT",
    "weight": 1
  },
  {
    "url": "https://HOST:PORT",
    "weight": 2
  }
  ...
]

客户端证书认证 (mTLS)

自定义端点可能需要客户端证书认证，具体取决于您的配置方式。要在 Chat UI 和您的自定义端点之间启用 mTLS，您需要将USE_CLIENT_CERTIFICATE设置为true，并将CERT_PATH和KEY_PATH参数添加到您的.env.local文件中。这些参数应指向您本地计算机上证书和密钥文件的位置。证书和密钥文件应为 PEM 格式。密钥文件可以使用密码加密，在这种情况下，您还需要将CLIENT_KEY_PASSWORD参数添加到您的.env.local文件中。

如果您使用的是由私有 CA 签名的证书，则还需要将CA_PATH参数添加到您的.env.local文件中。此参数应指向您本地计算机上 CA 证书文件的位置。

如果您使用的是自签名证书（例如，用于测试或开发目的），则可以在您的.env.local文件中将REJECT_UNAUTHORIZED参数设置为false。这将禁用证书验证，并允许 Chat UI 连接到您的自定义端点。

特定嵌入模型

模型可以使用TEXT_EMBEDDING_MODELS下定义的任何嵌入模型（目前用于网络搜索）。默认情况下，它将使用第一个嵌入模型，但可以通过embeddingModel字段进行更改。

TEXT_EMBEDDING_MODELS = `[
  {
    "name": "Xenova/gte-small",
    "chunkCharLength": 512,
    "endpoints": [
      {"type": "transformersjs"}
    ]
  },
  {
    "name": "intfloat/e5-base-v2",
    "chunkCharLength": 768,
    "endpoints": [
      {"type": "tei", "url": "http://127.0.0.1:8080/", "authorization": "Basic VVNFUjpQQVNT"},
      {"type": "tei", "url": "http://127.0.0.1:8081/"}
    ]
  }
]`

MODELS=`[
  {
      "name": "Ollama Mistral",
      "chatPromptTemplate": "...",
      "embeddingModel": "intfloat/e5-base-v2"
      "parameters": {
        ...
      },
      "endpoints": [
        ...
      ]
  }
]`

< > 在 GitHub 上更新