Hugging Face 徽标

聊天 UI 文档

OpenAI

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

入门

OpenAI

功能 可用
工具 否
多模态 否

聊天 UI 可与任何支持 OpenAI API 兼容性的 API 服务器一起使用，例如 text-generation-webui、LocalAI、FastChat、llama-cpp-python 和 ialacol 以及 vllm。

以下示例配置使聊天 UI 可与 text-generation-webui 配合使用，endpoint.baseUrl 是 OpenAI API 兼容服务器的 URL，它会覆盖 OpenAI 实例要使用的 baseUrl。endpoint.completion 确定要使用的端点，默认情况下为 chat_completions，它使用 /chat/completions，将 endpoint.completion 更改为 completions 以使用 /completions 端点。

MODELS=`[
  {
    "name": "text-generation-webui",
    "id": "text-generation-webui",
    "parameters": {
      "temperature": 0.9,
      "top_p": 0.95,
      "repetition_penalty": 1.2,
      "top_k": 50,
      "truncate": 1000,
      "max_new_tokens": 1024,
      "stop": []
    },
    "endpoints": [{
      "type" : "openai",
      "baseURL": "http://localhost:8000/v1"
    }]
  }
]`

openai 类型包含官方 OpenAI 模型。例如，可以将 GPT4/GPT3.5 添加为“openai”模型。

OPENAI_API_KEY=#your openai api key here
MODELS=`[{
  "name": "gpt-4",
  "displayName": "GPT 4",
  "endpoints" : [{
    "type": "openai",
    "apiKey": "or your openai api key here"
  }]
},{
  "name": "gpt-3.5-turbo",
  "displayName": "GPT 3.5 Turbo",
  "endpoints" : [{
    "type": "openai",
    "apiKey": "or your openai api key here"
  }]
}]`

您还可以使用任何提供兼容 OpenAI API 端点的模型提供程序。例如，您可以自托管 Portkey 网关并使用 Azure OpenAI 提供的 Claude 或 GPT 进行实验。Anthropic 的 Claude 示例

MODELS=`[{
  "name": "claude-2.1",
  "displayName": "Claude 2.1",
  "description": "Anthropic has been founded by former OpenAI researchers...",
  "parameters": {
    "temperature": 0.5,
    "max_new_tokens": 4096,
  },
  "endpoints": [
    {
      "type": "openai",
      "baseURL": "https://gateway.example.com/v1",
      "defaultHeaders": {
        "x-portkey-config": '{"provider":"anthropic","api_key":"sk-ant-abc...xyz"}'
      }
    }
  ]
}]`

部署在 Azure OpenAI 上的 GPT 4 示例

MODELS=`[{
  "id": "gpt-4-1106-preview",
  "name": "gpt-4-1106-preview",
  "displayName": "gpt-4-1106-preview",
  "parameters": {
    "temperature": 0.5,
    "max_new_tokens": 4096,
  },
  "endpoints": [
    {
      "type": "openai",
      "baseURL": "https://{resource-name}.openai.azure.com/openai/deployments/{deployment-id}",
      "defaultHeaders": {
        "api-key": "{api-key}"
      },
      "defaultQuery": {
        "api-version": "2023-05-15"
      }
    }
  ]
}]`

DeepInfra

或尝试来自 Deepinfra 的 Mistral。

注意，apiKey 可以针对每个端点自定义设置，也可以使用 OPENAI_API_KEY 变量全局设置。

MODELS=`[{
  "name": "mistral-7b",
  "displayName": "Mistral 7B",
  "description": "A 7B dense Transformer, fast-deployed and easily customisable. Small, yet powerful for a variety of use cases. Supports English and code, and a 8k context window.",
  "parameters": {
    "temperature": 0.5,
    "max_new_tokens": 4096,
  },
  "endpoints": [
    {
      "type": "openai",
      "baseURL": "https://api.deepinfra.com/v1/openai",
      "apiKey": "abc...xyz"
    }
  ]
}]`

其他

一些其他提供商及其 baseURL 供参考。

Groq: https://api.groq.com/openai/v1 Fireworks: https://api.fireworks.ai/inference/v1

< > 更新 在 GitHub 上

←Ollama TGI→