Cloudflare

功能	可用
工具	否
多模态	否

您可以使用 Cloudflare Workers AI 运行您自己的模型，进行无服务器推理。

您需要拥有一个 Cloudflare 账户，然后获取您的账户 ID 以及 Workers AI 的 API 令牌。

您可以直接在 .env.local 文件中使用 CLOUDFLARE_ACCOUNT_ID 和 CLOUDFLARE_API_TOKEN 变量指定它们，或者您可以直接在端点配置中设置它们。

您可以在这里找到 Cloudflare 上可用的模型列表。

MODELS=`[
  {
    "name" : "nousresearch/hermes-2-pro-mistral-7b",
    "tokenizer": "nousresearch/hermes-2-pro-mistral-7b",
    "parameters": {
      "stop": ["<|im_end|>"]
    },
    "endpoints" : [
      {
        "type" : "cloudflare"
        <!-- optionally specify these
        "accountId": "your-account-id",
        "authToken": "your-api-token"
        -->
      }
    ]
  }
]`

< > 在 GitHub 上更新

Chat UI

Cloudflare