Cloudflare

功能	可用
工具	否
多模态	否

您可以使用 Cloudflare Workers AI 使用无服务器推理运行自己的模型。

您需要拥有 Cloudflare 帐户，然后获取您的帐户 ID 以及您的 Workers AI API 令牌。

您可以直接在您的 .env.local 中使用 CLOUDFLARE_ACCOUNT_ID 和 CLOUDFLARE_API_TOKEN 变量指定它们，或者您可以在端点配置中直接设置它们。

您可以在 Cloudflare 上找到可用的模型列表这里。

MODELS=`[
  {
    "name" : "nousresearch/hermes-2-pro-mistral-7b",
    "tokenizer": "nousresearch/hermes-2-pro-mistral-7b",
    "parameters": {
      "stop": ["<|im_end|>"]
    },
    "endpoints" : [
      {
        "type" : "cloudflare"
        <!-- optionally specify these
        "accountId": "your-account-id",
        "authToken": "your-api-token"
        -->
      }
    ]
  }
]`

< > 更新在 GitHub 上

聊天 UI

Cloudflare