工具

工具调用指示模型生成与用户定义的模式匹配的输出，该模式可以被解析以调用外部工具。模型只需选择工具及其参数。目前，仅支持TGI和带有Command R+的Cohere。

TGI 配置

需要一个自定义分词器来提示模型生成工具调用，以及使用结果进行提示。这些工具和生成的工具调用的预期格式对于 TGI 来说是硬编码的，因此可能只有以下配置才能正常工作

MODELS=`[
  {
    "name" : "CohereForAI/c4ai-command-r-plus",
    "displayName": "Command R+",
    "description": "Command R+ is Cohere's latest LLM and is the first open weight model to beat GPT4 in the Chatbot Arena!",
    "tools": true,
    "tokenizer": "Xenova/c4ai-command-r-v01-tokenizer",
    "modelUrl": "https://huggingface.co/CohereForAI/c4ai-command-r-plus",
    "websiteUrl": "https://docs.cohere.com/docs/command-r-plus",
    "logoUrl": "https://huggingface.co/datasets/huggingchat/models-logo/resolve/main/cohere-logo.png",
    "parameters": {
      "stop": ["<|END_OF_TURN_TOKEN|>"],
      "truncate" : 28672,
      "max_new_tokens" : 4096,
      "temperature" : 0.3
    }
  }
]`

Cohere 配置

Cohere 提供商支持工具调用的端点原生方法。有关实现细节，请参阅endpoints/cohere。

MODELS=`[
  {
    "name": "command-r-plus",
    "displayName": "Command R+",
    "description": "Command R+ is Cohere's latest LLM and is the first open weight model to beat GPT4 in the Chatbot Arena!",
    "tools": true,
    "websiteUrl": "https://docs.cohere.com/docs/command-r-plus",
    "logoUrl": "https://huggingface.co/datasets/huggingchat/models-logo/resolve/main/cohere-logo.png",
    "endpoints": [{
      "type": "cohere",
      "apiKey": "YOUR_API_KEY"
    }]
  }
]`

添加工具

工具实现放置在src/lib/server/tools中，并提供帮助程序以方便地与 HuggingFace Zero GPU 空间集成。将来，可能会有一个 OpenAPI 接口用于添加工具。

添加对其他模型的支持

TGI 实现使用自定义分词器和硬编码模式来支持工具。另一方面，Cohere 实现使用 SDK 中的本机支持来发出工具调用。这是添加更多模型支持的推荐方法。有关实现细节，请参阅代码的endpoints/cohere部分。

< > 在 GitHub 上更新

聊天界面

工具

TGI 配置

Cohere 配置

添加工具

添加对其他模型的支持