将 Litellm 用作后端

Lighteval 允许使用 litellm，这是一个后端，它允许您使用 OpenAI 格式 [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq 等] 调用所有 LLM API。

有关可用 API 和兼容端点的文档可以在此处找到。

快速使用

lighteval endpoint litellm \
    "provider=openai,model_name=gpt-3.5-turbo" \
    "lighteval|gsm8k|0|0" \
    --use-chat-template

为了使 litellm 正常工作，需要使用 `--use-chat-template`。

使用配置文件

Litellm 允许使用任何与 OpenAI 兼容的端点生成内容，例如，您可以评估在本地 vllm 服务器上运行的模型。

为此，您需要使用如下所示的配置文件

model_parameters:
    model_name: "openai/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
    base_url: "URL OF THE ENDPOINT YOU WANT TO USE"
    api_key: "" # remove or keep empty as needed
    generation_parameters:
      temperature: 0.5
      max_new_tokens: 256
      stop_tokens: [""]
      top_p: 0.9
      seed: 0
      repetition_penalty: 1.0
      frequency_penalty: 0.0

< > 在 GitHub 上更新