Litellm 作为后端

Lighteval 允许使用 litellm，这是一个后端，允许您使用 OpenAI 格式调用所有 LLM API [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq 等]。

有关可用 API 和兼容端点的文档，请点击此处查看。

快速使用

lighteval endpoint litellm \
    "gpt-3.5-turbo" \
    "lighteval|gsm8k|0|0"

使用配置文件

Litellm 允许使用任何 OpenAI 兼容的端点进行生成，例如，您可以评估在本地 vllm 服务器上运行的模型。

为此，您需要使用如下配置文件

model:
  base_params:
    model_name: "openai/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
    base_url: "URL OF THE ENDPOINT YOU WANT TO USE"
    api_key: "" # remove or keep empty as needed
  generation:
    temperature: 0.5
    max_new_tokens: 256
    stop_tokens: [""]
    top_p: 0.9
    seed: 0
    repetition_penalty: 1.0
    frequency_penalty: 0.0

< > 在 GitHub 上更新