使用推理提供商作为后端

Lighteval 允许使用 Hugging Face 的推理提供商来评估在受支持的提供商（如 Black Forest Labs、Cerebras、Fireworks AI、Nebius、Together AI 等）上的 llm。

快速使用

不要忘记设置您的 HuggingFace API 密钥。您可以使用 HF_TOKEN 环境变量或使用 huggingface-cli 命令来设置它。

lighteval endpoint inference-providers \
    "model=deepseek-ai/DeepSeek-R1,provider=hf-inference" \
    "lighteval|gsm8k|0|0"

使用配置文件

您可以使用配置文件来定义模型和要使用的提供商。

lighteval endpoint inference-providers \
    examples/model_configs/inference_providers.yaml \
    "lighteval|gsm8k|0|0"

使用以下配置文件

model:
  model_name: "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
  provider: "novita"
  timeout: null
  proxies: null
  parallel_calls_count: 10
  generation:
    temperature: 0.8
    top_k: 10
    max_new_tokens: 10000

< > 在 GitHub 上更新