将推理服务提供商用作后端

Lighteval 允许使用 Hugging Face 的推理服务提供商来评估大语言模型（LLM），支持的提供商包括 Black Forest Labs、Cerebras、Fireworks AI、Nebius、Together AI 等等。

快速使用

不要忘记设置你的 HuggingFace API 密钥。你可以通过 `HF_TOKEN` 环境变量来设置，或者使用 `huggingface-cli` 命令。

lighteval endpoint inference-providers \
    "model_name=deepseek-ai/DeepSeek-R1,provider=hf-inference" \
    "lighteval|gsm8k|0|0"

使用配置文件

你可以使用配置文件来定义要使用的模型和提供商。

lighteval endpoint inference-providers \
    examples/model_configs/inference_providers.yaml \
    "lighteval|gsm8k|0|0"

使用以下配置文件

model_parameters:
  model_name: "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
  provider: "novita"
  timeout: null
  proxies: null
  parallel_calls_count: 10
  generation_parameters:
    temperature: 0.8
    top_k: 10
    max_new_tokens: 10000

< > 在 GitHub 上更新