Lighteval

🤗 Lighteval 是您用于评估跨多个后端的 LLM 的一体化工具包——无论是 transformers、 tgi、 推理 providers、 vllm 还是 nanotron，都能轻松应对。通过保存和探索详细的、逐个样本的结果来深入了解您的模型性能，以便调试并了解您的模型表现如何。

触手可及的自定义：让您轻松创建 新任务 和 指标 以满足您的需求，或者浏览我们所有现有的任务和指标。

在 Hugging Face Hub、S3 或本地无缝实验、基准测试和存储您的结果。

< > 在 GitHub 上更新