Lighteval 文档
安装
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
安装
您可以从 PyPi 或从源代码安装 Lighteval。
从 PyPi 安装
pip install lighteval
从源代码安装
从源代码安装主要适用于打算在 lighteval 上进行开发的开发者。
git clone https://github.com/huggingface/lighteval.git
cd lighteval
pip install -e .附加功能
Lighteval 有一些可选的依赖项，您可以通过指定相应的附加功能组来安装它们。pip install lighteval[<group>] 或 pip install -e .[<group>]。
如果您想将 lighteval 与 sglang 一起使用，请尝试遵循 sglang 安装文档。
| 附加功能名称 | 描述 |
|---|---|
| tgi | 使用文本生成推理 API 来评估您的模型 |
| nanotron | 评估 nanotron 模型 |
| quantization | 评估量化模型 |
| adapters | 评估适配器模型（delta 和 peft） |
| tensorboardX | 将您的结果上传到 tensorboard |
| vllm | 使用 vllm 作为推理后端 |
| sglang | 使用 sglang 作为推理后端 |
| s3 | 将结果上传到 s3 |
Hugging Face 登录
如果您想将您的结果推送到 Hugging Face Hub 或评估您自己的私有模型，请不要忘记将您的访问令牌添加到环境变量 HF_TOKEN 中。您可以通过运行以下命令来完成此操作：
huggingface-cli login