Evaluate 文档
加载方法
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
加载方法
用于列出和加载评估模块的方法
列出
evaluate.list_evaluation_modules
< 源 >( module_type = None include_community = True with_details = False )
列出 Hugging Face Hub 上所有可用的评估模块。
加载
evaluate.load
< 源 >( path: str config_name: typing.Optional[str] = None module_type: typing.Optional[str] = None process_id: int = 0 num_process: int = 1 cache_dir: typing.Optional[str] = None experiment_id: typing.Optional[str] = None keep_in_memory: bool = False download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None download_mode: typing.Optional[datasets.download.download_manager.DownloadMode] = None revision: typing.Union[str, datasets.utils.version.Version, NoneType] = None **init_kwargs )
参数
- path (
str) — 带有评估构建器的评估处理脚本路径。可以是：- 指向处理脚本或包含该脚本的目录的本地路径（如果脚本名称与目录名称相同），例如
'./metrics/rouge'或'./metrics/rouge/rouge.py' - HuggingFace evaluate 仓库上的评估模块标识符，例如
'rouge'或'bleu'，它们位于'metrics/'、'comparisons/'或'measurements/'目录中，具体取决于提供的module_type
- 指向处理脚本或包含该脚本的目录的本地路径（如果脚本名称与目录名称相同），例如
- config_name (
str, 可选) — 为指标选择一个配置（例如，GLUE 指标为每个子集都有一个配置）。 - module_type (
str, 默认为'metric') — 评估模块的类型，可以是'metric','comparison', 或'measurement'之一。 - process_id (
int, 可选) — 用于分布式评估：进程的ID。 - num_process (
int, 可选) — 用于分布式评估：总进程数。 - cache_dir (
str, 可选) — 存储临时预测和引用的路径（默认为~/.cache/huggingface/evaluate/）。 - experiment_id (
str) — 一个特定的实验ID。如果多个分布式评估共享相同的文件系统，则使用此ID。这在分布式设置中计算指标（特别是非累加性指标如F1）时非常有用。 - keep_in_memory (
bool) — 是否将临时结果存储在内存中（默认为False）。 - download_config (
~evaluate.DownloadConfig, 可选) — 特定的下载配置参数。 - download_mode (
DownloadMode, 默认为REUSE_DATASET_IF_EXISTS) — 下载/生成模式。 - revision (
Union[str, evaluate.Version], 可选) — 如果指定，将从此版本的 datasets 仓库加载模块。默认设置为库的本地版本。指定与本地库版本不同的版本可能会导致兼容性问题。
加载一个 EvaluationModule。