加载方法

列出和加载评估模块的方法

列出

evaluate.list_evaluation_modules

< source >

( module_type = None include_community = True with_details = False )

参数

module_type (str, *可选的*, 默认 None) — 要列出的评估模块的类型。必须是 'metric'、'comparison' 或 'measurement' 之一。如果为 None，则列出所有类型。
include_community (bool, *可选的*, 默认 True) — 在列表中包含社区模块。
with_details (bool, *可选的*, 默认 False) — 返回指标的完整详细信息，而不仅仅是 ID。

列出 Hugging Face Hub 上可用的所有评估模块。

加载

evaluate.load

< source >

( path: str config_name: typing.Optional[str] = None module_type: typing.Optional[str] = None process_id: int = 0 num_process: int = 1 cache_dir: typing.Optional[str] = None experiment_id: typing.Optional[str] = None keep_in_memory: bool = False download_config: typing.Optional[evaluate.utils.file_utils.DownloadConfig] = None download_mode: typing.Optional[datasets.download.download_manager.DownloadMode] = None revision: typing.Union[str, datasets.utils.version.Version, NoneType] = None **init_kwargs )

参数

path (str) — 评估处理脚本的路径，其中包含评估构建器。可以是：
- 处理脚本的本地路径或包含该脚本的目录（如果脚本与目录同名），例如 './metrics/rouge' 或 './metrics/rouge/rouge.py'
- 在 HuggingFace evaluate 仓库上的评估模块标识符，例如 'rouge' 或 'bleu'，它们位于 'metrics/'、'comparisons/' 或 'measurements/' 中，具体取决于提供的 module_type。
config_name (str, 可选) — 选择指标的配置（例如，GLUE 指标为每个子集都有一个配置）
module_type (str, 默认 'metric') — 评估模块的类型，可以是 'metric'、'comparison' 或 'measurement' 之一。
process_id (int, 可选) — 用于分布式评估：进程的 ID
num_process (int, 可选) — 用于分布式评估：进程总数
cache_dir (可选 str) — 存储临时预测和参考的路径（默认为 *~/.cache/huggingface/evaluate/*）
experiment_id (str) — 特定的实验 ID。如果多个分布式评估共享同一文件系统，则使用此 ID。这对于在分布式设置中计算指标（特别是像 F1 这样的非累加指标）非常有用。
keep_in_memory (bool) — 是否将临时结果存储在内存中（默认为 False）
download_config (可选 evaluate.DownloadConfig) — 特定的下载配置参数。
download_mode (DownloadMode, 默认 REUSE_DATASET_IF_EXISTS) — 下载/生成模式。
revision (可选 Union[str, evaluate.Version]) — 如果指定，则将从此版本的 datasets 存储库加载模块。默认情况下，它设置为 lib 的本地版本。指定与本地 lib 版本不同的版本可能会导致兼容性问题。

加载一个 evaluate.EvaluationModule。

Evaluate

加载方法

列出

evaluate.list_evaluation_modules

加载

evaluate.load