评估跟踪器

class lighteval.logging.evaluation_tracker.EvaluationTracker

( output_dir: str save_details: bool = True push_to_hub: bool = False push_to_tensorboard: bool = False hub_results_org: str | None = '' tensorboard_metric_prefix: str = 'eval' public: bool = False nanotron_run_info: GeneralArgs = None )

参数

output_dir (str) — 本地文件夹路径，用于保存结果。
save_details (bool, 默认为 True) — 如果为 True，则详细信息将保存到 output_dir。
push_to_hub (bool, 默认为 False) — 如果为 True，则详细信息将推送到 hub。结果将推送到 {hub_results_org}/details__{sanitized model_name} 用于模型 model_name，如果是公共数据集，则当 public 为 True 时，否则推送到 {hub_results_org}/details__{sanitized model_name}_private，一个私有数据集。
push_to_tensorboard (bool, 默认为 False) — 如果为 True，将创建并将结果推送到 hub 上的 tensorboard 文件夹。
hub_results_org (str, 可选) — 将结果推送到的组织。有关数据集组织的更多详细信息，请参阅 EvaluationTracker.save。
tensorboard_metric_prefix (str, 默认为 “eval”) — tensorboard 日志中指标的前缀。
public (bool, 默认为 False) — 如果为 True，则结果和详细信息将推送到公共组织。
nanotron_run_info (~nanotron.config.GeneralArgs, 可选) — 引用有关 Nanotron 模型运行的信息。

跟踪整体评估过程和相关信息。

EvaluationTracker 包含用于实验详情 (DetailsLogger)、指标 (MetricsLogger)、任务版本 (VersionsLogger) 以及特定任务 (TaskConfigLogger) 和整体评估运行 (GeneralConfigLogger) 的通用配置的特定日志记录器。它编译来自这些日志记录器的数据并将其写入文件，如果请求，这些文件可以发布到 Hugging Face Hub。

属性: