EvaluationTracker

class lighteval.logging.evaluation_tracker.EvaluationTracker

( output_dir: str save_details: bool = True push_to_hub: bool = False push_to_tensorboard: bool = False hub_results_org: str | None = '' tensorboard_metric_prefix: str = 'eval' public: bool = False nanotron_run_info: GeneralArgs = None wandb: bool = False )

参数

output_dir (str) — 您希望保存结果的本地文件夹路径。
save_details (bool, 默认为 True) — 如果为 True，详细信息将保存到 output_dir。
push_to_hub (bool, 默认为 False) — 如果为 True，详细信息将被推送到 Hub。对于模型 model_name，结果将被推送到 {hub_results_org}/details__{sanitized model_name}（如果 public 为 True，则为公共数据集），或 {hub_results_org}/details__{sanitized model_name}_private（私有数据集）。
push_to_tensorboard (bool, 默认为 False) — 如果为 True，将在 Hub 上创建并推送结果到一个 TensorBoard 文件夹。
hub_results_org (str, 可选) — 推送结果的目标组织。有关数据集组织的更多详细信息，请参阅 EvaluationTracker.save。
tensorboard_metric_prefix (str, 默认为 “eval”) — TensorBoard 日志中指标的前缀。
public (bool, 默认为 False) — 如果为 True，结果和详细信息将被推送到公共组织。
nanotron_run_info (~nanotron.config.GeneralArgs, 可选) — 引用有关 Nanotron 模型运行的信息。

跟踪整个评估过程和相关信息。

EvaluationTracker 包含用于实验详细信息（DetailsLogger）、指标（MetricsLogger）、任务版本（VersionsLogger）以及特定任务（TaskConfigLogger）和整个评估运行（GeneralConfigLogger）的通用配置的特定记录器。它编译来自这些记录器的数据并将其写入文件，如果需要，可以发布到 Hugging Face Hub。

属性: