Hub 方法

适用于 Hugging Face Hub 的方法

推送到 hub

evaluate.push_to_hub

( model_id: str task_type: str dataset_type: str dataset_name: str metric_type: str metric_name: str metric_value: float task_name: str = None dataset_config: str = None dataset_split: str = None dataset_revision: str = None dataset_args: typing.Dict[str, int] = None metric_config: str = None metric_args: typing.Dict[str, int] = None overwrite: bool = False )

参数

model_id (str) — https://hf.co/models中的模型 id。
task_type (str) — 任务 id，请参阅 https://github.com/huggingface/evaluate/blob/main/src/evaluate/config.py#L154 了解允许的值。
dataset_name (str) — 数据集的漂亮名称。
metric_type (str) — https://hf.co/metrics 中的指标 ID。
metric_value (float) — 计算的指标值。
task_name (str，可选) — 任务的美观名称。
dataset_config (str, 可选的) — datasets.load_dataset() 中使用的数据集配置。有关更多信息，请参见 huggingface/datasets 文档：https://huggingface.co/docs/datasets/package_reference/loading_methods#datasets.load_dataset.name
dataset_split (str, 可选的) — 用于计算度量的分裂名称。
dataset_args (dict[str, int]，可选) — 传递给 datasets.load_dataset() 的其他参数。
metric_config (str，可选) — 指标配置（例如，GLUE 指标对每个子集具有一个配置）
覆盖 (bool，可选，默认为 False) — 如果设置为 True，现有指标字段可被覆盖，否则尝试覆盖任何现有字段将导致错误。

将指标结果推送到 Hub 中模型存储库的元数据。

示例

>>> push_to_hub(
...     model_id="huggingface/gpt2-wikitext2",
...     metric_value=0.5
...     metric_type="bleu",
...     metric_name="BLEU",
...     dataset_name="WikiText",
...     dataset_type="wikitext",
...     dataset_split="test",
...     task_type="text-generation",
...     task_name="Text Generation"
... )

评估

Hub 方法

推送到 hub

evaluate.push_to_hub