参数

• metric_fn (Callable) — 用户提供的指标函数。它将使用两个参数调用 - predictions 和 labels。这些包含模型的输出和来自数据集的匹配标签。它应该返回一个字典，将指标名称映射到数值。
• eval_dataset (tf.data.Dataset 或 dict 或 tuple 或 np.ndarray 或 tf.Tensor) — 用于为 metric_fn 生成预测的验证数据。
• output_cols (`List[str], 可选) — 要从模型输出中作为预测保留的一列列名称。默认为全部。
• label_cols (’List[str], 可选’) — 要从输入数据集中作为标签保留的一列列名称。如果未提供，将自动检测。
• batch_size (int, 可选) — 批次大小。仅在数据不是预先批处理的 tf.data.Dataset 时使用。
• predict_with_generate (bool, 可选，默认为 False) — 我们是否应该使用 model.generate() 来获取模型的输出。
• use_xla_generation (bool, 可选，默认为 False) — 如果我们正在生成，是否使用 XLA 编译模型生成。这可以大大提高生成速度（最高可提高 100 倍），但需要为每个输入形状进行新的 XLA 编译。使用 XLA 生成时，最好将输入填充到相同的大小，或者在 tokenizer 或 DataCollator 中使用 pad_to_multiple_of 参数，这将减少唯一输入形状的数量并节省大量编译时间。如果 predict_with_generate 为 False，则此选项无效。
• metric_fn 中的 np.ndarray 格式之前在 eval_dataset 上计算。metric_fn 应该计算指标并返回一个字典，该字典将指标名称映射到指标值。

  我们提供了一个合适的 metric_fn 示例，该示例在下面计算摘要模型的 ROUGE 分数。请注意，此示例为了可读性和简单性跳过了某些后处理，可能不应按原样使用！

  已复制

  from datasets import load_metric
  
  rouge_metric = load_metric("rouge")
  
  
  def rouge_fn(predictions, labels):
      decoded_predictions = tokenizer.batch_decode(predictions, skip_special_tokens=True)
      decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)
      result = rouge_metric.compute(predictions=decoded_predictions, references=decoded_labels)
      return {key: value.mid.fmeasure * 100 for key, value in result.items()}

  上述函数将返回一个包含值的字典，这些值将像任何其他 Keras 指标一样被记录

  已复制

  {'rouge1': 37.4199, 'rouge2': 13.9768, 'rougeL': 34.361, 'rougeLsum': 35.0781