LLM 课程文档

构建模型卡

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

构建模型卡

Ask a Question

模型卡是一个文件,它在模型仓库中的重要性可能与模型和分词器文件一样。它是模型的中心定义,确保了社区其他成员的可重用性和结果的可复现性,并提供了一个平台,其他成员可以在其上构建他们的工件。

记录训练和评估过程有助于他人理解模型的预期表现 — 并提供关于所用数据以及所做的预处理和后处理的足够信息,以确保可以识别和理解模型有用和无用的限制、偏差和上下文。

因此,创建一个清晰定义您的模型模型卡是非常重要的一步。在这里,我们提供了一些将帮助您实现此目的的提示。模型卡的创建是通过您之前看到的 *README.md* 文件完成的,它是一个 Markdown 文件。

“模型卡”概念源于 Google 的一项研究方向,最初由 Margaret Mitchell 等人在论文 “Model Cards for Model Reporting” 中分享。这里包含的大量信息都是基于该论文,我们建议您阅读该论文,以了解在重视可复现性、可重用性和公平性的世界中,模型卡为何如此重要。

模型卡通常以对模型用途的简要、高级概述开始,然后是以下章节的补充细节:

  • 模型描述
  • 预期用途和限制
  • 如何使用
  • 局限性和偏见
  • 训练数据
  • 训练过程
  • 评估结果

让我们来看看每个部分应该包含什么。

模型描述

模型描述提供了关于模型的基本信息。这包括架构、版本、是否在论文中介绍、是否有原始实现可用、作者以及关于模型的通用信息。任何版权都应在此处注明。关于训练过程、参数和重要免责声明的通用信息也可以在此部分提及。

预期用途和限制

在此处描述模型的预期用例,包括可以应用它的语言、领域和领域。模型卡的此部分还可以记录已知超出模型范围的区域,或者模型可能表现不佳的区域。

如何使用

本节应包含一些如何使用模型的示例。这可以展示 `pipeline()` 函数的使用、模型和分词器类的使用,以及您认为可能有用的任何其他代码。

训练数据

此部分应指明模型所训练的数据集。也欢迎简要描述数据集。

训练过程

在本节中,您应描述从可复现性角度有用的所有相关训练方面。这包括对数据进行的任何预处理和后处理,以及诸如模型训练的轮次、批次大小、学习率等详细信息。

变量和指标

在此处,您应描述用于评估的指标以及您正在衡量的不同因素。提及使用了哪些指标、在哪个数据集以及哪个数据集划分上进行评估,可以轻松比较模型性能与其他模型的性能。这些应由之前的章节(例如预期用户和用例)提供信息。

评估结果

最后,提供模型在评估数据集上的表现指示。如果模型使用决策阈值,请提供评估中使用的决策阈值,或提供不同阈值下的评估详情以供预期用途。

示例

请查看以下一些精心制作的模型卡示例:

更多来自不同组织和公司的示例可在此处找到:此处

注意

发布模型时,模型卡并非强制要求,您也无需包含上述所有章节。然而,明确的模型文档只会让未来的用户受益,因此我们建议您尽可能地填写尽可能多的章节。

模型卡元数据

如果您对 Hugging Face Hub 进行了一些探索,您应该会发现某些模型属于特定类别:您可以按任务、语言、库等进行筛选。模型所属的类别是根据您在模型卡头中添加的元数据来识别的。

例如,如果您查看 camembert-base 模型卡,您应该在模型卡头中看到以下几行:

---
language: fr
license: mit
datasets:
- oscar
---

此元数据由 Hugging Face Hub 解析,然后将此模型识别为法语模型,具有 MIT 许可证,在 Oscar 数据集上训练。

完整的模型卡规范允许指定语言、许可证、标签、数据集、指标以及模型在训练时获得的评估结果。

< > 在 GitHub 上更新