Hub 文档

带注释的模型卡模板

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

带注释的模型卡模板

模板

modelcard_template.md 文件

说明

完整填写模型卡需要不同角色的输入。(一个人可以扮演多个角色。)我们将这些角色称为**开发者**,负责编写代码和运行训练;**社会技术人员**,擅长长期分析技术和社会互动(包括律师、伦理学家、社会学家或权利倡导者);以及**项目组织者**,负责了解模型的总体范围和影响力,大致填写卡片的每个部分,并作为模型卡更新的联系人。

说明在下方以斜体显示。

模板变量名以等宽字体显示。


模型名称

章节概述:提供模型名称和对模型的 1-2 句总结。

model_id

model_summary

目录

章节概述:提供此部分并附带指向每个章节的链接,以便人们轻松跳转/在其他位置使用保留的 TOC/打印内容/等。

模型详情

章节概述:本节提供有关模型的名称、当前状态以及来源的基本信息。对于任何想要引用模型的人来说,它都应该是有用的。

模型描述

model_description

提供有关模型的基本详细信息。这包括架构、版本、是否在论文中介绍、是否有原始实现以及创建者。任何版权都应在此处注明。有关训练过程、参数和重要免责声明的一般信息也可以在本节中提及。

  • 开发人员:developers

列出(最好链接到)构建模型的人员。

  • 资助方:funded_by

列出(最好链接到)在财务、计算或其他方面支持或促成此模型的资助来源。

  • 共享者 [可选]:shared_by

列出(最好链接到)在网上提供模型的人员/组织。

  • 模型类型:model_type

您可以将“类型”命名为

1. 监督/学习方法

2. 机器学习类型

3. 模态

  • 语言(s) [NLP]:language

当系统使用或处理自然(人类)语言时,请使用此字段。

  • 许可证:license

命名并链接到正在使用的许可证。

  • 从以下模型微调 [可选]:base_model

如果此模型以另一个模型为基础,请在此处链接到该模型。

模型来源(可选)

  • 仓库:repo
  • 论文 [可选]:paper
  • 演示 [可选]:demo

提供用户可以直接查看模型及其详细信息的来源。其他类型的资源——训练日志、经验教训等——应放在更多信息部分。如果此部分只包含一项内容,请链接到仓库。

用途

章节概述:本节讨论模型在不同应用场景中的预期用途,讨论模型的潜在用户(包括受模型影响的用户),并描述超出范围或滥用模型的用途。请注意,本节不旨在包含许可证使用详细信息。为此,请直接链接到许可证。

直接使用

direct_use

解释如何在不进行微调、后处理或插入管道的情况下使用模型。建议提供一个示例代码片段。

下游使用(可选)

downstream_use

解释当模型针对特定任务进行微调或插入到更大的生态系统或应用程序中时,如何使用此模型。建议提供一个示例代码片段。

超出范围的使用

out_of_scope_use

列出模型可能被误用(以无法正常工作的方式使用)的方式,并说明用户不应该对模型做什么。

偏见、风险和限制

章节概述:本节识别可预见的危害、误解以及技术和社会技术限制。它还提供有关警告和潜在缓解措施的信息。偏见、风险和限制有时是不可分割的/指代相同的问题。通常,偏见和风险是社会技术方面的,而限制是技术方面的。

  • 偏见是针对某些子人群的刻板印象或不成比例的表现(偏差)。
  • 风险是模型可能引起的一个社会相关问题。
  • 限制是可能通过遵循列出的建议来解决的常见故障模式。

bias_risks_limitations

该模型已知或可预见的问题有哪些?

建议

bias_recommendations

针对可预见的问题有哪些建议?这可以包括从“下采样图像”到过滤显式内容的一切。

训练详情

章节概述:本节提供描述和重现训练所需的信息,包括训练数据、训练元素的速度和大小以及训练对环境的影响。这与技术规范也密切相关,此处内容应在与训练过程相关时链接到该章节。对于想要了解模型输入和训练足迹的人来说,它很有用。对于任何想要了解模型学习基础知识的人来说,它都相关。

训练数据

training_data

用 1-2 句话说明训练数据是什么。理想情况下,此处应链接到数据集卡以获取更多信息。有关数据预处理或额外过滤的文档链接也可以放在此处以及更多信息中。

训练过程(可选)

预处理

preprocessing

详细说明标记化、调整大小/重写(取决于模态)等。

速度、大小、时间

speeds_sizes_times

详细说明吞吐量、开始/结束时间、检查点大小等。

评估

章节概述:本节描述评估协议,评估中衡量的内容,并提供结果。评估理想情况下至少有两部分,一部分着眼于一般性能的定量测量(测试数据、因素和指标),例如通过基准测试完成;另一部分着眼于特定社会安全问题的性能(社会影响评估),例如通过红队测试完成。您还可以以结构化方式在模型卡元数据中指定模型的评估结果。结果由 Hub 解析并显示在模型页面的小部件中。请参阅https://huggingface.co/docs/hub/model-cards#evaluation-results

测试数据、因素和指标

评估理想情况下应根据不同因素(例如任务、领域和人口子群)进行**分解**,并使用对可预见的使用场景最有意义的指标进行计算。不同子群的评估性能相等被认为是这些子群之间的“公平”;应根据模型使用中哪些错误更可能成为问题来确定目标公平性指标。但是,本节最常用于报告不同任务基准的汇总评估性能。

测试数据

testing_data

描述测试数据或链接到其数据集卡片。

因素

testing_factors

哪些可预见的特征将影响模型的行为?评估理想情况下应根据这些因素进行分解,以揭示性能差异。

指标

testing_metrics

将用于评估的指标是什么?

结果

results

结果应基于上面定义的因素和指标。

总结

results_summary

结果说明了什么?这可以作为普通受众的总结。

社会影响评估(可选)

使用此自由文本部分解释如何评估该模型是否存在社会危害风险,例如儿童安全、NCII、隐私和暴力。这可能以回答以下问题的形式出现:

  • 此模型是否对儿童安全?为什么或为什么不?
  • 此模型是否已测试以评估与非自愿私密图像(包括 CSEM)相关的风险?
  • 此模型是否已测试以评估与暴力活动或暴力描绘相关的风险?结果如何?

也可以提供每个问题的定量数据。

模型检查(可选)

章节概述:这是一个实验性章节,一些开发者开始添加,其中可能包含可解释性/可理解性方面的工作。

model_examination

环境影响

章节概述:总结计算电力使用和碳排放等环境影响所需的信息。

  • 硬件类型:hardware_type
  • 使用小时数:hours_used
  • 云提供商:cloud_provider
  • 计算区域:cloud_region
  • 碳排放量:co2_emitted

碳排放量可以使用 Lacoste 等人(2019 年)提出的机器学习影响计算器估算。

技术规范(可选)

章节概述:本节包括有关模型目标和架构以及计算基础设施的详细信息。对于对模型开发感兴趣的人来说,它很有用。编写本节通常需要模型开发人员直接参与。

模型架构和目标

model_specs

计算基础设施

compute_infrastructure

硬件

hardware_requirements

最低硬件要求是什么,例如处理、存储和内存要求?

软件

software

引文(可选)

章节概述:开发者对该模型的首选引文。这通常是一篇论文。

BibTeX

citation_bibtex

APA

citation_apa

词汇表(可选)

章节概述:本节定义常用术语和指标的计算方法。

glossary

清晰定义术语,以便所有受众都能理解。

更多信息(可选)

章节概述:本节提供指向数据集创建、技术规范、经验教训和初始结果的文章链接。

more_information

模型卡作者(可选)

章节概述:本章节列出了模型卡的创建者,对模型卡的详细工作进行认可和问责。

model_card_authors

模型卡联系方式

章节概述:提供了一种让需要更新模型卡、提出建议或有疑问的人员联系模型卡作者的方式。

model_card_contact

如何开始使用模型

章节概述:提供代码片段以演示如何使用模型。

get_started_code


请引用:Ozoani, Ezi 和 Gerchick, Marissa 和 Mitchell, Margaret。模型卡指南。Hugging Face,2022 年。https://huggingface.co/docs/hub/en/model-card-guidebook

< > 在 GitHub 上更新