带注释的模型卡片模板
模板
使用说明
完整填写模型卡片需要几个不同角色的输入。(一个人可能有多个角色。)我们将这些角色称为开发者,负责编写代码和运行训练;社会技术专家,擅长分析技术与社会的长期互动(包括律师、伦理学家、社会学家或权利倡导者);以及项目组织者,了解模型的整体范围和影响力,可以粗略填写卡片的每个部分,并充当模型卡片更新的联系人。
开发者对于填写训练过程和技术规格是必不可少的。他们对于偏差、风险和限制的“限制”部分也特别有用。他们负责提供评估的结果,并且理想情况下与其他角色合作定义评估的其余部分:测试数据、因素和指标。
项目组织者对于填写模型详细信息和用途是必不可少的。他们也可能填写训练数据。项目组织者还可以负责引用、词汇表、模型卡片联系人、模型卡片作者和更多信息。
说明如下,以斜体显示。
模板变量名以等宽字体
显示。
模型名称
章节概述:提供模型名称和模型内容的 1-2 句话摘要。
model_id
model_summary
目录
章节概述:提供指向每个章节的链接,以便人们可以轻松跳转/在保留目录的其他位置使用文件/打印内容/等。
模型详细信息
章节概述:本节提供有关模型是什么、其当前状态及其来源的基本信息。它应该对任何想要参考模型的人都有用。
模型描述
model_description
提供有关模型的基本详细信息。这包括架构、版本、是否在论文中介绍过、是否有原始实现可用以及创建者。任何版权都应在此处注明。本节还可以提及有关训练过程、参数和重要免责声明的一般信息。
- 开发者:
developers
列出(并最好链接到)构建模型的人员。
- 资助方:
funded_by
列出(并最好链接到)在财务、计算或其他方面支持或启用此模型的资金来源。
- 分享者 [可选]:
shared_by
列出(并最好链接到)在线提供模型的个人/组织。
- 模型类型:
model_type
您可以将“类型”命名为
1. 监督/学习方法
2. 机器学习类型
3. 模态
- 语言 [NLP]:
language
当系统使用或处理自然(人类)语言时使用此字段。
- 许可证:
license
命名并链接到正在使用的许可证。
- 微调自模型 [可选]:
base_model
如果此模型以另一个模型为基础,请在此处链接到该模型。
模型来源(可选)
- 代码库:
repo
- 论文 [可选]:
paper
- 演示 [可选]:
demo
提供模型来源,以便用户直接查看模型及其详细信息。其他类型的资源(如训练日志、经验教训等)应放在更多信息部分。如果您要在此部分包含内容,请链接到代码库。
用途
章节概述:本节解决模型如何在不同应用场景中使用的问题,讨论模型的可预见用户(包括受模型影响的用户),并描述被认为超出范围或滥用模型的用途。请注意,本节不包含许可证使用详情。为此,请直接链接到许可证。
直接使用
direct_use
解释如何在不进行微调、后处理或插入管道的情况下使用模型。建议提供代码示例片段。
下游使用(可选)
downstream_use
解释如何在对模型进行微调以完成任务或将其插入更大的生态系统或应用程序时使用它。建议提供代码示例片段。
超出范围的使用
out_of_scope_use
列出模型可能被滥用的方式(以模型无法正常工作的方式使用),并说明用户不应如何使用模型。
偏差、风险和限制
章节概述:本节确定可预见的危害、误解以及技术和社会技术限制。它还提供有关警告和潜在缓解措施的信息。偏差、风险和限制有时是不可分割的/指的是相同的问题。一般来说,偏差和风险是社会技术的,而限制是技术的。
- 偏差是指对某些亚群的刻板印象或不成比例的表现(偏差)。
- 风险是模型可能引发的与社会相关的问题。
- 限制是一种可能的故障模式,可以按照列出的建议进行解决。
bias_risks_limitations
该模型已知或可预见的问题是什么?
建议
bias_recommendations
关于可预见的问题有什么建议?这可以包括从“降低图像采样率”到过滤露骨内容的所有内容。
训练细节
章节概述:本节提供描述和复制训练的信息,包括训练数据、训练元素的速度和大小,以及训练对环境的影响。这与技术规格也有很大关系,此处的内容应链接到与训练过程相关的章节。这对于想要了解模型输入和训练足迹的人很有用。这与任何想知道模型学习基础知识的人相关。
训练数据
训练数据
用 1-2 句话描述训练数据是什么。理想情况下,这会链接到数据集卡片以获取更多信息。与数据预处理或其他过滤相关的文档链接可以放在此处,也可以放在更多信息中。
训练过程(可选)
预处理
预处理
详细说明分词、调整大小/重写(取决于模态)等。
速度、大小、时间
速度、大小、时间
详细说明吞吐量、开始/结束时间、检查点大小等。
评估
章节概述:本节描述评估协议、评估中测量的内容,并提供结果。理想情况下,评估至少有两个部分,一部分关注一般性能的定量测量(测试数据、因素和指标),例如可以使用基准测试完成;另一部分关注与特定社会安全问题相关的性能(社会影响评估),例如可以使用红队测试完成。您还可以使用结构化方式在模型卡片元数据中指定模型的评估结果。结果由 Hub 解析并显示在模型页面的窗口小部件中。请参阅https://huggingface.co/docs/hub/model-cards#evaluation-results。
测试数据、因素和指标
理想情况下,评估应根据不同的因素(例如任务、领域和人口亚组)进行分类,并使用对可预见的用例最有意义的指标进行计算。在不同亚组之间具有相同的评估性能被称为在这些亚组之间“公平”;目标公平性指标的决定应基于哪些错误在模型使用中更有可能出现问题。但是,本节最常用于报告不同任务基准测试的汇总评估性能。
测试数据
testing_data
描述测试数据或链接到其数据集卡片。
因素
testing_factors
哪些可预见的特征会影响模型的行为?理想情况下,评估应根据这些因素进行分类,以便发现性能差异。
指标
testing_metrics
将使用哪些指标进行评估?
结果
results
结果应基于上面定义的因素和指标。
总结
results_summary
结果说明了什么?这可以作为面向大众的 tl;dr。
社会影响评估(可选)
使用此自由文本部分解释如何评估此模型的社会危害风险,例如儿童安全、NCII、隐私和暴力。这可能采用以下问题的答案形式
- 此模型对儿童安全吗?为什么或为什么不?
- 是否已测试此模型以评估与非自愿亲密图像(包括 CSEM)相关的风险?
- 是否已测试此模型以评估与暴力活动或暴力描述相关的风险?结果是什么?
还可以提供每个问题的定量数字。
模型检查(可选)
章节概述:这是一个实验性章节,一些开发者开始添加,可解释性/可理解性的工作可能会放在这里。
model_examination
环境影响
章节概述: 总结了计算环境影响(例如用电量和碳排放量)所需的信息。
- 硬件类型:
hardware_type
- 使用小时数:
hours_used
- 云服务提供商:
cloud_provider
- 计算区域:
cloud_region
- 碳排放量:
co2_emitted
可以使用 机器学习影响计算器(Lacoste 等人,2019 年提出)估算碳排放量。
技术规格(可选)
章节概述: 本节包含有关模型目标和架构以及计算基础设施的详细信息。这对于对模型开发感兴趣的人员很有用。编写本节通常需要模型开发人员直接参与。
模型架构和目标
model_specs
计算基础设施
compute_infrastructure
硬件
hardware_requirements
最低硬件要求是什么,例如处理、存储和内存要求?
软件
software
引用(可选)
章节概述: 开发人员对此模型的首选引用。这通常是一篇论文。
BibTeX
citation_bibtex
APA
citation_apa
术语表(可选)
章节概述:本节定义常用术语以及指标的计算方法。
glossary
清晰地定义术语,以便所有受众都能理解。
更多信息(可选)
章节概述:本节提供有关数据集创建、技术规范、经验教训和初步结果的写作链接。
more_information
模型卡片作者(可选)
章节概述:本节列出创建模型卡片的人员,对模型卡片构建过程中所做的详细工作给予认可和问责。
model_card_authors
模型卡片联系方式
章节概述:为希望更新模型卡片、提出建议或疑问的人员提供联系模型卡片作者的方式
model_card_contact
如何开始使用模型
章节概述:提供代码片段以演示如何使用模型。
get_started_code
请引用为:Ozoani, Ezi 和 Gerchick, Marissa 和 Mitchell, Margaret. 模型卡片指南. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook
< > 在 GitHub 上更新