竞赛仓库

注意：竞赛仓库必须始终保持私有。请勿将其公开！

竞赛仓库包含以下文件

├── COMPETITION_DESC.md
├── conf.json
├── DATASET_DESC.md
├── solution.csv
├── SUBMISSION_DESC.md
├── submission_info
│   └── *.json
├── submissions
│   └── *.csv
├── teams.json
└── user_team.json

COMPETITION_DESC.md

此文件包含竞赛的描述。它是一个 markdown 文件。您可以使用 markdown 语法来格式化文本，并根据您的需要修改文件。竞赛描述会显示在竞赛的首页上。

DATASET_DESC.md

此文件包含数据集的描述。它也是一个 markdown 文件。此文件用于描述数据集，并显示在数据集页面上。在此文件中，您可以提及数据集中存在的列、每列的含义、数据集的格式等。

conf.json

conf.json 是竞赛的配置文件。下面显示了一个 conf.json 的示例

{
   "COMPETITION_TYPE":"generic",
   "SUBMISSION_LIMIT":5,
   "TIME_LIMIT": 10,
   "HARDWARE":"cpu-basic",
   "SELECTION_LIMIT":10,
   "END_DATE":"2024-05-25",
   "EVAL_HIGHER_IS_BETTER":1,
   "SUBMISSION_ID_COLUMN":"id",
   "SUBMISSION_COLUMNS":"id,pred",
   "SUBMISSION_ROWS":10000,
   "EVAL_METRIC":"roc_auc_score",
   "LOGO":"https://github.com/abhishekkrthakur/public_images/blob/main/song.png?raw=true",
   "DATASET": "",
   "SUBMISSION_FILENAMES": ["submission.csv"],
   "SCORING_METRIC": "roc_auc_score"
}

此文件在您创建新竞赛时创建。您可以根据您的需要修改此文件。但是，我们不建议在竞赛开始后更改评估指标字段，因为这将需要您重新评估所有提交的作品。

• COMPETITION_TYPE：此字段用于指定竞赛的类型。目前，我们支持两种类型的竞赛：generic 和 script。
  • generic 竞赛是一种用户可以提交 csv 文件（或不同格式）的竞赛，并且提交的作品使用指标进行评估。
  • script 竞赛是一种用户可以提交包含 script.py 的 huggingface 模型仓库的竞赛。运行 script.py 以生成 submission.csv，然后使用指标对其进行评估。
• SUBMISSION_LIMIT：此字段用于指定用户一天可以提交的作品数量。
• TIME_LIMIT：此字段用于指定每次提交的时间限制，以秒为单位。（仅用于 script 竞赛）
• HARDWARE：此字段用于指定评估提交作品的硬件。
• SELECTION_LIMIT：此字段用于指定将选择用于排行榜的提交作品数量。（仅用于 script 竞赛）
• END_DATE：此字段用于指定竞赛的结束日期。竞赛将在结束日期自动关闭。私人排行榜将在结束日期提供。
• EVAL_HIGHER_IS_BETTER：此字段用于指定评估指标是越高越好还是越低越好。如果值为 1，则越高越好。如果值为 0，则越低越好。
• SUBMISSION_ID_COLUMN：此字段用于指定提交文件中的 id 列的名称。
• SUBMISSION_COLUMNS：此字段用于指定提交文件中的列名。名称必须用逗号分隔，且不包含任何空格。
• SUBMISSION_ROWS：此字段用于指定不包含标题的提交文件中的行数。
• EVAL_METRIC：此字段用于指定评估指标。我们支持所有 scikit-learn 指标，甚至支持自定义指标。
• LOGO：此字段用于指定竞赛的徽标。徽标必须是 png 文件。徽标显示在竞赛的所有页面上。
• DATASET：此字段用于指定竞赛中使用的私有数据集。数据集仅在脚本运行时对用户可用。这仅用于脚本竞赛。
• SUBMISSION_FILENAMES：此字段用于指定提交文件的名称。这仅用于具有自定义指标的脚本竞赛，对于通用竞赛不得更改。
• SCORING_METRIC：当使用自定义指标/多个指标时，此字段用于指定将用于对提交作品进行评分的指标名称。

solution.csv

此文件包含竞赛的解决方案。它是一个 csv 文件。下面显示了一个示例

id,pred,split
0,1,public
1,0,private
2,0,private
3,1,private
4,0,public
5,1,private
6,1,public
7,1,private
8,0,public
9,0,private
10,0,private
11,0,private
12,1,private
13,0,private
14,1,public

解决方案文件用于评估提交的作品。解决方案文件必须始终包含 id 列和 split 列。split 列用于将解决方案拆分为公共部分和私有部分。split 列可以有两个值：public 和 private。您可以在解决方案文件中包含多列。但是，评估指标必须支持多列。

例如，如果评估指标是 roc_auc_score，则解决方案文件必须包含两列：id 和 pred。id 列和 pred 列的名称可以是任何名称。名称将从 conf.json 文件中获取。请确保您在 conf.json 文件中具有适当的列名，并且在解决方案文件中同时具有公共和私有拆分。

SUBMISSION_DESC.md

此文件包含提交作品的描述。它是一个 markdown 文件。您可以使用 markdown 语法来格式化文本，并根据您的需要修改文件。提交作品描述会显示在提交页面上。

在这里，您可以提及提交文件的格式、提交文件中所需的列等。

对于上面显示的示例解决方案文件，提交文件必须包含两列：id 和 pred。下面显示了 sample_submission.csv 的示例

id,pred
0,0.6
1,0.1
2,0.5
3,1.6
4,0.8
5,1
6,1
7,1
8,0
9,0
10,0.1
11,0.4
12,1.9
13,0.01
14,1.1

当用户提交提交文件时，系统将检查提交文件是否具有所需的列。如果提交文件不包含所需的列，则提交将被拒绝。

组织者有责任确保他们提供格式正确的示例提交文件和提交描述文件。

submission_info

此文件夹包含提交信息文件。每个提交信息文件包含有关提交作品的信息。此文件夹在首次提交作品时创建。提交信息文件是 json 文件。

submissions

此文件夹包含用户提交的作品。每个提交作品都是一个 csv 文件（或不同的格式）。此文件夹在首次提交作品时创建。

其他文件

其他文件 teams.json 和 user_team.json 用于存储有关团队的信息。