竞赛仓库

注意：竞赛仓库必须始终保持私密。不要公开它！

竞赛仓库包含以下文件

├── COMPETITION_DESC.md
├── conf.json
├── DATASET_DESC.md
├── solution.csv
├── SUBMISSION_DESC.md
├── submission_info
│   └── *.json
├── submissions
│   └── *.csv
├── teams.json
└── user_team.json

COMPETITION_DESC.md

此文件包含竞赛的描述。它是一个 Markdown 文件。您可以使用 Markdown 语法格式化文本并根据您的需要修改文件。竞赛描述显示在竞赛的首页上。

DATASET_DESC.md

此文件包含数据集的描述。它也是一个 Markdown 文件。此文件用于描述数据集，并在数据集页面上显示。您可以在此文件中说明数据集中存在哪些列、每列的含义、数据集的格式等。

conf.json

conf.json 是竞赛的配置文件。下面显示了一个示例 conf.json

{
   "COMPETITION_TYPE":"generic",
   "SUBMISSION_LIMIT":5,
   "TIME_LIMIT": 10,
   "HARDWARE":"cpu-basic",
   "SELECTION_LIMIT":10,
   "END_DATE":"2024-05-25",
   "EVAL_HIGHER_IS_BETTER":1,
   "SUBMISSION_ID_COLUMN":"id",
   "SUBMISSION_COLUMNS":"id,pred",
   "SUBMISSION_ROWS":10000,
   "EVAL_METRIC":"roc_auc_score",
   "LOGO":"https://github.com/abhishekkrthakur/public_images/blob/main/song.png?raw=true",
   "DATASET": "",
   "SUBMISSION_FILENAMES": ["submission.csv"],
   "SCORING_METRIC": "roc_auc_score"
}

此文件在您创建新竞赛时创建。您可以根据您的需要修改此文件。但是，我们建议您在竞赛开始后不要更改评估指标字段，因为这需要您重新评估所有提交。

• COMPETITION_TYPE：此字段用于指定竞赛的类型。目前，我们支持两种类型的竞赛：generic 和 script。
  • generic 竞赛是指用户可以提交 CSV 文件（或其他格式），提交结果使用指标进行评估。
  • script 竞赛是指用户可以提交一个包含 script.py 的 Hugging Face 模型仓库。script.py 运行以生成 submission.csv，然后使用指标评估该文件。
• SUBMISSION_LIMIT：此字段用于指定用户每天可以进行的提交次数。
• TIME_LIMIT：此字段用于指定每次提交的时间限制（以秒为单位）。（仅用于 script 竞赛）
• HARDWARE：此字段用于指定用于评估提交结果的硬件。
• SELECTION_LIMIT：此字段用于指定将选择哪些提交结果进入排行榜。 （仅用于 script 竞赛）
• END_DATE：此字段用于指定竞赛的结束日期。竞赛将在结束日期自动关闭。私人排行榜将在结束日期后提供。
• EVAL_HIGHER_IS_BETTER：此字段用于指定评估指标是越大越好还是越小越好。如果值为 1，则越大越好。如果值为 0，则越小越好。
• SUBMISSION_ID_COLUMN：此字段用于指定提交文件中 ID 列的名称。
• SUBMISSION_COLUMNS：此字段用于指定提交文件中各列的名称。名称必须用逗号分隔，不包含空格。
• SUBMISSION_ROWS：此字段用于指定提交文件中不包含标题的行数。
• EVAL_METRIC：此字段用于指定评估指标。我们支持所有 scikit-learn 指标，甚至自定义指标。
• LOGO：此字段用于指定竞赛的徽标。徽标必须是 png 文件。徽标显示在竞赛的所有页面上。
• DATASET：此字段用于指定竞赛中使用的私有数据集。该数据集仅在脚本运行期间对用户可用。这仅适用于脚本竞赛。
• SUBMISSION_FILENAMES：此字段用于指定提交文件的名称。这仅适用于使用自定义指标的脚本竞赛，并且对于通用竞赛必须保持不变。
• SCORING_METRIC：当使用自定义指标/多个指标时，此字段用于指定用于对提交结果进行评分的指标名称。

solution.csv

此文件包含竞赛的解决方案。它是一个 CSV 文件。下面显示了一个示例

id,pred,split
0,1,public
1,0,private
2,0,private
3,1,private
4,0,public
5,1,private
6,1,public
7,1,private
8,0,public
9,0,private
10,0,private
11,0,private
12,1,private
13,0,private
14,1,public

解决方案文件用于评估提交结果。解决方案文件必须始终具有 ID 列和拆分列。拆分列用于将解决方案拆分为公开部分和私人部分。拆分列可以具有两个值：public 和 private。您可以在解决方案文件中添加多个列。但是，评估指标必须支持多个列。

例如，如果评估指标是roc_auc_score，那么解决方案文件必须包含两列：id 和 pred。id 和 pred 列的名称可以是任何名称。名称将从conf.json 文件中获取。请确保conf.json 文件中包含适当的列名，并且解决方案文件中包含公开和私有拆分。

SUBMISSION_DESC.md

此文件包含提交的描述。这是一个 Markdown 文件。您可以使用 Markdown 语法格式化文本，并根据需要修改文件。提交描述将显示在提交页面上。

您可以在此处提及提交文件的格式，提交文件中需要哪些列等。

对于上面显示的示例解决方案文件，提交文件必须包含两列：id 和 pred。下面显示了 sample_submission.csv 的示例

id,pred
0,0.6
1,0.1
2,0.5
3,1.6
4,0.8
5,1
6,1
7,1
8,0
9,0
10,0.1
11,0.4
12,1.9
13,0.01
14,1.1

当用户提交提交文件时，系统将检查提交文件是否包含必需的列。如果提交文件不包含必需的列，则提交将被拒绝。

组织者有责任确保他们提供格式正确的示例提交文件和提交描述文件。

submission_info

此文件夹包含提交信息文件。每个提交信息文件都包含关于提交的信息。此文件夹在第一次提交时创建。提交信息文件是 JSON 文件。

submissions

此文件夹包含用户提交的内容。每个提交都是一个 CSV 文件（或其他格式）。此文件夹在第一次提交时创建。

other files

其他文件 teams.json 和 user_team.json 用于存储有关团队的信息。