推理数据集竞赛
TL;DR: Bespoke Labs、Hugging Face 和 Together.ai 正在发起一场竞赛，旨在寻找最具创新性的推理数据集。创建一个出色的概念验证推理数据集，并赢得奖品以帮助您扩展工作！
Deepseek时刻的数据集
自2025年1月DeepSeek-R1发布以来，我们在Hugging Face Hub上看到了推理数据集的显著增长，例如OpenThoughts-114k、OpenCodeReasoning和codeforces-cot。这些数据集主要涵盖数学、编程和科学领域：这些领域都有明确可验证的答案。
现在，推理正在扩展到：
仅OpenThoughts-114k就帮助训练了超过230个模型！我们相信未来的突破不仅仅来自架构，更来自更好的数据，那些能够反映真实世界复杂性、不确定性和丰富性的数据集。
为了加速这一进程，我们正在启动一项推理数据集竞赛。
竞赛如何运作
目标：创建有影响力的概念验证推理数据集并将其分享到Hugging Face Hub。最优秀的提交作品将赢得奖品，以帮助扩展这些数据集并使用它们训练模型。
🗓️ 时间线
- 启动日期：2025年4月9日
- （新）提交截止日期：2025年5月9日（太平洋时间晚上11:59）(从5月1日延期)
- 获奖者公布：2025年5月19日
🚀 提交说明
- 创建至少包含 100 个示例的数据集
- 上传到 Hugging Face Hub
- 使用标签
reasoning-datasets-competition进行标记
我们将评估每个提交的100个示例（如果提交正好100个，则全部评估）。
✅ 提交要求
- 大小：最少100个示例
- 文档：包含一个数据集卡片，其中包含：
- 目的和范围
- 数据集创建方法
- 示例用途
- 限制或偏差
- 查看器预览：必须在HF查看器上正常显示
- 标签：
reasoning-datasets-competition - 许可证：明确用于研究的许可信息
💡 虽然这些是最低要求，但我们鼓励您超越这些！将您的数据集卡片视为您的推介。这是您展示数据集最佳之处，并帮助评委了解您为何在我们的评估标准（方法、领域和质量）中获得高分的机会。
🔍 我们寻找什么
新领域
- 法律推理：基于法律和判例的判断
- 金融分析：投资评估
- 文学解读：象征意义和主题分析
- 伦理/哲学：道德推理和框架
新颖任务
- 从非结构化文本中提取结构化数据示例
- 零样本分类：专注于通过推理训练小型模型使其成为更有效的零样本分类器的数据集
- 搜索改进：旨在提高搜索相关性和准确性的推理数据集
- 图解推理：训练模型解释、分析和推理流程图、系统图或决策树等视觉表示的数据集
- 约束满足问题：通过多个相互依赖的约束条件，教授模型推理复杂的调度、资源分配或优化场景的数据集集合
- 证据评估：演示如何评估来源可信度和权衡冲突信息的数据集
- 反事实推理：通过系统地改变变量并探索潜在结果来培养“如果…会怎样”思维的数据集集合
推理蒸馏
受DeepSeek论文启发：将大型模型的推理能力蒸馏到小型模型中。
支持推理生态系统
除了直接的推理数据集，我们还对有助于构建稳健推理生态系统的数据集感兴趣。这可能包括：
- 推理分类：用于训练模型对不同类型推理进行分类或标注的数据集
- 错误检测：用于训练模型识别推理过程中缺陷的数据集
这个领域是您在无需大量资源的情况下可能产生巨大影响的领域。
🧪 评估标准
| 维度 | 涵盖内容 | 我们看重什么 |
|---|---|---|
| 方法 | 数据集创建方法：工具、提示、流水线 | 新颖性和可扩展性 |
| 领域 | 涵盖领域或技能 | 实际相关性及对未充分探索领域的覆盖 |
| 质量 | 示例的清晰度、多样性和结构 | 富含推理的提示和最少的幻觉 |
🏆 奖品
🥇 第一名
- 来自 Together.ai 的 1,500 美元 API 积分
- 1,500 美元亚马逊（或等效的各国礼品卡）礼品卡
- Hugging Face Pro 订阅 + 计算积分
🥈 第二名与第三名
- 500 美元亚马逊（或等效的各国礼品卡）礼品卡
- HF Pro 订阅 + 计算积分
🌟 焦点奖
对Curator最创新的4个用途，每个将获得250美元的亚马逊（或等效的各国礼品卡）礼品卡
🎁 所有参与者
50 美元 Together.ai API 积分（有关如何领取积分的详细信息，请参阅下面的常见问题解答）
📝 注册说明
步骤1：在此处注册以接收 Together.ai 积分和竞赛最新信息
步骤2：加入讨论帖
步骤3：在Discord上加入#reasoning-dataset-competition
🧰 有用资源
- 基于GPU的蒸馏示例 (Colab)
- 仅API蒸馏示例 (Colab)
- OpenThoughts-114k 生成代码
- Claude 3.7 Sonnet 轨迹
- 使用 Kluster.ai 进行批量推理
❓ 常见问题
问：我可以提交多个数据集吗？
答：是的！
问：我可以与他人合作吗？
答：当然可以。欢迎组队。
问：如何领取 Together AI 积分？
答：填写 Together 网站上的此问卷。在黑客松名称（问题6）中填写“Reasoning datasets competition”。这里有一个操作指南。
问：我必须使用 Curator 吗？
答：不用。您可以使用任何您喜欢或熟练的工具或方法。
问：我必须使用LLM或合成数据吗？
答：完全不用。欢迎所有方法。
