Fine-French: 法语网络中的精华

我们如何使用100%人工智能筛选，创建了第一个工业规模的法语语料库——只保留精华部分

引言

法国人工智能生态系统长期以来一直面临一个根本性问题：高质量、大规模法语训练数据的缺乏。尽管 The Pile 和 C4 等英语数据集已使英语语言模型取得了显著进展，但法国研究人员和从业者不得不使用翻译数据集、法语内容有限的多语言语料库或较小的手动整理集合。

今天，我们很高兴推出 Fine-French，这是第一个解决这一挑战的工业规模法语网络语料库。Fine-French 从最初的 1.25 亿份文档中，使用 GPT-4 合成标注筛选出 6600 万份高质量法语文档，它代表了一种全新的数据集创建范式：通过人工智能大规模判断人工智能，只保留精华中的精华。

问题：网络数据质量危机

法语训练数据的现状

大多数现有法语数据集都存在严重的质量问题

• 商业污染：宣传内容、折扣代码和营销垃圾邮件
• 结构伪影：过滤不佳的 HTML、导航菜单和网站样板文件
• 多语言稀释：法语内容与其他语言混杂，降低了密度
• 翻译伪影：来自英语来源的劣质机器翻译

我们对原始法语网络数据的分析表明，85% 的内容存在严重质量问题，这些问题对语言模型训练产生负面影响。

劣质训练数据的代价

在嘈杂数据上训练语言模型会导致

• 下游任务的模型性能下降
• 生成内容中的商业偏见
• 不一致的语言质量和风格
• 浪费计算资源在无意义的模式上

我们的解决方案：GPT-4 作为质量仲裁者

Fine-French 管道

Fine-French 引入了一种革命性的三阶段数据集整理方法

阶段1：大规模合成标注

我们为 GPT-4-o 开发了一个全面的提示系统，用于评估法语网络内容在多个质量维度上的表现

质量评估框架

1. 语言纯度（25分）

   • 语法和拼写准确性
   • 词汇丰富性和恰当性
   • 句法复杂性和正确性

2. 教育价值（25分）

   • 信息密度和深度
   • 语言模型的学习潜力
   • 对法语理解的贡献

3. 结构完整性（25分）

   • 逻辑组织和连贯性
   • 完整的思想和概念
   • 没有 HTML 伪影

4. 商业过滤（25分）

   • 宣传内容检测
   • 营销语言识别
   • 事务性文本过滤

GPT-4 评估样本

{
  "text": "L'architecture gothique française se caractérise par une recherche constante de verticalité...",
  "quality_score": 92,
  "rationale": {
    "linguistic_purity": "Excellent French vocabulary and grammar",
    "educational_value": "High information density about French cultural heritage",
    "structural_integrity": "Well-organized explanatory text",
    "commercial_content": "Zero promotional elements detected"
  },
  "bad_prompt_detected": 0
}

阶段2：知识蒸馏

200万份 GPT-4 标注数据作为专门的 CamemBERT-large 分类器的训练数据

训练配置

• 基础模型：CamemBERT-large（1.1 亿参数）
• 训练数据：200 万合成标注（80/10/10 分割）
• 优化：使用余弦调度器的 AdamW
• 性能：在保留测试集上达到 94.2% 的准确率

分类性能

整体性能

• 准确率: 94.2%
• 处理速度：1,247 份文档/秒

阶段3：工业规模过滤

训练好的分类器处理了整个 FineWeb-2 法语语料库，为每份文档生成质量预测

过滤结果

• 输入：125,020,619 份文档
• 高质量：66,234,891 份文档（53%）
• 已过滤：58,785,728 份文档（47%）

质量分析与验证

内容分布比较

过滤前 (FineWeb-2)

过滤后 (Fine-French)

语言模型性能影响

我们评估了 Fine-French 对下游模型性能的影响

训练效率比较

地理和领域覆盖

Fine-French 在法语区和各种内容领域保持了多样性。过滤过程保留了来自多个法语来源的内容，同时消除了原始数据集中存在的商业污染。

该数据集包含教育材料、技术文档、新闻文章、文化内容和政府资源等各种内容，主要区别在于系统地删除了原始语料库中占主导地位的宣传和商业内容。

技术实现

数据集模式

{
    'text': str,                    # Main textual content
    'id': str,                      # Unique document identifier
    'url': str,                     # Source URL
    'date': str,                    # Crawl timestamp
    'language_score': float,        # French confidence score
    'bad_prompt_detected': int,     # Quality flag (0=keep, 1=filter)
    'minhash_cluster_size': int,    # Deduplication cluster size
    'dump': str,                    # CommonCrawl dump identifier
    'file_path': str               # Original file location
}

使用示例

仅加载高质量内容

from datasets import load_dataset

# Load only the curated, high-quality content
dataset = load_dataset("legmlai/finefrench").filter(
    lambda x: x['bad_prompt_detected'] == 0
)

print(f"High-quality documents: {len(dataset['train']):,}")
# Output: High-quality documents: 66,234,891

训练数据准备

def prepare_training_text(examples):
    """Prepare text for language model training"""
    return {
        'text': [
            text.strip() for text in examples['text'] 
            if len(text.strip()) > 100  # Minimum length filter
        ]
    }

training_data = dataset.map(
    prepare_training_text,
    batched=True,
    remove_columns=['id', 'url', 'date', 'file_path']
)

质量分析

import pandas as pd

df = dataset['train'].to_pandas()

# Analyze retention by domain
df['domain'] = df['url'].str.extract(r'https?://(?:www\.)?([^/]+)')
retention_by_domain = df.groupby('domain')['bad_prompt_detected'].agg(['count', 'mean'])

print("Top domains by quality retention:")
print(retention_by_domain.sort_values('mean').head(10))

与现有数据集的比较

规模和质量比较

创新优势

Fine-French 的独特价值主张

1. AI原生策展：第一个完全通过AI评估创建的数据集
2. 无商业内容：系统性消除宣传内容
3. 质量一致性：质量检测准确率达 94.2%
4. 法语优化：专为法语语言模型训练设计
5. 工业规模：最大的法语精选语料库
6. 可复现流程：未来更新的全自动化管道

对法国人工智能生态系统的影响

高质量训练数据的普及化

Fine-French 解决了法国人工智能生态系统中的几个关键挑战

研究影响

• 使研究人员能够训练具有竞争力的法语语言模型
• 减少因劣质训练数据造成的计算浪费
• 为未来法语数据集开发提供基准

行业应用

• 推动法语客户服务 AI 的发展
• 支持法语内容生成工具的创建
• 支持法语法律和金融 AI 应用

教育效益

• 为学生提供干净、教学用的法语文本
• 支持法语语言学习工具的开发
• 支持计算语言学研究

性能基准

用于创建 Fine-French 的方法——过滤掉商业内容和低质量文本——旨在提高训练效率和模型性能。之前提到的困惑度提高 22.4% 表明，与原始网络数据相比，在精选、高质量内容上进行训练的价值。

未来考量

数据集维护

Fine-French 代表了我们目前法语数据整理的方法。我们开发的方法可能适用于

• 质量评估：持续评估网络内容质量
• 内容更新：评估新抓取的法语内容
• 方法论改进：过滤管道的改进

经验教训

Fine-French 的开发验证了几个关键原则

• AI原生策展：语言模型可以有效地评估训练数据质量
• 商业内容检测：自动化系统可以可靠地识别宣传内容
• 质量胜于数量：规模较小、经过整理的数据集通常优于规模较大、嘈杂的数据集
• 法语特定需求：特定语言的整理比通用方法能提供更好的结果

结论

Fine-French 代表了数据集创建的范式转变：从手动整理和简单启发式方法转向大规模的 AI 原生质量评估。通过利用 GPT-4 的语言理解能力，我们创建了第一个工业规模的法语语料库，它优先考虑**精华中的精华**而非原始数量。

主要成就

• ✅ 6600 万份高质量法语文档
• ✅ 通过智能过滤实现 53% 的保留率
• ✅ 模型困惑度提升 22.4%
• ✅ 无需人工标注
• ✅ 94.2% 的分类准确率
• ✅ 完全消除商业内容

Fine-French 的发布使高质量法语训练数据得以普及，使研究人员、初创公司和企业能够构建更好的法语语言模型。更重要的是，它证明了人工智能系统可以有效地为其他人工智能系统整理精华中的精华训练数据，为自动化数据集创建开辟了新的可能性。

这种方法表明，我们不再需要接受嘈杂、被商业污染的数据集。相反，我们可以系统地识别并只保留最高质量的内容用于语言模型训练。

立即尝试 Fine-French：https://huggingface.co/datasets/legmlai/finefrench

---

Fine-French 由 legml.ai 开发，并由 Mohamad Alhajar 精心整理。该数据集根据 ODC-By 1.0 许可证发布。

引用

@dataset{finefrench2024,
  title={Fine-French: La Crème de la Crème du Web Français},
  author={Alhajar, Mohamad and {legml.ai}},
  year={2024},
  publisher={Hugging Face},
  url={https://huggingface.co/datasets/legmlai/finefrench},
  note={AI-curated French web corpus filtered from 125M to 66M high-quality documents using GPT-4 synthetic annotation},
  license={ODC-By 1.0}
}