从零开始训练摩洛哥达里贾语的GPT-2语言模型：低资源自然语言处理的教育性实验
所属机构：Typica.ai – 专注于服务资源匮乏语言的AI研究
摘要
本文报告了2024年10月进行的一项研究实验，旨在**从零开始**训练一个针对**摩洛哥达里贾语**的GPT-2语言模型。摩洛哥达里贾语是一种口语化的阿拉伯方言，缺乏标准化、资源和自然语言处理工具。我们使用一块**NVIDIA A100 GPU**，在约1450万个单语示例数据集上训练了该模型。虽然与迁移学习相比，这种方法在生成最先进的结果方面并非最优，但我们将其作为一项**教育性和探索性研究**，旨在揭示从零开始训练在低资源环境中能为数据质量、语言表示和大型语言模型行为带来什么启示。我们概述了方法、解码策略、评估结果和经验教训，重点关注类型学见解、提示敏感性和文化适应性。
1. 引言
大型语言模型（LLM）的兴起为多语言和跨文化人工智能带来了激动人心的可能性。然而，大多数大型语言模型都是在高资源语言和通用方言上训练的。摩洛哥达里贾语，一种拥有超过3500万使用者的语言，几乎完全缺席于主要的语言模型基准测试。
本文介绍了一项**教育性实验**，其中一个GPT-2模型**从零开始**使用有限但真实世界的数据训练了达里贾语。我们有意避免使用预训练的阿拉伯语或多语言模型，以探究**在没有基础模型的情况下进行语言建模的基本原理**，并了解**模型能够纯粹从原始数据中学习多少**，无论这些数据是多么有限或嘈杂。
我们的研究目标不是与大型LLM竞争，而是：
- 通过仅限达里贾语的预训练**探索表示的边界**
- **评估**在最小基础设施下构建方言特定语言模型的**可行性**
- **深入了解**语言模型如何内化非正式、非标准化的语言
这项工作与**Typica.ai 的使命**相符，即为服务不足的语言社区开发以文化为基础的人工智能解决方案。
2. 从零开始训练的动机
在现代自然语言处理领域，由于计算成本、数据需求以及与微调大型基础模型（例如 LLaMA、Mistral、AraGPT2 等）相比的性能劣势，**从零开始预训练通常不被提倡**。
然而，从零开始训练提供了若干研究优势，尤其是在**教育和探索性背景下**：
- 它提供了**对分词器、词汇和初始化的完全控制**，这对于像达里贾语这样具有独特正字法和语音模式的方言至关重要。
- 它避免了**从其他方言或标准阿拉伯语（MSA）继承的偏见**，这些偏见可能会污染下游行为。
- 它更清晰地揭示了**数据质量、过拟合和收敛**方面的问题，让研究人员能够透明地了解建模动态。
此外，缺乏高质量的达里贾语基础模型意味着即使是微调也价值有限。我们的目标是生产一个**最小可行预训练模型**，能够学习达里贾语语法、词汇模式和文化线索——即使它不完美。
3. 数据集与预处理
3.1 数据收集
我们整理了一个包含约**1450万条达里贾语文本样本**的自定义语料库，这些样本来源于摩洛哥非正式论坛、社交平台和公共网站。这些数据反映了广泛的领域（政治、宗教、生活方式），但**风格冗余度较高**。
3.2 数据特征
- 高度非正式和不一致的正字法
- 频繁与法语和现代标准阿拉伯语（MSA）进行语码转换
- 新闻和社交内容中重复的结构
3.3 数据集统计
DatasetDict({
train: 14,557,876 examples,
validation: 574,653 examples,
test: 191,551 examples
})
4. 模型架构和训练设置
4.1 配置
- 基本架构：GPT-2（1.17亿参数当量）
- 分词器：从零开始在达里贾语数据集上训练的
GPT2TokenizerFast - 块大小: 1024
- 词汇表大小: 49,152
- 批次大小: 32
- 精度：FP16（混合精度）
- 最大训练步数: 520,000
- 评估/保存频率：每5,000步
4.2 硬件和环境
- GPU：NVIDIA A100（40GB 显存）
- 计算：单 GPU 设置（无模型/数据并行）
- 框架：Hugging Face Transformers（`Trainer` API）
训练时长：约3周（非连续会话，带检查点）。
5. 评估方法
5.1 推理参数
- 波束搜索（
num_beams=5） - Top-k 抽样（
top_k=50） - Top-p 抽样（
top_p=0.9） - 温度变化（0.6 – 1.0）
- 具有多个返回序列的**最佳-N 生成**
5.2 提示设计
提示是根据文化背景叙事和常见的达里贾语表达方式手动设计的。
提示:
الطقس اليوم فالمغرب كان مشمس ودافي، والناس قررو يخرجو للحديقة باش يدوزو وقت زوين مع العائلة. فاش وصلو،
生成的输出（波束搜索）:
لقاو الجو بارد بزاف، خصوصا أن الشتا كانت خيط من السما، والنهار بدا كيطيح، وبداو الناس كيخرجو من ديورهم، حتى وصلو للشارع الرئيسي ديال المدينة، وبقاو غير الناس قلال。
"بالصور. الشتا بدات كتطيح.. الشتا مجهدة بزاف"
5.3 人工评估
评估依据：
- 流畅度（语言的流畅性）
- 连贯性（语义的连续性）
- 文化相关性（本地参考、习语准确性）
6. 主要见解
✅ 成功之处
- 学会了**语境叙事结构**和本地表达
- 波束搜索意外地产生了很强的连贯性
- 避免了MSA式过拟合的污染
- 反映了摩洛哥日常生活的社会和文化线索
❌ 局限性
这项实验虽然在文化基础和表面流畅性方面令人鼓舞，但也揭示了在低资源环境下从小规模、从零开始训练的大型语言模型所特有的几个局限性：
叙事连贯性崩溃
该模型能够遵循短期上下文，但超出60-80个token后通常会失去连贯性。事件之间的转换可能变得突然或逻辑不一致，尤其是在涉及多个参与者或地点的开放式提示中。
重复冗余的措辞
生成的输出频繁重复想法或短语，这表明模型对训练数据中的高频模式存在过拟合。当数据集缺乏风格和结构多样性时，这是一个常见问题。
训练来源的模板泄露
该模型显示出“模板泄露”的迹象，特别是来自新闻风格或标题驱动的数据。虽然这种模仿行为可能会增强流畅性，但在非正式或叙事环境中会降低上下文的适当性。
浅层世界建模
由于缺乏精心策划或多样化的训练示例，该模型难以模拟真实世界中可能发生的事件。它倾向于生成表面化的序列，而非富有想象力或因果一致的进展。
正字法敏感性
由于达里贾语缺乏标准拼写，观察到分词效率低下。模型对语义等效变体的理解较弱，导致分词表示碎片化并降低泛化能力。
评估范围
目前的评估主要基于人工判断，属于定性评估。虽然这提供了对流畅性和文化相关性的洞察，但为了进行基准比较，还需要进一步的定量评估（例如，困惑度、覆盖率指标）。
7. 结论与未来工作
这项实验表明，**使用单块A100 GPU和干净的训练流程，从零开始训练方言、低资源语言的LLM是可行的**。虽然该模型尚未准备好部署，但它是一个有价值的研究成果。
未来方向
- 针对下游问答/聊天任务的指令微调
- 通过拼写规范化改进数据集整理
- 整合音频对齐转录（口语达里贾语）
- 扩展到多语言达里贾语-法语-阿拉伯语模型
在 Typica.ai，我们相信这些基础实验对于构建包容、本地化的自然语言处理系统至关重要。
致谢
这项工作是 Typica.ai 专注于为服务不足语言提供人工智能解决方案的研究流的一部分。感谢 Hugging Face 社区和所有开源贡献者。
参考文献
作者简介
Hicham Assoudi 是一位人工智能研究员、Oracle专家、作家，也是 Typica.ai 的创始人，该公司致力于为低资源语言构建自然语言处理工具。他拥有人工智能博士学位，并且是蒙特利尔UQAM人工智能实验室（CRIA）的外部研究员。
联系方式
如有问题、合作或反馈，请随时联系
📧 电子邮件：assoudi@typica.ai
🌐 网站：https://typica.ai
🔗 领英：linkedin.com/in/assoudi