挖掘LLM预训练数据：主题、技能和认知模式

Qwen构想的AGI

摘要

这篇技术博客文章详细分析了来自GPT-2、Falcon和Gemma2等各种大型语言模型（LLM）的预训练数据。该研究利用文本挖掘技术，包括嵌入、聚类和基于LLM的注释（针对OpenWebText、The Pile和C4等数据集），识别出关键模式。

研究结果表明，数据主要集中在技术、政治、健康、商业和文化等主题，来源于网络抓取、学术论文、代码库和新闻媒体等多种不同来源。数据反映了主要从事新闻/媒体、内容创作、分析/研究、学术和技术/工程等领域专业人员的工作。因此，LLM学习了相应的技能（例如，研究、批判性思维、沟通、领域专业知识）和任务表示（例如，分析、内容创作、合规）。

分析还揭示了数据中嵌入的不同写作风格、潜在的认知框架（信念、框架、图式、模因）以及常见的认知偏差（如确认偏差）。LLM能力的进步似乎与数据规模和任务频率相关，遵循幂律。研究得出结论，LLM是强大的数据驱动模拟器，其能力和局限性受其预训练语料库的构成和固有偏差影响，这突出了数据理解和整理的重要性。

引言

大型语言模型（LLM）展示了源自其广泛预训练数据的复杂能力。本文对几个知名LLM的预训练语料库进行了技术分析。通过采用文本挖掘技术，我们调查了这些数据集中包含的主题、专业人物、技能、任务和认知模式。目的是为影响LLM行为和能力发展的数据驱动因素提供实证见解。

理论框架：作为数据驱动模拟器的LLM

LLM可以被概念化为高维插值数据库，它们学习人类语言和相关活动的统计表示。它们的功能依赖于根据从大量文本语料库中学到的模式来预测后续词元，从而有效地模拟数据中存在的人物、任务和认知风格。技能习得通常遵循幂律分布，其中常见技能是基础，而更稀有的技能则随着模型规模和数据曝光的增加而出现，有时由于其统计上的稀有性和在学习表示空间中的潜在正交性而表现出少样本或单样本学习的特征。提示充当对这个学习空间的查询，激活相关的“向量程序”——嵌入关系中编码的隐式任务表示。

数据分析方法

本分析涵盖了与不同能力水平的LLM相关的预训练语料库，包括GPT-2、GPT-Neo、GPT-NeoX-20b、Falcon-40b、K-65b和Gemma2-27b。分析的数据集包括OpenWebText、The Pile、C4、RefinedWeb和RealNews的样本。

分析流程包括：

1. 数据采样： 对每个数据集初始采样约30万条记录。
2. 嵌入和聚类： 应用GTE和SGPT句子嵌入（使用适合数据源的模型，例如C4的T5），然后进行聚类以识别语义组。进行跨聚类采样以确保多样性。
3. 数据集精炼： 将核心数据集下采样至1.5万条多样化记录进行深入分析。
4. 基于LLM的注释： 利用Exaone-3.5-32B-Instruct进行详细特征提取和标注（主题、推断的职业档案、技能、任务、认知元素如态度、信念、框架、图式、模因、偏见）。
5. 标签聚合： 应用stella_en_1.5B_v5对生成的标签进行层次聚类以识别显著模式。
6. 合成： 使用NotebookLM整合和总结所有分析结果。

实证结果

分析得出了关于预训练数据构成和特征的几个关键发现：

1. 主要主题集群： 数据展现了广泛的主题覆盖。识别出的主要主题包括：

• 技术： 软件开发（Python、JavaScript、C++、网页开发）、AI/ML、网络安全、云计算、区块链。
• 政治与政府： 治理系统、选举、政策分析（税收、健康、教育）、国际关系、外交。
• 健康与医学： 疾病病理学与治疗、医疗系统分析、医学研究（生物医学、临床试验）、公共卫生、心理健康。
• 商业与金融： 经济理论与指标、金融市场、企业运营与战略、行业分析（电子商务、可持续发展、大麻）、消费者行为。
• 文化与社会： 艺术与娱乐（电影、音乐、文学）、媒体与传播、社会问题（平等、司法）、宗教与哲学、教育、体育与生活方式。

2. 主要数据来源： 分析证实了来源的异质性，包括：

• 网络语料库： Pile-CC、OpenWebText2。
• 学术/研究： PubMed Central、ArXiv、PhilPapers、NIH ExPorter、各种期刊档案。
• 代码库： GitHub。
• 法律/专利数据： FreeLaw、USPTO Backgrounds、专利数据库。
• 技术/社区论坛： Stack Exchange、Ubuntu IRC、HackerNews。
• 文学/书籍： BookCorpus2、Books3、Project Gutenberg。
• 新闻/媒体机构： 与RealNews和C4数据集相关。
• 其他： 维基百科、字幕（OpenSubtitles、YouTube）、电子邮件语料库（Enron）。

3. 主要作者人物（推断的职业档案）： 聚类分析表明数据源自不同的专业群体：

• 新闻与媒体： 广泛代表，包括专业记者（科技、政治、健康、金融）、编辑、评论员、分析师。
• 内容创作与数字媒体： 专注于数字平台的角色，包括博主、社交媒体经理、网页开发者、作家、播客。
• 分析与研究： 金融、数据、政策和行业分析师；研究员；科学家；学者。
• 学术与教育： 教授、研究员、讲师、教学设计师、教育技术专家。
• 技术与工程： 软件开发人员、工程师（各学科）、系统管理员。
• 其他重要角色： 法律专业人士、医疗保健从业者与管理者、商业管理、营销与销售、环境专家。

4. 普遍技能表示： 分析识别出数据中反映的重复技能集群：

• 语言能力（英语）： 语法、句法、词汇、写作清晰度。
• 信息处理： 研究技术、事实核查、来源评估、批判性思维、数据分析/解释、综合、总结。
• 沟通： 书面沟通（多种风格）、口头表达、演示、面试。
• 技术能力： 计算机/数字素养、网页基础（HTML/CSS）、编程概念、网络安全原则。
• 领域专业知识： 法律、金融、政治、医疗保健、科学、历史、文化等领域的特定知识。
• 认知/人际： 情绪智能、同理心、分析推理、解决问题、战略规划、组织。

5. 常见任务表示： 数据中经常出现的具体任务包括：

• 研究与分析： 信息收集、数据编译/分析、趋势分析、背景研究、法律/市场/历史研究、事实核查。
• 内容生成与结构化： 起草文本（文章、报告、摘要、电子邮件）、组织内容、结构化文档（大纲、标题）、总结、转录。
• 合规与标准化： 遵守法规/指南（法律、道德、行业）、确保数据隐私、标准化程序。
• 信息整合与综合： 整合来自多个来源的数据、纳入专家引述/意见、综合不同观点。
• 文档与演示： 格式化文本/文档、创建可视化内容、管理文档提交、发布内容。
• 利益相关者互动： 进行访谈、与社区/利益相关者互动、管理沟通、回应查询。

6. 主要写作风格： 文体分析将常见的写作模式与推断的专业角色联系起来：

• 新闻/报道式： 客观、事实、结构化（与记者、分析师相关）。
• 企业/战略式： 正式、外交、政策导向（与公关、战略家、商业角色相关）。
• 创意/叙事式： 描述性、讲故事、说服性（与作家、营销人员、博主相关）。
• 分析/技术/科学式： 说明性、详细、基于证据（与科学家、分析师、技术作家相关）。
• 倡导/说服式： 行动导向、提高意识（与活动家、政治家相关）。
• 指导/解释式： 教学性、实用指导（与教育工作者、培训师相关）。
• 其他风格： 还识别出公关/营销、反思/哲学、互动/社交媒体、法律/官方等风格。

7. 推断认知框架（信念、框架、图式、模因）： 分析识别出影响数据的重复认知模式：

• 信念： 潜在假设（例如，民主的价值、证据的重要性、对权威的怀疑、环境责任、技术乐观主义）。
• 框架： 解释结构（例如，问题-解决方案、社会正义、经济影响、可持续性、问责制、叙事）。
• 图式： 程序性知识模式（例如，科学方法、法律合规程序、调查过程、危机管理协议）。
• 模因： 群体内部文化传播的思想（例如，“数据驱动”、“快速失败”、“全球思考，本地行动”、“开源精神”）。
• 态度： 表达的立场（例如，批判性、怀疑性、乐观性、务实性、客观性、以客户为中心）。
• 动机： 推断的目标（例如，消费者保护、公众意识、社会正义、合规、创新、效率）。
• 主导心态： 特点是专业性、实用性、数据依赖性、清晰度、结构性、注重结果和批判性分析。

8. 认知偏差的表现： 人类认知偏差存在于数据中，可能影响LLM的输出：

• 确认偏差： 倾向于偏爱证实现有信念的信息。
• 锚定偏差： 过度依赖初始信息点。
• 可用性启发式： 基于心理回忆的容易程度而高估。
• 其他已识别的偏差： 现状偏差、自利偏差、光环效应、沉没成本谬误、法律合规偏差、内群体偏爱、动机性推理。

9. LLM能力演变： 比较分析表明能力进步与模型规模和数据特征相关联：

• 涌现与扩展： 能力似乎与任务频率相关，更稀有的任务需要更大的模型/数据集（幂律扩展）。
• GPT-2基线： 在高频主题/路径上展示任务能力，但表现出脆弱性。
• GPT-3级别改进： 少样本/零样本学习、任务泛化和连贯性方面显著改进。
• GPT-4级别优化： 增强推理能力、提高事实准确性、更出色的上下文处理能力、更广泛的知识库、改进翻译。
• 能力轨迹： 观察到从基本语言任务 -> 知识检索 -> 理解/RAG -> 逻辑推理 -> 复杂指令遵循 -> 深度专业知识/长链推理的进展。

讨论和启示

本分析强调了预训练数据构成对LLM能力和行为的深远影响。模型就像一面镜子，反映了其训练语料库中固有的主题、技能、专业规范、认知风格和偏见的分布。

• 通用性与偏见： 数据的广度使得LLM具有广泛的应用。然而，学习的统计性质意味着LLM不可避免地会内化并可能放大数据中普遍存在的观点、专业术语、文化模因和认知偏差。主导人物可能会不成比例地影响模型的默认风格或视角。
• 数据来源的重要性： 理解数据来源、推断的作者角色以及相关的认知框架对于解释LLM输出、预测局限性以及制定有效的提示策略至关重要。
• 数据整理的效率： 控制技能涌现的幂律表明，简单地扩展未经区分的数据会带来递减的回报。战略性地整理高质量、多样化且可能更均衡的数据集，可能为实现稳健可靠的能力提供更有效的途径。

结论

挖掘预训练数据表明，LLM学习了一种复杂的人类知识、技能和认知模式的统计模型。它们的能力直接来源于这些数据的构成，包括其多样化的主题、创作者的技能和任务、他们的写作风格、认知框架以及固有的偏见。LLM的有效开发和应用需要对这种数据-模型关系有批判性的理解，从而提高对其显著潜力和内在局限性的认识。

---