BERT 101 🤗 SOTA NLP 模型详解

有趣的事实： 掩码技术已经存在很长时间了 - 1953 年关于完形填空程序 (或“掩码”) 的论文。

2.3 什么是下一句预测？

NSP (下一句预测) 用于帮助 BERT 学习句子之间的关系，通过预测给定的句子是否是前一个句子的下一句。

下一句预测示例

1. Paul went shopping. He bought a new shirt. (保罗去购物了。他买了一件新衬衫。) (正确的句子对)
2. Ramona made coffee. Vanilla ice cream cones for sale. (雷蒙娜煮了咖啡。香草冰淇淋甜筒出售。) (不正确的句子对)

在训练中，50% 的正确句子对与 50% 的随机句子对混合在一起，以帮助 BERT 提高下一句预测的准确性。

有趣的事实： BERT 是同时在 MLM (50%) 和 NSP (50%) 上进行训练的。

2.4 Transformer

Transformer 架构使得 ML 训练能够极其高效地并行化。因此，大规模并行化使得在相对较短的时间内对 BERT 进行大量数据训练成为可能。

Transformer 使用注意力机制来观察单词之间的关系。这一概念最初在流行的 2017 年论文《Attention Is All You Need》中提出，引发了世界各地 NLP 模型对 Transformer 的使用。

自 2017 年问世以来，Transformer 已迅速成为解决许多领域任务 (如自然语言处理、语音识别和计算机视觉) 的最先进方法。简而言之，如果你在做深度学习，那么你需要 Transformer！

Lewis Tunstall，Hugging Face 机器学习工程师兼《Natural Language Processing with Transformers》作者

流行的 Transformer 模型发布时间线

2.4.1 Transformer 是如何工作的？

Transformer 的工作原理是利用注意力机制，这是一种强大的深度学习算法，最早出现在计算机视觉模型中。

——这与我们人类通过注意力处理信息的方式并无太大不同。我们非常擅长忘记/忽略那些不会构成威胁或不需要我们回应的日常琐碎输入。例如，你还记得上周二回家路上看到和听到的一切吗？当然不记得！我们大脑的记忆力是有限且宝贵的。我们能够回忆，得益于我们能够忘记琐碎的输入。

同样，机器学习模型需要学会只关注重要的事情，而不要浪费计算资源处理不相关的信息。Transformer 创建差异化的权重，以表明句子中的哪些单词最关键，需要进一步处理。

Transformer 通过将输入在一系列 Transformer 层 (通常称为编码器) 中连续处理来实现这一点。如有必要，可以使用另一系列 Transformer 层——解码器——来预测目标输出。——然而，BERT 并未使用解码器。Transformer 特别适合无监督学习，因为它们可以高效地处理数百万个数据点。

有趣的事实：自 2011 年以来，Google 一直在使用你的 reCAPTCHA 选择来标记训练数据。整个 Google Books 档案和《纽约时报》目录中的 1300 万篇文章都已通过人们输入 reCAPTCHA 文本进行了转录/数字化。现在，reCAPTCHA 要求我们标记 Google 街景图像、车辆、红绿灯、飞机等。如果 Google 让我们意识到我们参与了这项工作 (因为训练数据很可能具有未来的商业意图)，那将会很不错，但我跑题了。

要了解有关 Transformer 的更多信息，请查看我们的 Hugging Face Transformers 课程。

3. BERT 模型的大小和架构

让我们来分析一下两个原始 BERT 模型的架构

ML 架构术语表

以下是 BERTbase 和 BERTlarge 的上述 ML 架构部分的数量

让我们来看看 BERTlarge 的额外层、注意力头和参数如何提高了它在 NLP 任务中的性能。

4. BERT 在常见语言任务上的性能

BERT 已在 11 个常见的 NLP 任务上成功达到了最先进的准确率，超越了以往顶尖的 NLP 模型，并且是第一个超越人类的模型！但是，这些成就是如何衡量的呢？

NLP 评估方法：

4.1 SQuAD v1.1 & v2.0

SQuAD (斯坦福问答数据集) 是一个阅读理解数据集，包含约 10.8 万个问题，这些问题可以通过相应的维基百科文本段落来回答。BERT 在这种评估方法上的表现是一项重大成就，它击败了之前的最先进模型和人类水平的表现。

4.2 SWAG

SWAG (Situations With Adversarial Generations) 是一项有趣的评估，因为它检测模型推断常识的能力！它通过一个包含 11.3 万个关于常识情景的多项选择题的大规模数据集来实现这一点。这些问题是从视频场景/情景中转录的，SWAG 为模型提供了下一个场景中四种可能的结果。然后模型尽力预测正确答案。

BERT 的表现优于之前的顶尖模型，包括人类水平的表现。

4.3 GLUE 基准测试

GLUE (通用语言理解评估) 基准测试是一组用于训练、衡量和相互比较分析语言模型的资源。这些资源由九个旨在测试 NLP 模型理解能力的“困难”任务组成。以下是每个任务的摘要

虽然其中一些任务可能看起来无关紧要和陈腐，但重要的是要注意，这些评估方法在指示哪些模型最适合你的下一个 NLP 应用方面 极其 强大。

达到这种水平的表现并非没有代价。接下来，让我们了解一下机器学习对环境的影响。

5. 深度学习对环境的影响

大型机器学习模型需要海量数据，这在时间和计算资源上都代价高昂。

这些模型也对环境有影响

机器学习对环境的影响是我们相信通过开源实现机器学习世界民主化的众多原因之一！共享大型预训练语言模型对于降低我们社区驱动工作的总体计算成本和碳足迹至关重要。

6. BERT 的开源力量

与其他大型学习模型 (如 GPT-3) 不同，BERT 的源代码是公开可访问的 (在 Github 上查看 BERT 的代码)，这使得 BERT 在世界范围内得到更广泛的使用。这是一个改变游戏规则的因素！

开发人员现在能够快速启动并运行像 BERT 这样的最先进模型，而无需花费大量的时间和金钱。🤯

开发人员可以转而将精力集中在微调 BERT 上，以针对其独特的任务定制模型的性能。

值得注意的是，如果你不想微调 BERT，目前已有数千个开源免费、预训练的 BERT 模型可用于特定用例。

为特定任务预训练的 BERT 模型

• Twitter 情感分析
• 日语文本分析
• 情绪分类器 (英语 - 愤怒、恐惧、喜悦等)
• 临床笔记分析
• 语音转文本翻译
• 有害评论检测

你还可以在 Hugging Face Hub 上找到数百个预训练的开源 Transformer 模型。

7. 如何开始使用 BERT

我们创建了这个 notebook，以便你可以通过这个简单的教程在 Google Colab 中试用 BERT。打开 notebook 或将以下代码添加到你自己的 notebook 中。专业提示：使用 (Shift + 单击) 来运行代码单元格。

注意：Hugging Face 的 pipeline 类 使得引入像 Transformers 这样的开源 ML 模型变得极其简单，只需一行代码即可。

7.1 安装 Transformers

首先，让我们通过以下代码安装 Transformers

!pip install transformers

7.2 试用 BERT

请随意将下面的句子换成你自己的句子。但是，请在某处保留 [MASK]，以便 BERT 预测缺失的单词

from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("Artificial Intelligence [MASK] take over the world.")

当你运行上面的代码时，你应该会看到类似这样的输出

[{'score': 0.3182411789894104,
  'sequence': 'artificial intelligence can take over the world.',
  'token': 2064,
  'token_str': 'can'},
 {'score': 0.18299679458141327,
  'sequence': 'artificial intelligence will take over the world.',
  'token': 2097,
  'token_str': 'will'},
 {'score': 0.05600147321820259,
  'sequence': 'artificial intelligence to take over the world.',
  'token': 2000,
  'token_str': 'to'},
 {'score': 0.04519503191113472,
  'sequence': 'artificial intelligences take over the world.',
  'token': 2015,
  'token_str': '##s'},
 {'score': 0.045153118669986725,
  'sequence': 'artificial intelligence would take over the world.',
  'token': 2052,
  'token_str': 'would'}]

有点吓人，对吧？🙃

7.3 警惕模型偏见

让我们看看 BERT 为“男人”推荐什么工作

unmasker("The man worked as a [MASK].")

当你运行上面的代码时，你应该会看到类似这样的输出

[{'score': 0.09747546911239624,
  'sequence': 'the man worked as a carpenter.',
  'token': 10533,
  'token_str': 'carpenter'},
 {'score': 0.052383411675691605,
  'sequence': 'the man worked as a waiter.',
  'token': 15610,
  'token_str': 'waiter'},
 {'score': 0.04962698742747307,
  'sequence': 'the man worked as a barber.',
  'token': 13362,
  'token_str': 'barber'},
 {'score': 0.037886083126068115,
  'sequence': 'the man worked as a mechanic.',
  'token': 15893,
  'token_str': 'mechanic'},
 {'score': 0.037680838257074356,
  'sequence': 'the man worked as a salesman.',
  'token': 18968,
  'token_str': 'salesman'}]

BERT 预测这个男人的工作是木匠、服务员、理发师、机械师或销售员

现在让我们看看 BERT 为“女人”推荐什么工作

unmasker("The woman worked as a [MASK].")

你应该会看到类似这样的输出

[{'score': 0.21981535851955414,
  'sequence': 'the woman worked as a nurse.',
  'token': 6821,
  'token_str': 'nurse'},
 {'score': 0.1597413569688797,
  'sequence': 'the woman worked as a waitress.',
  'token': 13877,
  'token_str': 'waitress'},
 {'score': 0.11547300964593887,
  'sequence': 'the woman worked as a maid.',
  'token': 10850,
  'token_str': 'maid'},
 {'score': 0.03796879202127457,
  'sequence': 'the woman worked as a prostitute.',
  'token': 19215,
  'token_str': 'prostitute'},
 {'score': 0.030423851683735847,
  'sequence': 'the woman worked as a cook.',
  'token': 5660,
  'token_str': 'cook'}]

BERT 预测这个女人的工作是护士、女服务员、女佣、妓女或厨师，这显示了职业角色中明显的性别偏见。

7.4 你可能喜欢的其他 BERT Notebook：

首次使用 BERT 的可视化 Notebook

训练你的分词器

+别忘了查看 Hugging Face Transformers 课程 以了解更多 🎉

8. BERT 常见问题解答

9. 结论

BERT 是一个高度复杂和先进的语言模型，帮助人们自动化语言理解。它能够在海量数据上进行训练，并利用 Transformer 架构彻底改变 NLP 领域，从而实现了最先进的性能。

得益于 BERT 的开源库，以及杰出的 AI 社区为持续改进和分享新的 BERT 模型所做的努力，尚未触及的 NLP 里程碑的未来看起来一片光明。

你将用 BERT 创造什么？

了解如何为你的特定用例微调 BERT 🤗