章节末测试

让我们测试一下你在本章中所学到的知识！

1. 为什么要训练新的分词器？

当你的数据集与现有预训练模型使用的数据集相似，并且你想要预训练一个新模型时当你的数据集与现有预训练模型使用的数据集相似，并且你想要使用该预训练模型微调新模型时当你的数据集与现有预训练模型使用的数据集不同，并且你想要预训练一个新模型时当你的数据集与现有预训练模型使用的数据集不同，但你想要使用该预训练模型微调新模型时

2. 使用文本列表生成器与使用文本列表列表相比，在使用 train_new_from_iterator() 时有什么优势？

这是方法 train_new_from_iterator() 唯一接受的类型。你可以避免一次将整个数据集加载到内存中。这将允许 🤗 分词器库使用多进程。你训练的分词器将生成更好的文本。

3. 使用“快速”分词器有什么优势？

当你将大量输入一起批处理时，它可以比慢速分词器更快地处理输入。快速分词器始终比其慢速对应项更快地进行分词。它可以应用填充和截断。它具有一些附加功能，允许你将标记映射到创建它们的文本跨度。

4. 标记分类管道如何处理跨越多个标记的实体？

具有相同标签的实体合并为一个实体。有一个用于实体开始的标签和一个用于实体延续的标签。在一个给定的词中，只要第一个标记具有实体的标签，整个词就被认为用该实体标记。当一个标记具有给定实体的标签时，任何具有相同标签的后续标记都被认为是同一个实体的一部分，除非它被标记为新实体的开始。

5. 问答管道如何处理长上下文？

它并没有真正处理，因为它会将长上下文截断为模型接受的最大长度。它将上下文拆分为几个部分并对获得的结果进行平均。它将上下文拆分为几个部分（有重叠）并在每个部分中找到答案的最大分数。它将上下文拆分为几个部分（没有重叠，为了效率）并在每个部分中找到答案的最大分数。

6. 什么是规范化？

这是分词器在初始阶段对文本进行的任何清理操作。这是一种数据增强技术，通过移除罕见词语来使文本更加正常。这是分词器添加特殊词元的最终后处理步骤。这是通过减去均值并除以标准差，将嵌入的均值设为 0，标准差设为 1 的过程。

7. 子词分词器的前分词是什么？

这是分词之前的步骤，应用数据增强（如随机屏蔽）。这是分词之前的步骤，应用所需的清理操作到文本中。这是应用分词器模型之前，将输入拆分为单词的步骤。这是应用分词器模型之前，将输入拆分为词元的步骤。

8. 选择适用于 BPE 分词模型的句子。

BPE 是一种子词分词算法，它从一个小词汇量开始，并学习合并规则。 BPE 是一种子词分词算法，它从一个大词汇量开始，并逐步从中删除词元。 BPE 分词器通过合并最频繁的词元对来学习合并规则。 BPE 分词器通过合并最大化得分（优先考虑频率高的词元对，以及频率低的单个词元）的词元对来学习合并规则。 BPE 通过将单词拆分为字符，然后应用合并规则来将单词分词为子词。 BPE 通过从开头开始找到词汇表中最长的子词，然后对文本的剩余部分重复此过程，来将单词分词为子词。

9. 选择适用于 WordPiece 分词模型的句子。

WordPiece 是一种子词分词算法，它从一个小词汇量开始，并学习合并规则。 WordPiece 是一种子词分词算法，它从一个大词汇量开始，并逐步从中删除词元。 WordPiece 分词器通过合并最频繁的词元对来学习合并规则。 WordPiece 分词器通过合并最大化得分（优先考虑频率高的词元对，以及频率低的单个词元）的词元对来学习合并规则。 WordPiece 通过根据模型找到最可能的词元分割，来将单词分词为子词。 WordPiece 通过从开头开始找到词汇表中最长的子词，然后对文本的剩余部分重复此过程，来将单词分词为子词。

10. 选择适用于 Unigram 分词模型的句子。

Unigram 是一种子词分词算法，它从一个小词汇量开始，并学习合并规则。 Unigram 是一种子词分词算法，它从一个大词汇量开始，并逐步从中删除词元。 Unigram 通过最小化在整个语料库上计算的损失来调整其词汇量。 Unigram 通过保留最频繁的子词来调整其词汇量。 Unigram 通过根据模型找到最可能的词元分割，来将单词分词为子词。 Unigram 通过将单词拆分为字符，然后应用合并规则来将单词分词为子词。

NLP 课程