章节末考试

让我们测试一下你在本章中学习了什么！

1. 什么时候应该训练新的分词器？

当你的数据集与现有预训练模型使用的类似，并且你想预训练新的模型时当你的数据集与现有预训练模型使用的类似，并且你想使用这个预训练模型微调新模型时当你的数据集与现有预训练模型使用的不同，并且你想预训练新的模型时当你的数据集与现有预训练模型使用的不同，但你想使用这个预训练模型微调新模型时

2. 在使用 train_new_from_iterator() 时，使用文本列表生成器与文本列表列表相比有什么优势？

这是 train_new_from_iterator() 方法唯一接受的类型。你可以避免一次将整个数据集加载到内存中。这将允许 🤗 分词器库使用多进程。你训练的分词器将生成更好的文本。

3. 使用“快速”分词器有哪些优势？

当你将大量输入一起批处理时，它可以比慢速分词器更快地处理输入。快速分词器始终比其慢速对应分词器更快地进行分词。它可以应用填充和截断。它具有一些附加功能，允许你将分词映射到创建它们的文本片段。

4. 分词分类管道如何处理跨越多个分词的实体？

具有相同标签的实体将合并为一个实体。有一个表示实体开头的标签和一个表示实体延续的标签。在一个给定的词中，只要第一个分词具有实体的标签，那么整个词都被认为带有该实体的标签。当一个分词具有给定实体的标签时，任何其他具有相同标签的后续分词都被认为是同一个实体的一部分，除非它被标记为新实体的开始。

5. 问答管道如何处理较长的上下文？

它没有真正处理，因为它将较长的上下文截断为模型接受的最大长度。它将上下文分成几个部分并对获得的结果进行平均。它将上下文分成几个部分（有重叠）并找到每个部分中答案的最大得分。它将上下文分成几个部分（无重叠，为了效率）并找到每个部分中答案的最大得分。

6. 什么是规范化？

这是分词器在初始阶段对文本进行的任何清理操作。这是一种数据增强技术，它通过移除罕见的词语来使文本更“正常”。这是最终的后处理步骤，分词器在此步骤中添加特殊标记。这是通过减去均值并除以标准差来使嵌入的均值为 0 且标准差为 1 的过程。

7. 对于字词分词器，什么是预分词？

这是分词之前的步骤，在此步骤中应用数据增强（如随机屏蔽）。这是分词之前的步骤，在此步骤中对文本应用所需的清理操作。这是将输入拆分为单词，然后应用分词器模型之前的步骤。这是将输入拆分为标记，然后应用分词器模型之前的步骤。

8. 选择适用于 BPE 分词模型的句子。

BPE 是一种字词分词算法，它从一个小词汇量开始，并学习合并规则。 BPE 是一种字词分词算法，它从一个大词汇量开始，并逐渐从中删除标记。 BPE 分词器通过合并出现频率最高的标记对来学习合并规则。 BPE 分词器通过合并使得分最大化的标记对来学习合并规则，该得分优先考虑出现频率较高的标记对，且单个部分的出现频率较低。 BPE 通过将单词拆分为字符，然后应用合并规则，将单词分词为字词。 BPE 通过从开头查找词汇表中最长的字词，然后对文本的其余部分重复此过程，将单词分词为字词。

9. 选择适用于 WordPiece 分词模型的句子。

WordPiece 是一种字词分词算法，它从一个小词汇量开始，并学习合并规则。 WordPiece 是一种字词分词算法，它从一个大词汇量开始，并逐渐从中删除标记。 WordPiece 分词器通过合并出现频率最高的标记对来学习合并规则。 WordPiece 分词器通过合并使得分最大化的标记对来学习合并规则，该得分优先考虑出现频率较高的标记对，且单个部分的出现频率较低。 WordPiece 通过根据模型查找最有可能的标记分割，将单词分词为字词。 WordPiece 通过从开头查找词汇表中最长的字词，然后对文本的其余部分重复此过程，将单词分词为字词。

10. 选择适用于 Unigram 分词模型的句子。

Unigram 是一种字词分词算法，它从一个小词汇量开始，并学习合并规则。 Unigram 是一种字词分词算法，它从一个大词汇量开始，并逐渐从中删除标记。 Unigram 通过最小化在整个语料库上计算的损失来调整其词汇量。 Unigram 通过保留最频繁的字词来调整其词汇量。 Unigram 通过根据模型查找最有可能的标记分割，将单词分词为字词。 Unigram 通过将单词拆分为字符，然后应用合并规则，将单词分词为字词。

NLP 课程