章节末测验

让我们测试一下你在本章中学到的知识！

1. 何时应该训练新的分词器？

当你的数据集与现有预训练模型使用的数据集相似，并且你想预训练一个新模型时当你的数据集与现有预训练模型使用的数据集相似，并且你想使用这个预训练模型微调一个新模型时当你的数据集与现有预训练模型使用的数据集不同，并且你想预训练一个新模型时当你的数据集与现有预训练模型使用的数据集不同，但是你想使用这个预训练模型微调一个新模型时

2. 当使用 train_new_from_iterator() 时，使用文本列表生成器而不是文本列表的列表有什么优势？

这是 train_new_from_iterator() 方法唯一接受的类型。你将避免一次性将整个数据集加载到内存中。这将允许 🤗 Tokenizers 库使用多进程。你训练的分词器将生成更好的文本。

3. 使用“快速”分词器有什么优势？

当你批量处理大量输入时，它比慢速分词器处理输入的速度更快。快速分词器总是比其慢速对应物分词速度更快。它可以应用填充和截断。它有一些额外的功能，允许你将 token 映射到创建它们的文本跨度。

4. token 分类管道如何处理跨越多个 token 的实体？

具有相同标签的实体被合并为一个实体。存在实体开始的标签和实体延续的标签。在一个给定的词中，只要第一个 token 具有实体的标签，则整个词都被认为是用该实体标记的。当一个 token 具有给定实体的标签时，任何其他具有相同标签的后续 token 都被认为是同一实体的一部分，除非它被标记为新实体的开始。

5. 问答管道如何处理长上下文？

它实际上并没有真正处理，因为它会将长上下文截断到模型接受的最大长度。它将上下文拆分为几个部分，并平均获得的結果。它将上下文拆分为几个部分（有重叠），并找到每个部分中答案的最大分数。它将上下文拆分为几个部分（没有重叠，为了效率），并找到每个部分中答案的最大分数。

6. 什么是归一化？

它是分词器在初始阶段对文本执行的任何清理操作。这是一种数据增强技术，涉及通过删除稀有词使文本更正常。这是最终的后处理步骤，分词器在其中添加特殊 token。这是通过减去均值并除以标准差，使嵌入的均值为 0，标准差为 1 的时候。

7. 子词分词器的预分词化是什么？

这是分词化之前的步骤，在其中应用数据增强（如随机掩码）。这是分词化之前的步骤，在其中对文本应用所需的清理操作。这是应用分词器模型之前的步骤，用于将输入拆分为单词。这是应用分词器模型之前的步骤，用于将输入拆分为 token。

8. 选择适用于 BPE 分词模型的句子。

BPE 是一种子词分词算法，它从一个小词汇表开始，并学习合并规则。 BPE 是一种子词分词算法，它从一个大词汇表开始，并逐步从中删除 token。 BPE 分词器通过合并最常见的 token 对来学习合并规则。 BPE 分词器通过合并最大化分数的 token 对来学习合并规则，该分数优先考虑频繁的对和不太频繁的单个部分。 BPE 通过将单词拆分为字符，然后应用合并规则，将单词分词为子词。 BPE 通过查找从开头开始的最长子词（在词汇表中），然后对文本的其余部分重复该过程，将单词分词为子词。

9. 选择适用于 WordPiece 分词模型的句子。

WordPiece 是一种子词分词算法，它从一个小词汇表开始，并学习合并规则。 WordPiece 是一种子词分词算法，它从一个大词汇表开始，并逐步从中删除 token。 WordPiece 分词器通过合并最常见的 token 对来学习合并规则。 WordPiece 分词器通过合并最大化分数的 token 对来学习合并规则，该分数优先考虑频繁的对和不太频繁的单个部分。 WordPiece 通过根据模型查找最有可能的分词成 token 的方式，将单词分词为子词。 WordPiece 通过查找从开头开始的最长子词（在词汇表中），然后对文本的其余部分重复该过程，将单词分词为子词。

10. 选择适用于 Unigram 分词模型的句子。

Unigram 是一种子词分词算法，它从一个小词汇表开始，并学习合并规则。 Unigram 是一种子词分词算法，它从一个大词汇表开始，并逐步从中删除 token。 Unigram 通过最小化在整个语料库上计算的损失来调整其词汇表。 Unigram 通过保留最常见的子词来调整其词汇表。 Unigram 通过根据模型查找最有可能的分词成 token 的方式，将单词分词为子词。 Unigram 通过将单词拆分为字符，然后应用合并规则，将单词分词为子词。

< > 在 GitHub 上更新

LLM 课程