章节末尾测验

让我们测试一下您在本章中学到的内容！

1. 何时应该训练新的分词器？

2. 与使用文本列表的列表相比，使用文本列表的生成器在使用 `train_new_from_iterator()` 时有什么优势？

3. 使用“快速”分词器有什么优势？

4. 标记分类管道如何处理跨越多个标记的实体？

5. 问答管道如何处理长上下文？

6. 什么是规范化？

7. 对于子词分词器，什么是预分词？

8. 选择适用于 BPE 分词模型的句子。

9. 选择适用于 WordPiece 分词模型的句子。

10. 选择适用于 Unigram 分词模型的句子。

< > 在 GitHub 上更新