分词器，搞定！

恭喜你完成了本章节！

在深入研究分词器之后，你应该

• 能够使用旧分词器作为模板训练新的分词器
• 了解如何使用偏移量将分词的位置映射到其原始文本范围
• 了解 BPE、WordPiece 和 Unigram 之间的区别
• 能够混合和匹配 🤗 分词器库提供的模块来构建自己的分词器
• 能够在 🤗 Transformers 库中使用该分词器