分词器，搞定！

恭喜您完成本章！

深入了解分词器后，您应该：

• 能够以旧分词器为模板训练新分词器
• 了解如何使用偏移量将词元位置映射到其原始文本跨度
• 了解 BPE、WordPiece 和 Unigram 之间的区别
• 能够混合搭配 🤗 Tokenizers 库提供的块来构建您自己的分词器
• 能够在 🤗 Transformers 库中使用该分词器

< > 在 GitHub 上更新