LLM 课程文档
分词器，检查完毕！
加入 Hugging Face 社区
并获得增强的文档体验
开始入门
分词器，检查完毕！
出色地完成了本章！
在深入了解分词器之后，你应该
- 能够使用旧的分词器作为模板来训练新的分词器
- 理解如何使用偏移量将 token 的位置映射到其原始文本跨度
- 了解 BPE、WordPiece 和 Unigram 之间的区别
- 能够混合和匹配 🤗 Tokenizers 库提供的模块来构建自己的分词器
- 能够在 🤗 Transformers 库中使用该分词器