NLP 课程文档

分词器，搞定！

NLP 课程

0. 设置

1. Transformer 模型

2. 使用 🤗 Transformers

3. 微调预训练模型

4. 共享模型和分词器

5. 🤗 数据集库

6. 🤗 分词器库

简介从旧分词器训练新分词器快速分词器的特殊能力快速分词器在问答管道中的应用规范化和预分词字节对编码分词 WordPiece 分词 Unigram 分词逐块构建分词器分词器，搞定！章节末测试

7. 主要 NLP 任务

8. 如何寻求帮助

9. 构建和共享演示新

课程活动

加入 Hugging Face 社区

并获得增强型文档体验

协作模型、数据集和 Spaces

通过加速推理获得更快的示例

切换文档主题

开始使用

分词器，搞定！

恭喜你完成了本章节！

在深入研究分词器之后，你应该

能够使用旧分词器作为模板训练新的分词器
了解如何使用偏移量将分词的位置映射到其原始文本范围
了解 BPE、WordPiece 和 Unigram 之间的区别
能够混合和匹配 🤗 分词器库提供的模块来构建自己的分词器
能够在 🤗 Transformers 库中使用该分词器

←逐块构建分词器章节末测试→