NLP 课程文档

分词器，搞定！

NLP 课程

0. 设置

1. Transformer 模型

2. 使用 🤗 Transformers

3. 微调预训练模型

4. 共享模型和分词器

5. 🤗 Datasets 库

6. 🤗 Tokenizers 库

简介从旧分词器训练新分词器快速分词器的特殊功能快速分词器在问答管道中的应用规范化和预分词字节对编码 (BPE) 分词 WordPiece 分词 Unigram 分词构建分词器，模块化分词器，搞定！章节末测验

7. 主要 NLP 任务

8. 如何寻求帮助

9. 构建和共享演示新增

课程活动

加入 Hugging Face 社区

并获得增强型文档体验

协作模型、数据集和空间

使用加速推理获得更快的示例

在文档主题之间切换

开始使用

分词器，搞定！

恭喜完成本章节！

在深入了解分词器之后，您应该

能够使用旧分词器作为模板训练新的分词器
了解如何使用偏移量将标记的位置映射到其原始文本范围
了解 BPE、WordPiece 和 Unigram 之间的区别
能够混合和匹配 🤗 Tokenizers 库提供的模块来构建自己的分词器
能够在 🤗 Transformers 库中使用该分词器

←构建分词器，模块化章节末测验→