基本使用完成!
恭喜你已经完成了课程的学习!回顾一下,在本节中你
- 学习了 Transformer 模型的基本构建模块。
- 学习了构成分词管道的要素。
- 看到了如何在实践中使用 Transformer 模型。
- 学习了如何利用分词器将文本转换为模型可理解的张量。
- 设置了一个分词器和一个模型,以便从文本获得预测。
- 学习了输入 ID 的局限性,并了解了注意力掩码。
- 尝试了多功能且可配置的分词器方法。
从现在开始,你可以自由地浏览 🤗 Transformers 文档:词汇表将变得熟悉,并且你已经看到了在大多数时间都会使用的方法。