基础用法完成!
恭喜你学习到这里!回顾一下,在本节中你
- 学习了 Transformer 模型的基本构建块。
- 学习了构成分词管道的内容。
- 了解了如何在实践中使用 Transformer 模型。
- 学习了如何利用分词器将文本转换为模型可理解的张量。
- 将分词器和模型组合起来,从文本获取预测结果。
- 了解了输入 ID 的局限性,并学习了注意力掩码。
- 尝试了多种用途和可配置的分词器方法。
从现在开始,你应该能够自由地浏览 🤗 Transformers 文档:词汇对你来说应该很熟悉,而且你已经了解了大多数时间都会用到的方法。