掌握自然语言处理
如果您已经完成了课程的这一部分,恭喜您 - 您现在拥有了所有必要的知识和工具,可以使用 🤗 Transformers 和 Hugging Face 生态系统来处理(几乎)任何 NLP 任务!
我们已经看到了许多不同的数据整理器,所以我们制作了这个小视频来帮助您找到每个任务应该使用哪一个。
完成对核心 NLP 任务的快速浏览后,您应该
- 了解哪些架构(编码器、解码器或编码器-解码器)最适合每个任务
- 了解预训练和微调语言模型之间的区别
- 了解如何使用 🤗 Accelerate 的
Trainer
API 和分布式训练功能或 TensorFlow 和 Keras 训练 Transformer 模型,具体取决于您所遵循的路线 - 了解文本生成任务中指标(如 ROUGE 和 BLEU)的含义和局限性
- 了解如何与微调的模型交互,无论是在 Hub 上还是使用 🤗 Transformers 的
pipeline
尽管拥有了所有这些知识,但您还是会在某个时候遇到代码中的难以解决的 bug,或者对如何解决特定 NLP 问题有疑问。幸运的是,Hugging Face 社区随时为您提供帮助!在本课程这部分的最后一章中,我们将探讨如何调试 Transformer 模型并有效地寻求帮助。