NLP 课程文档

解码器模型

Hugging Face's logo
加入 Hugging Face 社区

并获取增强型文档体验

开始使用

解码器模型

Ask a Question

解码器模型仅使用 Transformer 模型的解码器。在每个阶段,对于给定的单词,注意力层只能访问句子中位于它之前的单词。这些模型通常被称为自回归模型

解码器模型的预训练通常围绕预测句子中的下一个单词。

这些模型最适合文本生成的任务。

该模型家族的代表包括