LLM 课程文档
Decoder 模型
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
Decoder 模型
Decoder 模型仅使用 Transformer 模型的解码器。在每个阶段，对于给定的词，注意力层只能访问句子中位于该词之前的词。这些模型通常被称为自回归模型。
decoder 模型的预训练通常围绕预测句子中的下一个词进行。
这些模型最适合用于涉及文本生成的任务。
此模型系列的代表包括
< > 更新 on GitHub
LLM 课程文档
Decoder 模型
并获得增强的文档体验
开始使用
Decoder 模型仅使用 Transformer 模型的解码器。在每个阶段，对于给定的词，注意力层只能访问句子中位于该词之前的词。这些模型通常被称为自回归模型。
decoder 模型的预训练通常围绕预测句子中的下一个词进行。
这些模型最适合用于涉及文本生成的任务。
此模型系列的代表包括
< > 更新 on GitHub