序列到序列模型 sequence-to-sequence-models

编码器-解码器模型（也称为序列到序列模型）使用 Transformer 架构的两个部分。在每个阶段，编码器的注意力层可以访问初始句子中的所有单词，而解码器的注意力层只能访问输入中给定单词之前位置的单词。

这些模型的预训练可以使用编码器或解码器模型的目标来完成，但通常涉及更复杂的内容。例如，T5 的预训练方法是用单个掩码特殊词替换文本的随机跨度（可以包含多个单词），然后目标是预测此掩码词替换的文本。

序列到序列模型最适合围绕根据给定输入生成新句子的任务，例如摘要、翻译或生成式问答。

此模型系列的代表包括

• BART
• mBART
• Marian
• T5

< > 在 GitHub 上更新