Transformers 文档

BARThez

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

BARThez

PyTorch TensorFlow Flax

概述

BARThez 模型由 Moussa Kamal Eddine、Antoine J.-P. Tixier、Michalis Vazirgiannis 在 2020 年 10 月 23 日发表的论文 BARThez: a Skilled Pretrained French Sequence-to-Sequence Model 中提出。

论文摘要:

自监督学习驱动的归纳式迁移学习已经席卷了整个自然语言处理(NLP)领域,像 BERT 和 BART 这样的模型在无数自然语言理解任务上创造了新的技术水平。尽管有一些显著的例外,但现有的大多数模型和研究都是针对英语的。在这项工作中,我们介绍了 BARThez,这是(据我们所知)第一个针对法语的 BART 模型。BARThez 是在一个非常大的法语单语语料库上预训练的,该语料库来自我们调整过的以往研究,以适应 BART 的扰动方案。与现有的基于 BERT 的法语模型(如 CamemBERT 和 FlauBERT)不同,BARThez 特别适合生成式任务,因为它不仅编码器,而且解码器也都经过了预训练。除了 FLUE 基准测试中的判别性任务外,我们还在一个新的摘要数据集 OrangeSum 上评估了 BARThez,这个数据集是我们随本文一同发布的。我们还继续在一个已经预训练过的多语言 BART 上使用 BARThez 的语料库进行预训练,结果表明,由此产生的模型(我们称之为 mBARTHez)相比原始的 BARThez 有显著提升,并且与 CamemBERT 和 FlauBERT 相当或更优。

该模型由 moussakam 贡献。作者的代码可以在这里找到。

BARThez 的实现与 BART 相同,除了分词部分。有关配置类及其参数的信息,请参阅 BART 文档。BARThez 特定的分词器文档如下。

资源

BarthezTokenizer

class transformers.BarthezTokenizer

< >

( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: typing.Optional[dict[str, typing.Any]] = None **kwargs )

参数

  • vocab_file (str) — SentencePiece 文件(通常扩展名为 .spm),其中包含实例化分词器所需的词汇表。
  • bos_token (str, 可选, 默认为 "<s>") — 在预训练期间使用的序列开始标记。可用作序列分类器标记。

    使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是 cls_token

  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    使用特殊标记构建序列时,这不是用于序列结尾的标记。使用的标记是 sep_token

  • sep_token (str, 可选, 默认为 "</s>") — 分隔符标记,用于从多个序列构建一个序列,例如用于序列分类的两个序列,或用于问答任务的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, 可选, 默认为 "<s>") — 分类器标记,用于进行序列分类(对整个序列进行分类,而不是逐个标记分类)。当使用特殊标记构建序列时,它是序列的第一个标记。
  • unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记无法转换为 ID,将被设置为此标记。
  • pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记,例如在批处理不同长度的序列时使用。
  • mask_token (str, 可选, 默认为 "<mask>") — 用于掩盖值的标记。在使用掩码语言建模训练此模型时使用此标记。模型将尝试预测此标记。
  • sp_model_kwargs (dict, 可选) — 将传递给 SentencePieceProcessor.__init__() 方法。SentencePiece 的 Python 包装器 可用于设置以下内容等:

    • enable_sampling:启用子词正则化。

    • nbest_size:unigram 的采样参数。对 BPE-Dropout 无效。

      • nbest_size = {0,1}:不执行采样。
      • nbest_size > 1:从 nbest_size 个结果中采样。
      • nbest_size < 0:假设 nbest_size 是无限的,并使用前向过滤和后向采样算法从所有假设(格)中采样。
    • alpha:unigram 采样的平滑参数,以及 BPE-dropout 合并操作的丢弃概率。

  • sp_model (SentencePieceProcessor) — 用于每次转换(字符串、标记和 ID)的 SentencePiece 处理器。

改编自 CamembertTokenizerBartTokenizer。构建一个 BARThez 分词器。基于 SentencePiece

此分词器继承自 PreTrainedTokenizer,其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — 将添加特殊标记的 ID 列表。
  • token_ids_1 (list[int], 可选) — 可选的第二个 ID 列表,用于序列对。

返回

list[int]

带有适当特殊标记的输入ID列表。

通过连接和添加特殊标记,从一个序列或一对序列为序列分类任务构建模型输入。BARThez 序列具有以下格式:

  • 单个序列:<s> X </s>
  • 序列对:<s> A </s></s> B </s>

convert_tokens_to_string

< >

( tokens )

将标记序列(字符串)转换为单个字符串。

create_token_type_ids_from_sequences

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 可选的第二个 ID 列表,用于序列对。

返回

list[int]

零列表。

从传入的两个序列创建一个掩码,用于序列对分类任务。

get_special_tokens_mask

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 可选的第二个 ID 列表,用于序列对。
  • already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已经为模型格式化了特殊标记。

返回

list[int]

一个范围为 [0, 1] 的整数列表:1 表示特殊标记,0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。

BarthezTokenizerFast

class transformers.BarthezTokenizerFast

< >

( vocab_file = None tokenizer_file = None bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

参数

  • vocab_file (str) — SentencePiece 文件(通常扩展名为 .spm),其中包含实例化分词器所需的词汇表。
  • bos_token (str, 可选, 默认为 "<s>") — 在预训练期间使用的序列开始标记。可用作序列分类器标记。

    使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是 cls_token

  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    使用特殊标记构建序列时,这不是用于序列结尾的标记。使用的标记是 sep_token

  • sep_token (str, 可选, 默认为 "</s>") — 分隔符标记,用于从多个序列构建一个序列时,例如,在序列分类任务中的两个序列,或在问答任务中的文本和问题。它也用作带有特殊标记构建的序列的最后一个标记。
  • cls_token (str, 可选, 默认为 "<s>") — 分类符标记,用于进行序列分类(对整个序列进行分类,而不是按标记进行分类)。当使用特殊标记构建序列时,它是序列的第一个标记。
  • unk_token (str, 可选, 默认为 "<unk>") — 未知标记。词汇表中不存在的标记无法转换为 ID,将被设置为此标记。
  • pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记,例如在批处理不同长度的序列时使用。
  • mask_token (str, 可选, 默认为 "<mask>") — 用于掩盖值的标记。在使用掩码语言建模训练此模型时使用此标记。这是模型将尝试预测的标记。
  • additional_special_tokens (list[str], 可选, 默认为 ["<s>NOTUSED", "</s>NOTUSED"]) — 分词器使用的附加特殊标记。

改编自 CamembertTokenizerBartTokenizer。构建一个“快速”的 BARThez 分词器。基于 SentencePiece

此分词器继承自 PreTrainedTokenizerFast,其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — 将要添加特殊标记的 ID 列表。
  • token_ids_1 (list[int], 可选) — 用于序列对的可选的第二个 ID 列表。

返回

list[int]

带有适当特殊标记的输入ID列表。

通过连接和添加特殊标记,从一个序列或一对序列为序列分类任务构建模型输入。BARThez 序列具有以下格式:

  • 单个序列:<s> X </s>
  • 序列对:<s> A </s></s> B </s>

create_token_type_ids_from_sequences

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 用于序列对的可选的第二个 ID 列表。

返回

list[int]

零列表。

从传入的两个序列创建一个掩码,用于序列对分类任务。

< > 在 GitHub 上更新