Hugging Face's logo

Transformers 文档

BARThez

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

BARThez

PyTorch TensorFlow Flax

概述

BARThez 模型在 BARThez: a Skilled Pretrained French Sequence-to-Sequence Model 这篇论文中被提出，作者是 Moussa Kamal Eddine, Antoine J.-P. Tixier, Michalis Vazirgiannis，发表于 2020 年 10 月 23 日。

论文摘要

自监督学习支持的归纳迁移学习已经席卷了整个自然语言处理 (NLP) 领域，BERT 和 BART 等模型在无数自然语言理解任务上都取得了新的state-of-the-art成果。虽然有一些值得注意的例外，但大多数可用的模型和研究都是针对英语进行的。在这项工作中，我们介绍了 BARThez，这是首个法语 BART 模型（据我们所知）。BARThez 在过去研究中使用的非常庞大的单语法语语料库上进行了预训练，我们对该语料库进行了调整，以适应 BART 的扰动方案。与现有的基于 BERT 的法语语言模型（如 CamemBERT 和 FlauBERT）不同，BARThez 特别适合生成任务，因为它不仅预训练了其编码器，还预训练了解码器。除了 FLUE 基准测试中的判别任务外，我们还在一个新的摘要数据集 OrangeSum 上评估了 BARThez，该数据集与本文一同发布。我们还继续在 BARThez 的语料库上对已经预训练的多语言 BART 进行了预训练，并且我们表明，由此产生的模型（我们称之为 mBARTHez）比 vanilla BARThez 提供了显着的提升，并且与 CamemBERT 和 FlauBERT 相当或更胜一筹。

此模型由 moussakam 贡献。作者的代码可以在这里找到。

BARThez 的实现与 BART 相同，除了分词。有关配置类及其参数的信息，请参阅 BART 文档。BARThez 特定的分词器将在下面进行说明。

资源

BarthezTokenizer

class transformers.BarthezTokenizer

< >

( vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None **kwargs )

参数

  • vocab_file (str) — SentencePiece 文件（通常具有 .spm 扩展名），其中包含实例化分词器所需的词汇表。
  • bos_token (str, 可选, 默认为 "<s>") — 预训练期间使用的序列开始标记。可以用作序列分类器标记。

    当使用特殊标记构建序列时，这不是用于序列开始的标记。使用的标记是 cls_token。
  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    当使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是 sep_token。
  • sep_token (str, 可选, 默认为 "</s>") — 分隔符标记，用于从多个序列构建序列时，例如用于序列分类的两个序列，或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, 可选, 默认为 "<s>") — 分类器标记，用于进行序列分类（对整个序列而不是每个标记进行分类）。当使用特殊标记构建时，它是序列的第一个标记。
  • unk_token (str, 可选, 默认为 "<unk>") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  • pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记，例如当批处理不同长度的序列时。
  • mask_token (str, 可选, 默认为 "<mask>") — 用于掩码值的标记。这是使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  • sp_model_kwargs (dict, 可选) — 将传递给 SentencePieceProcessor.__init__() 方法。SentencePiece 的 Python 封装器 可用于设置以下内容：

    • enable_sampling: 启用子词正则化。

    • nbest_size: 用于 unigram 的采样参数。对 BPE-Dropout 无效。

      • nbest_size = {0,1}: 不执行采样。
      • nbest_size > 1: 从 nbest_size 结果中采样。
      • nbest_size < 0: 假设 nbest_size 是无限的，并使用前向过滤和后向采样算法从所有假设（格）中采样。

    • alpha: 用于 unigram 采样的平滑参数，以及用于 BPE-dropout 的合并操作的 dropout 概率。
  • sp_model (SentencePieceProcessor) — 用于每次转换（字符串、标记和 ID）的 SentencePiece 处理器。

改编自 CamembertTokenizer 和 BartTokenizer。构建 BARThez 分词器。基于 SentencePiece。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — 将在其中添加特殊标记的 ID 列表。
  • token_ids_1 (List[int], 可选) — 用于序列对的可选的第二个 ID 列表。

返回值

List[int]

带有适当特殊标记的 输入 ID 列表。

通过连接和添加特殊标记，从序列或序列对构建模型输入，以用于序列分类任务。BARThez 序列具有以下格式

  • 单个序列：<s> X </s>
  • 序列对：<s> A </s></s> B </s>

convert_tokens_to_string

< >

( tokens )

将标记（字符串）序列转换为单个字符串。

create_token_type_ids_from_sequences

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 用于序列对的可选的第二个 ID 列表。

返回值

List[int]

零列表。

从传递的两个序列创建一个掩码，用于序列对分类任务。

get_special_tokens_mask

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None already_has_special_tokens: bool = False ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。
  • already_has_special_tokens (bool, optional, defaults to False) — 指示 token 列表是否已使用模型的特殊 token 格式化。默认为 False。

返回值

List[int]

范围为 [0, 1] 的整数列表：1 代表特殊 token，0 代表序列 token。

从没有添加特殊 token 的 token 列表中检索序列 ID。当使用 tokenizer 的 prepare_for_model 方法添加特殊 token 时，会调用此方法。

BarthezTokenizerFast

class transformers.BarthezTokenizerFast

< >

( vocab_file = None tokenizer_file = None bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

参数

  • vocab_file (str) — SentencePiece 文件（通常带有 .spm 扩展名），其中包含实例化 tokenizer 所需的词汇表。
  • bos_token (str, optional, defaults to "<s>") — 序列开始 token，在预训练期间使用。可以用作序列分类器 token。

    当使用特殊 token 构建序列时，这不是用于序列开始的 token。使用的 token 是 cls_token。
  • eos_token (str, optional, defaults to "</s>") — 序列结束 token。

    当使用特殊 token 构建序列时，这不是用于序列结束的 token。使用的 token 是 sep_token。
  • sep_token (str, optional, defaults to "</s>") — 分隔符 token，用于从多个序列构建序列时，例如，用于序列分类的两个序列，或者用于问答的文本和问题。它也用作使用特殊 token 构建的序列的最后一个 token。
  • cls_token (str, optional, defaults to "<s>") — 分类器 token，用于进行序列分类（对整个序列而不是每个 token 进行分类）。当使用特殊 token 构建时，它是序列的第一个 token。
  • unk_token (str, optional, defaults to "<unk>") — 未知 token。词汇表中不存在的 token 无法转换为 ID，而是设置为此 token。
  • pad_token (str, optional, defaults to "<pad>") — 用于填充的 token，例如，当批量处理不同长度的序列时。
  • mask_token (str, optional, defaults to "<mask>") — 用于屏蔽值的 token。这是使用掩码语言建模训练此模型时使用的 token。这是模型将尝试预测的 token。
  • additional_special_tokens (List[str], optional, defaults to ["<s>NOTUSED", "</s>NOTUSED"]) — tokenizer 使用的其他特殊 token。

改编自 CamembertTokenizer 和 BartTokenizer。构建一个 “fast” BARThez tokenizer。基于 SentencePiece。

此 tokenizer 继承自 PreTrainedTokenizerFast，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — 将向其添加特殊 token 的 ID 列表。
  • token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回值

List[int]

带有适当特殊标记的 输入 ID 列表。

通过连接和添加特殊标记，从序列或序列对构建模型输入，以用于序列分类任务。BARThez 序列具有以下格式

  • 单个序列：<s> X </s>
  • 序列对：<s> A </s></s> B </s>

create_token_type_ids_from_sequences

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回值

List[int]

零列表。

从传递的两个序列创建一个掩码，用于序列对分类任务。

< > Update on GitHub

←BART BARTpho→