Hugging Face's logo

Transformers 文档

BARTpho

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

BARTpho

PyTorch TensorFlow Flax

概述

BARTpho 模型在 BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese 一文中被提出，作者是 Nguyen Luong Tran, Duong Minh Le 和 Dat Quoc Nguyen。

论文摘要如下：

我们提出了 BARTpho 的两个版本 —— BARTpho_word 和 BARTpho_syllable —— 首批公开的大规模单语序列到序列模型，为越南语预训练。我们的 BARTpho 使用了序列到序列去噪模型 BART 的 “large” 架构和预训练方案，因此特别适用于生成式 NLP 任务。在越南语文本摘要下游任务上的实验表明，在自动和人工评估中，我们的 BARTpho 都优于强大的基线 mBART，并提高了最先进水平。我们发布 BARTpho 以促进未来生成式越南语 NLP 任务的研究和应用。

此模型由 dqnguyen 贡献。原始代码可以在这里找到。

使用示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> bartpho = AutoModel.from_pretrained("vinai/bartpho-syllable")

>>> tokenizer = AutoTokenizer.from_pretrained("vinai/bartpho-syllable")

>>> line = "Chúng tôi là những nghiên cứu viên."

>>> input_ids = tokenizer(line, return_tensors="pt")

>>> with torch.no_grad():
...     features = bartpho(**input_ids)  # Models outputs are now tuples

>>> # With TensorFlow 2.0+:
>>> from transformers import TFAutoModel

>>> bartpho = TFAutoModel.from_pretrained("vinai/bartpho-syllable")
>>> input_ids = tokenizer(line, return_tensors="tf")
>>> features = bartpho(**input_ids)

使用提示

  • 与 mBART 类似，BARTpho 使用 BART 的“large”架构，并在编码器和解码器的顶部添加了一个额外的层归一化层。因此，BART 文档中的使用示例在适配 BARTpho 时，应通过将 BART 专用类替换为 mBART 专用类来进行调整。例如
>>> from transformers import MBartForConditionalGeneration

>>> bartpho = MBartForConditionalGeneration.from_pretrained("vinai/bartpho-syllable")
>>> TXT = "Chúng tôi là <mask> nghiên cứu viên."
>>> input_ids = tokenizer([TXT], return_tensors="pt")["input_ids"]
>>> logits = bartpho(input_ids).logits
>>> masked_index = (input_ids[0] == tokenizer.mask_token_id).nonzero().item()
>>> probs = logits[0, masked_index].softmax(dim=0)
>>> values, predictions = probs.topk(5)
>>> print(tokenizer.decode(predictions).split())
  • 此实现仅用于分词：“monolingual_vocab_file” 包含从多语言 XLM-RoBERTa 提供的预训练 SentencePiece 模型 “vocab_file” 中提取的越南语专用类型。其他语言，如果使用此预训练多语言 SentencePiece 模型 “vocab_file” 进行子词分段，则可以将其特定语言的 “monolingual_vocab_file” 与 BartphoTokenizer 重用。

BartphoTokenizer

类 transformers.BartphoTokenizer

< >

( vocab_file monolingual_vocab_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' sp_model_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = None **kwargs )

参数

  • vocab_file (str) — 词汇表文件的路径。此词汇表是来自多语言 XLM-RoBERTa 的预训练 SentencePiece 模型，也在 mBART 中使用，包含 25 万个类型。
  • monolingual_vocab_file (str) — 单语词汇表文件的路径。此单语词汇表包含从包含 25 万个类型的多语言词汇表 vocab_file 中提取的越南语专用类型。
  • bos_token (str, optional, defaults to "<s>") — 预训练期间使用的序列开始标记。可以用作序列分类器标记。

    当使用特殊标记构建序列时，这不是用于序列开始的标记。使用的标记是 cls_token。
  • eos_token (str, optional, defaults to "</s>") — 序列结束标记。

    当使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是 sep_token。
  • sep_token (str, optional, defaults to "</s>") — 分隔符标记，用于从多个序列构建序列时，例如用于序列分类的两个序列，或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, optional, defaults to "<s>") — 分类器标记，用于执行序列分类（对整个序列而不是每个标记进行分类）。它是使用特殊标记构建的序列的第一个标记。
  • unk_token (str, optional, defaults to "<unk>") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  • pad_token (str, optional, defaults to "<pad>") — 用于填充的标记，例如在批量处理不同长度的序列时。
  • mask_token (str, optional, defaults to "<mask>") — 用于掩码值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
  • sp_model_kwargs (dict, optional) — 将传递给 SentencePieceProcessor.__init__() 方法。SentencePiece 的 Python 封装器 可用于设置以下内容：

    • enable_sampling：启用子词正则化。

    • nbest_size：unigram 的采样参数。对 BPE-Dropout 无效。

      • nbest_size = {0,1}：不执行采样。
      • nbest_size > 1：从 nbest_size 结果中采样。
      • nbest_size < 0：假设 nbest_size 是无限的，并使用前向过滤和后向采样算法从所有假设（格）中采样。

    • alpha：unigram 采样的平滑参数，以及 BPE-dropout 的合并操作的 dropout 概率。
  • sp_model (SentencePieceProcessor) — 用于每次转换（字符串、标记和 ID）的 SentencePiece 处理器。

改编自 XLMRobertaTokenizer。基于 SentencePiece。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

build_inputs_with_special_tokens

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — 将向其添加特殊标记的 ID 列表。
  • token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回值

List[int]

带有适当特殊标记的 输入 ID 列表。

通过连接并添加特殊标记，从序列或序列对构建模型输入，用于序列分类任务。BARTPho 序列具有以下格式

  • 单个序列: <s> X </s>
  • 序列对: <s> A </s></s> B </s>

convert_tokens_to_string

< >

( tokens )

将标记序列（子词的字符串）转换为单个字符串。

create_token_type_ids_from_sequences

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], optional) — 序列对的可选第二个 ID 列表。

返回值

List[int]

零列表。

从传递的两个序列创建掩码，用于序列对分类任务。BARTPho 不使用标记类型 ID，因此返回零列表。

get_special_tokens_mask

< >

( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None already_has_special_tokens: bool = False ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 用于序列对的可选的第二个 ID 列表。
  • already_has_special_tokens (bool, 可选, 默认为 False) — 指示 token 列表是否已经为模型格式化了特殊 token。

返回值

List[int]

一个整数列表，取值范围为 [0, 1]：1 代表特殊 token，0 代表序列 token。

从一个未添加特殊 token 的 token 列表中检索序列 ID。当使用 tokenizer 的 prepare_for_model 方法添加特殊 token 时，将调用此方法。

< > 在 GitHub 上更新

←BARThez BERT→