Transformers 文档

PhoBERT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

PhoBERT

PyTorch TensorFlow Flax

概述

PhoBERT 模型由 Dat Quoc Nguyen 和 Anh Tuan Nguyen 在论文 PhoBERT: 越南语预训练语言模型 中提出。

论文摘要如下:

我们推出了 PhoBERT 的两个版本:PhoBERT-base 和 PhoBERT-large,它们是首批针对越南语预训练的大规模单语语言模型。实验结果表明,PhoBERT 在多项越南语 NLP 任务(包括词性标注、依存句法分析、命名实体识别和自然语言推理)中始终优于最新的最佳预训练多语言模型 XLM-R (Conneau et al., 2020),并提升了这些任务的最新技术水平。

此模型由 dqnguyen 贡献。原始代码可以在此处找到。

使用示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> phobert = AutoModel.from_pretrained("vinai/phobert-base")
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base")

>>> # INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!
>>> line = "Tôi là sinh_viên trường đại_học Công_nghệ ."

>>> input_ids = torch.tensor([tokenizer.encode(line)])

>>> with torch.no_grad():
...     features = phobert(input_ids)  # Models outputs are now tuples

>>> # With TensorFlow 2.0+:
>>> # from transformers import TFAutoModel
>>> # phobert = TFAutoModel.from_pretrained("vinai/phobert-base")

除了分词之外,PhoBERT 的实现与 BERT 相同。有关配置类及其参数的信息,请参阅 BERT 文档。PhoBERT 特定的分词器将在下面进行说明。

Phobert分词器

transformers.PhobertTokenizer

< >

( 词汇文件 合并文件 起始标记 = '<s>' 结束标记 = '</s>' 分隔标记 = '</s>' 分类标记 = '<s>' 未知标记 = '<unk>' 填充标记 = '<pad>' 掩码标记 = '<mask>' **kwargs )

参数

  • vocab_file (str) — 词汇文件路径。
  • merges_file (str) — 合并文件路径。
  • bos_token (st, 可选, 默认为 "<s>") — 预训练期间使用的序列开始标记。可用作序列分类器标记。

    使用特殊标记构建序列时,这不是用于序列开头的标记。使用的标记是 cls_token

  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    使用特殊标记构建序列时,这不是用于序列结尾的标记。使用的标记是 sep_token

  • sep_token (str, 可选, 默认为 "</s>") — 分隔标记,用于从多个序列构建序列时,例如用于序列分类的两个序列或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, 可选, 默认为 "<s>") — 分类器标记,用于序列分类(整个序列的分类而不是按标记分类)。使用特殊标记构建时,它是序列的第一个标记。
  • unk_token (str, 可选, 默认为 "<unk>") — 未知标记。不在词汇表中的标记不能转换为 ID,而是设置为此标记。
  • pad_token (str, 可选, 默认为 "<pad>") — 用于填充的标记,例如在批处理不同长度的序列时。
  • mask_token (str, 可选, 默认为 "<mask>") — 用于掩盖值的标记。这是使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。

构建一个 PhoBERT 分词器。基于字节对编码。

此分词器继承自 PreTrainedTokenizer,其中包含了大部分主要方法。用户应参阅此超类以获取有关这些方法的更多信息。

从文件添加

< >

( f )

从文本文件加载预设字典,并将其符号添加到此实例。

使用特殊标记构建输入

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — 将添加特殊标记的 ID 列表。
  • token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表。

返回

list[int]

带有适当特殊标记的输入ID列表。

通过连接和添加特殊标记,从一个序列或一对序列构建用于序列分类任务的模型输入。PhoBERT 序列的格式如下:

  • 单个序列:<s> X </s>
  • 序列对:<s> A </s></s> B </s>

将标记转换为字符串

< >

( tokens )

将标记序列(字符串)转换为单个字符串。

从序列创建标记类型 ID

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表。

返回

list[int]

零列表。

从传递给序列对分类任务的两个序列创建掩码。PhoBERT 不使用标记类型 ID,因此返回一个零列表。

获取特殊标记掩码

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], 可选) — 序列对的第二个 ID 列表。
  • already_has_special_tokens (bool, 可选, 默认为 False) — 标记列表是否已按模型特殊标记格式化。

返回

list[int]

一个范围为 [0, 1] 的整数列表:1 表示特殊标记,0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。

< > 在 GitHub 上更新