Hugging Face 徽标

Transformers 文档

PhoBERT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

PhoBERT

概述

PhoBERT 模型由 Dat Quoc Nguyen 和 Anh Tuan Nguyen 在 PhoBERT: Pre-trained language models for Vietnamese 中提出。

论文摘要如下：

我们提出了 PhoBERT，包含两个版本：PhoBERT-base 和 PhoBERT-large，这是首个公开发布的、针对越南语进行预训练的大规模单语语言模型。实验结果表明，PhoBERT 始终优于最新的最佳预训练多语言模型 XLM-R（Conneau 等人，2020），并在多个越南语特定 NLP 任务中取得了最先进的结果，包括词性标注、依存句法分析、命名实体识别和自然语言推理。

该模型由 dqnguyen 贡献。原始代码可以在这里找到 here。

使用示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> phobert = AutoModel.from_pretrained("vinai/phobert-base")
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base")

>>> # INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!
>>> line = "Tôi là sinh_viên trường đại_học Công_nghệ ."

>>> input_ids = torch.tensor([tokenizer.encode(line)])

>>> with torch.no_grad():
...     features = phobert(input_ids)  # Models outputs are now tuples

>>> # With TensorFlow 2.0+:
>>> # from transformers import TFAutoModel
>>> # phobert = TFAutoModel.from_pretrained("vinai/phobert-base")

PhoBERT 的实现与 BERT 相同，除了分词之外。有关配置类及其参数的信息，请参阅 BERT 文档。PhoBERT 特定的分词器将在下面介绍。

PhobertTokenizer

class transformers.PhobertTokenizer

< >

( vocab_file merges_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

参数

  • vocab_file (str) — 词汇表文件路径。
  • merges_file (str) — 合并文件路径。
  • bos_token (st, 可选, 默认为 "<s>") — 在预训练期间使用的序列开始标记。可用作序列分类标记。

    在使用特殊标记构建序列时，这不是用于序列开始的标记。使用的标记是 cls_token。
  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    在使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是 sep_token。
  • sep_token (str, 可选, 默认为 "</s>") — 分隔符标记，用于从多个序列构建序列时，例如序列分类的两个序列或问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str，可选，默认为 "<s>") — 用于执行序列分类（对整个序列进行分类而不是对每个标记进行分类）时的分类标记。它是使用特殊标记构建时序列的第一个标记。
  • unk_token (str，可选，默认为 "<unk>") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是设置为此标记。
  • pad_token (str，可选，默认为 "<pad>") — 用于填充的标记，例如在批处理不同长度的序列时。
  • mask_token (str，可选，默认为 "<mask>") — 用于掩蔽值的标记。这是使用掩蔽语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。

构建 PhoBERT 分词器。基于字节对编码。

此分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。

add_from_file

< >

( f )

从文本文件中加载预先存在的字典，并将它的符号添加到此实例中。

build_inputs_with_special_tokens

< >

( token_ids_0: List token_ids_1: Optional = None ) → List[int]

参数

  • token_ids_0 (List[int]) — 将添加特殊标记的 ID 列表。
  • token_ids_1 (List[int]，可选) — 序列对的可选第二个 ID 列表。

返回值

List[int]

具有适当特殊标记的 输入 ID 列表。

通过连接和添加特殊标记，从序列或一对序列为序列分类任务构建模型输入。PhoBERT 序列具有以下格式

  • 单个序列：<s> X </s>
  • 序列对：<s> A </s></s> B </s>

convert_tokens_to_string

< >

( tokens )

将标记序列（字符串）转换为单个字符串。

create_token_type_ids_from_sequences

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 序列对的第二个可选 ID 列表。

返回值

List[int]

零列表。

为用于序列对分类任务的两个序列创建一个掩码。PhoBERT 不使用 token type ids，因此返回一个零列表。

get_special_tokens_mask

< >

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 序列对的第二个可选 ID 列表。
  • already_has_special_tokens (bool, 可选, 默认值为 False) — 令牌列表是否已使用模型的特殊令牌进行格式化。

返回值

List[int]

一个整数列表，范围在 [0, 1] 之间：特殊令牌为 1，序列令牌为 0。

从没有添加特殊令牌的令牌列表中检索序列 ID。当使用分词器 prepare_for_model 方法添加特殊令牌时，会调用此方法。

< > 在 GitHub 上更新

←Phi-3 PLBart→