Transformers 文档
PhoBERT
并获得增强的文档体验
开始使用
该模型于 2020-03-02 发布，并于 2020-11-16 添加到 Hugging Face Transformers。
PhoBERT
概述
PhoBERT 模型在 Dat Quoc Nguyen 和 Anh Tuan Nguyen 的论文 PhoBERT: Pre-trained language models for Vietnamese 中提出。
论文摘要如下：
我们提出了 PhoBERT 的两个版本：PhoBERT-base 和 PhoBERT-large，这是第一个为越南语预训练的公开大型单语语言模型。实验结果表明，PhoBERT 在越南语特有的多项 NLP 任务中，包括词性标注、依存句法分析、命名实体识别和自然语言推断，持续优于最近的顶级多语种预训练模型 XLM-R（Conneau 等人，2020），并提升了最先进水平。
该模型由 dqnguyen 贡献。原始代码可以在 这里找到。
用法示例
>>> import torch
>>> from transformers import AutoModel, AutoTokenizer
>>> phobert = AutoModel.from_pretrained("vinai/phobert-base")
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base")
>>> # INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!
>>> line = "Tôi là sinh_viên trường đại_học Công_nghệ ."
>>> input_ids = torch.tensor([tokenizer.encode(line)])
>>> with torch.no_grad():
... features = phobert(input_ids) # Models outputs are now tuplesPhoBERT 的实现与 BERT 相同，但分词不同。有关配置类及其参数的信息，请参阅 BERT 文档。PhoBERT 特定的分词器记录在下方。
PhobertTokenizer
class transformers.PhobertTokenizer
< source >( vocab_file merges_file bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )
参数
- vocab_file (
str) — 词汇表文件路径。 - merges_file (
str) — 合并文件路径。 - bos_token (
st, optional, defaults to"<s>") — 预训练期间使用的序列开始标记。可用于序列分类标记。构建包含特殊标记的序列时，用于序列开始的标记不是此标记。实际使用的标记是
cls_token。 - eos_token (
str, optional, defaults to"</s>") — 序列结束标记。构建包含特殊标记的序列时，用于序列结束的标记不是此标记。实际使用的标记是
sep_token。 - sep_token (
str, optional, defaults to"</s>") — 分隔符标记，用于构建多序列（例如，用于序列分类的两个序列或用于文本和问题的问答）。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str, optional, defaults to"<s>") — 分类标记，用于进行序列分类（整个序列的分类，而不是每个标记的分类）。它是使用特殊标记构建的序列的第一个标记。 - unk_token (
str, optional, defaults to"<unk>") — 未知标记。无法转换为 ID 的标记将被设置为此标记。 - pad_token (
str, optional, defaults to"<pad>") — 填充标记，例如在批量处理不同长度的序列时使用。 - mask_token (
str, optional, defaults to"<mask>") — 掩码标记，用于掩码值。这是使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
基于字节对编码（Byte-Pair-Encoding）构建 PhoBERT 分词器。
此分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。
从文本文件中加载预先存在的字典，并将其符号添加到此实例。
build_inputs_with_special_tokens
< source >( token_ids_0: list token_ids_1: list[int] | None = None ) → list[int]
通过连接和添加特殊标记，为序列分类任务构建模型输入。PhoBERT 序列具有以下格式：
- 单个序列：
<s> X </s> - 序列对：
<s> A </s></s> B </s>
将标记序列（字符串）转换为单个字符串。
create_token_type_ids_from_sequences
< source >( token_ids_0: list token_ids_1: list[int] | None = None ) → list[int]
创建掩码，用于序列对分类任务中使用的两个序列。PhoBERT 不使用 token type ids，因此返回一个零列表。
get_special_tokens_mask
< source >( token_ids_0: list token_ids_1: list[int] | None = None already_has_special_tokens: bool = False ) → list[int]
从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。