Transformers 文档
BERTweet
并获取增强的文档体验
开始使用
BERTweet
概述
BERTweet 模型在 BERTweet: A pre-trained language model for English Tweets 这篇论文中被提出,作者是 Dat Quoc Nguyen, Thanh Vu, Anh Tuan Nguyen。
该论文的摘要如下:
我们提出了 BERTweet,这是首个公开的大规模预训练英语推文语言模型。我们的 BERTweet 具有与 BERT-base (Devlin et al., 2019) 相同的架构,使用 RoBERTa 预训练程序 (Liu et al., 2019) 进行训练。实验表明,BERTweet 优于强大的基线模型 RoBERTa-base 和 XLM-R-base (Conneau et al., 2020),在三个推文 NLP 任务(词性标注、命名实体识别和文本分类)上产生了比以前最先进的模型更好的性能结果。
此模型由 dqnguyen 贡献。 原始代码可以在这里找到。
使用示例
>>> import torch
>>> from transformers import AutoModel, AutoTokenizer
>>> bertweet = AutoModel.from_pretrained("vinai/bertweet-base")
>>> # For transformers v4.x+:
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-base", use_fast=False)
>>> # For transformers v3.x:
>>> # tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-base")
>>> # INPUT TWEET IS ALREADY NORMALIZED!
>>> line = "SC has first two presumptive cases of coronavirus , DHEC confirms HTTPURL via @USER :cry:"
>>> input_ids = torch.tensor([tokenizer.encode(line)])
>>> with torch.no_grad():
... features = bertweet(input_ids) # Models outputs are now tuples
>>> # With TensorFlow 2.0+:
>>> # from transformers import TFAutoModel
>>> # bertweet = TFAutoModel.from_pretrained("vinai/bertweet-base")
此实现与 BERT 相同,只是分词方法不同。有关 API 参考信息,请参阅 BERT 文档。
BertweetTokenizer
class transformers.BertweetTokenizer
< 源代码 >( vocab_file merges_file normalization = False bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )
参数
- vocab_file (
str
) — 词汇表文件的路径。 - merges_file (
str
) — merges 文件的路径。 - normalization (
bool
, 可选, 默认为False
) — 是否应用归一化预处理。 - bos_token (
str
, 可选, 默认为"<s>"
) — 预训练期间使用的序列开始标记。可以用作序列分类器标记。当使用特殊标记构建序列时,这不是用于序列开始的标记。使用的标记是
cls_token
。 - eos_token (
str
, 可选, 默认为"</s>"
) — 序列结束标记。当使用特殊标记构建序列时,这不是用于序列结束的标记。使用的标记是
sep_token
。 - sep_token (
str
, 可选, 默认为"</s>"
) — 分隔符标记,用于从多个序列构建序列时,例如用于序列分类的两个序列,或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。 - cls_token (
str
, 可选, 默认为"<s>"
) — 分类器标记,用于进行序列分类(对整个序列而不是每个标记进行分类)。当使用特殊标记构建时,它是序列的第一个标记。 - unk_token (
str
, 可选, 默认为"<unk>"
) — 未知标记。词汇表中不存在的标记无法转换为 ID,而是设置为此标记。 - pad_token (
str
, 可选, 默认为"<pad>"
) — 用于填充的标记,例如在批处理不同长度的序列时。 - mask_token (
str
, 可选, 默认为"<mask>"
) — 用于掩码值的标记。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
构建 BERTweet tokenizer,使用字节对编码(Byte-Pair-Encoding)。
此 tokenizer 继承自 PreTrainedTokenizer,其中包含大多数主要方法。用户应参考此超类以获取有关这些方法的更多信息。
从文本文件加载预先存在的字典,并将其符号添加到此实例中。
build_inputs_with_special_tokens
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
通过连接和添加特殊标记,从序列或序列对构建模型输入,用于序列分类任务。 BERTweet 序列具有以下格式
- 单序列:
<s> X </s>
- 序列对:
<s> A </s></s> B </s>
将标记(字符串)序列转换为单个字符串。
create_token_type_ids_from_sequences
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None ) → List[int]
从传递的两个序列创建掩码,以用于序列对分类任务。 BERTweet 不使用 token type id,因此返回零列表。
get_special_tokens_mask
< source >( token_ids_0: typing.List[int] token_ids_1: typing.Optional[typing.List[int]] = None already_has_special_tokens: bool = False ) → List[int]
从没有添加特殊标记的标记列表中检索序列 ID。当使用 tokenizer prepare_for_model
方法添加特殊标记时,将调用此方法。
规范化 Tweet 中的标记
规范化原始推文