Hugging Face 的徽标

Transformers 文档

BERTweet

Hugging Face's logo
加入 Hugging Face 社区

并获得增强版文档体验

开始使用

BERTweet

概述

BERTweet 模型由 Dat Quoc Nguyen、Thanh Vu 和 Anh Tuan Nguyen 在 BERTweet: A pre-trained language model for English Tweets 中提出。

论文中的摘要如下：

我们介绍了 BERTweet，第一个针对英语推文的公开的大规模预训练语言模型。我们的 BERTweet 与 BERT-base (Devlin 等人，2019) 具有相同的架构，并使用 RoBERTa 预训练程序 (Liu 等人，2019) 进行训练。实验表明，BERTweet 在性能上优于强大的基线 RoBERTa-base 和 XLM-R-base (Conneau 等人，2020)，在三个推文 NLP 任务上取得了优于之前最先进模型的结果：词性标注、命名实体识别和文本分类。

该模型由 dqnguyen 贡献。原始代码可以在 这里 找到。

使用示例

>>> import torch
>>> from transformers import AutoModel, AutoTokenizer

>>> bertweet = AutoModel.from_pretrained("vinai/bertweet-base")

>>> # For transformers v4.x+:
>>> tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-base", use_fast=False)

>>> # For transformers v3.x:
>>> # tokenizer = AutoTokenizer.from_pretrained("vinai/bertweet-base")

>>> # INPUT TWEET IS ALREADY NORMALIZED!
>>> line = "SC has first two presumptive cases of coronavirus , DHEC confirms HTTPURL via @USER :cry:"

>>> input_ids = torch.tensor([tokenizer.encode(line)])

>>> with torch.no_grad():
...     features = bertweet(input_ids)  # Models outputs are now tuples

>>> # With TensorFlow 2.0+:
>>> # from transformers import TFAutoModel
>>> # bertweet = TFAutoModel.from_pretrained("vinai/bertweet-base")

此实现与 BERT 相同，只是分词方法不同。有关 API 参考信息，请参阅 BERT 文档。

BertweetTokenizer

class transformers.BertweetTokenizer

< >

( vocab_file merges_file normalization = False bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

参数

  • vocab_file (str) — 词汇文件路径。
  • merges_file (str) — 合并文件路径。
  • normalization (bool, 可选, 默认为 False) — 是否应用归一化预处理。
  • bos_token (str, 可选, 默认为 "<s>") — 在预训练期间使用的序列开始标记。可用于序列分类标记。

    在使用特殊标记构建序列时，这不是用于序列开始的标记。使用的标记是 cls_token。
  • eos_token (str, 可选, 默认为 "</s>") — 序列结束标记。

    在使用特殊标记构建序列时，这不是用于序列结束的标记。使用的标记是 sep_token。
  • sep_token (str, 可选, 默认值 "</s>") — 分隔符，用于从多个序列构建序列，例如序列分类的两个序列或问答的文本和问题。它也用作使用特殊符号构建的序列的最后一个符号。
  • cls_token (str, 可选, 默认值 "<s>") — 分类器符号，用于进行序列分类（对整个序列进行分类，而不是对每个符号进行分类）。它是使用特殊符号构建的序列的第一个符号。
  • unk_token (str, 可选, 默认值 "<unk>") — 未知符号。词汇表中没有的符号无法转换为 ID，而是设置为该符号。
  • pad_token (str, 可选, 默认值 "<pad>") — 用于填充的符号，例如在对不同长度的序列进行批处理时。
  • mask_token (str, 可选, 默认值 "<mask>") — 用于掩盖值的符号。这是在使用掩盖语言建模训练该模型时使用的符号。这是模型将尝试预测的符号。

使用字节对编码构建 BERTweet 分词器。

该分词器继承自 PreTrainedTokenizer，其中包含大多数主要方法。用户应参考该超类以获取有关这些方法的更多信息。

add_from_file

< >

( f )

从文本文件加载预先存在的字典，并将它的符号添加到该实例。

build_inputs_with_special_tokens

< >

( token_ids_0: List token_ids_1: Optional = None ) → List[int]

参数

  • token_ids_0 (List[int]) — 将添加特殊符号的 ID 列表。
  • token_ids_1 (List[int], 可选) — 序列对的可选第二个 ID 列表。

返回值

List[int]

带有适当特殊符号的 输入 ID 列表。

通过连接和添加特殊符号，从序列或序列对构建序列分类任务的模型输入。BERTweet 序列具有以下格式

  • 单个序列：<s> X </s>
  • 序列对：<s> A </s></s> B </s>

convert_tokens_to_string

< >

( token_ids_0: List token_ids_1: Optional = None ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 用于序列对的可选第二个 ID 列表。

返回值

List[int]

零列表。

从传入的两个序列中创建一个掩码，用于序列对分类任务。BERTweet 不使用 token 类型 ID，因此返回一个零列表。

get_special_tokens_mask

< >

( token_ids_0: List token_ids_1: Optional = None already_has_special_tokens: bool = False ) → List[int]

参数

  • token_ids_0 (List[int]) — ID 列表。
  • token_ids_1 (List[int], 可选) — 用于序列对的可选第二个 ID 列表。
  • already_has_special_tokens (bool, 可选, 默认为 False) — token 列表是否已使用 tokenizer 的 prepare_for_model 方法格式化特殊 token。

返回值

List[int]

一个范围在 [0, 1] 之内的整数列表：特殊 token 为 1，序列 token 为 0。

从没有添加特殊 token 的 token 列表中检索序列 ID。当使用 tokenizer 的 prepare_for_model 方法添加特殊 token 时，会调用此方法。

normalizeToken

< >

( token )

规范化推文中 tokens。

normalizeTweet

< >

( tweet )

规范化原始推文。

< > 在 GitHub 上更新

←BertJapanese