Transformers 文档

BERTweet

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

BERTweet

PyTorch TensorFlow Flax

BERTweet

BERTweetBERT-base 共享相同的架构,但它像 RoBERTa 一样在英文推文上进行预训练。它在与推文相关的任务上表现非常好,例如词性标注、命名实体识别和文本分类。

你可以在 VinAI Research 组织下找到所有原始的 BERTweet 检查点。

有关如何将 BERTweet 应用于不同语言任务的更多示例,请参阅 BERT 文档。

以下示例演示了如何使用 PipelineAutoModel 和命令行预测 <mask> 标记。

流水线
自动模型
Transformers CLI
import torch
from transformers import pipeline

pipeline = pipeline(
    task="fill-mask",
    model="vinai/bertweet-base",
    torch_dtype=torch.float16,
    device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")

注意

  • 使用 AutoTokenizerBertweetTokenizer,因为它预加载了一个适应推文特定标记(如主题标签 (#)、提及 (@)、表情符号和常用缩写)的自定义词汇表。请确保同时安装 emoji 库。
  • 输入应在右侧进行填充 (padding="max_length"),因为 BERT 使用绝对位置嵌入。

BertweetTokenizer

class transformers.BertweetTokenizer

< >

( vocab_file merges_file normalization = False bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )

参数

  • vocab_file (str) — 词汇表文件的路径。
  • merges_file (str) — 合并文件的路径。
  • normalization (bool, *可选*, 默认为 `False`) — 是否应用规范化预处理。
  • bos_token (str, *可选*, 默认为 `"<s>"`) — 序列开始标记,在预训练期间使用。可用作序列分类器标记。

    使用特殊标记构建序列时,这不是用于序列开始的标记。使用的标记是 cls_token

  • eos_token (str, *可选*, 默认为 `"</s>"`) — 序列结束标记。

    使用特殊标记构建序列时,这不是用于序列结束的标记。使用的标记是 sep_token

  • sep_token (str, *可选*, 默认为 `"</s>"`) — 分隔符标记,用于从多个序列构建一个序列时,例如用于序列分类的两个序列,或用于问答的文本和问题。它也用作使用特殊标记构建的序列的最后一个标记。
  • cls_token (str, *可选*, 默认为 `"<s>"`) — 分类器标记,用于进行序列分类(对整个序列进行分类,而不是逐个标记分类)。当使用特殊标记构建时,它是序列的第一个标记。
  • unk_token (str, *可选*, 默认为 `"<unk>"`) — 未知标记。不在词汇表中的标记无法转换为 ID,而是设置为此标记。
  • pad_token (str, *可选*, 默认为 `"<pad>"`) — 用于填充的标记,例如在批处理不同长度的序列时。
  • mask_token (str, *可选*, 默认为 `"<mask>"`) — 用于掩码值的标记。这是使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。

构建一个 BERTweet 分词器,使用字节对编码 (Byte-Pair-Encoding)。

此分词器继承自 PreTrainedTokenizer,其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。

add_from_file

< >

( f )

从文本文件中加载一个预先存在的字典,并将其符号添加到此实例中。

build_inputs_with_special_tokens

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — 将要添加特殊标记的 ID 列表。
  • token_ids_1 (list[int], *可选*) — 用于序列对的可选第二个 ID 列表。

返回

list[int]

带有适当特殊标记的输入ID列表。

通过连接和添加特殊标记,从一个序列或一对序列为序列分类任务构建模型输入。BERTweet 序列具有以下格式:

  • 单个序列:<s> X </s>
  • 序列对:<s> A </s></s> B </s>

convert_tokens_to_string

< >

( tokens )

将标记序列(字符串)转换为单个字符串。

create_token_type_ids_from_sequences

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], *可选*) — 用于序列对的可选第二个 ID 列表。

返回

list[int]

零列表。

从传入的两个序列中创建一个掩码,用于序列对分类任务。BERTweet 不使用标记类型 ID,因此返回一个零列表。

get_special_tokens_mask

< >

( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) list[int]

参数

  • token_ids_0 (list[int]) — ID 列表。
  • token_ids_1 (list[int], *可选*) — 用于序列对的可选第二个 ID 列表。
  • already_has_special_tokens (bool, *可选*, 默认为 `False`) — 标记列表是否已经为模型格式化了特殊标记。

返回

list[int]

一个范围为 [0, 1] 的整数列表:1 表示特殊标记,0 表示序列标记。

从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model方法添加特殊标记时调用。

normalizeToken

< >

( token )

规范化 Tweet 中的标记

normalizeTweet

< >

( tweet )

规范化原始 Tweet

< > 在 GitHub 上更新