Transformers 文档
BERTweet
并获得增强的文档体验
开始使用
该模型于 2020-05-20 发布，并于 2020-11-16 添加到 Hugging Face Transformers。
BERTweet
BERTweet
BERTweet 与 BERT-base 共享相同的架构，但它像 RoBERTa 一样在英文推文中进行了预训练。它在与推文相关的任务（如词性标注、命名实体识别和文本分类）上表现非常出色。
您可以在 VinAI Research 组织下找到所有原始的 BERTweet 检查点。
有关如何将 BERTweet 应用于不同语言任务的更多示例，请参阅 BERT 文档。
下面的示例演示了如何使用 Pipeline、AutoModel 和命令行来预测 <mask> 标记。
import torch
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
dtype=torch.float16,
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")注意事项
- 使用 AutoTokenizer 或 BertweetTokenizer，因为它预装了为推文特定标记（如 #、@、表情符号和常用缩写）定制的自定义词汇表。请确保同时安装 emoji 库。
- 由于 BERT 使用绝对位置嵌入，因此输入应在右侧进行填充 (
padding="max_length")。
BertweetTokenizer
class transformers.BertweetTokenizer
< source >( vocab_file merges_file normalization = False bos_token = '<s>' eos_token = '</s>' sep_token = '</s>' cls_token = '<s>' unk_token = '<unk>' pad_token = '<pad>' mask_token = '<mask>' **kwargs )
参数
- vocab_file (
str) — 词汇表文件路径。 - merges_file (
str) — 合并文件路径。 - normalization (
bool, optional, defaults toFalse) — 是否应用归一化预处理。 - bos_token (
str, optional, defaults to"<s>") — 在预训练期间使用的序列起始标记。可用于序列分类器标记。在使用特殊标记构建序列时，此标记不是用于序列开头的标记。实际使用的标记是
cls_token。 - eos_token (
str, optional, defaults to"</s>") — 序列结束标记。在构建序列时，此标记不是用于序列末尾的标记。实际使用的是
sep_token。 - sep_token (
str, optional, defaults to"</s>") — 分隔符标记，用于构建由多个序列组成的序列，例如用于序列分类的两个序列，或用于文本和问题的问答。它也是用特殊标记构建的序列的最后一个标记。 - cls_token (
str, optional, defaults to"<s>") — 分类器标记，用于序列分类（对整个序列进行分类，而不是逐个标记分类）。它是使用特殊标记构建的序列的第一个标记。 - unk_token (
str, optional, defaults to"<unk>") — 未知标记。无法转换为 ID 的标记将被设置为此标记。 - pad_token (
str, optional, defaults to"<pad>") — 填充标记，例如在批处理不同长度的序列时使用。 - mask_token (
str, optional, defaults to"<mask>") — 掩码标记，用于掩码值。这是在使用掩码语言建模训练此模型时使用的标记。这是模型将尝试预测的标记。
使用字节对编码 (Byte-Pair-Encoding) 构建 BERTweet 分词器。
此分词器继承自 PreTrainedTokenizer，其中包含大部分主要方法。用户应参考此超类以获取有关这些方法的更多信息。
从文本文件中加载预先存在的字典，并将其符号添加到此实例。
将标记序列（字符串）转换为单个字符串。
规范化推文中的标记
规范化原始推文
将词汇表和合并文件保存到目录。