Hugging Face 的 LOGO

Transformers 文档

ALBERT

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

此模型于 2019-09-26 发布，并于 2020-11-16 添加到 Hugging Face Transformers。

PyTorch SDPA

ALBERT

ALBERT 旨在解决 BERT 在扩展和训练时的内存限制问题。它增加了两种参数缩减技术。第一种是因子化嵌入参数化，将较大的词汇嵌入矩阵分解为两个较小的矩阵，这样您就可以在不增加更多参数的情况下增加隐藏层大小。第二种是跨层参数共享，允许层之间共享参数，从而保持可学习参数的数量较低。

ALBERT 的创建是为了解决 BERT 遇到的 GPU/TPU 内存限制、训练时间延长以及模型意外退化等问题。ALBERT 使用两种参数缩减技术来降低内存消耗并提高 BERT 的训练速度。

  • 因子化嵌入参数化：将大型词汇嵌入矩阵分解为两个较小的矩阵，从而减少内存消耗。
  • 跨层参数共享：ALBERT 不是为每个 Transformer 层学习单独的参数，而是在层之间共享参数，进一步减少了可学习权重的数量。

ALBERT 使用绝对位置嵌入（类似 BERT），因此填充在右侧。嵌入大小为 128，而 BERT 使用 768。ALBERT 最多可以一次处理 512 个 token。

您可以在 ALBERT community 组织下找到所有原始的 ALBERT 检查点。

点击右侧边栏的 ALBERT 模型，了解更多关于如何将 ALBERT 应用于不同语言任务的示例。

下面的示例演示了如何使用 Pipeline、AutoModel 和从命令行预测 [MASK] 标记。

流水线
自动模型
Transformers CLI
import torch
from transformers import pipeline

pipeline = pipeline(
    task="fill-mask",
    model="albert-base-v2",
    dtype=torch.float16,
    device=0
)
pipeline("Plants create [MASK] through a process known as photosynthesis.", top_k=5)

注意事项

  • 输入应在右侧进行填充，因为 BERT 使用绝对位置嵌入。
  • 嵌入大小 E 与隐藏层大小 H 不同，因为嵌入是上下文独立的（一个嵌入向量代表一个 token），而隐藏状态是上下文相关的（一个隐藏状态代表一个 token 序列）。嵌入矩阵也更大，因为它是 V x E，其中 V 是词汇量大小。因此，如果 H >> E，则更符合逻辑。如果 E < H，则模型的参数会更少。

资源

以下各节提供的资源包括 Hugging Face 官方和社区（以 🌎 标识）资源列表，以帮助您开始使用 AlBERT。如果您有兴趣提交资源以供收录，请随时发起 Pull Request，我们将进行审核！资源最好能展示一些新内容，而不是重复现有资源。

文本分类
Token 分类
填充掩码
问答

多项选择

AlbertConfig

class transformers.AlbertConfig

< >

( vocab_size = 30000 embedding_size = 128 hidden_size = 4096 num_hidden_layers = 12 num_hidden_groups = 1 num_attention_heads = 64 intermediate_size = 16384 inner_group_num = 1 hidden_act = 'gelu_new' hidden_dropout_prob = 0 attention_probs_dropout_prob = 0 max_position_embeddings = 512 type_vocab_size = 2 initializer_range = 0.02 layer_norm_eps = 1e-12 classifier_dropout_prob = 0.1 pad_token_id = 0 bos_token_id = 2 eos_token_id = 3 tie_word_embeddings = True **kwargs )

参数

  • vocab_size (int, optional, defaults to 30000) — ALBERT 模型的词汇量大小。定义了在调用 AlbertModel 时传递的 inputs_ids 可以表示的不同 token 的数量。
  • embedding_size (int, optional, defaults to 128) — 词汇嵌入的维度。
  • hidden_size (int, optional, defaults to 4096) — 编码器层和池化层的维度。
  • num_hidden_layers (int, optional, defaults to 12) — Transformer 编码器中的隐藏层数量。
  • num_hidden_groups (int, optional, defaults to 1) — 隐藏层的组数，同一组内的参数是共享的。
  • num_attention_heads (int, optional, defaults to 64) — Transformer 编码器中每个注意力层的注意力头数量。
  • intermediate_size (int, optional, defaults to 16384) — Transformer 编码器中“中间”（通常称为前馈）层的维度。
  • inner_group_num (int, optional, defaults to 1) — 注意力和前馈网络内部重复的数量。
  • hidden_act (str or Callable, optional, defaults to "gelu_new") — 编码器和池化层中的非线性激活函数（函数或字符串）。如果为字符串，支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • hidden_dropout_prob (float, optional, defaults to 0) — 嵌入层、编码器和池化层中所有全连接层的 dropout 概率。
  • attention_probs_dropout_prob (float, optional, defaults to 0) — 注意力概率的 dropout 比率。
  • max_position_embeddings (int, optional, defaults to 512) — 该模型可能用于的最大序列长度。通常将其设置为较大的值（例如，512、1024 或 2048）。
  • type_vocab_size (int, optional, defaults to 2) — 调用 AlbertModel 时传递的 token_type_ids 的词汇量大小。
  • initializer_range (float, optional, defaults to 0.02) — 用于初始化所有权重矩阵的截断正态初始化器的标准差。
  • layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的 epsilon。
  • classifier_dropout_prob (float, optional, defaults to 0.1) — 附加分类器的 dropout 比率。
  • pad_token_id (int, optional, defaults to 0) — 填充 token ID。
  • bos_token_id (int, optional, defaults to 2) — 流的开始 token ID。
  • eos_token_id (int, optional, defaults to 3) — 流的结束 token ID。
  • tie_word_embeddings (bool, optional, defaults to True) — 是否绑定词嵌入

这是用于存储 AlbertModel 配置的配置类。它用于根据指定的参数实例化 ALBERT 模型，定义模型架构。使用默认值实例化一个配置将产生与 ALBERT albert/albert-xxlarge-v2 架构相似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PreTrainedConfig 的文档。

示例

>>> from transformers import AlbertConfig, AlbertModel

>>> # Initializing an ALBERT-xxlarge style configuration
>>> albert_xxlarge_configuration = AlbertConfig()

>>> # Initializing an ALBERT-base style configuration
>>> albert_base_configuration = AlbertConfig(
...     hidden_size=768,
...     num_attention_heads=12,
...     intermediate_size=3072,
... )

>>> # Initializing a model (with random weights) from the ALBERT-base style configuration
>>> model = AlbertModel(albert_xxlarge_configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

AlbertTokenizer

[[autodoc]] AlbertTokenizer - build_inputs_with_special_tokens - get_special_tokens_mask - create_token_type_ids_from_sequences - save_vocabulary

AlbertTokenizerFast

class transformers.AlbertTokenizer

< >

( vocab: str | list[tuple[str, float]] | None = None do_lower_case: bool = True keep_accents: bool = False bos_token: str = '[CLS]' eos_token: str = '[SEP]' unk_token: str = '<unk>' sep_token: str = '[SEP]' pad_token: str = '<pad>' cls_token: str = '[CLS]' mask_token: str = '[MASK]' add_prefix_space: bool = True trim_offsets: bool = True **kwargs )

参数

  • do_lower_case (bool, optional, defaults to True) — 是否在分词时将输入转为小写。
  • keep_accents (bool, optional, defaults to False) — 是否保留重音符号。
  • bos_token (str, optional, defaults to "[CLS]") — The beginning of sequence token that was used during pretraining. Can be used a sequence classifier token.

    When building a sequence using special tokens, this is not the token that is used for the beginning of sequence. The token used is the cls_token.
  • eos_token (str, optional, defaults to "[SEP]") — The end of sequence token. .. note:: When building a sequence using special tokens, this is not the token that is used for the end of sequence. The token used is the sep_token.
  • unk_token (str, optional, defaults to "<unk>") — 未知标记。词汇表中不存在的标记无法转换为 ID，而是被设置为此标记。
  • sep_token (str, optional, defaults to "[SEP]") — 分隔符标记，在构建多个序列的序列时使用，例如用于序列分类的两个序列，或用于问答的文本和问题。它也是使用特殊标记构建的序列的最后一个标记。
  • pad_token (str, optional, defaults to "<pad>") — 填充标记，例如在批处理不同长度的序列时使用。
  • cls_token (str, optional, defaults to "[CLS]") — 分类标记，在进行序列分类（序列整体分类而非每个标记的分类）时使用。它是使用特殊标记构建的序列的第一个标记。
  • mask_token (str, optional, defaults to "[MASK]") — 掩码标记，用于掩盖值。这是在训练此模型时用于掩码语言建模的标记。这是模型将尝试预测的标记。
  • add_prefix_space (bool, optional, defaults to True) — 是否在输入前添加空格。这使得可以像对待其他单词一样对待领先单词。
  • trim_offsets (bool, optional, defaults to True) — 是否在后处理步骤中修剪偏移量以避免包含空格。
  • vocab (str or list[tuple[str, float]], optional) — 自定义词汇表，包含 (token, score) 元组。如果未提供，则从 vocab_file 加载词汇表。
  • vocab_file (str, optional) — SentencePiece 文件（通常带有 .model 扩展名），其中包含实例化分词器所需的词汇表。

构建一个“快速”的 ALBERT 分词器（由 HuggingFace 的 tokenizers 库支持）。基于 Unigram。此分词器继承自 PreTrainedTokenizerFast，其中包含大部分主方法。用户应参考此超类以获取有关这些方法的更多信息

Albert specific outputs

class transformers.models.albert.modeling_albert.AlbertForPreTrainingOutput

< >

( loss: torch.FloatTensor | None = None prediction_logits: torch.FloatTensor | None = None sop_logits: torch.FloatTensor | None = None hidden_states: tuple[torch.FloatTensor] | None = None attentions: tuple[torch.FloatTensor] | None = None )

参数

  • loss (*optional*, returned when labels is provided, torch.FloatTensor of shape (1,)) — 总损失，是掩码语言建模损失和下一序列预测（分类）损失的总和。
  • prediction_logits (torch.FloatTensor of shape (batch_size, sequence_length, config.vocab_size)) — 语言模型头的预测分数（SoftMax 之前的每个词汇标记分数）。
  • sop_logits (torch.FloatTensor of shape (batch_size, 2)) — 下一序列预测（分类）头的预测分数（SoftMax 之前的 True/False 连续性分数）。
  • hidden_states (tuple[torch.FloatTensor] | None.hidden_states, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — 模型在嵌入层（如果模型有嵌入层）和每个层的输出的 torch.FloatTensor 元组（一个用于初始嵌入输出，每个层一个），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

  • attentions (tuple[torch.FloatTensor] | None.attentions, returned when output_attentions=True is passed or when config.output_attentions=True) — 每个层的 torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    自注意力头中用于计算加权平均值的注意力权重（在注意力 SoftMax 之后）。

AlbertForPreTraining 的输出类型。

AlbertModel

[[autodoc]] AlbertModel - forward

AlbertForPreTraining

[[autodoc]] AlbertForPreTraining - forward

AlbertForMaskedLM

[[autodoc]] AlbertForMaskedLM - forward

AlbertForSequenceClassification

[[autodoc]] AlbertForSequenceClassification - forward

AlbertForMultipleChoice

class transformers.AlbertForMultipleChoice

< >

( config: AlbertConfig )

参数

  • config (AlbertConfig) — 模型的所有参数的配置类。使用配置文件初始化仅加载配置，不加载与模型相关的权重。请查看 from_pretrained() 方法来加载模型权重。

Albert 模型，顶部带有一个多项选择分类头（池化输出上的一个线性层和一个 softmax），例如用于 RocStories/SWAG 任务。

此模型继承自 PreTrainedModel。查看其父类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( input_ids: torch.LongTensor | None = None attention_mask: torch.FloatTensor | None = None token_type_ids: torch.LongTensor | None = None position_ids: torch.LongTensor | None = None inputs_embeds: torch.FloatTensor | None = None labels: torch.LongTensor | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → transformers.models.albert.modeling_albert.AlbertForPreTrainingOutput 或 tuple(torch.FloatTensor)

参数

  • input_ids (形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列 token 的索引。

    可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

    输入 ID 是什么？

  • attention_mask (形状为 (batch_size, sequence_length) 的 torch.FloatTensor, 可选) — 用于避免在 padding token 索引上执行 attention 的掩码。掩码值选择在 [0, 1] 范围内：

    • 1 表示未被掩码的 token，
    • 0 表示被掩码的 token。

    Attention mask 是什么？

  • token_type_ids (形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor, 可选) — 用于指示输入的第一个和第二个部分的段 token 索引。索引选择在 [0, 1] 范围内：

    • 0 对应于*句子 A* token，
    • 1 对应于*句子 B* token。

    Token type IDs 是什么？

  • position_ids (形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor, 可选) — 输入序列 token 在位置嵌入中的位置索引。选择范围为 [0, config.max_position_embeddings - 1]。

    Position IDs 是什么？

  • inputs_embeds (形状为 (batch_size, num_choices, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，您可以直接传入嵌入表示，而不是传入 input_ids。这在您希望对如何将 input_ids 索引转换为关联向量有更多控制时很有用，比模型的内部嵌入查找矩阵更灵活。
  • labels (形状为 (batch_size,) 的 torch.LongTensor, 可选) — 用于计算多项选择分类损失的标签。索引应在 [0, ..., num_choices-1] 范围内，其中 num_choices 是输入张量第二个维度的长度。（参见上面的 input_ids）

返回

transformers.models.albert.modeling_albert.AlbertForPreTrainingOutput 或 tuple(torch.FloatTensor)

根据配置（AlbertConfig）和输入，由各种元素组成的 transformers.models.albert.modeling_albert.AlbertForPreTrainingOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时）。

  • loss (*可选*, 当提供 labels 时返回, torch.FloatTensor, 形状为 (1,)) — 总损失，是掩码语言建模损失和下一句预测（分类）损失的总和。

  • prediction_logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前的每个词汇 token 的分数）。

  • sop_logits (形状为 (batch_size, 2) 的 torch.FloatTensor) — 下一个句子预测（分类）头的预测分数（SoftMax 之前的 True/False 继续的分数）。

  • hidden_states (tuple[torch.FloatTensor] | None.hidden_states, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型有嵌入层，+ 每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

  • attentions (tuple[torch.FloatTensor] | None.attentions, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

AlbertForMultipleChoice 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> from transformers import AutoTokenizer, AlbertForMultipleChoice
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("albert/albert-xxlarge-v2")
>>> model = AlbertForMultipleChoice.from_pretrained("albert/albert-xxlarge-v2")

>>> prompt = "In Italy, pizza served in formal settings, such as at a restaurant, is presented unsliced."
>>> choice0 = "It is eaten with a fork and a knife."
>>> choice1 = "It is eaten while held in the hand."
>>> labels = torch.tensor(0).unsqueeze(0)  # choice0 is correct (according to Wikipedia ;)), batch size 1

>>> encoding = tokenizer([prompt, prompt], [choice0, choice1], return_tensors="pt", padding=True)
>>> outputs = model(**{k: v.unsqueeze(0) for k, v in encoding.items()}, labels=labels)  # batch size is 1

>>> # the linear classifier still needs to be trained
>>> loss = outputs.loss
>>> logits = outputs.logits

AlbertForTokenClassification

[[autodoc]] AlbertForTokenClassification - forward

AlbertForQuestionAnswering

[[autodoc]] AlbertForQuestionAnswering - forward

在 GitHub 上更新

←AFMoE Apertus→
© . This site is unofficial and not affiliated with Hugging Face, Inc.