参数

• token_ids_0 (List[int]) — 将向其添加特殊 token 的 ID 列表。
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。

带有适当特殊 token 的 输入 ID 列表。

参数

• token_ids_0 (List[int]) — ID 列表。
• token_ids_1 (List[int], optional) — 可选的第二个 ID 列表，用于序列对。

根据给定的序列（或多个序列）返回 token type IDs 列表。

参数

• pretrained_model_name_or_path (str 或 os.PathLike) — 预训练 tokenizer 的名称或路径。

参数

• tokenizer (PreTrainedTokenizerBase) — 用于初始化 TFBertTokenizer 的 tokenizer。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列 token 的索引。索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是 input IDs？

• attention_mask (形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length) 的 torch.FloatTensor，可选) — 用于避免对 padding token 索引执行 attention 的 mask。Mask 值在 [0, 1] 中选择：
  • 1 表示 token 未被 mask，
  • 0 表示 token 已被 mask。

  什么是 attention masks？

• token_type_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — Segment token 索引，用于指示输入的第一个和第二个部分。索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。

  什么是 token type IDs？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 每个输入序列 token 在 position embeddings 中的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可选) — 用于 nullify 自注意力模块中选定的 head 的 mask。Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被 mask，
  • 0 表示 head 已被 mask。
• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 可选地，您可以选择直接传递 embedding 表示，而不是传递 input_ids。如果您希望比模型的内部 embedding 查找矩阵更精细地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有 attention 层的 attention tensor。有关更多详细信息，请参阅返回的 tensor 下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的 hidden state。有关更多详细信息，请参阅返回的 tensor 下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• encoder_hidden_states (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 编码器最后一层输出的 hidden state 序列。如果模型配置为解码器，则在交叉注意力中使用。
• encoder_attention_mask (形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length) 的 torch.FloatTensor，可选) — 用于避免对编码器输入的 padding token 索引执行 attention 的 mask。如果模型配置为解码器，则此 mask 在交叉注意力中使用。Mask 值在 [0, 1] 中选择：
  • 1 表示 token 未被 mask，
  • 0 表示 token 已被 mask。
• past_key_values (长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，其中每个元组都有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensor) — 包含 attention block 的预计算 key 和 value hidden state。可用于加速解码。

  如果使用 past_key_values，用户可以选择仅输入最后一个 decoder_input_ids（那些没有将其 past key value state 提供给此模型的 decoder_input_ids），形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values key value state，并可用于加速解码（请参阅 past_key_values）。

一个 transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (BertConfig) 和输入。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor) — 模型最后一层输出的 hidden state 序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列的第一个 token（classification token）的最后一层 hidden state，在通过用于辅助预训练任务的层进一步处理之后。例如，对于 BERT 系列模型，这将返回通过线性层和 tanh 激活函数处理后的 classification token。线性层权重通过预训练期间的下一句预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 且 config.add_cross_attention=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的 attention 权重，在 attention softmax 之后，用于计算交叉注意力头中的加权平均值。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，其中每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，并且如果 config.is_encoder_decoder=True，则可选地包含 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。

  包含预先计算的隐藏状态（自注意力模块中的键和值，以及如果 config.is_encoder_decoder=True，则可选地包含交叉注意力模块中的键和值），这些状态可以用于（参见 past_key_values 输入）加速顺序解码。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), 可选) — 用于避免在 padding token 索引上执行 attention 的掩码。 Mask 值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。

  什么是 attention masks？

• token_type_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。

  什么是 token type IDs？

• position_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 自注意力模块中选定 head 的掩码。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions 张量。 有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

  labels (torch.LongTensor，形状为 (batch_size, sequence_length), 可选): 用于计算 masked language modeling 损失的标签。 索引应在 [-100, 0, ..., config.vocab_size] 中（参见 input_ids 文档字符串） 索引设置为 -100 的 tokens 将被忽略（掩盖），损失仅针对标签在 [0, ..., config.vocab_size] 中的 tokens 计算 next_sentence_label (torch.LongTensor，形状为 (batch_size,), 可选): 用于计算下一个序列预测（分类）损失的标签。 输入应为序列对（参见 input_ids 文档字符串） 索引应在 [0, 1] 中：

  • 0 表示序列 B 是序列 A 的延续，
  • 1 表示序列 B 是一个随机序列。 kwargs (Dict[str, any], 可选, 默认为 {}): 用于隐藏已被弃用的旧参数。

一个 transformers.models.bert.modeling_bert.BertForPreTrainingOutput 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (可选, 当提供 labels 时返回, torch.FloatTensor，形状为 (1,)) — 总损失，作为 masked language modeling 损失和下一个序列预测（分类）损失的总和。

• prediction_logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测得分（SoftMax 之前每个词汇表 token 的得分）。

• seq_relationship_logits (torch.FloatTensor，形状为 (batch_size, 2)) — 下一个序列预测（分类）head 的预测得分（SoftMax 之前 True/False 延续的得分）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（embeddings 的输出一个，加上每层输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), 可选) — 用于避免在 padding token 索引上执行 attention 的掩码。 Mask 值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。

  什么是 attention masks？

• token_type_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。

  什么是 token type IDs？

• position_ids (torch.LongTensor，形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 自注意力模块中选定 head 的掩码。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传入嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• encoder_hidden_states (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 编码器最后一层的输出处的隐藏状态序列。如果模型配置为解码器，则在交叉注意力机制中使用。
• encoder_attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对编码器输入的填充标记索引执行注意力的掩码。如果模型配置为解码器，则此掩码在交叉注意力机制中使用。掩码值在 [0, 1] 中选择：
  • 1 表示标记未被掩盖，
  • 0 表示标记被掩盖。
• labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算从左到右语言建模损失（下一个词预测）的标签。索引应在 [-100, 0, ..., config.vocab_size] 中（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩盖），损失仅针对标签在 [0, ..., config.vocab_size] 中的标记计算。
• past_key_values (长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量) — 包含注意力模块的预先计算的键和值隐藏状态。可用于加速解码。

  如果使用 past_key_values，用户可以选择仅输入最后的 decoder_input_ids（那些没有将其过去的键值状态提供给此模型的输入 ID），形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。

• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（请参阅 past_key_values）。

一个 transformers.modeling_outputs.CausalLMOutputWithCrossAttentions 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个标记预测）。

• logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇表标记的分数）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  交叉注意力 softmax 之后的注意力权重，用于计算交叉注意力头中的加权平均值。

• past_key_values (tuple(tuple(torch.FloatTensor))，可选，当传递 use_cache=True 或当 config.use_cache=True 时返回) — torch.FloatTensor 元组的元组，长度为 config.n_layers，每个元组包含自注意力机制和交叉注意力机制层的缓存键、值状态（如果模型在编码器-解码器设置中使用）。仅当 config.is_decoder = True 时相关。

  包含可用于加速顺序解码的预先计算的隐藏状态（注意力模块中的键和值）（请参阅 past_key_values 输入）。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length)，可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示标记未被掩盖，
  • 0 表示标记被掩盖。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 段落标记索引，用于指示输入的第一部分和第二部分。索引在 [0, 1] 中选择：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 ID？

• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩盖，
  • 0 表示头被掩盖。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传入嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 中（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩盖），损失仅针对标签在 [0, ..., config.vocab_size] 中的标记计算。

一个 transformers.modeling_outputs.MaskedLMOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 掩码语言建模 (MLM) 损失。

• logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇表标记的分数）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), *可选*) — 掩码，用于避免对 padding token 索引执行 attention。掩码值在 [0, 1] 中选择:
  • 1 表示 tokens 未被掩码，
  • 0 表示 tokens 被掩码。

  什么是 attention masks？

• token_type_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), *可选*) — 分段 token 索引，用于指示输入的第一个和第二个部分。索引在 [0, 1] 中选择:
  • 0 对应于 *sentence A* token，
  • 1 对应于 *sentence B* token。

  什么是 token type IDs？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), *可选*) — 每个输入序列 tokens 在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

  什么是 position IDs？

• head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), *可选*) — 掩码，用于使 self-attention 模块中选定的 heads 失效。掩码值在 [0, 1] 中选择:
  • 1 表示 head 未被掩码，
  • 0 表示 head 被掩码。
• inputs_embeds (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), *可选*) — 可选地，除了传递 input_ids，您还可以选择直接传递嵌入表示。如果您希望比模型的内部嵌入查找矩阵更灵活地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool, *可选*) — 是否返回所有 attention 层的 attentions tensors。有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, *可选*) — 是否返回所有层的 hidden states。有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, *可选*) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor, 形状为 (batch_size,), *可选*) — 用于计算下一个序列预测 (classification) 损失的标签。输入应为序列对（请参阅 input_ids 文档字符串）。索引应在 [0, 1] 中:
  • 0 表示序列 B 是序列 A 的延续，
  • 1 表示序列 B 是一个随机序列。

一个 transformers.modeling_outputs.NextSentencePredictorOutput 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (torch.FloatTensor, 形状为 (1,), *可选*, 当提供 next_sentence_label 时返回) — 下一个序列预测 (classification) 损失。

• logits (torch.FloatTensor, 形状为 (batch_size, 2)) — 下一个序列预测 (classification) 头的预测分数（SoftMax 之前的 True/False 延续的分数）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), *可选*) — 掩码，用于避免对 padding token 索引执行 attention。掩码值在 [0, 1] 中选择:
  • 1 表示 tokens 未被掩码，
  • 0 表示 tokens 被掩码。

  什么是 attention masks？

• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于指示输入的第一部分和第二部分的片段 token 索引。 索引在 [0, 1] 中选择:
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。

  什么是 token 类型 ID？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 位置嵌入中每个输入序列 token 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 ID？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于 nullify self-attention 模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 表示 head 未被 Mask，
  • 0 表示 head 被 Mask。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您想要比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attention tensors。 有关更多详细信息，请参阅返回 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 用于计算序列分类/回归损失的标签。 索引应在 [0, ..., config.num_labels - 1] 中。 如果 config.num_labels == 1，则计算回归损失（均方损失）。如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (BertConfig) 和输入的各种元素。

• loss (torch.FloatTensor of shape (1,), optional, 当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (torch.FloatTensor of shape (batch_size, config.num_labels)) — 分类得分（如果 config.num_labels==1，则为回归得分）（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor of shape (batch_size, num_choices, sequence_length)or (batch_size, sequence_length, target_length), optional) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 表示 token 未被 Mask，
  • 0 表示 token 被 Mask。

  什么是 attention masks？

• token_type_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length), optional) — 用于指示输入的第一部分和第二部分的片段 token 索引。 索引在 [0, 1] 中选择:
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。

  什么是 token 类型 ID？

• position_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length), optional) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 ID？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于 nullify self-attention 模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择:
  • 1 表示 head 未被 Mask，
  • 0 表示 head 被 Mask。
• inputs_embeds (torch.FloatTensor of shape (batch_size, num_choices, sequence_length, hidden_size), optional) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您想要比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attention tensors。 有关更多详细信息，请参阅返回 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 用于计算多项选择分类损失的标签。 索引应在 [0, ..., num_choices-1] 中，其中 num_choices 是输入 tensors 的第二维的大小。 （参见上面的 input_ids）

一个 transformers.modeling_outputs.MultipleChoiceModelOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (BertConfig) 和输入的各种元素。

• loss (torch.FloatTensor of shape (1,), optional, 当提供 labels 时返回) — 分类损失。

• logits (torch.FloatTensor of shape (batch_size, num_choices)) — num_choices 是输入 tensors 的第二维。 （参见上面的 input_ids）。

  分类得分（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), 可选) — 避免在 padding 令牌索引上执行 attention 的掩码。 掩码值在 [0, 1] 中选择:
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 已被掩盖。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — Segment 令牌索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择:
  • 0 对应于 句子 A 令牌，
  • 1 对应于 句子 B 令牌。

  什么是令牌类型 IDs？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 自注意力模块的选定 head 的掩码。 掩码值在 [0, 1] 中选择:
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• inputs_embeds (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
• labels (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 用于计算令牌分类损失的标签。 索引应在 [0, ..., config.num_labels - 1] 中。

一个 transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包括取决于配置 ( BertConfig ) 和输入的各种元素。

• loss (torch.FloatTensor, 形状为 (1,), 可选, 当提供 labels 时返回) — 分类损失。

• logits (torch.FloatTensor, 形状为 (batch_size, sequence_length, config.num_labels)) — 分类得分（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (torch.LongTensor, 形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。

  什么是输入 IDs？

• attention_mask (torch.FloatTensor, 形状为 (batch_size, sequence_length) 或 (batch_size, sequence_length, target_length), 可选) — 避免在 padding 令牌索引上执行 attention 的掩码。 掩码值在 [0, 1] 中选择:
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 已被掩盖。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — Segment 令牌索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择:
  • 0 对应于 句子 A 令牌，
  • 1 对应于 句子 B 令牌。

  什么是令牌类型 IDs？

• position_ids (torch.LongTensor, 形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 IDs？

• head_mask (torch.FloatTensor, 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于 nullify 自注意力模块的选定 head 的掩码。 掩码值在 [0, 1] 中选择:
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• inputs_embeds (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
• start_positions (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算 token 分类损失的已标注跨度起始位置（索引）的标签。位置被限制在序列的长度 (sequence_length) 内。序列之外的位置不参与损失计算。
• end_positions (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算 token 分类损失的已标注跨度结束位置（索引）的标签。位置被限制在序列的长度 (sequence_length) 内。序列之外的位置不参与损失计算。

一个 transformers.modeling_outputs.QuestionAnsweringModelOutput 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 总跨度提取损失是起始位置和结束位置的交叉熵损失之和。

• start_logits (torch.FloatTensor，形状为 (batch_size, sequence_length)) — 跨度起始得分（SoftMax 之前）。

• end_logits (torch.FloatTensor，形状为 (batch_size, sequence_length)) — 跨度结束得分（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个层的输出对应一个，如果模型有 embedding 层，则外加 embedding 层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出的 hidden state，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层对应一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor]、`Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，且每个示例必须具有形状 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。

  可以使用 AutoTokenizer 获取索引。 有关详细信息，请参见 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 IDs？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 避免在 padding 标记索引上执行 attention 的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示标记未被掩盖，
  • 0 表示标记被掩盖。

  什么是 attention 掩码？

• token_type_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 分段标记索引，用于指示输入的第一个和第二个部分。在 [0, 1] 中选择索引：
  • 0 对应于句子 A 标记，
  • 1 对应于句子 B 标记。

  什么是 token type IDs？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使 self-attention 模块的选定头无效的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示头未被掩盖，
  • 0 表示头被掩盖。
• inputs_embeds (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您想要比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有 attention 层的 attentions 张量。有关更多详细信息，请参见返回张量下的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool，可选) — 是否返回所有层的 hidden states。有关更多详细信息，请参见返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。此参数可以在 eager 模式下使用，在 graph 模式下该值将始终设置为 True。
• training (bool，可选，默认为 `False`) — 是否在训练模式下使用模型（某些模块（如 dropout 模块）在训练和评估之间具有不同的行为）。
• encoder_hidden_states (tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 编码器最后一层输出的 hidden-states 序列。如果模型配置为解码器，则在 cross-attention 中使用。
• encoder_attention_mask (tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 避免对编码器输入的 padding 标记索引执行 attention 的掩码。如果模型配置为解码器，则此掩码在 cross-attention 中使用。在 [0, 1] 中选择的掩码值：
  • 1 表示标记未被掩盖，
  • 0 表示标记被掩盖。
• past_key_values (长度为 config.n_layers 的 Tuple[Tuple[tf.Tensor]]) — 包含 attention 块的预计算键和值 hidden states。可用于加速解码。如果使用 past_key_values，则用户可以选择仅输入最后 decoder_input_ids（那些未将其过去键值状态提供给此模型的），形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
• use_cache (bool，可选，默认为 True) — 如果设置为 True，则返回 past_key_values 键值状态，并且可以用于加速解码（请参见 past_key_values）。在训练期间设置为 False，在生成期间设置为 True。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndCrossAttentions 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置 (BertConfig) 和输入。

• last_hidden_state (tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的 hidden-states 序列。

• pooler_output (tf.Tensor，形状为 (batch_size, hidden_size)) — 序列的第一个标记（分类标记）的最后一层 hidden-state，由线性层和 Tanh 激活函数进一步处理。线性层权重在预训练期间从下一句预测（分类）目标中训练而来。

  此输出通常不是输入语义内容的良好摘要，对于整个输入序列，您通常最好使用 hidden-states 序列的平均值或池化。

• past_key_values (List[tf.Tensor]，可选，当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)）。

  包含可用于加速顺序解码的预先计算的隐藏状态（注意力模块中的键和值）（请参阅 past_key_values 输入）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的 attention 权重，在 attention softmax 之后，用于计算交叉注意力头中的加权平均值。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，并且每个示例必须具有形状 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 IDs？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length), 可选) — 掩码，用于避免在 padding token 索引上执行 attention。 掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。

  什么是 attention masks？

• token_type_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length), 可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 sentence A token，
  • 1 对应于 sentence B token。

  什么是 token type IDs？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 掩码，用于使 self-attention 模块的选定 head 失效。 掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• inputs_embeds (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size), 可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attention tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。 此参数只能在即时模式下使用，在图模式下将使用 config 中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。 此参数只能在即时模式下使用，在图模式下将使用 config 中的值。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通 tuple。 此参数可以在即时模式下使用，在图模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（dropout 模块等某些模块在训练和评估之间具有不同的行为）。
• labels (tf.Tensor，形状为 (batch_size, sequence_length), 可选) — 用于计算 masked language modeling loss 的标签。 索引应在 [-100, 0, ..., config.vocab_size] 中（参见 input_ids 文档字符串）。 索引设置为 -100 的 tokens 将被忽略（masked），loss 仅针对标签在 [0, ..., config.vocab_size] 中的 tokens 计算。
• next_sentence_label (tf.Tensor，形状为 (batch_size,), 可选) — 用于计算下一句预测（分类）损失的标签。 输入应为序列对（参见 input_ids 文档字符串）。 索引应在 [0, 1] 中：
  • 0 表示序列 B 是序列 A 的延续，
  • 1 表示序列 B 是随机序列。
• kwargs (Dict[str, any], 可选, 默认为 {}) — 用于隐藏已弃用的旧参数。

一个 transformers.models.bert.modeling_tf_bert.TFBertForPreTrainingOutput 或一个 tf.Tensor 的 tuple (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (BertConfig) 和输入。

• prediction_logits (tf.Tensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测得分（SoftMax 之前每个词汇表 token 的得分）。

• seq_relationship_logits (tf.Tensor，形状为 (batch_size, 2)) — 下一句预测（分类）head 的预测得分（SoftMax 之前 True/False 延续的得分）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

一个 transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions 或一个 tf.Tensor 的 tuple (如果传递了 return_dict=False 或当 config.return_dict=False 时)，其中包含各种元素，具体取决于配置 (BertConfig) 和输入。

• loss (tf.Tensor，形状为 (n,), 可选, 其中 n 是非 masked 标签的数量，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

• logits (tf.Tensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测得分（SoftMax 之前每个词汇表 token 的得分）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

• cross_attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的 attention 权重，在 attention softmax 之后，用于计算交叉注意力头中的加权平均值。

• past_key_values (List[tf.Tensor]，可选，当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tf.Tensor 列表，每个张量的形状为 (2, batch_size, num_heads, sequence_length, embed_size_per_head)）。

  包含可用于加速顺序解码的预先计算的隐藏状态（注意力模块中的键和值）（请参阅 past_key_values 输入）。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor]、Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，并且每个示例必须具有形状 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 IDs？

• attention_mask (形状为 (batch_size, sequence_length) 的 np.ndarray 或 tf.Tensor, 可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 tokens 未被 masked，
  • 0 表示 tokens 被 masked。

  什么是 attention masks？

• token_type_ids (形状为 (batch_size, sequence_length) 的 np.ndarray 或 tf.Tensor, 可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。

  什么是 token type IDs？

• position_ids (形状为 (batch_size, sequence_length) 的 np.ndarray 或 tf.Tensor, 可选) — 位置嵌入中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是 position IDs？

• head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 np.ndarray 或 tf.Tensor, 可选) — 用于 nullify 自注意力模块的选定 head 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 head 未被 masked，
  • 0 表示 head 被 masked。
• inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 np.ndarray 或 tf.Tensor, 可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。 如果您希望比模型的内部嵌入查找矩阵更精确地控制如何将 input_ids 索引转换为关联向量，这将非常有用。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。 此参数只能在 eager 模式下使用，在 graph 模式下将使用 config 中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。 此参数只能在 eager 模式下使用，在 graph 模式下将使用 config 中的值。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的 tuple。 此参数可以在 eager 模式下使用，在 graph 模式下该值将始终设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否在训练模式下使用模型（某些模块（如 dropout 模块）在训练和评估之间具有不同的行为）。
• labels (形状为 (batch_size, sequence_length) 的 tf.Tensor 或 np.ndarray, 可选) — 用于计算 masked language modeling loss 的标签。 索引应在 [-100, 0, ..., config.vocab_size] 中（请参阅 input_ids docstring）。 索引设置为 -100 的 tokens 将被忽略（masked），loss 仅针对标签在 [0, ..., config.vocab_size] 中的 tokens 计算。

一个 transformers.modeling_tf_outputs.TFMaskedLMOutput 或一个 tf.Tensor 的 tuple （如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (BertConfig) 和输入的各种元素。

• loss (形状为 (n,) 的 tf.Tensor, 可选, 其中 n 是非 masked 标签的数量，在提供 labels 时返回) — Masked language modeling (MLM) loss。

• logits (tf.Tensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模 head 的预测得分（SoftMax 之前每个词汇表 token 的得分）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor]、Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，并且每个示例必须具有形状 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。

  索引可以使用 AutoTokenizer 获得。 有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 IDs？

• attention_mask (形状为 (batch_size, sequence_length) 的 np.ndarray 或 tf.Tensor, 可选) — 用于避免在 padding token 索引上执行 attention 的 Mask。 Mask 值在 [0, 1] 中选择：
  • 1 表示 tokens 未被 masked，
  • 0 表示 tokens 被 masked。

  什么是 attention masks？

• token_type_ids (形状为 (batch_size, sequence_length) 的 np.ndarray 或 tf.Tensor, 可选) — Segment token 索引，用于指示输入的第一部分和第二部分。 索引在 [0, 1] 中选择：
  • 0 对应于 句子 A token，
  • 1 对应于 句子 B token。

  什么是 token type IDs？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于置空自注意力模块中选定头的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩蔽，
  • 0 表示头被掩蔽。
• inputs_embeds (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是纯元组。此参数可以在 eager 模式下使用，在 graph 模式下该值将始终设置为 True。
• training (bool，可选，默认为 `False`) — 是否在训练模式下使用模型（某些模块如 dropout 模块在训练和评估之间具有不同的行为）。

一个 transformers.modeling_tf_outputs.TFNextSentencePredictorOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含取决于配置 (BertConfig) 和输入的各种元素。

• loss (tf.Tensor，形状为 (n,)，可选，当提供 next_sentence_label 时返回) — 下一句预测损失。

• logits (tf.Tensor，形状为 (batch_size, 2)) — 下一序列预测（分类）头的预测分数（SoftMax 之前的 True/False 延续的分数）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（embeddings 的输出一个，每层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每层输出以及初始 embedding 输出时的 hidden-states。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的权重，用于计算自注意力头中的加权平均值。