参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 输入序列词汇中的标记索引。

  索引可以通过使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选） — 用于避免在填充标记索引上执行注意力的掩码。选定的掩码值在 [0, 1] 之间：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选） — 段标记索引以指示输入的第一部分和第二部分。选择的索引在 [0, 1] 之间：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选） — 每个输入序列标记在位置嵌入中的位置索引。选择的范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于取消配置自注意力模块中选定头部的掩码。掩码值置于 [0, 1] 中：
  • 1 表示头部 未掩码，
  • 0 表示头部 掩码。
• inputs_embeds (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选，代替传递 input_ids，您可以选择直接传递嵌入表示。如果您想要比模型的内部嵌入查找矩阵有更多的控制来转换 input_ids 索引到关联的向量，这将很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更详细的信息，请参阅返回的张量中的 attentions。此参数只能在 eager 模式下使用，在图模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量的 hidden_states。此参数仅在Eager模式中使用，在图模式中会使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。此参数可以用于Eager模式，在图模式中该值始终设为True。
• training (bool, 可选, 默认为`False`) — 是否以训练模式使用模型（一些模块如dropout模块在训练和评估之间有不同的行为）。
• encoder_hidden_states (tf.Tensor of shape (batch_size, sequence_length, hidden_size), optional) — 编码器的最后一层输出的隐藏状态序列。如果模型配置为解码器，则在交叉注意力中使用。
• encoder_attention_mask (tf.Tensor of shape (batch_size, sequence_length), optional) — 用于避免在编码器输入的填充标记索引上进行注意力的掩码。如果模型配置为解码器，则在交叉注意力中使用。掩码值选在[0, 1]：
  • 1 对于未掩码的标记，
  • 0 对于掩码的标记。
• past_key_values (Tuple[Tuple[tf.Tensor]] of length config.n_layers) — 包含注意机制块预计算的关键和值隐藏状态。可用于加速解码。如果使用past_key_values，则用户可以只输入最后 decoder_input_ids（不包含过去键值状态的）的形状为 (batch_size, 1) 的数据，而不是所有 decoder_input_ids 的形状为 (batch_size, sequence_length) 的数据。
• use_cache (bool, 可选, 默认为True) — 如果设置为True，会返回past_key_values键值状态，这可以用来加速解码（参见past_key_values）。训练时设置为False，生成时设置为True。

A transformers.modeling_tf_outputs.TFBaseModelOutputWithPoolingAndCrossAttentions 或一个tf.Tensor的元组（如果传递了return_dict=False，或者在config.return_dict=False时），包含各种根据配置（RemBertConfig）和输入而定的元素。

• last_hidden_state (tf.Tensor，形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为(batch_size, hidden_size)) — 序列中第一个标记（分类标记）的最后一层隐藏状态，进一步经过线性层和 Tanh 激活函数处理。线性层的权重是在预训练期间从下一个句子预测（分类）目标中训练得到的。

  这个输出通常不是输入语义内容的一个很好的总结，您通常会比平均或池化整个输入序列的隐藏状态序列做得更好。

• past_key_values (tf.Tensor列表，可选，在传递use_cache=True时返回或在config.use_cache=True时返回) — 长度为config.n_layers的tf.Tensor列表，其中每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的隐藏状态（注意力块中的键和值），可用于（请参阅past_key_values输入）以加速顺序解码。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

• cross_attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，经过注意力 softmax，用于计算交叉注意力头中的加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray] 每个示例都必须具有形状 (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。

  索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入 ID?

• attention_mask (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选) —— 避免在对填充标记索引执行注意力时的掩码。在 [0, 1] 中选择掩码值：
  • 1 表示未遮挡的标记；
  • 0 表示遮挡的标记。

  什么是注意力掩码?

• token_type_ids (np.ndarray 或 tf.Tensor 的形状为 (batch_size, sequence_length)，可选) —— 段标记索引，用于指示输入的第一和第二部分。索引选在 [0, 1] 中：
  • 0 对应于 句子 A 标记；
  • 1 对应于 句子 B 标记。

  什么是令牌类型 ID?

• position_ids（类型：np.ndarray 或 tf.Tensor，形状(batch_size, sequence_length)，可选）——每个输入序列标记在位置嵌入中的索引。选择范围为[0, config.max_position_embeddings - 1]。

  什么是位置ID？

• head_mask（类型：np.ndarray 或 tf.Tensor，形状(num_heads,) 或 (num_layers, num_heads)，可选）——用于取消选择自注意力模块中的选定头部的掩码。掩码值选择范围在[0, 1]：
  • 1 表示头部没有被掩码，
  • 0 表示头部被掩码。
• inputs_embeds（类型：np.ndarray 或 tf.Tensor，形状(batch_size, sequence_length, hidden_size)，可选）——可选的，而不是传递 input_ids，您可以选择直接传递一个嵌入表示。当您想要比模型的内部嵌入查找矩阵有更多控制权如何将 input_ids 索引转换为相关向量时，这很有用。
• output_attentions (布尔值, 可选) — 是否返回所有注意力层的注意力张量。有关返回张量中的更多信息，请参见 attentions。此参数只能在 eager 模式中使用，在 graph 模式中将使用配置中的值。
• output_hidden_states (布尔值, 可选) — 是否返回所有层的隐藏状态。有关返回张量中的更多信息，请参见 hidden_states。此参数只能在 eager 模式中使用，在 graph 模式中将使用配置中的值。
• return_dict (布尔值, 可选) — 是否返回 ModelOutput 而不是普通元组。此参数可以在 eager 模式中使用，在 graph 模式中始终将其设置为 True。
• training (bool, 可选, 默认为 `False`) — 是否使用训练模式的模型（一些模块，如dropout模块，在训练和评估之间有不同的行为）。
• labels (tf.Tensor 或 np.ndarray 的形状是 (batch_size, sequence_length), 可选) — 用于计算骨架语言建模损失的标签。索引应在 [-100, 0, ..., config.vocab_size] 范围内（参见 input_ids 的文档字符串）。索引设置为 -100 的标记将被忽略（被掩码），只计算标签在 [0, ..., config.vocab_size] 的标记的损失。

一个 transformers.modeling_tf_outputs.TFMaskedLMOutput 或一个 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False），它包含各种元素，这些元素取决于配置（RemBertConfig）和输入。

• loss (tf.Tensor 的形状为 (n,), 可选，其中 n 是非掩码标签的数量，当提供 labels 时返回) — 骨架语言建模（MLM）损失。

• logits (tf.Tensor 的形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测分数（每个词汇表标记的分数在 SoftMax 之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

一个transformers.modeling_tf_outputs.TFCausalLMOutputWithCrossAttentions或者一个由tf.Tensor（如果在传递return_dict=False时或当config.return_dict=False时）组成的元组，其中包含根据配置（RemBertConfig）和输入的各个元素。

• loss（形状为(n,)的tf.Tensor，可选，其中n是未屏蔽标签的数量，当提供labels时返回）——语言模型损失（用于下一标记预测）。

• logits (tf.Tensor 的形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头部的预测分数（每个词汇表标记的分数在 SoftMax 之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

• cross_attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  解码器交叉注意力层的注意力权重，经过注意力 softmax，用于计算交叉注意力头中的加权平均。

• past_key_values (tf.Tensor列表，可选，在传递use_cache=True时返回或在config.use_cache=True时返回) — 长度为config.n_layers的tf.Tensor列表，其中每个张量的形状为(2, batch_size, num_heads, sequence_length, embed_size_per_head)。

  包含预计算的隐藏状态（注意力块中的键和值），可用于（请参阅past_key_values输入）以加速顺序解码。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 输入序列token在词汇表中的索引。

  可以使用AutoTokenizer获得索引。详见 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 内选择：
  • 1 表示未 掩码 的标记，
  • 0 表示已 掩码 的标记。

  什么是注意力掩码？

• token_type_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 段标记索引，用于指示输入的第一和第二部分。索引在 [0, 1] 内选择：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor，形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的索引。选择在范围 [0, config.max_position_embeddings - 1] 内。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选） — 取消自我注意力模块选择头部的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部未被 掩码，
  • 0 表示头部被 掩码。
• inputs_embeds (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)，可选） — 选项性地，您可以选择直接传递嵌入表示而不是 input_ids。如果您想更精细地控制如何将 input_ids 索引转换为相关向量，这比模型内部的嵌入查找矩阵更有效。
• output_attentions (bool，可选） — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。此参数仅在 eager 模式下可以使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量下 hidden_states 的更多详细内容，请参见。此参数只能用于紧急模式，在图模式中，使用配置中的值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。此参数可用于紧急模式，在图模式中，该值始终设置为 True。
• training (bool, 可选，默认为`False`) — 是否使用模型进行训练模式（一些模块如dropout模块在训练和评估之间有不同的行为）。
• labels (tf.Tensor 或 np.ndarray 形状为 (batch_size,)，可选) — 用于计算序列分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.modeling_tf_outputs.TFSequenceClassifierOutput 或 tf.Tensor 的元组（如果通过 return_dict=False 或当 config.return_dict=False 时），它根据配置（RemBertConfig）和输入包含各种元素。

• loss (shape 为 (batch_size, ) 的 tf.Tensor，可选，当提供 labels 时返回) — 分类（或当 config.num_labels==1 时的回归）损失。

• logits (shape 为 (batch_size, config.num_labels) 的 tf.Tensor) — 分类（或当 config.num_labels==1 的回归）分数（在 SoftMax 之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, num_choices, sequence_length)) — 输入序列token在词汇表中的索引。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是input IDs？

• attention_mask (np.ndarray 或 tf.Tensor 形状为 (batch_size, num_choices, sequence_length)，可选) — 避免在填充标记索引上执行注意力操作的掩码。选择的掩码值在 [0, 1] 之间：
  • 1 对应于未遮罩的标记，
  • 0 对应于遮罩的标记。

  什么是注意力掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, num_choices, sequence_length)，可选) — 段标记索引以指明输入的第一个和第二个部分。选择的索引在 [0, 1] 之间：
  • 0 对应于 A句 标记，
  • 1 对应于 B句 标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, num_choices, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择的范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选）——用来取消选定头部的自注意力模块的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头部未 掩码，
  • 0 表示头部已 掩码。
• inputs_embeds (np.ndarray 或 tf.Tensor 形状为 (batch_size, num_choices, sequence_length, hidden_size)，可选）——可以选择直接传递嵌入表示，而不是传递 input_ids。这在使用户想要比模型内部的嵌入查找矩阵有更多控制权的转换 input_ids 索引到相关向量时非常有用。
• output_attentions (bool，可选）——是否返回所有注意力层的注意力张量。详细信息请参考返回的张量中的 attentions。此参数仅在 eager 模式下可用，在 graph 模式下将使用配置中的值。
• output_hidden_states （布尔值，可选）— 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的 hidden_states。此参数仅在急切模式中使用，在图模式中将使用配置中的值。
• return_dict （布尔值，可选）— 是否返回 ModelOutput 而不是一个普通的元组。此参数可以在急切模式中使用，在图模式中该值始终设置为 True。
• training （布尔值，可选，默认为 `False`“）— 是否使用模型进行训练模式（某些模块，如 dropout 模块，在训练和评估之间的行为不同）。
• labels (tf.Tensor 或 np.ndarray 形状为 (batch_size,)，可选) — 多选题分类损失的标签。索引应在 [0, ..., num_choices] 范围内，其中 num_choices 是输入张量第二维的大小。（见上文的 input_ids）

transformers.modeling_tf_outputs.TFMultipleChoiceModelOutput 或一个包含 tf.Tensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时）由配置（RemBertConfig）和输入来确定。

• loss (tf.Tensor 形状为 (batch_size, )，可选，当提供 labels 时返回) — 分类损失。

• logits (tf.Tensor 形状为 (batch_size, num_choices)） — num_choices 是输入张量的第二维。（见上文中的 input_ids）

  分类得分（SoftMax 之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (np.ndarray, tensorflow.Tensor, List[tensorflow.Tensor] `Dict[str, tensorflow.Tensor] or Dict[str, np.ndarray] and each example must have the shape (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID?

• attention_mask (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 用于避免在填充token索引上执行注意力的掩码。在 [0, 1] 范围内选择的掩码值：
  • 1 表示不掩码的token，
  • 0 表示掩码的token。

  什么是attention掩码？

• token_type_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 段落token索引，用于指示输入的第一部分和第二部分。索引范围在 [0, 1] 内：
  • 0 对应于 句子A token，
  • 1 对应于 句子B token。

  什么是token类型ID？

• position_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 每个输入序列token在位置嵌入中的位置索引。选择范围在 [0, config.max_position_embeddings - 1] 内。

  什么是位置ID？

• — head_mask (np.ndarray 或 tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) - 用于取消选中自注意力模块的头部的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部未被掩码
  • 0 表示头部被掩码
• — inputs_embeds (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)，可选) - 你可以选择直接传递嵌入表示，而不是传递 input_ids。当你想对如何将 input_ids 的索引转换成相关向量有更多控制权时，这很有用，比模型的内部嵌入查找矩阵转换更加灵活。
• — output_attentions (bool，可选) - 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量中的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。此参数只能在旷工模式下使用，在图形模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput而不是普通元组。该参数可在旷工模式下使用，在图形模式下该值始终设置为True。
• training (bool, 可选, 默认False) — 是否以训练模式使用该模型（一些模块，如dropout模块，在训练和评估之间有不同的行为）。
• labels （tf.Tensor 或 shape 为（batch_size, sequence_length）的 np.ndarray，可选） — 用于计算标记分类损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。

A transformers.modeling_tf_outputs.TFTokenClassifierOutput 或是一个 tf.Tensor 的元组（如果 return_dict=False 被传递或当 config.return_dict=False 时），它包含各种元素，具体取决于配置（RemBertConfig）和输入。

• loss （shape 为 (n,) 的 tf.Tensor，可选，其中 n 是未遮蔽标签的数量，当提供 labels 时返回） — 分类损失。

• logits （shape 为 (batch_size, sequence_length, config.num_labels) 的 tf.Tensor） — 分类得分（在 SoftMax 之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。

参数

• input_ids (np.ndarray, tf.Tensor, List[tf.Tensor] `Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例的形状必须为 (batch_size, sequence_length)) — 输入序列令牌在词汇表中的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.call() 和 PreTrainedTokenizer.encode()。

  什么是输入ID？

• attention_mask (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 避免在填充词索引上进行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 对应于未 掩码 的标记,
  • 0 对应于已 掩码 的标记。

  什么是 attention masks？

• token_type_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 段落标记索引，用以指示输入的第一、二部分。索引选择在 [0, 1]：
  • 0 对应于 A句标记,
  • 1 对应于 B句标记。

  什么是标记类型 ID？

• position_ids (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的索引。范围选择为 [0, config.max_position_embeddings - 1]。

  什么是位置 ID？

• head_mask (np.ndarray 或 tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 要取消选中自注意力模块选中的头部的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头部未被 屏蔽；
  • 0 表示头部被 屏蔽。
• inputs_embeds (np.ndarray 或 tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)，可选) — 可选，您可以选择直接传递嵌入式表示来代替传递 input_ids。如果您想要比模型内部嵌入查找矩阵能够更好地控制将 input_ids 索引转换为相关矢量的方式，这将很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更详细的信息，请参阅返回张量中的 attentions。此参数只能在 eager 模式下使用，在 graph 模式下将使用配置中的值。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的hidden_states。此参数只能在eager模式中使用，在graph模式下将使用配置中的值。
• return_dict (bool, 可选) — 是否返回ModelOutput对象而不是普通元组。此参数可以在eager模式中使用，在graph模式下将始终设置为True。
• training (bool, 可选, 默认为 `False`） — 是否使用模型进行训练模式（某些模块（如dropout模块）在训练和评估之间的行为不同）。
• start_positions (tf.Tensor 或者 np.ndarray，形状为 (batch_size,)，可选) — 标注段开始位置的标签，用于计算标记得的跨度分类损失。位置被限制在序列长度（sequence_length）内。序列之外的位置在计算损失时不被考虑。
• end_positions (tf.Tensor 或者 np.ndarray，形状为 (batch_size,)，可选) — 标注段结束位置的标签，用于计算标记得的跨度分类损失。位置被限制在序列长度（sequence_length）内。序列之外的位置在计算损失时不被考虑。

一个transformers.modeling_tf_outputs.TFQuestionAnsweringModelOutput或者一个tf.Tensor的元组（如果传递了return_dict=False或者当config.return_dict=False时），包含了根据配置（RemBertConfig）和输入不同元素。

• loss（当提供start_positions和end_positions时返回，形状为(batch_size, )的tf.Tensor，可选）—— 总跨度提取损失是开始和结束位置交叉熵的总和。

• start_logits（形状为(batch_size, sequence_length)的tf.Tensor）—— 跨度开始得分（在SoftMax之前）。

• end_logits（形状为(batch_size, sequence_length)的tf.Tensor）—— 跨度结束得分（在SoftMax之前）。

• hidden_states (tf.Tensor元组，可选，在传递output_hidden_states=True时返回或在config.output_hidden_states=True时返回) — 包含tf.Tensor的元组（一个为嵌入输出，一个为每层的输出），形状为(batch_size, sequence_length, hidden_size)。

  模型每层输出和初始嵌入输出的隐藏状态。

• attentions (tf.Tensor元组，可选，在传递output_attentions=True时返回或在config.output_attentions=True时返回) — 包含每个层的tf.Tensor的元组，形状为(batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均。