参数

• input_ids (torch.LongTensor of shape (batch_size, num_choices, sequence_length)) —词汇表中的输入序列标记的索引。

  索引可以通过 ErnieMTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• attention_mask （形状为 (batch_size, num_choices, sequence_length) 的 torch.FloatTensor，可选）— 用于避免在填充token索引上执行注意力的掩码。选中的掩码值在 [0, 1] 的范围内：
  • 1 表示 未掩码 的token，
  • 0 表示 掩码 的token。

  什么是attention_mask?

• position_ids （形状为 (batch_size, num_choices, sequence_length) 的 torch.LongTensor，可选）— 每个输入序列token的位置索引。选择的范围为 [0, config.max_position_embeddings - 1]。

  什么是位置ID?

• head_mask （形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可选）— 用于屏蔽自注意力模块中选定的头的掩码。选中的掩码值在 [0, 1] 的范围内：
  • 1 表示该头 未屏蔽，
  • 0 表示该头 已屏蔽。
• inputs_embeds (torch.FloatTensor 形状为 (batch_size, num_choices, sequence_length, hidden_size)，可选) — 可选地，您可以直接传递嵌入表示，而不是传递 input_ids。如果您希望对将 input_ids 索引转换为相关向量的方式进行更多控制，比模型内部嵌入查找矩阵更具控制性，这很有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的 hidden_states。

• 分类得分（在SoftMax之前）。

• hidden_states （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_hidden_states=True 时或当 config.output_hidden_states=True 时返回） — 包含 （如果模型有嵌入层，则包括嵌入层的输出）每个层的输出形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组。

  包含每个层的输出模型隐藏状态以及可选的初始嵌入输出。

• attentions （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_attentions=True 时或当 config.output_attentions=True 时返回） — 每层的一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组。

  在自我关注头中使用注意力softmax后的注意力权重，用于在自我关注头中计算加权的平均值。

参数

• input_ids (torch.LongTensor 形状 (batch_size, sequence_length)) — 词汇表中的输入序列标记的索引。

  索引可以通过使用 ErnieMTokenizer 来获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), 可选) — 用于避免对填充token的索引执行注意力的掩码。选定的掩码值范围为 [0, 1]：
  • 1 表示 未掩码的token，
  • 0 表示 掩码的token。

  什么是注意力掩码？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 每个输入序列token在位置嵌入中的位置索引。选定的范围在 [0, config.max_position_embeddings - 1] 之间。

  什么是位置ID？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 用于无效化自注意力模块所选头的掩码。掩码值范围为 [0, 1]：
  • 1 表示头 未掩码，
  • 0 表示头 掩码。
• inputs_embeds (torch.FloatTensor 形状 (batch_size, sequence_length, hidden_size)，可选) — 可以选择直接传递嵌入表示而不是 input_ids。这在您想要比模型的内部嵌入查找矩阵有更多控制，如何将 input_ids 索引转换为相关向量时非常有用。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。关于返回张量中的 attentions 代码的更多细节，请参阅
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。关于返回张量中的 hidden_states 代码的更多细节，请参阅
• return_dict (bool, 可选) —— 是否返回ModelOutput而非普通tuple。
• labels (torch.LongTensor尺寸为(batch_size, sequence_length), 可选) —— 计算标记分类损失的标签。索引应在[0, ..., config.num_labels - 1]内。

A transformers.modeling_outputs.TokenClassifierOutput或一个torch.FloatTensor的元组（如果传递了return_dict=False或当config.return_dict=False时），其包含各种元素，这取决于配置（ErnieMConfig）和输入。

• loss (torch.FloatTensor尺寸为(1,), 可选, 当提供labels时返回) —— 分类损失。

• logits (torch.FloatTensor尺寸为(batch_size, sequence_length, config.num_labels)) —— 分类得分（在SoftMax之前）。

• hidden_states （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_hidden_states=True 时或当 config.output_hidden_states=True 时返回） — 包含 （如果模型有嵌入层，则包括嵌入层的输出）每个层的输出形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组。

  包含每个层的输出模型隐藏状态以及可选的初始嵌入输出。

• attentions （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_attentions=True 时或当 config.output_attentions=True 时返回） — 每层的一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组。

  在自我关注头中使用注意力softmax后的注意力权重，用于在自我关注头中计算加权的平均值。

参数

• input_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)) — 输入序列令牌在词汇表中的索引。

  可以使用 ErnieMTokenizer 获取索引。详细信息请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID?

• attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的遮蔽（mask）。遮蔽值选用 [0, 1]：
  • 1 表示 未遮蔽 的标记；
  • 0 表示 遮蔽 的标记。

  什么是注意遮蔽？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 每个输入序列标记在位置嵌入中的位置索引。选用范围 [0, config.max_position_embeddings - 1]。

  什么是位置ID？

• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于取消选择自注意力模块中选定头部的遮蔽。遮蔽值选用 [0, 1]：
  • 1 表示头部 未遮蔽；
  • 0 表示头部 遮蔽。
• inputs_embeds（《torch.FloatTensor》形状为(batch_size, sequence_length, hidden_size)，可选） — 可以选择直接传递嵌入表示，而不是input_ids，如果有更精细地控制如何将input_ids索引转换为相关向量的需要，这可能会优于模型的内部嵌入查找矩阵。
• output_attentions（《bool》，可选） — 是否返回所有注意力层的注意力张量。更多详情请见返回张量下的attentions。
• output_hidden_states（《bool》，可选） — 是否返回所有层的隐藏状态。更多详情请见返回张量下的hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
• start_positions (torch.LongTensor of shape (batch_size,), 可选) — 用于计算分类损失的标记开始位置的标签。位置约束到序列长度（sequence_length）。序列外的位置不会在计算损失时考虑。
• end_positions (torch.LongTensor of shape (batch_size,), 可选) — 用于计算分类损失的标记结束位置的标签。位置约束到序列长度（sequence_length）。序列外的位置不会在计算损失时考虑。

transformers.modeling_outputs.QuestionAnsweringModelOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False 时），根据配置（例如 ErnieMConfig）和输入包含各种元素。

• loss （torch.FloatTensor of shape (1,)，可选，在提供 labels 时返回）— 总跨度提取损失是起始和结束位置的交叉熵之和。

• start_logits（《torch.FloatTensor》形状为(batch_size, sequence_length)）— Span 起始的分数（SoftMax 之前）。

• end_logits（《torch.FloatTensor》形状为(batch_size, sequence_length)）— Span 结束的分数（SoftMax 之前）。

• hidden_states （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_hidden_states=True 时或当 config.output_hidden_states=True 时返回） — 包含 （如果模型有嵌入层，则包括嵌入层的输出）每个层的输出形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组。

  包含每个层的输出模型隐藏状态以及可选的初始嵌入输出。

• attentions （形状为 tuple(torch.FloatTensor) 的 torch.FloatTensor，可选，当传递 output_attentions=True 时或当 config.output_attentions=True 时返回） — 每层的一个形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组。

  在自我关注头中使用注意力softmax后的注意力权重，用于在自我关注头中计算加权的平均值。

参数

• attention_mask （形状为(batch_size, num_choices, sequence_length)的torch.FloatTensor，可选） — 用于避免在填充token索引上执行注意力的掩码。掩码值选取于[0, 1]：
  • 1 表示未掩码的token，
  • 0 表示掩码的token。

  什么是attention_mask？

• position_ids （形状为(batch_size, num_choices, sequence_length)的torch.LongTensor，可选） — 每个输入序列token在位置嵌入中的位置索引。在值域[0, config.max_position_embeddings - 1]中选择。

  什么是位置ID？

• head_mask （形状为(num_heads,)或(num_layers, num_heads)的torch.FloatTensor，可选） — 用于使self-attention模块中选定的head无效的掩码。掩码值选取于[0, 1]：
  • 1 表示head未掩码，
  • 0 表示head掩码。
• inputs_embeds (torch.FloatTensor，形状为 (batch_size, num_choices, sequence_length, hidden_size)，可选) — 可选择直接传递嵌入表示，而不是传递 input_ids，这样你可以对将 input_ids 索引转换为相关向量的方式有更多的控制权，而不是模型内部的嵌入查找矩阵。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回ModelOutput而不是普通元组。
• start_positions (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于计算start_positions损失的起始位置的标签。序列之外的位置不计入损失计算。
• end_positions (torch.LongTensor of shape (batch_size,), optional) — 用于计算end_positions损失的结束位置的标签。序列之外的位置不计入损失计算。