参数

• input_ids (torch.LongTensor of shape (batch_size, token_sequence_length)) — 输入序列token的词汇索引。

  请注意，sequence_length = token_sequence_length + patch_sequence_length + 1 其中 1 为 [CLS] token。有关 patch_sequence_length 请参阅 pixel_values。

  可以通过使用 AutoTokenizer 来获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• bbox (torch.LongTensor of shape (batch_size, token_sequence_length, 4), 可选) — 每个输入序列token的边界框。在 [0, config.max_2d_position_embeddings-1] 范围内选择。每个边界框应该是 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应于边界框左上角的位置，而 (x1, y1) 表示边界框右下角的位置。

  请注意，《code>sequence_length = token_sequence_length + patch_sequence_length + 1 其中 1 为 [CLS] token。有关 patch_sequence_length 请参阅 pixel_values。

• pixel_values（torch.FloatTensor 数据类型，形状为 (batch_size, num_channels, height, width)）— 文档图像的批量数据。每个图像被分割成形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，总的补丁数量（即 patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size))。
• attention_mask（torch.FloatTensor 数据类型，形状为 (batch_size, token_sequence_length)，可选）— 用于避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 代表 未掩码 的标记，
  • 0 代表 掩码 的标记。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是 [CLS] 标记。见 pixel_values 的 patch_sequence_length。

  什么是注意力掩码？

• token_type_ids (\(torch.LongTensor\) 形状为 \((batch\_size, token\_sequence\_length)\)，可选) — 段落标记索引，用于指示输入的第一部分和第二部分。索引选自 [0, 1]：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  注意，\(sequence\_length = token\_sequence\_length + patch\_sequence\_length + 1\) 其中 1 是 [CLS] 标记。有关 patch\_sequence\_length，请参阅 pixel_values。

  什么是标记类型 ID？

• position_ids (\(torch.LongTensor\) 形状为 \((batch\_size, token\_sequence\_length)\)，可选) — 每个输入序列标记在位置嵌入中的索引。选择在 [0, config.max\_position\_embeddings \- 1] 范围内。

  注意，\(sequence\_length = token\_sequence\_length + patch\_sequence\_length + 1\) 其中 1 是 [CLS] 标记。有关 patch\_sequence\_length，请参阅 pixel_values。

  什么是位置 ID？

• head\_mask (\(torch.FloatTensor\) 形状为 \((num\_heads,) 或 \((num\_layers, num\_heads)\)，可选) — 用于取消选择自注意力模块选中头的掩码。掩码值选择在 [0, 1]：
  • 1 表示头 未被掩码，
  • 0 表示头被 掩码。
• inputs_embeds (torch.FloatTensor 的形状为 (batch_size, token_sequence_length, hidden_size)，可选) — 可以选择不传递 input_ids，而是直接传递嵌入表示。这在使用比模型内部嵌入查找矩阵有更多控制的场景下很有用，即你想要如何转换 input_ids 索引到相关向量。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关返回张量下的 attentions 的详细信息，请参见。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关返回张量下的 hidden_states 的详细信息，请参见。
• return_dict (bool, 可选) — 是否返回ModelOutput对象而不是普通的元组。

返回值是一个transformers.modeling_outputs.BaseModelOutput或一个torch.FloatTensor的元组（如果传入参数return_dict=False或当config.return_dict=False时）。它包含了配置LayoutLMv3Config和输入所决定的各种元素。

• last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递参数output_hidden_states=True或当config.output_hidden_states=True时返回) — 包含每个层输出的torch.FloatTensor的元组（如果模型有嵌入层，则为嵌入层输出的单个torch.FloatTensor和每个层输出的单个torch.FloatTensor），形状为(batch_size, sequence_length, hidden_size)。

  模型每个层输出的隐藏状态以及可选的初始嵌入层的输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递参数output_attentions=True或当config.output_attentions=True时返回) — 包含每层的torch.FloatTensor的元组（一个用于每个层），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后，使用了这些权重计算自注意力头的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇中输入序列标记的索引。

  索引可以通过 AutoTokenizer 获取。请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 了解详情。

  什么是输入ID？

• bbox （torch.LongTensor 形状 (batch_size, sequence_length, 4)，可选） — 每个输入序列标记的边界框。在范围 [0, config.max_2d_position_embeddings-1] 中选择。每个边界框应该是格式为 (x0, y0, x1, y1) 的归一化版本，其中 (x0, y0) 对应于边界框右上角的位置，而 (x1, y1) 表示边界框左下角的位置。
• pixel_values （torch.FloatTensor 形状 (batch_size, num_channels, height, width)） — 文档图像批处理。每个图像被分割成形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，总共补丁数（=patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size)) 。
• attention_mask （torch.FloatTensor 形状 (batch_size, sequence_length)，可选） — 避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 之间选择：
  • 1 对未掩码的标记，
  • 0 对掩码的标记。

  什么是注意掩码？

• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 用于指示输入的两部分的段标记索引。索引选自 [0, 1]：
  • 0 对应于 句子 A 标记；
  • 1 对应于 句子 B 标记。
  什么是标记类型 ID?
• position_ids (torch.LongTensor of shape (batch_size, sequence_length), 可选) — 每个输入序列标记在位置嵌入中的索引。选择范围在 [0, config.max_position_embeddings - 1]。 什么是位置 ID?
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), 可选) — 用于取消自注意力模块中选中头的掩码。掩码值选择在 [0, 1]：
  • 1 表示头未被掩码；
  • 0 表示头被掩码。
• inputs_embeds（torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)，可选）—— 可以直接传递嵌入表示而不是 input_ids，这样在将 input_ids 的索引转换为相关向量时，可以比模型内部的嵌入查找矩阵有更多的控制。
• output_attentions（bool，可选）—— 是否返回所有注意力层的注意力张量。更多详细信息请参阅返回张量下的 attentions。
• output_hidden_states（bool，可选）—— 是否返回所有层的隐藏状态。更多详细信息请参阅返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回一个ModelOutput 而不是普通的元组。

transformers.modeling_outputs.SequenceClassifierOutput 或一个包含各种元素的 torch.FloatTensor 元组（如果 return_dict=False 被传递或当 config.return_dict=False 时），这些元素取决于配置（LayoutLMv3Config）和输入。

• loss (torch.FloatTensor 形状 (1,)，optional，在提供 labels 时返回) — 分类（或如果 config.num_labels==1 则为回归）损失。

• logits (torch.FloatTensor 形状 (batch_size, config.num_labels)) — 分类（或如果 config.num_labels==1 则为回归）分数（在SoftMax之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递参数output_hidden_states=True或当config.output_hidden_states=True时返回) — 包含每个层输出的torch.FloatTensor的元组（如果模型有嵌入层，则为嵌入层输出的单个torch.FloatTensor和每个层输出的单个torch.FloatTensor），形状为(batch_size, sequence_length, hidden_size)。

  模型每个层输出的隐藏状态以及可选的初始嵌入层的输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递参数output_attentions=True或当config.output_attentions=True时返回) — 包含每层的torch.FloatTensor的元组（一个用于每个层），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后，使用了这些权重计算自注意力头的加权平均值。

参数

• input_ids (torch.LongTensor 的形状为 (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。

  索引可以通过使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  输入索引是什么？

• bbox (torch.LongTensor 形状 (batch_size, sequence_length, 4)，可选) — 每个输入序列标记的边界框。在范围 [0, config.max_2d_position_embeddings-1] 中选择。每个边界框应以 (x0, y0, x1, y1) 格式表示，其中 (x0, y0) 对应于边界框左上角的位置，(x1, y1) 表示边界框右下角的位置。
• pixel_values (torch.FloatTensor 形状 (batch_size, num_channels, height, width)) — 文档图像批次。每个图像分为形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，总共补丁数 (=patch_sequence_length) 等于 ((height / config.patch_size) * (width / config.patch_size))。
• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的遮蔽。遮蔽值在 [0, 1] 范围内选择:

• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 段落标记索引，以指示输入的第一和第二部分。索引选择在 [0, 1]：《p>
• 0 对应于 句子 A 标记，
• 1 对应于 句子 B 标记。

A transformers.modeling_outputs.TokenClassifierOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含的元素取决于配置（LayoutLMv3Config）和输入。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类损失。

• logits （torch.FloatTensor 形状为 (batch_size, sequence_length, config.num_labels)） — 分类分数（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递参数output_hidden_states=True或当config.output_hidden_states=True时返回) — 包含每个层输出的torch.FloatTensor的元组（如果模型有嵌入层，则为嵌入层输出的单个torch.FloatTensor和每个层输出的单个torch.FloatTensor），形状为(batch_size, sequence_length, hidden_size)。

  模型每个层输出的隐藏状态以及可选的初始嵌入层的输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递参数output_attentions=True或当config.output_attentions=True时返回) — 包含每层的torch.FloatTensor的元组（一个用于每个层），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后，使用了这些权重计算自注意力头的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 输入序列标记的索引，位于词汇表中。

  索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入ID？

• bbox (torch.LongTensor 形状 (batch_size, sequence_length, 4)，可选) — 每个输入序列标记的边界框。选择范围为 [0, config.max_2d_position_embeddings-1]。每个边界框应采用 (x0, y0, x1, y1) 格式的归一化版本，其中 (x0, y0) 对应于边界框左上角的位置，(x1, y1) 表示边界框右下角的位置。
• pixel_values (torch.FloatTensor 形状 (batch_size, num_channels, height, width)) — 文档图像批次。每个图像被分成形状为 (num_channels, config.patch_size, config.patch_size) 的贴片，总数（=patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size))。
• attention_mask (torch.FloatTensor 形状 (batch_size, sequence_length)，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 之间:
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• token_type_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 段落标记索引以指示输入的前后部分。索引选择在 [0, 1] 范围内：
  • 0 对应于 句子 A 标记，
  • 1 对应于 句子 B 标记。

  什么是标记类型 ID？

• position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 在位置嵌入中的每个输入序列标记的位置索引。选择在 [0, config.max_position_embeddings - 1] 范围内。

  什么是位置 ID？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 针对自注意力模块中选择的首选头部进行屏蔽的掩码。掩码值选择在 [0, 1] 范围内：
  • 1 表示头部 未屏蔽，
  • 0 表示头部 屏蔽。
• inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果在将 input_ids 索引转换为相关向量方面需要比模型内部的嵌入查找矩阵更多的控制，则此操作很有用。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关返回张量中的 attentions 的更多详细信息，请参阅。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量中的 hidden_states 的更多详细信息，请参阅。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• start_positions (torch.LongTensor 形状为 (batch_size,), 可选) — 用于计算标记跨度（索引）开始的标记分类损失的标签。位置被缩放至序列长度（sequence_length）。序列外部的位置在计算损失时不予考虑。
• end_positions (torch.LongTensor 形状为 (batch_size,), 可选) — 用于计算标记跨度（索引）结束的标记分类损失的标签。位置被缩放至序列长度（sequence_length）。序列外部的位置在计算损失时不予考虑。

一个 transformers.modeling_outputs.QuestionAnsweringModelOutput 或一个torch.FloatTensor的元组（如果传递了 return_dict=False 或当 config.return_dict=False）并包含各种根据配置（LayoutLMv3Config）和输入的不同元素。

• loss (torch.FloatTensor 形状为 (1,), 可选, 在提供了 labels 时返回) — 总跨度提取损失是开始和结束位置的交叉熵之和。

• start_logits （形状为 (batch_size, sequence_length) 的 torch.FloatTensor）- Span起始分数（在SoftMax之前）。

• end_logits （形状为 (batch_size, sequence_length) 的 torch.FloatTensor）- Span结束分数（在SoftMax之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递参数output_hidden_states=True或当config.output_hidden_states=True时返回) — 包含每个层输出的torch.FloatTensor的元组（如果模型有嵌入层，则为嵌入层输出的单个torch.FloatTensor和每个层输出的单个torch.FloatTensor），形状为(batch_size, sequence_length, hidden_size)。

  模型每个层输出的隐藏状态以及可选的初始嵌入层的输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递参数output_attentions=True或当config.output_attentions=True时返回) — 包含每层的torch.FloatTensor的元组（一个用于每个层），形状为(batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax之后，使用了这些权重计算自注意力头的加权平均值。

参数

• input_ids ( 或 tf.Tensor 形状为 (batch_size, sequence_length)) — 输入序列标记在词汇表中的索引。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1 其中 1 是用于 [CLS] 标记的。参见 pixel_values 了解 patch_sequence_length。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• bbox (Numpy 数组 或 tf.Tensor 形状为 (batch_size, sequence_length, 4)，可选) — 每个输入序列标记的边界框。在 [0, config.max_2d_position_embeddings-1] 范围内选择。每个边界框应以 (x0, y0, x1, y1) 格式进行归一化，其中 (x0, y0) 对应于边界框左上角的位置，(x1, y1) 表示右下角的位置。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1 其中 1 是用于 [CLS] 标记的。参见 pixel_values 了解 patch_sequence_length。

• pixel_values (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 文档图像的一批。每个图像被分割成形状为 (num_channels, config.patch_size, config.patch_size) 的补丁，补丁总数（=patch_sequence_length）等于 ((height / config.patch_size) * (width / config.patch_size))。
• attention_mask (tf.Tensor 形状 (batch_size, sequence_length), 可选) — 避免在不应该进行注意力计算的填充token索引上执行注意力。使用值为 [0, 1] 的掩码：
  • 1 表示 未屏蔽 的token；
  • 0 表示 屏蔽 的token。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是对 [CLS] token 的计数。有关 patch_sequence_length，请参阅 pixel_values。

  什么是注意力掩码？ 查看更多

• token_type_ids (Numpy array 或 tf.Tensor 形状 (batch_size, sequence_length), 可选) — 用于指明输入的第一部分和第二部分的分段token索引。使用值为 [0, 1] 的索引：
  • 0 对应于 句子 A token；
  • 1 对应于 句子 B token。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 表示 [CLS] token。有关 patch_sequence_length，请参阅 pixel_values。

  什么是token类型ID？ 查看更多

• position_ids (Numpy array 或 tf.Tensor 形状 (batch_size, sequence_length), 可选) — 每个输入序列token在位置编码中的位置索引。选取范围 [0, config.max_position_embeddings - 1]。

  注意，sequence_length = token_sequence_length + patch_sequence_length + 1，其中 1 是 [CLS] token。有关 patch_sequence_length，请参阅 pixel_values。

  什么是位置ID？ 查看更多

• head_mask （形状为 (num_heads, 或 (num_layers, num_heads) 的 tf.Tensor，可选） —— 用于取消选定自注意力模块的头部选择的掩码。在 [0, 1] 中选择掩码值：
  • 1 表示头部未被 掩码，
  • 0 表示头部被 掩码。
• inputs_embeds （形状为 (batch_size, sequence_length, hidden_size) 的 tf.Tensor，可选） —— 可选，您可以选择直接传递嵌入表示而非传递 input_ids。如果您希望比模型内部的嵌入查找矩阵有更多的控制权来转换 input_ids 索引到相关向量，这很有用。
• output_attentions （布尔值，可选） —— 是否返回所有注意力层的注意力张量。有关更详细的信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关返回张量中 hidden_states 的更多信息，请参见。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。