参数

• pixel_values (`torch.Tensor`，形状为 `(batch_size, num_channels, image_size, image_size)`) — 对应输入图像的张量。像素值可以通过 `{image_processor_class}` 获得。详见 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• bool_masked_pos (`torch.BoolTensor`，形状为 `(batch_size, num_patches)`，可选) — 布尔掩码位置。指示哪些补丁被掩码（1），哪些没有（0）。
• head_mask (`torch.Tensor`，形状为 `(num_heads,)` 或 `(num_layers, num_heads)`，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示头未被掩码，
  • 0 表示头被掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回张量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 默认为 `False`) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.models.beit.modeling_beit.BeitModelOutputWithPooling 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），根据配置 (BeitConfig) 和输入包含不同的元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 模型最后一层输出的隐藏状态序列。

• pooler_output (`torch.FloatTensor`，形状为 `(batch_size, hidden_size)`) — 如果 *config.use_mean_pooling* 设置为 True，则为补丁标记的最后一层隐藏状态的平均值（不包括 *[CLS]* 标记）。如果设置为 False，则返回 *[CLS]* 标记的最终隐藏状态。

• hidden_states (`tuple[torch.FloatTensor, ...]`，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（一个用于嵌入层的输出（如果模型有嵌入层），+ 每个层的输出一个），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple[torch.FloatTensor, ...]`，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (`torch.Tensor`，形状为 `(batch_size, num_channels, image_size, image_size)`，可选) — 对应输入图像的张量。像素值可以通过 `{image_processor_class}` 获得。详见 `{image_processor_class}.__call__`（`{processor_class}` 使用 `{image_processor_class}` 处理图像）。
• bool_masked_pos (`torch.BoolTensor`，形状为 `(batch_size, num_patches)`) — 布尔掩码位置。指示哪些补丁被掩码（1），哪些没有（0）。
• head_mask (`torch.Tensor`，形状为 `(num_heads,)` 或 `(num_layers, num_heads)`，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 `[0, 1]` 中选择：
  • 1 表示头未被掩码，
  • 0 表示头被掩码。
• labels (`torch.LongTensor`，形状为 `(batch_size,)`，可选) — 用于计算图像分类/回归损失的标签。索引应在 `[0, ..., config.num_labels - 1]` 范围内。如果 `config.num_labels == 1`，则计算回归损失（均方损失），如果 `config.num_labels > 1`，则计算分类损失（交叉熵）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。详见返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。详见返回张量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 默认为 `False`) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.modeling_outputs.MaskedLMOutput 或一个 `torch.FloatTensor` 的元组（如果传递了 `return_dict=False` 或 `config.return_dict=False`），根据配置 (BeitConfig) 和输入包含不同的元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 掩码语言建模 (MLM) 损失。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

• hidden_states (`tuple(torch.FloatTensor)`，可选，当传递 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) — `torch.FloatTensor` 的元组（一个用于嵌入层的输出（如果模型有嵌入层），+ 每个层的输出一个），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (`tuple(torch.FloatTensor)`，可选，当传递 `output_attentions=True` 或 `config.output_attentions=True` 时返回) — `torch.FloatTensor` 的元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被屏蔽，
  • 0 表示头已被屏蔽。
• labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失 (均方损失)；如果 config.num_labels > 1，则计算分类损失 (交叉熵)。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• interpolate_pos_encoding (bool，默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.modeling_outputs.ImageClassifierOutput 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），根据配置 (BeitConfig) 和输入包含不同的元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每个阶段的输出)，形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态 (也称为特征图)。

• attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被屏蔽，
  • 0 表示头已被屏蔽。
• labels (torch.LongTensor，形状为 (batch_size, height, width)，可选) — 用于计算损失的真实语义分割图。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels > 1，则计算分类损失 (交叉熵)。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• interpolate_pos_encoding (bool，默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.modeling_outputs.SemanticSegmenterOutput 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），根据配置 (BeitConfig) 和输入包含不同的元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels, logits_height, logits_width) 的 torch.FloatTensor) — 每个像素的分类分数。

  返回的 logits 的大小不一定与作为输入的 pixel_values 相同。这是为了避免当用户需要将 logits 调整到原始图像大小作为后处理时进行两次插值而损失一些质量。您应该始终检查 logits 的形状并根据需要进行调整。

• hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，+ 一个用于每层的输出)，形状为 (batch_size, patch_size, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

一个 transformers.models.beit.modeling_flax_beit.FlaxBeitModelOutputWithPooling 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），根据配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和输入包含不同的元素。

• last_hidden_state (形状为 (batch_size, sequence_length, hidden_size) 的 jnp.ndarray) — 模型最后一层输出的隐藏状态序列。
• pooler_output (jnp.ndarray，形状为 (batch_size, hidden_size)) — 如果 config.use_mean_pooling 设置为 True，则为 patch tokens 的最后一层隐藏状态的平均值 (不包括 [CLS] token)。如果设置为 False，则将返回 [CLS] token 的最终隐藏状态。
• hidden_states (tuple(jnp.ndarray)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组 (一个用于嵌入层的输出 + 一个用于每层的输出)，形状为 (batch_size, sequence_length, hidden_size)。模型在每层输出的隐藏状态以及初始嵌入输出。
• attentions (tuple(jnp.ndarray)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — jnp.ndarray 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。在注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。

一个 transformers.modeling_flax_outputs.FlaxMaskedLMOutput 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），根据配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和输入包含不同的元素。

• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 jnp.ndarray) — 语言建模头的预测分数（SoftMax 之前每个词汇 token 的分数）。

• hidden_states (tuple(jnp.ndarray)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组 (一个用于嵌入层的输出 + 一个用于每层的输出)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(jnp.ndarray)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — jnp.ndarray 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

一个 transformers.modeling_flax_outputs.FlaxSequenceClassifierOutput 或一个 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），根据配置 (<class 'transformers.models.beit.configuration_beit.BeitConfig'>) 和输入包含不同的元素。

• logits (形状为 (batch_size, config.num_labels) 的 jnp.ndarray) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(jnp.ndarray)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — jnp.ndarray 的元组 (一个用于嵌入层的输出 + 一个用于每层的输出)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(jnp.ndarray)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — jnp.ndarray 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。