参数

• pixel_values (torch.Tensor of shape (batch_size, num_channels, image_size, image_size), optional) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获得。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), optional) — 布尔类型的掩码位置。指示哪些图像块被掩盖（1），哪些没有被掩盖（0）。
• head_mask (torch.Tensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块的选定头部无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部未被掩盖，
  • 0 表示头部被掩盖。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或 config.return_dict=False)，它包含根据配置 (DeiTConfig) 和输入而定的各种元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理后的结果。例如，对于BERT系列模型，这将返回经过线性层和tanh激活函数处理后的分类标记。线性层的权重是在预训练期间从下一句预测（分类）目标中训练得到的。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，另外每个层都有一个输出)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
• bool_masked_pos (torch.BoolTensor，形状为 (batch_size, num_patches)) — 布尔掩码位置。指示哪些图像块被掩码 (1)，哪些没有 (0)。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩码,
  • 0 表示头被掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.modeling_outputs.MaskedImageModelingOutput 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或 config.return_dict=False)，它包含根据配置 (DeiTConfig) 和输入而定的各种元素。

• loss (torch.FloatTensor，形状为 (1,), 可选, 当提供了 bool_masked_pos 时返回) — 重建损失。
• reconstruction (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 重建/补全的图像。
• hidden_states (tuple(torch.FloatTensor)，可选，当传入 output_hidden_states=True 时返回，或者
• 当 config.output_hidden_states=True) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，另外每个阶段都有一个输出)，形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。
• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当
• config.output_attentions=True): torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, patch_size, sequence_length)。经过注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩码,
  • 0 表示头被掩码。
• labels (torch.LongTensor，形状为 (batch_size,), 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失 (均方损失)，如果 config.num_labels > 1，则计算分类损失 (交叉熵)。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.modeling_outputs.ImageClassifierOutput 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或 config.return_dict=False)，它包含根据配置 (DeiTConfig) 和输入而定的各种元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，另外每个阶段都有一个输出)，形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__ ({processor_class} 使用 {image_processor_class} 处理图像)。
• head_mask (torch.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩码,
  • 0 表示头被掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否对预训练的位置编码进行插值。

一个 transformers.models.deit.modeling_deit.DeiTForImageClassificationWithTeacherOutput 或一个 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或 config.return_dict=False)，它包含根据配置 (DeiTConfig) 和输入而定的各种元素。

• logits (torch.FloatTensor，形状为 (batch_size, config.num_labels)) — 作为 cls_logits 和 distillation logits 平均值的预测分数。

• cls_logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类头部（即类标记最终隐藏状态顶部线性层）的预测分数。

• distillation_logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 蒸馏头部（即蒸馏标记最终隐藏状态顶部线性层）的预测分数。

• hidden_states (tuple[torch.FloatTensor], 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组 (如果模型有嵌入层，则一个用于嵌入层的输出，另外每个层都有一个输出)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor], 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参阅 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩码,
  • 0 表示头被掩码。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 tf.Tensor 的元组 (如果传递了 return_dict=False 或 config.return_dict=False)，它包含根据配置 (DeiTConfig) 和输入而定的各种元素。

• last_hidden_state (tf.Tensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor，形状为 (batch_size, hidden_size)) — 序列第一个标记（分类标记）的最后一层隐藏状态，经过线性层和 Tanh 激活函数进一步处理后的结果。线性层的权重是在预训练期间从下一句预测（分类）目标中训练得到的。

  此输出通常不是输入语义内容的良好摘要，通常最好对整个输入序列的隐藏状态进行平均或池化。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 的元组 (一个用于嵌入层的输出 + 每层一个输出)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态加上初始嵌入输出。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — tf.Tensor 的元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以通过 AutoImageProcessor 获取。详见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定的头无效的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被屏蔽，
  • 0 表示头被屏蔽。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• bool_masked_pos (tf.Tensor，类型为 bool，形状为 (batch_size, num_patches)) — 布尔类型的掩码位置。指示哪些图像块被掩码 (1)，哪些没有 (0)。

一个 transformers.modeling_tf_outputs.TFMaskedImageModelingOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（DeiTConfig）和输入。

• loss (tf.Tensor，形状为 (1,)，可选，在提供 bool_masked_pos 时返回) — 重建损失。
• reconstruction (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 重建/完成的图像。
• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当
• config.output_hidden_states=True): tf.Tensor 的元组（如果模型有嵌入层，则一个是嵌入层的输出，另外每个阶段的输出各一个），形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。
• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当
• config.output_attentions=True): tf.Tensor 的元组（每层一个），形状为 (batch_size, num_heads, patch_size, sequence_length)。在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以通过 AutoImageProcessor 获取。详见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定的头无效的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被屏蔽，
  • 0 表示头被屏蔽。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
• labels (tf.Tensor，形状为 (batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.modeling_tf_outputs.TFImageClassifierOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（DeiTConfig）和输入。

• loss (形状为 (1,) 的 tf.Tensor，可选，当提供 labels 时返回) — 分类（如果 config.num_labels==1，则为回归）损失。

• logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 分类（或回归，如果 config.num_labels==1）分数（SoftMax 之前）。

• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（如果模型有嵌入层，则一个是嵌入层的输出，另外每个阶段的输出各一个），形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。

• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的元组（每层一个），形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor，形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以通过 AutoImageProcessor 获取。详见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定的头无效的掩码。掩码值选自 [0, 1]：
  • 1 表示头未被屏蔽，
  • 0 表示头被屏蔽。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 `attentions`。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 `hidden_states`。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否对预训练的位置编码进行插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

一个 transformers.models.deit.modeling_tf_deit.TFDeiTForImageClassificationWithTeacherOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种元素，具体取决于配置（DeiTConfig）和输入。

• logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 作为 cls_logits 和 distillation logits 平均值的预测分数。
• cls_logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 分类头的预测分数（即类标记最终隐藏状态之上的线性层）。
• distillation_logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 蒸馏头的预测分数（即蒸馏标记最终隐藏状态之上的线性层）。
• hidden_states (tuple(tf.Tensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个是嵌入层的输出 + 另一个是每层的输出），形状为 (batch_size, sequence_length, hidden_size)。模型在每层输出的隐藏状态以及初始嵌入输出。
• attentions (tuple(tf.Tensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。在注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。