参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。有关详细信息，请参阅 DeiTImageProcessor.call()。
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块的选定头部失效的掩码。在[0, 1]中选择的掩码值：
  • 1 表示头部未被掩盖
  • 0 表示头部被掩盖
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的位置编码。
• bool_masked_pos (torch.BoolTensor of shape (batch_size, num_patches), optional) — 布尔掩码位置。指示哪些补丁被掩码（1）以及哪些没有（0）。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传递了return_dict=False，或者当config.return_dict=False 时），包含取决于配置 (DeiTConfig) 和输入的各种元素。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层的输出处的隐藏状态序列。

• pooler_output (torch.FloatTensor of shape (batch_size, hidden_size)) — 经过用于辅助预训练任务的层的进一步处理后，序列第一个标记（分类标记）的最后一层隐藏状态。例如，对于 BERT 系列模型，这将返回经过线性层和 tanh 激活函数处理后的分类标记。线性层权重在预训练期间从下一个句子预测（分类）目标中训练。

• hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 元组（一个用于嵌入层的输出，如果模型有嵌入层，加上每个层的输出）形状 (batch_size, sequence_length, hidden_size)。

  模型在每层输出处的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 元组（每个层一个），形状 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。 像素值可以使用 AutoImageProcessor 获取。 查看 DeiTImageProcessor.call() 以了解更多详细信息。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码，用于使自注意力模块的选定头部无效。 在 [0, 1] 中选择的掩码值：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。 查看返回张量下的 attentions 以了解更多详细信息。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。 查看返回张量下的 hidden_states 以了解更多详细信息。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool，可选，默认值为 False) — 是否插值预训练的位置编码。
• bool_masked_pos (torch.BoolTensor 形状为 (batch_size, num_patches)) — 布尔型遮蔽位置。指示哪些补丁被遮蔽 (1) 以及哪些没有 (0)。

一个 transformers.modeling_outputs.MaskedImageModelingOutput 或一个 torch.FloatTensor 元组 (如果传递了 return_dict=False 或者 config.return_dict=False)，其中包含各种元素，具体取决于配置 (DeiTConfig) 和输入。

• loss (torch.FloatTensor 形状为 (1,)，可选，在提供 bool_masked_pos 时返回) — 重构损失。
• reconstruction (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 重构/完成的图像。
• hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或者
• 当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (一个用于嵌入的输出，如果模型有嵌入层，另外一个用于每个阶段的输出)，形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出的隐藏状态（也称为特征图）。
• attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或者 当
• config.output_attentions=True 时返回): torch.FloatTensor 元组 (每一层一个)，形状为 (batch_size, num_heads, patch_size, sequence_length)。自注意力头中计算加权平均值所使用的注意力 softmax 之后的权重。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。查看 DeiTImageProcessor.call() 获取详细信息。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头未被掩码，
  • 0 表示头被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 可选，默认值为 False) — 是否对预训练的位置编码进行插值。
• labels (torch.LongTensor 形状为 (batch_size,)，可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

A transformers.modeling_outputs.ImageClassifierOutput 或 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（DeiTConfig）和输入的不同元素。

• loss (torch.FloatTensor 形状为 (1,)，可选，在提供 labels 时返回) — 分类（如果 config.num_labels==1 则为回归）损失。

• logits (torch.FloatTensor 形状为 (batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）分数（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，在传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层的输出，如果模型具有嵌入层，加一个用于每个阶段的输出）形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出处的隐藏状态（也称为特征图）。

• attentions (tuple(torch.FloatTensor)，可选，在传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每一层一个）形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 DeiTImageProcessor.call()。
• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定头的无效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部未被掩盖，
  • 0 表示头部被掩盖。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool，可选，默认值为 False) — 是否对预训练的位置编码进行插值。

A transformers.models.deit.modeling_deit.DeiTForImageClassificationWithTeacherOutput 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置的各种元素 (DeiTConfig) 和输入。

• logits (torch.FloatTensor 形状为 (batch_size, config.num_labels)) — 预测分数，作为 cls_logits 和蒸馏 logits 的平均值。
• cls_logits (torch.FloatTensor 形状为 (batch_size, config.num_labels)) — 分类头的预测分数（即在类令牌的最终隐藏状态之上进行线性层）。
• distillation_logits (torch.FloatTensor 形状为 (batch_size, config.num_labels)) — 蒸馏头的预测分数（即在蒸馏令牌的最终隐藏状态之上进行线性层）。
• hidden_states (tuple(torch.FloatTensor)，可选，在传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。模型在每一层输出处的隐藏状态加上初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，在传递了 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码以使自注意力模块的选定头部无效。在 [0, 1] 中选择的掩码值：
  • 1 表示头部未被掩盖，
  • 0 表示头部被掩盖。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的 hidden_states。
• interpolate_pos_encoding (bool，可选，默认为 False) — 是否插值预训练的 position 编码。
• return_dict (bool，可选) — 是否返回一个 ModelOutput 而不是一个简单的元组。

一个 transformers.modeling_tf_outputs.TFBaseModelOutputWithPooling 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或 config.return_dict=False 时），包含取决于配置 (DeiTConfig) 和输入的各种元素。

• last_hidden_state (tf.Tensor 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (tf.Tensor 形状为 (batch_size, hidden_size)) — 序列第一个 token（分类 token）的最后一层隐藏状态，由线性层和 Tanh 激活函数进一步处理。线性层权重在预训练期间从下一个句子预测（分类）目标中训练。

  此输出通常不是输入语义内容的良好摘要，您通常可以通过对整个输入序列的隐藏状态序列进行平均或池化来获得更好的结果。

• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  每一层输出的模型隐藏状态，加上初始嵌入输出。

• attentions (tuple(tf.Tensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — tf.Tensor 元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码以使自注意力模块的选定头部无效。在 [0, 1] 中选择的掩码值：
  • 1 表示头部未被掩码，
  • 0 表示头部被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。
• interpolate_pos_encoding (bool，可选，默认值为 False) — 是否插值预训练的位置编码。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• bool_masked_pos (tf.Tensor 类型，形状为 (batch_size, num_patches)) — 布尔型掩码位置。指示哪些块被掩码 (1) 以及哪些没有 (0)。

一个 transformers.modeling_tf_outputs.TFMaskedImageModelingOutput 或一个 tf.Tensor 元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含根据配置 (DeiTConfig) 和输入的不同元素。

• loss (tf.Tensor 形状为 (1,)，可选，在提供 bool_masked_pos 时返回) — 重构损失。
• reconstruction (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 重构/完成的图像。
• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 或当
• config.output_hidden_states=True): tf.Tensor 元组 (一个用于嵌入的输出，如果模型具有嵌入层，+ 一个用于每个阶段的输出) 形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出处的隐藏状态 (也称为特征图)。
• attentions (tuple(tf.Tensor)，可选，在传递 output_attentions=True 或当
• config.output_attentions=True): tf.Tensor 元组 (每层一个) 形状为 (batch_size, num_heads, patch_size, sequence_length)。注意力softmax后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 像素值。可以使用 AutoImageProcessor 获取像素值。查看 DeiTImageProcessor.call() 了解详情。
• head_mask (tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码以使自注意力模块的选定头无效。在 [0, 1] 中选择的掩码值：
  • 1 表示头没有被掩码，
  • 0 表示头被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。查看返回张量中的 attentions 以了解更详细的信息。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的 hidden_states。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否插值预训练的位置编码。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (tf.Tensor 形状为 (batch_size,), 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 中。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.modeling_tf_outputs.TFImageClassifierOutput 或一个 tf.Tensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (DeiTConfig) 和输入的各种元素。

• loss (tf.Tensor 形状为 (1,), 可选, 当提供 labels 时返回) — 分类（或如果 config.num_labels==1 则为回归）损失。

• logits (tf.Tensor 形状为 (batch_size, config.num_labels)) — 分类（或如果 config.num_labels==1 则为回归）分数（在 SoftMax 之前）。

• hidden_states (tuple(tf.Tensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — tf.Tensor 元组（一个用于嵌入的输出，如果模型具有嵌入层，+ 一个用于每个阶段的输出），形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出处的隐藏状态（也称为特征图）。

• attentions (tuple(tf.Tensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — tf.Tensor 元组（每个层一个），形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (tf.Tensor 形状为 (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获取。有关详细信息，请参见 DeiTImageProcessor.call()。
• head_mask (tf.Tensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块中选定的头部失效的掩码。掩码值在 [0, 1] 中选择：
  • 1 表示头部未被掩码
  • 0 表示头部被掩码
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量中的 hidden_states。
• interpolate_pos_encoding (bool，可选，默认值为 False) — 是否插值预训练的位置编码。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。

一个 transformers.models.deit.modeling_tf_deit.TFDeiTForImageClassificationWithTeacherOutput 或 tf.Tensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含根据配置（DeiTConfig）和输入而变化的各种元素。

• logits (tf.Tensor 形状为 (batch_size, config.num_labels)) — 预测分数，作为 cls_logits 和蒸馏 logits 的平均值。
• cls_logits (tf.Tensor 形状为 (batch_size, config.num_labels)) — 分类头的预测分数（即，在类标记的最终隐藏状态之上的线性层）。
• distillation_logits (tf.Tensor 形状为 (batch_size, config.num_labels)) — 蒸馏头的预测分数（即，在蒸馏标记的最终隐藏状态之上的线性层）。
• hidden_states (tuple(tf.Tensor)，可选，在传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — tf.Tensor 的元组（一个用于嵌入的输出，一个用于每一层的输出），形状为 (batch_size, sequence_length, hidden_size)。每一层输出的模型隐藏状态加上初始嵌入输出。
• attentions (tuple(tf.Tensor)，可选，在传递 output_attentions=True 或 config.output_attentions=True 时返回) — tf.Tensor 的元组（每一层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。