参数

• text (str, List[str], List[List[str]], 可选) — 要编码的序列或序列批。每个序列可以是字符串，也可以是字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），则必须设置 is_split_into_words=True（以便消除与批次的歧义）。
• text_pair (str, List[str], List[List[str]], 可选) — 要编码的序列或序列批。每个序列可以是字符串，也可以是字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），则必须设置 is_split_into_words=True（以便消除与批次的歧义）。
• text_target (str, List[str], List[List[str]], 可选) — 要编码为目标文本的序列或序列批。每个序列可以是字符串，也可以是字符串列表（预分词字符串）。如果提供的序列是字符串列表（预分词），则必须设置 is_split_into_words=True（以便消除与批次的歧义）。
• text_pair_target （str，List[str]，List[List[str]]，可选项）—— 要编码为目标文本的序列或序列批次。每个序列可以是一个字符串或字符串列表（预先分词字符串）。如果序列作为字符串列表（预先分词）提供，必须设置is_split_into_words=True（以消除与序列批次的歧义）。
• add_special_tokens （bool，可选项，默认为True）—— 编码序列时是否添加特殊标记。这将使用底层的PretrainedTokenizerBase.build_inputs_with_special_tokens函数，该函数定义了哪些标记将自动添加到输入ID。如果您想自动添加bos或eos标记，这将非常有用。
• padding (bool, str 或 PaddingStrategy，可选，默认为 False) — 激活并控制填充。接受以下值：
  • True 或 'longest'：填充到批次中最长的序列（如果没有提供单个序列，则不填充）。
  • 'max_length'：填充到由参数 max_length 指定或如果没有提供该参数，则为模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认）：不填充（即，可以输出具有不同长度的序列的批次）。
• truncation (bool, str 或 TruncationStrategy，可选，默认为 False) — 激活并控制截断。接受以下值：
  • True 或 'longest_first'：截断到由参数 max_length 指定的最大长度或如果没有提供该参数，则为模型可接受的最大输入长度。这将按顺序截断标记，如果提供了成对的序列（或一对序列的批次），则会从最长的序列中移除标记。
  • 'only_first'：截断到由参数 max_length 指定的最大长度或如果没有提供该参数，则为模型可接受的最大输入长度。如果提供了成对的序列（或一对序列的批次），则只截断第一个序列。
  • 'only_second'：截断到由参数 max_length 指定的最大长度或如果没有提供该参数，则为模型可接受的最大输入长度。如果提供了成对的序列（或一对序列的批次），则只截断第二个序列。
  • False 或 'do_not_truncate'（默认）：不截断（即，可以输出序列长度大于模型最大允许输入大小的批次）。
• max_length (int, 可选) — 控制使用由其中一个截断/填充参数指定的最大长度。

  如果未设置或设置为 None，在需要截断/填充参数的最大长度时将使用预定义的模型最大长度。如果模型没有特定的最大输入长度（如XLNet），则将禁用截断/填充到最大长度。

• stride (int, 可选，默认为 0) — 如果设置为数字并连同 max_length 一起使用，当 return_overflowing_tokens=True 时返回的超额令牌将包含一些截断序列末尾的令牌，以在截断序列和超额序列之间提供一些重叠。该参数的值定义了重叠令牌的数量。
• is_split_into_words (bool, 可选，默认为 false) — 是否输入已被预分词（例如，按单词分割）。如果设置为 true，分词器假设输入已按单词分割（例如，通过在空白处分割）并将其分词。这对于命名实体识别或令牌分类很有用。
• pad_to_multiple_of (int, 可选) — 如果设置为 true，将序列填充到提供值的倍数。需要激活 padding。这对于在配备 CUDA 7.5 版本（Volta）的 NVIDIA 硬件上使用 Tensor Cores 特别有用。
• return_tensors (str 或 TensorType, 可选) — 如果设置为 true，将返回 tensor 而不是 Python 整数的列表。可接受值包括：
• return_token_type_ids (bool, 可选) — 是否返回 token 类型 ID。如果设置为默认值，将根据特定 tokenizer 的默认值返回 token 类型 ID，由 return_outputs 属性定义。
• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保留为默认值，将根据具体分词器的默认设置返回注意力掩码，该设置由 return_outputs 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool, 可选，默认为 False) — 是否返回溢出的标记序列。当输入的是关于输入 ID 的序列对（或批次），且 truncation_strategy = longest_first 或 True 时，将引发错误而不是返回溢出的标记。
• return_special_tokens_mask (bool, 可选，默认为 False) — 是否返回特殊标记掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回每个标记的 (char_start, char_end)。
• return_length (bool, 可选, 默认为 False) — 是否返回编码输入的长度。
• verbose (bool, 可选, 默认为 True) — 是否打印更多信息和警告。

一个包含以下字段的 BatchEncoding

• input_ids — 被送入模型的标记 ID 列表。

  什么是输入 ID？

• token_type_ids — 被送入模型的标记类型 ID 列表（当 return_token_type_ids=True 或 “token_type_ids” 在 self.model_input_names 中时）。

  什么是标记类型 ID？

• attention_mask — 指定模型应关注哪些标记的索引列表（当 return_attention_mask=True 或 “attention_mask” 在 self.model_input_names 中时）。

  什么是注意力掩码？

• overflowing_tokens — 流出标记序列列表（当指定了 max_length 并设置 return_overflowing_tokens=True 时）。

• num_truncated_tokens — 被截断的标记数量（当指定了 max_length 且 return_overflowing_tokens=True 时）。

• special_tokens_mask — 包含 0 和 1 的列表，其中 1 表示添加了特殊标记，0 表示普通序列标记（当 add_special_tokens=True 且 return_special_tokens_mask=True 时）。

• length — 输入长度（当 return_length=True 时）

参数

• images (ImageInput) — 需要预处理的图像。期望传入像素值介于0到255之间的单个或批次图像。如果传入像素值介于0和1之间的图像，则设置do_rescale=False。
• do_center_crop (bool, 可选，默认为 self.do_center_crop ) — 是否将图像居中裁剪到 crop_size。
• crop_size (Dict[str, int], 可选，默认为 self.crop_size ) — 居中裁剪后期望的输出大小。
• do_resize (bool, 可选，默认为 self.do_resize ) — 是否调整图像大小。
• size (Dict[str, int], 可选，默认为 self.size ) — 调整大小后图像的大小。
• resample （int，可选，默认为self.resample）— 如果要调整图像大小，则使用的重采样过滤器。这可以是枚举类型PILImageResampling之一。只有当do_resize设置为True时才有作用。
• do_rescale （bool，可选，默认为self.do_rescale）— 是否要进行图像缩放。
• rescale_factor （float，可选，默认为self.rescale_factor）— 当do_rescale设置为True时，按此比例因子进行图像缩放。
• do_normalize （bool，可选，默认 self.do_normalize）— 是否标准化图像。
• image_mean （float 或 List[float]，可选，默认 self.image_mean）— 图像均值。
• image_std （float 或 List[float]，可选，默认 self.image_std）— 图像标准差。

参数

• inputs (torch.FloatTensor) — 输入到感知器。可以是任何东西：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length)，可选) — 避免在对填充标记索引执行注意力时的掩码。掩码值在 [0, 1] 中选择：
  • 1 对于 未掩码 的标记，
  • 0 对于 掩码 的标记。

  什么是注意力掩码？

• head_mask (torch.FloatTensor 表示形状为 (num_heads,) 或 (num_layers, num_heads) 的矩阵，可选) — 用于取消自注意力模块中选中头部的掩码。掩码值在 [0, 1] 范围内：
  • 1 表示头部未被掩码,
  • 0 表示头部被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详情，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详情，请参阅返回张量下的 hidden_states。
• interpolate_pos_encoding （bool，可选，默认为False）— 是否插值预训练的位置编码。
• return_dict （bool，可选）— 是否返回一个 ModelOutput 而不是普通的元组。

transformers.models.perceiver.modeling_perceiver.PerceiverModelOutput 或一个包含torch.FloatTensor的元组（如果return_dict=False被传递或当config.return_dict=False）根据配置（PerceiverConfig）和输入的不同元素。

• logits （形状为(batch_size, num_labels)的torch.FloatTensor）— 分类的分数（如果config.num_labels==1则为回归）（在SoftMax之前）。
• last_hidden_state （形状为(batch_size, sequence_length, hidden_size)的torch.FloatTensor）— 模型最后一层的隐藏状态序列。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — Perceiver的输入。可以是任何东西：图片、文本、音频、视频等。
• attention_mask (torch.FloatTensor of shape batch_size, sequence_length, optional) — 避免在填充令牌索引上执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1表示未掩码的令牌，
  • 0表示掩码的令牌。

  什么是注意掩码？

• head_mask （形状为 torch.FloatTensor 的 (num_heads,) 或 (num_layers, num_heads)，可选）— 用于取消自我注意力模块选择头部的掩码。掩码中的选择值在 [0, 1] 范围内：
  • 1 表示头部 未掩码，
  • 0 表示头部 已掩码。
• output_attentions （bool，可选）— 是否返回所有注意力层的注意力张量。有关更多信息，请参阅返回的张量下的 attentions。
• output_hidden_states （bool，可选）— 是否返回所有层的隐藏状态。有关更多信息，请参阅返回的张量下的 hidden_states。
• interpolate_pos_encoding（《bool》，可选，默认为 False）—— 是否插值预训练的位置编码。
• return_dict（《bool》，可选）—— 是否返回 ModelOutput 而不是普通元组。
• labels（《torch.LongTensor”，形状为 (batch_size, sequence_length)，可选）——用于计算掩码语言模型损失的标签。索引应在 [-100, 0, ..., config.vocab_size]（参见 input_ids 文档字符串）中。索引设置为 -100 的令牌将被忽略（掩码），只计算索引在 [0, ..., config.vocab_size] 范围内的令牌的损失。

transformers.models.perceiver.modeling_perceiver.PerceiverMaskedLMOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或 config.return_dict=False），其包含各种元素，具体取决于配置（PerceiverConfig）和输入。

• loss（《torch.FloatTensor”形状为 (1,)，可选，当提供 labels 时返回）——掩码语言模型（MLM）损失。
• logits（《torch.FloatTensor”，形状为 (batch_size, sequence_length, config.vocab_size)）——语言建模头部的预测分数（在 SoftMax 之前每个词汇表的令牌的分数）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• 注意事项 (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或当config.output_attentions=True时返回) — 由每个层的torch.FloatTensor组成的元组（每个层一个），形状为(batch_size, num_heads, num_latents, num_latents)。注意，是 attention softmax 之后的权重，用于在自注意力头中计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — Perceiver的输入。可以是任何东西：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor 形状为 batch_size, sequence_length，可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值选中在 [0, 1]：
  • 1 表示未 掩码 的标记，
  • 0 表示 已掩码 的标记。

  什么是注意力掩码？

• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使选定的自注意力模块的头无效的掩码。掩码值选中在 [0, 1]：
  • 1 表示头 未掩码，
  • 0 表示头 已掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关返回张量 attentions 的更多详细信息，请参阅。
• labels (torch.LongTensor 形状为 (batch_size,)，可选) — 用于计算分类/回归损失的标签。索引应位于 [0, ..., config.num_labels - 1] 内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — 传入到感知器中的输入。可以是任何东西：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor，形状为batch_size, sequence_length，可选) — 避免在填充标记索引上执行注意力的遮罩。遮罩值选择在[0, 1]之间：
  • 1 表示 未遮罩 的标记；
  • 0 表示 遮罩 的标记。

  什么是注意力遮罩？

• head_mask (torch.FloatTensor 形状 (num_heads,) 或 (num_layers, num_heads)，可选。) — 用于取消选择自注意力模块中选择的头部的掩码。在 [0, 1] 中选择的掩码值：
  • 1 表示头部 未被掩码，
  • 0 表示头部 被掩码。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更详细的信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更详细的信息，请参阅返回张量中的 hidden_states。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否插值预训练的位置编码。
• return_dict (bool, 可选) — 是否返回一个ModelOutput而不是普通的元组
• labels (torch.LongTensor 的形状为 (batch_size,), 可选) —— 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — 输入给Perceiver。可以是任何东西：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor of shape batch_size, sequence_length, optional) — 用于防止在填充词索引上执行注意力的遮罩。遮罩值选择在 [0, 1] 内：
  • 1 代表 未遮罩 的token,
  • 0 代表 遮罩 的token。

  什么是注意遮罩？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于使自注意力模块中选择头部失效的遮罩。遮罩值选择在 [0, 1] 内：
  • 1 表示头部 未遮罩,
  • 0 表示头部 遮罩。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多信息，请参见返回张量下的 hidden_states。
• interpolate_pos_encoding (bool, 可选，默认为 False) — 是否插值预训练的位置编码。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是纯元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — 传入perceiver的输入。可以是任何类型：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor，形状为 batch_size, sequence_length，可选项) — 避免在填充token索引上执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 代表未掩码的token，
  • 0 代表被掩码的token。

  什么是注意力掩码？

• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选项) — 禁用电解质子模块中选定头部的掩码。掩码值选择在 [0, 1]：
  • 1 表示头部未掩码，
  • 0 表示头部被掩码。
• output_attentions (bool，可选项) — 是否返回所有注意力层的注意力张量。有关更多信息，请参阅返回的张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回的张量下的 hidden_states。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否插值预先训练的定位编码。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是空元组。
• labels (torch.LongTensor of shape (batch_size,), optional) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失），如果 config.num_labels > 1，则计算分类损失（交叉熵）。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — 传入感知器。可以是任何东西：图像、文本、音频、视频等。
• attention_mask （形状为 batch_size, sequence_length 的 torch.FloatTensor，可选） — 避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1]：
  • 1 表示 未掩码 的标记，
  • 0 表示 掩码 的标记。

  什么是注意力掩码？

• head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads)，可选）—— 用于屏蔽自注意力模块中选定的头的掩码。掩码值在 [0, 1] 之间选择：
  • 1 表示头未屏蔽，
  • 0 表示头已屏蔽。
• output_attentions (bool，可选）—— 是否返回所有注意力的张量。更多详细信息请参阅返回的张量下的 attentions。
• output_hidden_states (bool，可选）—— 是否返回所有层的隐藏状态。更多详细信息请参阅返回的张量下的 hidden_states。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否进行预训练位置编码的插值。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• labels (torch.LongTensor 形状 (batch_size,), 可选) — 用于计算光流损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。

参数

• inputs (torch.FloatTensor) — Perceiver的输入。可以是任何内容：图像、文本、音频、视频等。
• attention_mask (torch.FloatTensor of shape batch_size, sequence_length, optional) — 避免在填充标记索引上执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1 代表未掩码的标记
  • 0 代表已掩码的标记

  什么是注意力掩码？

• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 隐藏自注意模块中选定头部的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示未掩码的头
  • 0 表示已掩码的头
• output_attentions (bool, 可选的) —— 是否返回所有注意力层的注意力张量。请参阅返回张量下的 attentions 以获取更多详细信息。
• output_hidden_states (bool, 可选的) —— 是否返回所有层的隐藏状态。请参阅返回张量下的 hidden_states 以获取更多详细信息。
• interpolate_pos_encoding (bool, 可选的, 默认为 False) —— 是否插值预训练的位置编码。
• return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是普通的元组。
• labels (torch.LongTensor 形状为 (batch_size,), 可选) — 用来计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算一个回归损失（均方损失），如果 config.num_labels > 1，则计算一个分类损失（交叉熵）。

一个 transformers.models.perceiver.modeling_perceiver.PerceiverClassifierOutput，或者一个tuple，包含 torch.FloatTensor （如果传递了 return_dict=False 或当 config.return_dict=False）根据配置（PerceiverConfig）和输入确定的各种元素。

• loss （torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回） — 分类（或当 config.num_labels==1 时的回归）损失。
• logits （torch.FloatTensor 形状为 (batch_size, config.num_labels)） — 分类（或当 config.num_labels==1 时的回归）得分（SoftMax 之前）。
• hidden_states （tuple(torch.FloatTensor)，可选，在传递output_hidden_states=True时返回或当config.output_hidden_states=True）— 一个torch.FloatTensor的元组（一个用于嵌入输出的输出 + 一个用于每一层的输出）形状为(batch_size, sequence_length, hidden_size)。模型每一层的隐藏状态以及在每层的初始嵌入输出。
• attentions （tuple(torch.FloatTensor)，可选，在传递output_attentions=True时返回或当config.output_attentions=True）— 一个torch.FloatTensor的元组（用于每一层）形状为(batch_size, num_heads, sequence_length, sequence_length)。注意softmax后的注意力权重，用于在自注意力头部计算加权平均。
• cross_attentions (tuple(torch.FloatTensor), 可选，当传递参数 output_attentions=True 或当 config.output_attentions=True 时返回) — 一个 torch.FloatTensor 元组（每个层一个）的形状为 (batch_size, num_heads, sequence_length, sequence_length)。解码器的交叉注意力层的注意力权重，在注意力softmax后使用，用于在交叉注意力头中计算加权平均。