参数

• videos (ImageInput) — 要预处理的图像或视频。 期待像素值范围从 0 到 255 的单帧或批量帧。 如果传入像素值在 0 到 1 之间的帧，请设置 do_rescale=False。
• do_resize (bool, optional, 默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], optional, 默认为 self.size) — 应用调整大小后图像的尺寸。
• patch_size (List[int] optional, 默认为 self.patch_size) — 图像块嵌入的图像块大小。
• num_frames (int optional, 默认为 self.num_frames) — 视频帧的最大数量。
• resample (PILImageResampling, optional, 默认为 self.resample) — 如果调整图像大小，则使用的重采样滤波器。 这可以是枚举 PILImageResampling 之一。仅当 do_resize 设置为 True 时才有效。
• do_center_crop (bool, optional, 默认为 self.do_centre_crop) — 是否对图像进行中心裁剪。
• crop_size (Dict[str, int], optional, 默认为 self.crop_size) — 应用中心裁剪后图像的尺寸。
• do_rescale (bool, optional, 默认为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
• rescale_factor (float, optional, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
• do_normalize (bool, optional, 默认为 self.do_normalize) — 是否对图像进行标准化。
• image_mean (float 或 List[float], optional, 默认为 self.image_mean) — 图像均值。
• image_std (float 或 List[float], optional, 默认为 self.image_std) — 图像标准差。
• is_mixed (bool, optional) — 如果输入视频具有负样本。
• return_tensors (str 或 TensorType, optional) — 要返回的张量类型。 可以是以下之一：
  • Unset: 返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf': 返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt': 返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np': 返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax': 返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, optional, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。 可以是以下之一：
  • ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • Unset: 使用输入图像的推断通道维度格式。
• input_data_format (ChannelDimension 或 str, optional) — 输入图像的通道维度格式。 如果未设置，则通道维度格式从输入图像推断。 可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE: 图像格式为 (height, width)。

一个 BatchFeature，包含以下字段

• pixel_values — 要馈送到模型的像素值，形状为 (batch_size, num_channels, height, width)。

• pixel_mask — 要馈送到模型的像素掩码，形状为 (batch_size, num_pixel_patches)。

• pixel_values_mixed — 包含正值或负值的像素值，要馈送到模型，形状为 (batch_size, num_channels, height, width)。

• pixel_mask_mixed — 包含正值或负值的像素掩码，要馈送到模型，形状为 (batch_size, num_pixel_patches)。

参数

• raw_speech (np.ndarray, List[float], List[np.ndarray], List[List[float]]) — 要填充的序列或批量序列。 每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表的列表。 必须是单声道音频，而不是立体声，即每个时间步单个浮点值。
• return_tensors (str 或 TensorType, 可选的) — 如果设置，将返回 tensors 而不是 python 整数列表。 可接受的值为：
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 Numpy np.ndarray 对象。
• return_attention_mask (bool, 可选的, 默认为 True) — 是否返回 attention mask。 如果保留为默认值，将根据特定 feature_extractor 的默认值返回 attention mask。 什么是 attention masks？

  对于 TvltTransformer 模型，应始终传递 attention_mask 以进行批量推理，以避免细微的错误。

• sampling_rate (int, 可选的) — raw_speech 输入被采样的采样率。 强烈建议在前向调用中传递 sampling_rate，以防止静默错误并允许自动语音识别管道。 当前模型支持采样率 16000 和 44100。
• resample (bool, 可选的, 默认为 False) — 如果采样率不匹配，则对输入音频进行重采样以匹配。
• mask_audio (bool, 可选的, 默认为 False) — 是否为 MAE 任务屏蔽输入音频。

一个 BatchFeature，包含以下字段

• audio_values — 要馈送到模型的音频值，形状为 (batch_size, num_channels, height, width)。

• audio_mask — 要馈送到模型的音频 masks，形状为 (batch_size, num_audio_patches)。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 像素值。 像素值可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• audio_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 音频值。 音频值可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• pixel_mask (torch.FloatTensor，形状为 (batch_size, num_pixel_patches)) — 像素 masks。 像素 masks 可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• audio_mask (torch.FloatTensor，形状为 (batch_size, num_audio_patches)) — 音频 masks。 音频 masks 可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• pixel_values_mixed (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。 混合的像素值可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• pixel_mask_mixed (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — pixel_values_mixed 的像素 masks。 混合的像素 masks 可以使用 TvltProcessor 获得。 有关详细信息，请参见 TvltProcessor.call()。
• mask_pixel (bool, 可选的) — 是否为 MAE 任务屏蔽像素。 仅在 TvltForPreTraining 中设置为 True。
• mask_audio (bool, 可选的) — 是否为 MAE 任务屏蔽音频。 仅在 TvltForPreTraining 中设置为 True。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 详见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 详见返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯元组。

一个 transformers.models.deprecated.tvlt.modeling_tvlt.TvltModelOutput 或 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (TvltConfig) 和输入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层的输出处的隐藏状态序列。
• last_pixel_hidden_state (torch.FloatTensor，形状为 (batch_size, pixel_sequence_length, hidden_size)) — 模型最后一层的输出处的像素隐藏状态序列。
• last_audio_hidden_state (torch.FloatTensor，形状为 (batch_size, audio_sequence_length, hidden_size)) — 模型最后一层的输出处的音频隐藏状态序列。
• pixel_label_masks (torch.FloatTensor，形状为 (batch_size, pixel_patch_length)) — 张量指示哪些像素块被掩码 (1) 以及哪些没有被掩码 (0)。
• audio_label_masks (torch.FloatTensor，形状为 (batch_size, audio_patch_length)) — 张量指示哪些音频块被掩码 (1) 以及哪些没有被掩码 (0)。
• pixel_ids_restore (torch.LongTensor，形状为 (batch_size, pixel_patch_length)) — 张量包含像素掩码的 id 排列。
• audio_ids_restore (torch.LongTensor，形状为 (batch_size, audio_patch_length)) — 张量包含音频掩码的 id 排列。
• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个嵌入输出一个，每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。 模型在每一层输出处的隐藏状态，加上初始嵌入输出。
• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。 注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 像素值。 像素值可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• audio_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — 音频值。 音频值可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• pixel_mask (torch.FloatTensor，形状为 (batch_size, num_pixel_patches)) — 像素掩码。 像素掩码可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• audio_mask (torch.FloatTensor，形状为 (batch_size, num_audio_patches)) — 音频掩码。 音频掩码可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• pixel_values_mixed (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。 混合的像素值可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• pixel_mask_mixed (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — pixel_values_mixed 的像素掩码。 混合的像素掩码可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• mask_pixel (bool, optional) — 是否为 MAE 任务掩码像素。 仅在 TvltForPreTraining 中设置为 True。
• mask_audio (bool, optional) — 是否为 MAE 任务掩码音频。 仅在 TvltForPreTraining 中设置为 True。
• output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。 详见返回张量下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。 详见返回张量下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯元组。
• pixel_values_mixed (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。 音频值可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• pixel_mask_mixed (torch.FloatTensor，形状为 (batch_size, num_channels, height, width)) — pixel_values_mixed 的像素掩码。 混合的像素值可以使用 TvltProcessor 获得。 请参阅 TvltProcessor.call() 了解详情。
• labels (torch.LongTensor，形状为 (batch_size, num_labels), optional) — 用于计算视觉音频匹配损失的标签。 索引应在 [0, 1] 中。 num_labels 必须为 1。

一个 transformers.models.deprecated.tvlt.modeling_tvlt.TvltForPreTrainingOutput 或 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (TvltConfig) 和输入。

• loss (torch.FloatTensor，形状为 (1,)) — 像素重建损失。
• matching_logits (torch.FloatTensor，形状为 (batch_size, 1)) — 匹配目标 logits。
• pixel_logits (torch.FloatTensor，形状为 (batch_size, pixel_patch_length, image_patch_size ** 3 * pixel_num_channels)): 像素重建 logits。
• audio_logits (torch.FloatTensor，形状为 (batch_size, audio_patch_length, image_patch_size[0] * image_patch_size[1])): 音频重建 logits。
• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（每个嵌入输出一个，每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。 模型在每一层输出处的隐藏状态，加上初始嵌入输出。
• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。 注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 (batch_size, num_frames, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• audio_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 音频值。音频值可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• pixel_mask (形状为 (batch_size, num_pixel_patches) 的 torch.FloatTensor) — 像素掩码。像素掩码可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• audio_mask (形状为 (batch_size, num_audio_patches) 的 torch.FloatTensor) — 音频掩码。音频掩码可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• pixel_values_mixed (形状为 (batch_size, num_frames, num_channels, height, width) 的 torch.FloatTensor) — 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。混合的像素值可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• pixel_mask_mixed (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — pixel_values_mixed 的像素掩码。混合的像素掩码可以使用 TvltProcessor 获得。 有关详细信息，请参阅 TvltProcessor.call()。
• mask_pixel (bool, 可选) — 是否为 MAE 任务掩码像素。仅在 TvltForPreTraining 中设置为 True。
• mask_audio (bool, 可选) — 是否为 MAE 任务掩码音频。仅在 TvltForPreTraining 中设置为 True。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• labels (形状为 (batch_size, num_labels) 的 torch.LongTensor, 可选) — 用于计算视听损失的标签。索引应为 [0, ..., num_classes-1]，其中 num_classes 指的是视听任务中的类别数。

一个 transformers.modeling_outputs.SequenceClassifierOutput 或 torch.FloatTensor 元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (TvltConfig) 和输入。

• loss (形状为 (1,) 的 torch.FloatTensor, 可选, 当提供 labels 时返回) — 分类（或回归，如果 config.num_labels==1）损失。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（或回归，如果 config.num_labels==1）得分（在 SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组 (对于嵌入的输出，如果模型具有嵌入层，则为一个；对于每个层的输出，则为一个)，形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出端的隐藏状态，加上可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 元组 (每层一个)，形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。