参数

• videos (ImageInput) — 预处理图像或视频。期望单个或一批具有0到255像素值的帧。如果传递具有0到1像素值的帧，则设置 do_rescale=False。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图片大小。
• size (Dict[str, int], 可选, 默认为 self.size) — 调整图片大小后的尺寸。
• patch_size (List[int] 可选, 默认为 self.patch_size) — 图像 patch 嵌入的 patch 大小。
• num_frames (int 可选, 默认为 self.num_frames) — 最大视频帧数。
• resample (PILImageResampling, 可选，默认值为 self.resample) — 如果调整图像大小时使用的重采样滤波器。可以是枚举 PILImageResampling 的任何一个值。仅在 do_resize 设置为 True 时才有效。
• do_center_crop (bool, 可选，默认值为 self.do_centre_crop) — 是否进行居中裁剪图像。
• crop_size (Dict[str, int], 可选，默认值为 self.crop_size) — 应用居中裁剪后图像的大小。
• do_rescale (bool, 可选，默认为 self.do_rescale) — 是否重新调整图像值在 [0 - 1] 范围内。
• rescale_factor (float, 可选，默认为 self.rescale_factor) — 如果设置 do_rescale 为 True，则重新调整图像的调整因子。
• do_normalize (bool, 可选，默认为 self.do_normalize) — 是否归一化图像。
• image_mean (float 或 List[float], 可选，默认为 self.image_mean) — 图像均值。
• image_std (float 或 List[float]，可选，默认为 self.image_std） — 图像标准差。
• is_mixed (bool，可选） — 输入视频是否有负样本。
• return_tensors （str 或 TensorType，可选） — 返回张量的类型。可以是以下之一：
  • 未设置：返回 np.ndarray 类型的列表。
  • TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
  • TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
  • TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
  • TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。
• data_format (ChannelDimension 或 str，可选，默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像推断的通道维度格式。
• input_data_format (ChannelDimension 或 str，可选) — 输入图像的通道维度格式。如果未设置，将从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE: 图像格式为 (height, width)。

包含以下字段的 BatchFeature

• pixel_values — 传递给模型的像素值，形状为 (batch_size, num_channels, height, width)。

• pixel_mask — 传递给模型的像素掩码，形状为 (batch_size, num_pixel_patches)。

• pixel_values_mixed — 传递给模型的像素值，可以是正数或负数，形状为 (batch_size, num_channels, height, width)。

• pixel_mask_mixed — 传递给模型的像素掩码，可以是正数或负数，形状为 (batch_size, num_pixel_patches)。

参数

• raw_speech (np.ndarray, List[float], List[np.ndarray], List[List[float]]) — 要填充的序列或序列批。每个序列可以是numpy数组、浮点数列表、numpy数组列表或浮点数列表的列表。必须是单声道音频，而不是立体声，即每个时间步长只有一个浮点数。
• return_tensors (str 或 TensorType，可选） — 如果设置，将返回张量而不是 Python 整数列表。可接受的值有：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_attention_mask (bool，可选，默认为 True） — 是否返回注意力掩码。如果默认，将根据特定特征提取器的默认设置返回注意力掩码。什么是注意力掩码？

  对于 TvltTransformer 模型，attention_mask 应始终传递给批推理，以避免微妙的错误。

• sampling_rate （int，可选） — 输入 raw_speech 的采样率。强烈建议在正向调用时传递 sampling_rate，以防止无声错误并允许自动语音识别流程。当前模型支持采样率 16000 和 44100。
• resample (bool, optional, defaults to False) — If the sampling rate is not matched, resample the input audio to match.
• mask_audio (bool, optional, defaults to False) — Whether or not to mask input audio for MAE task.

包含以下字段的 BatchFeature

• audio_values — To be fed to the model, audio values, shape is (batch_size, num_channels, height, width).

• audio_mask — To be fed to the model, audio masks, shape is (batch_size, num_audio_patches).

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_frames, num_channels, height, width)) — 像素值。通过 TvltProcessor 获取像素值。请查看 TvltProcessor.call() 获取详细信息。
• audio_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 音频值。可以通过 TvltProcessor 获取音频值。请查看 TvltProcessor.call() 获取详细信息。
• pixel_mask (torch.FloatTensor 的 shape 为 (batch_size, num_pixel_patches)) — 像素掩码。可以通过 TvltProcessor 获取像素掩码。详细信息请参阅 TvltProcessor.call()。
• audio_mask (torch.FloatTensor 的 shape 为 (batch_size, num_audio_patches)) — 声音掩码。可以通过 TvltProcessor 获取声音掩码。详细信息请参阅 TvltProcessor.call()。
• pixel_values_mixed (torch.FloatTensor 的 shape 为 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视听匹配中融合正负样本的像素值。可以通过 TvltProcessor 获取融合的像素值。详细信息请参阅 TvltProcessor.call()。
• pixel_mask_mixed （torch.FloatTensor 形状为 (batch_size, num_channels, height, width)） — pixel_values_mixed 的像素掩码。混合像素掩码可以通过 TvltProcessor 获得。详情请参阅 TvltProcessor.call()。
• mask_pixel （bool，可选） — 是否对像素进行掩码处理用于 MAE 任务。仅在 TvltForPreTraining 中设置为 True。
• mask_audio （bool，可选） — 是否对音频进行掩码处理用于 MAE 任务。仅在 TvltForPreTraining 中设置为 True。
• output_attentions (bool, 可选) — 否则返回所有注意力层的注意力张量。关于返回张量下的attentions更多详细说明。
• output_hidden_states (bool, 可选) — 否则返回所有层的隐藏状态。关于返回张量下的hidden_states更多详细说明。
• return_dict (bool, 可选) — 否则返回ModelOutput而不是普通元组。

transformers.models.deprecated.tvlt.modeling_tvlt.TvltModelOutput或一个包含torch.FloatTensor元组（如果传递了return_dict=False，或者当config.return_dict=False时），它根据配置（TvltConfig）和输入包含各种元素。

• last_hidden_state (torch.FloatTensor形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层的隐藏状态序列。
• last_pixel_hidden_state (torch.getLatitude形状为(batch_size, pixel_sequence_length, hidden_size)) — 模型最后一层的像素序列隐藏状态。
• last_audio_hidden_state (torch.getLatitude形状为(batch_size, audio_sequence_length, hidden_size)) — 模型最后一层的音频序列隐藏状态。
• pixel_label_masks (torch.FloatTensor 形状为 (batch_size, pixel_patch_length)) — 指示哪些像素片段被掩码（1）以及未掩码（0）的张量。
• audio_label_masks (torch.FloatTensor 形状为 (batch_size, audio_patch_length)) — 指示哪些音频片段被掩码（1）以及未掩码（0）的张量。
• pixel_ids_restore (torch.LongTensor 形状为 (batch_size, pixel_patch_length)) — 包含像素掩码的ids排列的张量。
• audio_ids_restore (torch.LongTensor 形状为 (batch_size, audio_patch_length)) — 包含音频掩码的ids排列的张量。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出，一个用于每层的输出）。模型的每层输出隐藏状态加上初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均值。

参数

• pixel_values （形状为 (batch_size, num_frames, num_channels, height, width) 的 torch.FloatTensor）— 像素值。可以使用 TvltProcessor 获取像素值。有关详细信息，请参阅 TvltProcessor.call()。
• audio_values （形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）— 音频值。可以使用 TvltProcessor 获取音频值。有关详细信息，请参阅 TvltProcessor.call()。
• pixel_mask (torch.FloatTensor 形状为 (batch_size, num_pixel_patches)) — 像素掩码。像素掩码可通过 TvltProcessor 获取。有关详细信息，请参阅 TvltProcessor.call()。
• audio_mask (torch.FloatTensor 形状为 (batch_size, num_audio_patches)) — 声音掩码。声音掩码可通过 TvltProcessor 获取。有关详细信息，请参阅 TvltProcessor.call()。
• pixel_values_mixed (torch.FloatTensor 形状为 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视觉音频匹配中混合正样本和负样本的像素值。通过 TvltProcessor 可以获取混合的像素值。有关详细信息，请参阅 TvltProcessor.call()。
• pixel_mask_mixed (torch.FloatTensor 形状为 (batch_size, num_channels, height, width)) — pixel_values_mixed 的像素掩码。混合像素掩码可以通过使用 TvltProcessor 获取。有关详细信息，请参阅 TvltProcessor.call()。
• mask_pixel (bool，可选）- 是否对像素进行掩码以用于 MAE 任务。只有在 TvltForPreTraining 中设置为 True。
• mask_audio (bool，可选）- 是否对音频进行掩码以用于 MAE 任务。只有在 TvltForPreTraining 中设置为 True。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• pixel_values_mixed (torch.FloatTensor 形状 (batch_size, num_frames, num_channels, height, width)) — 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。音频值可以使用 TvltProcessor 获取。有关详细信息，请参阅 TvltProcessor.call()。
• pixel_mask_mixed (torch.FloatTensor 形状 (batch_size, num_channels, height, width)) — pixel_values_mixed 的像素掩码。使用 TvltProcessor 可以获取混合的像素值。有关详细信息，请参阅 TvltProcessor.call()。
• labels (torch.LongTensor 形状 (batch_size, num_labels)，可选) — 用于计算视觉音频匹配损失的标签。索引应为 [0, 1]。num_labels 必须为 1。

transformers.models.deprecated.tvlt.modeling_tvlt.TvltForPreTrainingOutput 或一个 torch.FloatTensor 的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），它包含各种元素，具体取决于配置（TvltConfig）和输入。

• loss (torch.FloatTensor 形状 (1,)) — 像素重建损失。
• matching_logits (torch.FloatTensor 形状 (batch_size, 1)) — 匹配目标的对数。
• pixel_logits (torch.FloatTensor 形状 (batch_size, pixel_patch_length, image_patch_size ** 3 * pixel_num_channels))：像素重建的对数。
• audio_logits (torch.FloatTensor 形状 (batch_size, audio_patch_length, image_patch_size[0] * image_patch_size[1]))：音频重建的对数。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入输出，一个用于每层的输出）。模型的每层输出隐藏状态加上初始嵌入输出。
• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。在注意力softmax之后的注意力权重，用于在自注意力头中计算加权平均值。

参数

• pixel_values (torch.FloatTensor of shape (batch_size, num_frames, num_channels, height, width)) — 像素值。使用TvltProcessor可以获得像素值。请参见TvltProcessor.call()获取详细信息。
• audio_values (torch.FloatTensor 形状 (batch_size, num_channels, height, width)) — 音频值。音频值可以使用 TvltProcessor 获取。详情请见 TvltProcessor.call()。
• pixel_mask (torch.FloatTensor 形状 (batch_size, num_pixel_patches)) — 像素掩码。像素掩码可以使用 TvltProcessor 获取。详情请见 TvltProcessor.call()。
• audio_mask (torch.FloatTensor 形状 (batch_size, num_audio_patches)) — 音频掩码。音频掩码可以使用 TvltProcessor 获取。详情请见 TvltProcessor.call()。
• pixel_values_mixed （形状为 (batch_size, num_frames, num_channels, height, width) 的 torch.FloatTensor）— 在 Tvlt 视觉-音频匹配中混合正负样本的像素值。可以通过使用 TvltProcessor 获取混合像素值。请参阅 TvltProcessor.call() 获取详细信息。
• pixel_mask_mixed （形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）— pixel_values_mixed 的像素掩码。可以通过使用 TvltProcessor 获取混合像素掩码。请参阅 TvltProcessor.call() 获取详细信息。
• mask_pixel （布尔值，可选）— 是否为 MAE 任务掩码像素。仅在 TvltForPreTraining 中设置为 True。
• mask_audio (bool, 可选) — 是否对MAE任务进行音频遮蔽。仅在TvltForPreTraining中设置为True。
• output_attentions (bool, 可选) — 是否返回所有注意层的注意张量。请参阅返回张量下的attentions获取更多信息。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。请参阅返回张量下的hidden_states获取更多信息。
• return_dict (bool, 可选) —— 是否返回ModelOutput对象而不仅仅是元组。
• labels (torch.LongTensor，形状 (batch_size, num_labels)，可选) —— 用来计算音视频损失标签。索引应在 [0, ..., num_classes-1] 范围内，其中 num_classes 指的是音视频任务中的类别数量。

A transformers.modeling_outputs.SequenceClassifierOutput或一个torch.FloatTensor的元组（如果传递了return_dict=False或在配置中设置config.return_dict=False）包含根据配置（TvltConfig）和输入生成的各种元素。

• loss (torch.FloatTensor，形状 (1,)，可选，当提供labels时返回) —— 分类（当配置中num_labels等于1时为回归）损失。

• logits (torch.FloatTensor，形状 (batch_size, config.num_labels)) —— 分类（当配置中num_labels等于1时为回归）分数（在SoftMax之前）。

• hidden_states (tuple(torch.FloatTensor)，可选，当通过传递output_hidden_states=True或在配置中设置config.output_hidden_states=True时返回) —— 由每一层的torch.FloatTensor组成的元组（如果模型有嵌入层则为嵌入层的输出，每个层都有一个）形状为 (batch_size, sequence_length, hidden_size)。

  模型的隐藏状态在每个输出的结束时以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递output_attentions=True或在配置中设置config.output_attentions=True时返回) —— 每个层的一个torch.FloatTensor的元组形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  在注意力softmax后的注意力权重，用于在自注意力头中计算加权平均值。