参数

• backbone_config (PretrainedConfig) — Backbone 配置。

配置对象的实例

构成此配置实例的所有属性的字典,

参数

• videos (ImageInput 或 List[ImageInput] 或 List[List[ImageInput]]) — 要预处理的帧。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], 可选, 默认为 self.size) — 应用调整大小后图像的尺寸。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 如果调整图像大小，则使用的重采样过滤器。这可以是枚举类型 PILImageResampling 中的一个值。 仅当 do_resize 设置为 True 时才有效。
• do_center_crop (bool, 可选, 默认为 self.do_centre_crop) — 是否对图像进行中心裁剪。
• crop_size (Dict[str, int], 可选, 默认为 self.crop_size) — 应用中心裁剪后图像的尺寸。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
• rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则使用此缩放因子重新缩放图像。
• do_pad (bool, optional, defaults to True) — 是否填充图像。可以通过 preprocess 方法中的 do_pad 参数覆盖此设置。
• pad_size (Dict[str, int], optional, defaults to {"height" -- 448, "width": 448}): 应用填充后图像的尺寸。可以通过 preprocess 方法中的 pad_size 参数覆盖此设置。
• constant_values (Union[float, Iterable[float]], optional, defaults to 0) — 填充图像时使用的填充值。
• pad_mode (PaddingMode, optional, defaults to “PaddingMode.CONSTANT”) — 填充时使用的模式类型。
• do_normalize (bool, optional, defaults to self.do_normalize) — 是否标准化图像。
• do_flip_channel_order (bool, optional, defaults to self.do_flip_channel_order) — 是否翻转图像的通道顺序。
• image_mean (float or List[float], optional, defaults to self.image_mean) — 图像均值。
• image_std (float or List[float], optional, defaults to self.image_std) — 图像标准差。
• return_tensors (str or TensorType, optional) — 返回的张量类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension or str, optional, defaults to ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像的推断通道维度格式。
• input_data_format (ChannelDimension or str, optional) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• text (str, List[str], List[List[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置 `is_split_into_words=True`（以消除与序列批次的歧义）。
• videos (List[PIL.Image.Image], List[np.ndarray], List[torch.Tensor], List[List[PIL.Image.Image]], List[List[np.ndarrray]], — List[List[torch.Tensor]]): 要准备的视频或视频批次。每个视频应为帧列表，可以是 PIL 图像或 NumPy 数组。如果使用 NumPy 数组/PyTorch 张量，则每帧应具有形状 (H, W, C)，其中 H 和 W 是帧的高度和宽度，C 是通道数。
• return_tensors (str or TensorType, optional) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
  • 'jax'：返回 JAX jnp.ndarray 对象。

具有以下字段的 BatchEncoding

• input_ids — 要馈送到模型的 token id 列表。当 text 不为 None 时返回。
• attention_mask — 指定模型应关注哪些 token 的索引列表（当 `return_attention_mask=True` 或如果 “attention_mask” 在 `self.model_input_names` 中且 `text` 不为 `None` 时）。
• pixel_values — 要馈送到模型的像素值。当 videos 不为 None 时返回。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。可以使用 AutoTokenizer 获取索引。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• pixel_values (torch.FloatTensor of shape (batch_size, num_frames, num_channels, height, width)) — 像素值。可以使用 TvpImageProcessor 获取像素值。 有关详细信息，请参阅 TvpImageProcessor.call()。
• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在 padding token 索引上执行 attention 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。 什么是 attention masks？
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于 nullify self-attention 模块的选定 head 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的图像 pad prompter 编码和位置编码。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.tvp.configuration_tvp.TvpConfig'>) 和输入。

• last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型最后一层的输出端的 hidden-states 序列。

• pooler_output (torch.FloatTensor of shape (batch_size, hidden_size)) — 序列的第一个 token (classification token) 的最后一层 hidden-state，在通过用于辅助预训练任务的层进一步处理之后。 例如，对于 BERT 系列模型，这将返回通过线性层和 tanh 激活函数处理后的 classification token。 线性层权重通过预训练期间的 next sentence prediction（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（对于 embeddings 的输出，如果模型具有 embedding 层，则为一个；对于每个层的输出，则为一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出端的 Hidden-states 加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（对于每一层，则为一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  attention softmax 后的 Attention 权重，用于计算 self-attention heads 中的加权平均值。

参数

• input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。可以使用 AutoTokenizer 获取索引。 有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 什么是输入 IDs？
• pixel_values (torch.FloatTensor of shape (batch_size, num_frames, num_channels, height, width)) — 像素值。可以使用 TvpImageProcessor 获取像素值。 有关详细信息，请参阅 TvpImageProcessor.call()。
• attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — 用于避免在 padding token 索引上执行 attention 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 被掩盖。 什么是 attention masks？
• head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 用于 nullify self-attention 模块的选定 head 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 被掩盖。
• output_attentions (bool, optional) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回的 tensors 下的 attentions。
• output_hidden_states (bool, optional) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回的 tensors 下的 hidden_states。
• return_dict (bool, optional) — 是否返回 ModelOutput 而不是纯元组。
• interpolate_pos_encoding (bool, optional, defaults to False) — 是否插值预训练的图像 pad prompter 编码和位置编码。
• labels (torch.FloatTensor of shape (batch_size, 3), optional) — labels 包含与文本对应的视频的持续时间、开始时间和结束时间。

一个 transformers.models.tvp.modeling_tvp.TvpVideoGroundingOutput 或 torch.FloatTensor 的元组 (如果传递了 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.tvp.configuration_tvp.TvpConfig'>) 和输入。

• loss (torch.FloatTensor of shape (1,), optional, 当 return_loss 为 True 时返回) — 用于视频 grounding 的 Temporal-Distance IoU 损失。
• logits (torch.FloatTensor of shape (batch_size, 2)) — 包含 start_time/duration 和 end_time/duration。 它是与输入文本对应的视频的时间段。
• hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（对于 embeddings 的输出，如果模型具有 embedding 层，则为一个；对于每个层的输出，则为一个），形状为 (batch_size, sequence_length, hidden_size)。 模型在每一层输出端的 Hidden-states 加上可选的初始 embedding 输出。
• attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（对于每一层，则为一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。