参数

• backbone_config (PretrainedConfig) — 主干配置。

配置对象的实例

构成此配置实例的所有属性的字典，

参数

• videos (ImageInput 或 List[ImageInput] 或 List[List[ImageInput]]) — 要预处理的帧。
• do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。
• size (Dict[str, int], optional, defaults to self.size) — 应用调整大小后图像的大小。
• resample (PILImageResampling, optional, defaults to self.resample) — 如果调整图像大小，则使用的重采样滤波器。这可以是枚举 PILImageResampling 之一，仅在 do_resize 设置为 True 时有效。
• do_center_crop (bool, optional, defaults to self.do_centre_crop) — 是否对图像进行中心裁剪。
• crop_size (Dict[str, int], optional, defaults to self.crop_size) — 应用中心裁剪后图像的大小。
• do_rescale (bool, optional, defaults to self.do_rescale) — 是否将图像值缩放到 [0 - 1] 之间。
• rescale_factor (float, optional, defaults to self.rescale_factor) — 如果 do_rescale 设置为 True，则用于缩放图像的缩放因子。
• do_pad (bool, optional, defaults to True) — 是否填充图像。可以被 preprocess 方法中的 do_pad 参数覆盖。
• pad_size (Dict[str, int], optional, defaults to {"height" -- 448, "width": 448}): 应用填充后图像的大小。可以被 preprocess 方法中的 pad_size 参数覆盖。
• constant_values (Union[float, Iterable[float]], optional, defaults to 0) — 填充图像时使用的填充值。
• pad_mode (PaddingMode, optional, defaults to “PaddingMode.CONSTANT”) — 填充时使用的模式类型。
• do_normalize (bool, optional, defaults to self.do_normalize) — 是否对图像进行归一化。
• do_flip_channel_order (bool, optional, defaults to self.do_flip_channel_order) — 是否翻转图像的通道顺序。
• image_mean (float 或 List[float], optional, defaults to self.image_mean) — 图像均值。
• image_std (float 或 List[float], optional, defaults to self.image_std) — 图像标准差。
• return_tensors (str 或 TensorType, optional) — 要返回的张量类型。可以是以下之一：
  • Unset: 返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf': 返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt': 返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np': 返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax': 返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, optional, defaults to ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • Unset: 使用输入图像的推断通道维度格式。
• input_data_format (ChannelDimension 或 str, optional) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE: 图像格式为 (height, width)。

参数

• text (str, List[str], List[List[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列作为字符串列表（预分词）提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• videos (List[PIL.Image.Image], List[np.ndarray], List[torch.Tensor], List[List[PIL.Image.Image]], List[List[np.ndarrray]], — List[List[torch.Tensor]]): 要准备的视频或视频批次。每个视频应为帧列表，可以是 PIL 图像或 NumPy 数组。如果使用 NumPy 数组/PyTorch 张量，则每帧应为形状 (H, W, C)，其中 H 和 W 是帧的高度和宽度，C 是通道数。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 NumPy np.ndarray 对象。
  • 'jax': 返回 JAX jnp.ndarray 对象。

具有以下字段的 BatchEncoding

• input_ids — 要馈送到模型的 token id 列表。当 text 不是 None 时返回。
• attention_mask — 指定模型应注意哪些 token 的索引列表（当 return_attention_mask=True 或如果 “attention_mask” 在 self.model_input_names 中，并且 text 不是 None 时）。
• pixel_values — 要馈送到模型的像素值。当 videos 不是 None 时返回。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列 token 的索引。索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什么是输入 ID？
• pixel_values (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 像素值。像素值可以使用 TvpImageProcessor 获得。有关详细信息，请参阅 TvpImageProcessor.call()。
• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 掩码，用于避免在 padding token 索引上执行 attention。掩码值在 [0, 1] 中选择：
  • 1 表示 token 未被掩码，
  • 0 表示 token 已被掩码。 什么是 attention 掩码？
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 掩码，用于使自注意力模块的选定 head 失效。掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩码，
  • 0 表示 head 已被掩码。
• output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions 张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool, 可选, 默认为 False) — 是否插值预训练图像 pad prompter 编码和位置编码。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或 torch.FloatTensor 的元组 (如果传递 return_dict=False 或当 config.return_dict=False 时)，包含各种元素，具体取决于配置 (<class 'transformers.models.tvp.configuration_tvp.TvpConfig'>) 和输入。

• last_hidden_state (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出端的 hidden-states 序列。

• pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列的第一个 token（分类 token）的最后一层 hidden-state，在通过用于辅助预训练任务的层进行进一步处理之后。例如，对于 BERT 系列模型，这返回分类 token，在通过线性层和 tanh 激活函数处理后。线性层权重通过预训练期间的下一句预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有 embedding 层，则为 embedding 输出的元组，+ 每个层的输出的元组），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出端的 Hidden-states，加上可选的初始 embedding 输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  attention softmax 之后的 Attention 权重，用于计算自注意力 head 中的加权平均值。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)) — 词汇表中输入序列 tokens 的索引。索引可以使用 AutoTokenizer 获得。 参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 以了解详情。 什么是输入 IDs？
• pixel_values (torch.FloatTensor，形状为 (batch_size, num_frames, num_channels, height, width)) — 像素值。 像素值可以使用 TvpImageProcessor 获得。 参见 TvpImageProcessor.call() 以了解详情。
• attention_mask (torch.FloatTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在 padding token 索引上执行 attention 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 tokens 未被掩盖，
  • 0 表示 tokens 已被掩盖。 什么是 attention masks？
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于 nullify self-attention 模块中选定 head 的掩码。 掩码值在 [0, 1] 中选择：
  • 1 表示 head 未被掩盖，
  • 0 表示 head 已被掩盖。
• output_attentions (bool，可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息，请参阅返回 tensors 下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的 hidden states。 有关更多详细信息，请参阅返回 tensors 下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是纯 tuple。
• interpolate_pos_encoding (bool，可选，默认为 False) — 是否插值预训练的图像 pad prompter 编码和位置编码。
• labels (torch.FloatTensor，形状为 (batch_size, 3)，可选) — labels 包含与文本对应的视频的 duration、start time 和 end time。

一个 transformers.models.tvp.modeling_tvp.TvpVideoGroundingOutput 或 torch.FloatTensor 的 tuple（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (<class 'transformers.models.tvp.configuration_tvp.TvpConfig'>) 和输入的各种元素。

• loss (torch.FloatTensor，形状为 (1,)，可选，当 return_loss 为 True 时返回) — 用于视频 grounding 的 Temporal-Distance IoU loss。
• logits (torch.FloatTensor，形状为 (batch_size, 2)) — 包含 start_time/duration 和 end_time/duration。 它是与输入文本对应的视频的时间段。
• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的 Tuple（如果模型有 embedding 层，则一个用于 embeddings 的输出，加上每个层输出的另一个）形状为 (batch_size, sequence_length, hidden_size)。 模型在每个层输出的 Hidden-states 加上可选的初始 embedding 输出。
• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。