参数

• backbone_config (PretrainedConfig) — 骨干配置。

一个配置对象的实例

所有构成此配置实例的属性的字典，

参数

• videos (ImageInput 或 list[ImageInput] 或 list[list[ImageInput]]) — 要预处理的帧。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像大小。
• size (dict[str, int], 可选, 默认为 self.size) — 调整大小后图像的尺寸。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 调整图像大小（如果 do_resize 设置为 True）时使用的重采样过滤器。这可以是 PILImageResampling 枚举中的一个，仅在 do_resize 设置为 True 时有效。
• do_center_crop (bool, 可选, 默认为 self.do_centre_crop) — 是否中心裁剪图像。
• crop_size (dict[str, int], 可选, 默认为 self.crop_size) — 应用中心裁剪后图像的尺寸。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将图像值重新缩放到 [0 - 1] 之间。
• rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的缩放因子。
• do_pad (bool, 可选, 默认为 True) — 是否填充图像。可以通过 preprocess 方法中的 do_pad 参数覆盖。
• pad_size (dict[str, int], 可选, 默认为 {"height" -- 448, "width": 448})：应用填充后图像的尺寸。可以通过 preprocess 方法中的 pad_size 参数覆盖。
• constant_values (Union[float, Iterable[float]], 可选, 默认为 0) — 填充图像时使用的填充值。
• pad_mode (PaddingMode, 可选, 默认为 “PaddingMode.CONSTANT”) — 填充时使用的模式。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
• do_flip_channel_order (bool, 可选, 默认为 self.do_flip_channel_order) — 是否翻转图像的通道顺序。
• image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 图像均值。
• image_std (float 或 list[float], 可选, 默认为 self.image_std) — 图像标准差。
• return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • 未设置：使用输入图像推断的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。

参数

• text (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• videos (list[PIL.Image.Image], list[np.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[np.ndarray]], — list[list[torch.Tensor]])：要准备的视频或视频批次。每个视频都应该是一个帧列表，可以是 PIL 图像或 NumPy 数组。如果是 NumPy 数组/PyTorch 张量，每个帧的形状应为 (H, W, C)，其中 H 和 W 是帧的高度和宽度，C 是通道数。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
  • 'jax'：返回 JAX jnp.ndarray 对象。

一个 BatchEncoding，包含以下字段：

• input_ids — 要输入到模型的 token ID 列表。当 text 不为 None 时返回。
• attention_mask — 指定模型应关注哪些 token 的索引列表（当 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不为 None 时）。
• pixel_values — 要输入到模型的像素值。当 videos 不为 None 时返回。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 输入序列标记在词汇表中的索引。默认情况下会忽略填充。

  索引可以使用 AutoTokenizer 获取。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用 {image_processor_class} 获取。详情请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示标记未被掩盖，
  • 0 表示标记已被掩盖。

  什么是注意力掩码？

• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头部无效的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示头部未被掩盖，
  • 0 表示头部已被掩盖。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而非普通的元组。
• interpolate_pos_encoding (bool，默认为 False) — 是否插值预训练的位置编码。

参数

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 输入序列标记在词汇表中的索引。默认情况下会忽略填充。

  索引可以使用 AutoTokenizer 获取。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)，可选) — 对应输入图像的张量。像素值可以使用 {image_processor_class} 获取。详情请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示标记未被掩盖，
  • 0 表示标记已被掩盖。

  什么是注意力掩码？

• labels (torch.FloatTensor，形状为 (batch_size, 3)，可选) — 标签包含与文本对应的视频的持续时间、开始时间和结束时间。
• head_mask (torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) — 用于使自注意力模块的选定头部无效的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示头部未被掩盖，
  • 0 表示头部已被掩盖。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。更多详情请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。更多详情请参阅返回张量下的 hidden_states。
• return_dict (bool，可选) — 是否返回 ModelOutput 而非普通的元组。
• interpolate_pos_encoding (bool，默认为 False) — 是否插值预训练的位置编码。