一个配置对象的实例

参数

• do_resize (bool, 可选, 默认为 self.do_resize) — 是否将视频的 (高度, 宽度) 尺寸调整到指定的 size。可以通过 preprocess 方法中的 do_resize 参数覆盖。
• size (dict, 可选, 默认为 self.size) — 调整大小后的输出视频大小。可以通过 preprocess 方法中的 size 参数覆盖。
• size_divisor (int, 可选, 默认为 self.size_divisor) — 确保高度和宽度都能被其整除的大小。
• default_to_square (bool, 可选, 默认为 self.default_to_square) — 如果 size 是一个整数，是否默认调整为方形视频。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 如果调整视频大小，则使用的重采样滤波器。仅当 do_resize 设置为 True 时才生效。可以通过 preprocess 方法中的 resample 参数覆盖。
• do_center_crop (bool, 可选, 默认为 self.do_center_crop) — 是否将视频中心裁剪到指定的 crop_size。可以通过 preprocess 方法中的 do_center_crop 覆盖。
• do_pad (bool, 可选) — 是否将视频填充到批次中视频的 (max_height, max_width)。
• crop_size (dict[str, int] 可选, 默认为 self.crop_size) — 应用 center_crop 后的输出视频大小。可以通过 preprocess 方法中的 crop_size 覆盖。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否按指定的比例 rescale_factor 重新缩放视频。仅当 do_rescale 设置为 True 时才生效。可以通过 preprocess 方法中的 do_rescale 参数覆盖。
• rescale_factor (int 或 float, 可选, 默认为 self.rescale_factor) — 如果重新缩放视频，则使用的比例因子。仅当 do_rescale 设置为 True 时才生效。可以通过 preprocess 方法中的 rescale_factor 参数覆盖。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否规范化视频。可以通过 preprocess 方法中的 do_normalize 参数覆盖。可以通过 preprocess 方法中的 do_normalize 参数覆盖。
• image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 如果规范化视频，则使用的均值。这是一个浮点数或浮点数列表，其长度与视频中的通道数相同。可以通过 preprocess 方法中的 image_mean 参数覆盖。可以通过 preprocess 方法中的 image_mean 参数覆盖。
• image_std (float 或 list[float], 可选, 默认为 self.image_std) — 如果规范化视频，则使用的标准差。这是一个浮点数或浮点数列表，其长度与视频中的通道数相同。可以通过 preprocess 方法中的 image_std 参数覆盖。可以通过 preprocess 方法中的 image_std 参数覆盖。
• do_convert_rgb (bool, 可选, 默认为 self.image_std) — 是否将视频转换为 RGB。
• video_metadata (VideoMetadata, 可选) — 视频的元数据，包含总时长、帧率和总帧数信息。
• do_sample_frames (int, 可选, 默认为 self.do_sample_frames) — 在处理前是否从视频中采样帧，或处理整个视频。
• num_frames (int, 可选, 默认为 self.num_frames) — 当 do_sample_frames=True 时，要采样的最大帧数。
• fps (int, 可选, 默认为 self.fps) — 当 do_sample_frames=True 时，每秒要采样的目标帧数。
• return_tensors (str 或 TensorType, 可选) — 如果设置为 `pt`，则返回堆叠的张量，否则返回张量列表。
• data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出视频的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：视频格式为 (通道数, 高度, 宽度)。
  • "channels_last" 或 ChannelDimension.LAST：视频格式为 (高度, 宽度, 通道数)。
  • 未设置：使用输入视频的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入视频的通道维度格式。如果未设置，则从输入视频推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：视频格式为 (通道数, 高度, 宽度)。
  • "channels_last" 或 ChannelDimension.LAST：视频格式为 (高度, 宽度, 通道数)。
  • "none" 或 ChannelDimension.NONE：视频格式为 (高度, 宽度)。
• device (torch.device, 可选) — 处理视频的设备。如果未设置，则从输入视频推断设备。

参数

• videos (VideoInput) — 待预处理的视频帧。期望单个或批量的视频，作为像素值范围从0到255的帧列表。如果传入像素值在0到1之间的视频，请设置do_rescale=False。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整视频大小。
• size (dict[str, int], 可选, 默认为 self.size) — 控制resize后视频的大小。图像的最短边将调整为size["shortest_edge"]，同时保持纵横比。如果此调整大小后的图像的最长边大于int(size["shortest_edge"] * (1333 / 800))，则图像将再次调整大小，使最长边等于int(size["shortest_edge"] * (1333 / 800))。
• resample (PILImageResampling, 可选, 默认为 self.resample) — 如果调整视频大小，则使用的重采样滤波器。仅当do_resize设置为True时才有效。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否将视频值缩放到 [0 - 1] 之间。
• rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果do_rescale设置为True，则用于缩放视频的缩放因子。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对视频进行归一化。
• image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 如果do_normalize设置为True，则用于归一化视频的图像平均值。
• image_std (float 或 list[float], 可选, 默认为 self.image_std) — 如果do_normalize设置为True，则用于归一化视频的图像标准差。
• do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将图像转换为RGB格式。
• return_tensors (str 或 TensorType, 可选) — 要返回的张量类型。可以是以下之一：
  • 未设置：返回一个 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回一个 tf.Tensor 类型的批次。
  • TensorType.PYTORCH 或 'pt'：返回一个 torch.Tensor 类型的批次。
  • TensorType.NUMPY 或 'np'：返回一个 np.ndarray 类型的批次。
  • TensorType.JAX 或 'jax'：返回一个 jax.numpy.ndarray 类型的批次。
• data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (通道数, 高度, 宽度)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (高度, 宽度, 通道数)。
  • 未设置：使用输入图像的通道维度格式。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，将从输入图像推断通道维度格式。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (通道数, 高度, 宽度)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (高度, 宽度, 通道数)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (高度, 宽度)。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 进行图像处理）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否插值预训练的位置编码。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置（InstructBlipVideoConfig）和输入的不同元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一个标记（分类标记）的最后一层隐藏状态，经过用于辅助预训练任务的层进一步处理。例如，对于BERT系列模型，这将在预训练期间通过线性层和 tanh 激活函数处理后返回分类标记。线性层权重在预训练期间通过下一个句子预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出，加上每个层的输出）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 进行图像处理）。
• qformer_input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — Q-Former 词汇表中的输入序列 token 索引。可以选择提供输入 token 作为文本提示，Q-Former 模型将对其进行编码。

  索引可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参阅 InstructBlipVideoProcessor.__call__()。

  什么是输入 ID？

• qformer_attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充 token 索引执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 语言模型词汇表中的输入序列 token 索引。可以选择提供输入 token 作为文本提示，语言模型可以继续生成。

  索引可以使用 InstructBlipVideoProcessor 获取。有关详细信息，请参阅 InstructBlipVideoProcessor.__call__()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 用于避免对填充 token 索引执行注意力的掩码。掩码值选择在 [0, 1] 之间：
  • 1 表示**未被掩码**的 token，
  • 0 表示**被掩码**的 token。

  什么是注意力掩码？

• decoder_input_ids (形状为 (batch_size, target_sequence_length) 的 torch.LongTensor, 可选) — 解码器输入序列 token 在词汇表中的索引。

  索引可以使用 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入 ID？

• decoder_attention_mask (形状为 (batch_size, target_sequence_length) 的 torch.BoolTensor, 可选) — 默认行为：生成一个忽略 decoder_input_ids 中填充 token 的张量。默认情况下也会使用因果掩码。

  仅当使用编码器-解码器语言模型（如 T5）时才相关。

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通的元组。
• interpolate_pos_encoding (bool, 默认为 False) — 是否插值预训练的位置编码。
• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（请参阅 past_key_values）。

一个 transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置（InstructBlipVideoConfig）和输入的不同元素。

• loss (torch.FloatTensor, 可选, 当提供 labels 时返回, 形状为 (1,) 的 torch.FloatTensor) — 语言模型的语言建模损失。
• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言模型的语言建模头部预测分数。
• vision_outputs (torch.FloatTensor, 可选, 默认为 None) — 视觉编码器的输出。
• qformer_outputs (tuple[torch.FloatTensor], 可选, 默认为 None) — Q-Former（查询 Transformer）的输出。
• language_model_outputs (CausalLMOutputWithPast 或 Seq2SeqLMOutput) — 语言模型的输出。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 进行图像处理）。
• qformer_input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — Q-Former 词汇表中输入序列 token 的索引。可以可选地提供输入 token 作为文本提示，Q-Former 模型将对其进行编码。

  可以使用 InstructBlipVideoProcessor 获取索引。有关详细信息，请参阅 InstructBlipVideoProcessor.__call__()。

  什么是输入 ID？

• qformer_attention_mask (torch.Tensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示未被掩盖的 token，
  • 0 表示被掩盖的 token。

  什么是注意力掩码？

• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 语言模型词汇表中输入序列 token 的索引。可以可选地提供输入 token 作为文本提示，语言模型可以继续生成。

  可以使用 InstructBlipVideoProcessor 获取索引。有关详细信息，请参阅 InstructBlipVideoProcessor.__call__()。

  什么是输入 ID？

• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行注意力操作的掩码。掩码值选择范围为 [0, 1]：
  • 1 表示未被掩盖的 token，
  • 0 表示被掩盖的 token。

  什么是注意力掩码？

• decoder_input_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length)，可选) — 解码器输入序列 token 在词汇表中的索引。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入 ID？

• decoder_attention_mask (torch.BoolTensor，形状为 (batch_size, target_sequence_length)，可选) — 默认行为：生成一个在 decoder_input_ids 中忽略填充 token 的张量。默认情况下也将使用因果掩码。

  仅在使用编码器-解码器语言模型（如 T5）时相关。

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的 hidden_states。
• labels (torch.LongTensor，形状为 (batch_size,)，可选) — 用于计算语言模型损失的标签。索引应在 [-100, 0, ..., config.vocab_size - 1] 范围内。所有设置为 -100 的标签都将被忽略（被掩盖），损失仅针对 [0, ..., config.vocab_size] 范围内的标签计算。
• return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
• interpolate_pos_encoding (bool，默认为 False) — 是否对预训练的位置编码进行插值。
• use_cache (bool，可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

一个 transformers.models.instructblipvideo.modeling_instructblipvideo.InstructBlipVideoForConditionalGenerationModelOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置（InstructBlipVideoConfig）和输入的不同元素。

• loss (torch.FloatTensor, 可选, 当提供 labels 时返回, 形状为 (1,) 的 torch.FloatTensor) — 语言模型的语言建模损失。
• logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言模型的语言建模头部预测分数。
• vision_outputs (torch.FloatTensor, 可选, 默认为 None) — 视觉编码器的输出。
• qformer_outputs (tuple[torch.FloatTensor], 可选, 默认为 None) — Q-Former（查询 Transformer）的输出。
• language_model_outputs (CausalLMOutputWithPast 或 Seq2SeqLMOutput) — 语言模型的输出。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, height, width) 或 (batch_size, num_frames, num_channels, height, width))：要处理的输入图像或视频。
• qformer_input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用作 Q-Former 模块提示的序列。
• qformer_attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行注意力操作的掩码。
• input_ids (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用作生成提示的序列。
• attention_mask (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于避免在填充 token 索引上执行注意力操作的掩码。
• interpolate_pos_encoding (bool，可选，默认为 False) — 是否对图像嵌入的位置编码进行插值。

一个字符串列表，长度为 batch_size * num_captions。