参数

• images (PIL.Image.Image, np.ndarray, torch.Tensor, list[PIL.Image.Image], list[np.ndarray], list[torch.Tensor]) — 要准备的图像或图像批次。每个图像可以是 PIL 图像、NumPy 数组或 PyTorch 张量。如果是 NumPy 数组/PyTorch 张量，每个图像的形状应为 (C, H, W)，其中 C 是通道数，H 和 W 是图像高和宽。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 NumPy np.ndarray 对象。
  • 'jax': 返回 JAX jnp.ndarray 对象。

一个具有以下字段的 BatchFeature

• input_ids — 要输入到模型中的标记 ID 列表。
• attention_mask — 指定模型应关注哪些 token 的索引列表（当 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不为 None 时）。
• pixel_values — 要输入到模型的像素值。当 images 不为 None 时返回。

参数

• text (str, list[str], list[list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）形式提供，则必须设置 is_split_into_words=True（以消除与批次序列的歧义）。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'tf': 返回 TensorFlow tf.constant 对象。
  • 'pt': 返回 PyTorch torch.Tensor 对象。
  • 'np': 返回 NumPy np.ndarray 对象。
  • 'jax': 返回 JAX jnp.ndarray 对象。

一个具有以下字段的 BatchFeature

• input_ids — 要输入到模型中的标记 ID 列表。
• attention_mask — 指定模型应关注哪些 token 的索引列表（当 return_attention_mask=True 或 "attention_mask" 在 self.model_input_names 中且 text 不为 None 时）。

参数

• query_embeddings (Union[torch.Tensor, list[torch.Tensor]) — 查询嵌入。
• passage_embeddings (Union[torch.Tensor, list[torch.Tensor]) — 段落嵌入。
• batch_size (int, 可选, 默认为 128) — 计算分数的批次大小。
• output_dtype (torch.dtype, 可选, 默认为 torch.float32) — 输出张量的数据类型。如果为 None，则使用输入嵌入的数据类型。
• output_device (torch.device 或 str, 可选, 默认为“cpu”) — 输出张量的设备。

一个形状为 (n_queries, n_passages) 的张量，包含分数。分数张量保存在“cpu”设备上。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列 token 的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor, 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 避免对填充 token 索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示 未被掩盖 的 token，
  • 0 表示 被掩盖 的 token。

  什么是注意力掩码？

• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 对象而不是纯元组。

一个 transformers.models.colpali.modeling_colpali.ColPaliForRetrievalOutput 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），包含根据配置（ColPaliConfig）和输入而定的各种元素。

• loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

• embeddings (torch.FloatTensor，形状为 (batch_size, sequence_length, hidden_size)) — 模型的嵌入。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 在传入 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量)

  包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states (tuple[torch.FloatTensor], 可选, 在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 每个层的输出一个），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple[torch.FloatTensor], 可选, 在传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

• image_hidden_states (torch.FloatTensor, 可选) — 一个大小为 (batch_size, num_images, sequence_length, hidden_size) 的 torch.FloatTensor。由视觉编码器在投影最后隐藏状态后生成的模型 image_hidden_states。