一个配置对象的实例

参数

• images (ImageInput) — 要预处理的图像。期望像素值范围为 0 到 255 的单张或批量图像。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• do_resize (bool, 可选, 默认为 self.do_resize) — 是否调整图像尺寸。
• size (dict[str, int], 可选, 默认为 self.size) — 调整大小后的图像尺寸。
• resample (int, 可选, 默认为 self.resample) — 如果调整图像尺寸，要使用的重采样滤镜。可以是枚举类型 PILImageResampling 之一。仅在 do_resize 设置为 True 时有效。
• do_rescale (bool, 可选, 默认为 self.do_rescale) — 是否缩放图像。
• rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，用于缩放图像的比例因子。
• do_normalize (bool, 可选, 默认为 self.do_normalize) — 是否对图像进行归一化。
• image_mean (float 或 list[float], 可选, 默认为 self.image_mean) — 用于归一化的图像均值。仅在 do_normalize 设置为 True 时有效。
• image_std (float 或 list[float], 可选, 默认为 self.image_std) — 用于归一化的图像标准差。仅在 do_normalize 设置为 True 时有效。
• return_tensors (str 或 TensorType, 可选) — 返回张量的类型。可以是以下之一：
  • 未设置：返回 np.ndarray 列表。
  • TensorType.TENSORFLOW 或 'tf'：返回类型为 tf.Tensor 的批次。
  • TensorType.PYTORCH 或 'pt'：返回类型为 torch.Tensor 的批次。
  • TensorType.NUMPY 或 'np'：返回类型为 np.ndarray 的批次。
  • TensorType.JAX 或 'jax'：返回类型为 jax.numpy.ndarray 的批次。
• input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，通道维度格式将从输入图像推断。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
• do_convert_rgb (bool, 可选, 默认为 self.do_convert_rgb) — 是否将图像转换为 RGB。
• patch_size (int, 可选, 默认为 self.patch_size) — 用于处理的补丁大小，与模型中使用的补丁大小相同。
• max_num_patches (int, 可选, 默认为 self.max_num_patches) — 每张图像的最大补丁数，图像将被调整大小以最多包含此数量的补丁。

参数

• images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 要预处理的图像。期望像素值范围为 0 到 255 的单张或批量图像。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
• do_resize (bool, 可选) — 是否调整图像尺寸。
• size (dict[str, int], 可选) — 描述模型的最大输入维度。
• default_to_square (bool, 可选) — 调整大小后，如果尺寸为整数，是否默认为正方形图像。
• resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果调整图像尺寸，要使用的重采样滤镜。可以是枚举类型 PILImageResampling 之一。仅在 do_resize 设置为 True 时有效。
• do_center_crop (bool, 可选) — 是否对图像进行中心裁剪。
• crop_size (dict[str, int], 可选) — 应用 center_crop 后输出图像的尺寸。
• do_rescale (bool, 可选) — 是否缩放图像。
• rescale_factor (Union[int, float, NoneType]) — 如果 do_rescale 设置为 True，用于缩放图像的比例因子。
• do_normalize (bool, 可选) — 是否对图像进行归一化。
• image_mean (Union[float, list[float], NoneType]) — 用于归一化的图像均值。仅在 do_normalize 设置为 True 时有效。
• image_std (Union[float, list[float], NoneType]) — 用于归一化的图像标准差。仅在 do_normalize 设置为 True 时有效。
• do_convert_rgb (bool, 可选) — 是否将图像转换为 RGB。
• return_tensors (str 或 ~utils.generic.TensorType, 可选) — 如果设置为 `pt`，则返回堆叠张量，否则返回张量列表。
• data_format (~image_utils.ChannelDimension, 可选) — 仅支持 ChannelDimension.FIRST。为与慢速处理器兼容而添加。
• input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 输入图像的通道维度格式。如果未设置，通道维度格式将从输入图像推断。可以是以下之一：
  • "channels_first" 或 ChannelDimension.FIRST：图像格式为 (num_channels, height, width)。
  • "channels_last" 或 ChannelDimension.LAST：图像格式为 (height, width, num_channels)。
  • "none" 或 ChannelDimension.NONE：图像格式为 (height, width)。
• device (torch.device, 可选) — 处理图像的设备。如果未设置，设备将从输入图像推断。
• disable_grouping (bool, 可选) — 是否禁用图像按大小分组以单独处理而不是批量处理。如果为 None，则如果图像在 CPU 上，则设置为 True，否则设置为 False。此选择基于经验观察，详情如下：https://github.com/huggingface/transformers/pull/38157
• patch_size (int, 可选, 默认为 16) — 图像将分割成的每个补丁的大小（分辨率）。
• max_num_patches (int, 可选, 默认为 256) — 图像将被调整大小，使其最多包含此数量的补丁，然后在“补丁”维度上进行填充以精确匹配此数量。

• data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
• tensor_type (Union[None, str, TensorType], 可选) — 您可以在此处提供一个`tensor_type`，以便在初始化时将整数列表转换为PyTorch/TensorFlow/Numpy张量。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• pixel_attention_mask (形状为 (batch_size, image_size, image_size) 的 torch.Tensor，可选) — 用于避免对填充像素索引执行注意力操作的掩码。
• spatial_shapes (形状为 (batch_size, 2) 的 torch.LongTensor) — 包含输入图像空间尺寸（高度、宽度）的张量。
• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• return_loss (bool，可选) — 是否返回对比损失。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。

一个 transformers.models.siglip2.modeling_siglip2.Siglip2Output 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含根据配置（Siglip2Config）和输入的不同元素。

• loss (torch.FloatTensor，形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
• logits_per_image (形状为 (image_batch_size, text_batch_size) 的 torch.FloatTensor) — image_embeds 和 text_embeds 之间的缩放点积分数。这表示图像-文本相似性分数。
• logits_per_text (形状为 (text_batch_size, image_batch_size) 的 torch.FloatTensor) — text_embeds 和 image_embeds 之间的缩放点积分数。这表示文本-图像相似性分数。
• text_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor) — 通过将投影层应用于 Siglip2TextModel 的池化输出获得的文本嵌入。
• image_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor) — 通过将投影层应用于 Siglip2VisionModel 的池化输出获得的图像嵌入。
• text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output，默认为 None) — Siglip2TextModel 的输出。
• vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output，默认为 None) — Siglip2VisionModel 的输出。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。

通过将投影层应用于 Siglip2TextModel 的池化输出获得的文本嵌入。

参数

• pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
• pixel_attention_mask (形状为 (batch_size, image_size, image_size) 的 torch.Tensor，可选) — 用于避免对填充像素索引执行注意力操作的掩码。
• spatial_shapes (形状为 (batch_size, 2) 的 torch.LongTensor) — 包含输入图像空间尺寸（高度、宽度）的张量。
• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。

通过将投影层应用于 Siglip2VisionModel 的池化输出获得的图像嵌入。

参数

• input_ids (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于避免对填充标记索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：
  • 1 表示未被掩盖的标记，
  • 0 表示被掩盖的标记。

  什么是注意力掩码？

• position_ids (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
• output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含根据配置（Siglip2Config）和输入的不同元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一个标记（分类标记）的最后一层隐藏状态，经过辅助预训练任务所用层的进一步处理。例如，对于 BERT 系列模型，这会在经过线性层和 tanh 激活函数处理后返回分类标记。线性层权重在预训练期间根据下一个句子预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出一个 + 每个层输出一个）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。详情请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 来处理图像）。
• pixel_attention_mask (torch.Tensor，形状为 (batch_size, image_size, image_size), 可选) — 用于避免在填充像素索引上执行注意力操作的掩码。
• spatial_shapes (torch.LongTensor，形状为 (batch_size, 2)) — 包含输入图像空间维度（高度，宽度）的张量。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量中的 hidden_states。

一个 transformers.modeling_outputs.BaseModelOutputWithPooling 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含根据配置（Siglip2Config）和输入的不同元素。

• last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

• pooler_output (形状为 (batch_size, hidden_size) 的 torch.FloatTensor) — 序列中第一个标记（分类标记）的最后一层隐藏状态，经过辅助预训练任务所用层的进一步处理。例如，对于 BERT 系列模型，这会在经过线性层和 tanh 激活函数处理后返回分类标记。线性层权重在预训练期间根据下一个句子预测（分类）目标进行训练。

• hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（如果模型有嵌入层，则为嵌入层输出一个 + 每个层输出一个）。

  模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

参数

• pixel_values (torch.Tensor，形状为 (batch_size, num_channels, image_size, image_size), 可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。详情请参见 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 来处理图像）。
• pixel_attention_mask (torch.Tensor，形状为 (batch_size, image_size, image_size), 可选) — 用于避免在填充像素索引上执行注意力操作的掩码。
• spatial_shapes (torch.LongTensor，形状为 (batch_size, 2)) — 包含输入图像空间维度（高度，宽度）的张量。
• labels (torch.LongTensor，形状为 (batch_size,), 可选) — 用于计算图像分类/回归损失的标签。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels == 1，则计算回归损失（均方损失）；如果 config.num_labels > 1，则计算分类损失（交叉熵损失）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量中的 hidden_states。

一个 transformers.modeling_outputs.ImageClassifierOutput 或一个 torch.FloatTensor 的元组（如果传入 return_dict=False 或 config.return_dict=False），包含根据配置 (Siglip2Config) 和输入而定的各种元素。

• loss (形状为 (1,) 的 torch.FloatTensor，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits (形状为 (batch_size, config.num_labels) 的 torch.FloatTensor) — 分类（如果 config.num_labels==1，则为回归）分数（SoftMax 之前）。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（如果模型有嵌入层，则包含嵌入层输出，以及每个阶段的输出），形状为 (batch_size, sequence_length, hidden_size)。模型在每个阶段输出处的隐藏状态（也称为特征图）。

• attentions (tuple(torch.FloatTensor), 可选, 当传入 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, patch_size, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。