VisionTextDualEncoder

概述

`VisionTextDualEncoderModel` 可用于初始化视觉-文本双编码器模型，其中任何预训练的视觉自编码模型作为视觉编码器（例如 ViT、BEiT、DeiT），任何预训练的文本自编码模型作为文本编码器（例如 RoBERTa、BERT）。在视觉和文本编码器之上添加了两个投影层，将输出嵌入投影到共享的潜在空间。投影层是随机初始化的，因此模型应在下游任务上进行微调。该模型可用于使用 CLIP 类似的对比图像-文本训练来对齐视觉-文本嵌入，然后可用于零样本视觉任务，如图像分类或检索。

在 LiT: Zero-Shot Transfer with Locked-image Text Tuning 中展示了如何利用预训练（锁定/冻结）图像和文本模型进行对比学习，从而在新零样本视觉任务（如图像分类或检索）上获得显著改进。

VisionTextDualEncoderConfig

class transformers.VisionTextDualEncoderConfig

< 源文件 >

( projection_dim = 512 logit_scale_init_value = 2.6592 **kwargs )

参数

projection_dim (int, 可选, 默认为 512) — 文本和视觉投影层的维度。
logit_scale_init_value (float, 可选, 默认为 2.6592) — logit_scale 参数的初始值。默认为原始 CLIP 实现的值。
kwargs (可选) — 关键字参数的字典。

`VisionTextDualEncoderConfig` 是用于存储 `VisionTextDualEncoderModel` 配置的配置类。它用于根据指定的参数实例化 `VisionTextDualEncoderModel` 模型，定义文本模型和视觉模型的配置。

配置对象继承自 `PretrainedConfig`，可用于控制模型输出。有关更多信息，请参阅 `PretrainedConfig` 的文档。

示例

>>> from transformers import ViTConfig, BertConfig, VisionTextDualEncoderConfig, VisionTextDualEncoderModel

>>> # Initializing a BERT and ViT configuration
>>> config_vision = ViTConfig()
>>> config_text = BertConfig()

>>> config = VisionTextDualEncoderConfig.from_vision_text_configs(config_vision, config_text, projection_dim=512)

>>> # Initializing a BERT and ViT model (with random weights)
>>> model = VisionTextDualEncoderModel(config=config)

>>> # Accessing the model configuration
>>> config_vision = model.config.vision_config
>>> config_text = model.config.text_config

>>> # Saving the model, including its configuration
>>> model.save_pretrained("vit-bert")

>>> # loading model and config from pretrained folder
>>> vision_text_config = VisionTextDualEncoderConfig.from_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert", config=vision_text_config)

from_vision_text_configs

< 源文件 >

( vision_config: PretrainedConfig text_config: PretrainedConfig **kwargs ) → VisionTextDualEncoderConfig

VisionTextDualEncoderConfig

一个配置对象的实例

从文本模型配置和视觉模型配置实例化 `VisionTextDualEncoderConfig`（或派生类）。

VisionTextDualEncoderProcessor

class transformers.VisionTextDualEncoderProcessor

< 源文件 >

( image_processor = None tokenizer = None **kwargs )

参数

image_processor (`AutoImageProcessor`, 可选) — 图像处理器是必需输入。
tokenizer (`PreTrainedTokenizer`, 可选) — 分词器是必需输入。

构造一个 VisionTextDualEncoder 处理器，它将图像处理器和分词器封装到单个处理器中。

`VisionTextDualEncoderProcessor` 提供了 `AutoImageProcessor` 和 `AutoTokenizer` 的所有功能。有关更多信息，请参阅 __call__() 和 `decode()`。

batch_decode

< 源文件 >

( *args **kwargs )

此方法将其所有参数转发给 VisionTextDualEncoderTokenizer 的 `batch_decode()`。有关更多信息，请参阅此方法的文档字符串。

decode

< 源文件 >

( *args **kwargs )

此方法将其所有参数转发给 VisionTextDualEncoderTokenizer 的 `decode()`。有关更多信息，请参阅此方法的文档字符串。

PyTorch

隐藏 Pytorch 内容

VisionTextDualEncoderModel

class transformers.VisionTextDualEncoderModel

< 源文件 >

( config: typing.Optional[transformers.models.vision_text_dual_encoder.configuration_vision_text_dual_encoder.VisionTextDualEncoderConfig] = None vision_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None text_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None )

参数

config (`VisionTextDualEncoderConfig`, 可选) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查阅 `from_pretrained()` 方法以加载模型权重。
vision_model (~modeling_utils.PreTrainedModel, 可选) — 要使用的视觉模型。
text_model (~modeling_utils.PreTrainedModel, 可选) — 要使用的文本模型。

裸露的视觉文本双编码器模型，输出原始隐藏状态，顶部没有任何特定头部。

此模型继承自 `PreTrainedModel`。有关库为其所有模型实现的一般方法（例如下载或保存、调整输入嵌入大小、修剪头部等），请查阅超类文档。

此模型也是 PyTorch `torch.nn.Module` 子类。将其用作常规 PyTorch 模块，并查阅 PyTorch 文档以了解与一般用法和行为相关的所有事项。

forward

< 源文件 >

( input_ids: typing.Optional[torch.LongTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None return_loss: typing.Optional[bool] = None token_type_ids: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → `transformers.models.clip.modeling_clip.CLIPOutput` 或 `tuple(torch.FloatTensor)`

参数

input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 词汇表中输入序列 token 的索引。默认情况下，填充将被忽略。

索引可以使用 `AutoTokenizer` 获取。有关详细信息，请参阅 `PreTrainedTokenizer.encode()` 和 `PreTrainedTokenizer.__call__()`。

什么是输入 ID？
pixel_values (形状为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor，可选) — 对应于输入图像的张量。像素值可以使用 {image_processor_class} 获取。有关详细信息，请参阅 {image_processor_class}.__call__（{processor_class} 使用 {image_processor_class} 处理图像）。
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于避免对填充 token 索引执行注意力操作的掩码。掩码值选择在 [0, 1] 中：
- 1 表示 未被掩盖 的 token，
- 0 表示 被掩盖 的 token。
什么是注意力掩码？
position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 每个输入序列 token 在位置嵌入中的位置索引。选择范围为 [0, config.n_positions - 1]。

什么是位置 ID？
return_loss (bool, 可选) — 是否返回对比损失。
token_type_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于指示输入的第一部分和第二部分的段落 token 索引。索引选择在 [0, 1] 中：
- 0 对应于 句子 A token，
- 1 对应于 句子 B token。
什么是 token 类型 ID？
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的 hidden_states。
return_dict (bool, 可选) — 是否返回 `ModelOutput` 而不是普通元组。

transformers.models.clip.modeling_clip.CLIPOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.clip.modeling_clip.CLIPOutput 或一个 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素，具体取决于配置 (`VisionTextDualEncoderConfig`) 和输入。

loss (torch.FloatTensor，形状为 (1,), 可选, 当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
logits_per_image (形状为 (image_batch_size, text_batch_size) 的 torch.FloatTensor) — image_embeds 和 text_embeds 之间的缩放点积分数。这表示图像-文本相似度分数。
logits_per_text (形状为 (text_batch_size, image_batch_size) 的 torch.FloatTensor) — text_embeds 和 image_embeds 之间的缩放点积分数。这表示文本-图像相似度分数。
text_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor) — 通过将投影层应用于 `CLIPTextModel` 的池化输出获得的文本嵌入。
image_embeds (形状为 (batch_size, output_dim) 的 torch.FloatTensor) — 通过将投影层应用于 `CLIPVisionModel` 的池化输出获得的图像嵌入。
text_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.text_model_output，默认为 None) — `CLIPTextModel` 的输出。
vision_model_output (<class '~modeling_outputs.BaseModelOutputWithPooling'>.vision_model_output，默认为 None) — `CLIPVisionModel` 的输出。

`VisionTextDualEncoderModel` 前向方法，覆盖 __call__ 特殊方法。

尽管前向传递的实现需要在该函数中定义，但在此之后应该调用 Module 实例，而不是直接调用此函数，因为前者会处理预处理和后处理步骤，而后者会默默忽略它们。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     VisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = VisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="pt", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities

TensorFlow

隐藏 TensorFlow 内容

FlaxVisionTextDualEncoderModel

class transformers.FlaxVisionTextDualEncoderModel

< 源文件 >

( config: VisionTextDualEncoderConfig input_shape: typing.Optional[tuple] = None seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )

参数

config (`VisionTextDualEncoderConfig`) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只加载配置。请查阅 `from_pretrained()` 方法以加载模型权重。
dtype (jax.numpy.dtype, 可选, 默认为 jax.numpy.float32) — 计算的数据类型。可以是 jax.numpy.float32，jax.numpy.float16（在 GPU 上）和 jax.numpy.bfloat16（在 TPU 上）之一。

这可用于在 GPU 或 TPU 上启用混合精度训练或半精度推理。如果指定，所有计算将使用给定的 dtype 进行。

请注意，这仅指定计算的数据类型，不影响模型参数的数据类型。

如果您希望更改模型参数的数据类型，请参阅 `to_fp16()` 和 `to_bf16()`。

此类别可用于初始化视觉-文本双编码器模型，其中任何预训练的视觉自编码模型作为视觉编码器，任何预训练的文本模型作为文本编码器。视觉和文本编码器通过 `from_pretrained()` 方法加载。投影层会自动添加到模型中，并且应在下游任务（如对比图像-文本建模）上进行微调。

此类视觉-文本双编码器模型训练/微调后，可以像任何其他模型一样保存/加载（有关更多信息，请参阅示例）。

此模型继承自 `PreTrainedModel`。有关库为其所有模型实现的一般方法（例如下载或保存、调整输入嵌入大小、修剪头部等），请查阅超类文档。

此模型也是 `flax.linen.Module` 子类。将其用作常规 Flax linen 模块，并查阅 Flax 文档以了解与一般用法和行为相关的所有事项。

最后，此模型支持固有的 JAX 功能，例如

call

< 源文件 >

( input_ids pixel_values attention_mask = None position_ids = None token_type_ids = None params: typing.Optional[dict] = None dropout_rng: <function PRNGKey at 0x7effc7ad3a30> = None train: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → `transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput` 或 `tuple(torch.FloatTensor)`

参数

input_ids (形状为 (batch_size, sequence_length) 的 numpy.ndarray) — 词汇表中输入序列标记的索引。如果提供填充，则默认忽略。

可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。在 [0, 1] 中选择掩码值：
- 1 表示**未掩码**的标记，
- 0 表示**已掩码**的标记。
什么是注意力掩码？
position_ids (形状为 (batch_size, sequence_length) 的 numpy.ndarray, 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

什么是位置 ID？
pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。如果提供填充，则默认忽略。像素值可以通过图像处理器获取（例如，如果使用 ViT 作为编码器，则应使用 AutoImageProcessor）。有关详细信息，请参阅 ViTImageProcessor.call()。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或 tuple(torch.FloatTensor)

一个 transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput 或 torch.FloatTensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (VisionTextDualEncoderConfig) 和输入的不同元素。

logits_per_image:(形状为 (image_batch_size, text_batch_size) 的 jnp.ndarray) — image_embeds 和 text_embeds 之间的缩放点积分数。这表示图像-文本相似度分数。
logits_per_text:(形状为 (text_batch_size, image_batch_size) 的 jnp.ndarray) — text_embeds 和 image_embeds 之间的缩放点积分数。这表示文本-图像相似度分数。
text_embeds(形状为 (batch_size, output_dim) 的 jnp.ndarray) — 通过将投影层应用于 FlaxCLIPTextModel 的池化输出获得的文本嵌入。
image_embeds(形状为 (batch_size, output_dim) 的 jnp.ndarray) — 通过将投影层应用于 FlaxCLIPVisionModel 的池化输出获得的图像嵌入。
text_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPTextModel 的输出。
vision_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPVisionModel 的输出。

FlaxVisionTextDualEncoderModel 的 forward 方法，重写了 __call__ 特殊方法。

示例

>>> from PIL import Image
>>> import requests
>>> import jax
>>> from transformers import (
...     FlaxVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcesor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = FlaxVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
... )
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = FlaxVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = jax.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities

JAX

隐藏 JAX 内容

TFVisionTextDualEncoderModel

class transformers.TFVisionTextDualEncoderModel

< source >

( config: Optional[VisionTextDualEncoderConfig] = None vision_model: Optional[TFPreTrainedModel] = None text_model: Optional[TFPreTrainedModel] = None )

参数

config (VisionEncoderDecoderConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

此类视觉-文本双编码器模型训练/微调后，可以像任何其他模型一样保存/加载（有关更多信息，请参阅示例）。

此模型继承自 TFPreTrainedModel。请查看超类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头等）。

此模型也是 Keras Model 的子类。将其作为常规 Keras 模型使用，并参阅 TF 文档以获取所有与通用用法和行为相关的事项。

调用

< source >

( input_ids: tf.Tensor | None = None pixel_values: tf.Tensor | None = None attention_mask: tf.Tensor | None = None position_ids: tf.Tensor | None = None return_loss: Optional[bool] = None token_type_ids: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tuple(tf.Tensor)

参数

input_ids (形状为 (batch_size, sequence_length) 的 tf.Tensor) — 词汇表中输入序列标记的索引。如果提供填充，则默认忽略。

可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
attention_mask (形状为 (batch_size, sequence_length) 的 tf.Tensor, 可选) — 用于避免对填充标记索引执行注意力的掩码。在 [0, 1] 中选择掩码值：
- 1 表示**未掩码**的标记，
- 0 表示**已掩码**的标记。
什么是注意力掩码？
position_ids (形状为 (batch_size, sequence_length) 的 tf.Tensor, 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.max_position_embeddings - 1] 范围内选择。

什么是位置 ID？
pixel_values (形状为 (batch_size, num_channels, height, width) 的 tf.Tensor) — 像素值。如果提供填充，则默认忽略。像素值可以通过图像处理器获取（例如，如果使用 ViT 作为编码器，则应使用 AutoImageProcessor）。有关详细信息，请参阅 ViTImageProcessor.call()。
return_loss (bool, 可选) — 是否返回对比损失。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。

transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tuple(tf.Tensor)

一个 transformers.models.clip.modeling_tf_clip.TFCLIPOutput 或 tf.Tensor 元组（如果传递 return_dict=False 或当 config.return_dict=False 时），包含取决于配置 (VisionTextDualEncoderConfig) 和输入的不同元素。

loss (tf.Tensor，形状为 (1,)，可选，当 return_loss 为 True 时返回) — 图像-文本相似度的对比损失。
logits_per_image:(形状为 (image_batch_size, text_batch_size) 的 tf.Tensor) — image_embeds 和 text_embeds 之间的缩放点积分数。这表示图像-文本相似度分数。
logits_per_text:(形状为 (text_batch_size, image_batch_size) 的 tf.Tensor) — text_embeds 和 image_embeds 之间的缩放点积分数。这表示文本-图像相似度分数。
text_embeds(形状为 (batch_size, output_dim) 的 tf.Tensor) — 通过将投影层应用于 TFCLIPTextModel 的池化输出获得的文本嵌入。
image_embeds(形状为 (batch_size, output_dim) 的 tf.Tensor) — 通过将投影层应用于 TFCLIPVisionModel 的池化输出获得的图像嵌入。
text_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPTextModel 的输出。
vision_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPVisionModel 的输出。

TFVisionTextDualEncoderModel 的 forward 方法，重写了 __call__ 特殊方法。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     TFVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = TFVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = TFVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = tf.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities

< > 在 GitHub 上更新

Transformers

VisionTextDualEncoder

概述

VisionTextDualEncoderConfig

class transformers.VisionTextDualEncoderConfig

from_vision_text_configs

VisionTextDualEncoderProcessor

class transformers.VisionTextDualEncoderProcessor

batch_decode

decode

VisionTextDualEncoderModel

class transformers.VisionTextDualEncoderModel

forward

FlaxVisionTextDualEncoderModel

class transformers.FlaxVisionTextDualEncoderModel

__call__

TFVisionTextDualEncoderModel

class transformers.TFVisionTextDualEncoderModel

调用

call