Transformers 文档

VisionTextDualEncoder

Hugging Face's logo
加入 Hugging Face 社区

并获取增强的文档体验

开始使用

VisionTextDualEncoder

PyTorch TensorFlow Flax FlashAttention SDPA

概述

VisionTextDualEncoderModel 可以用来初始化一个视觉-文本双编码器模型,使用任何预训练的视觉自动编码模型作为视觉编码器 (例如 ViT, BEiT, DeiT) 和任何预训练的文本自动编码模型作为文本编码器 (例如 RoBERTa, BERT)。在视觉和文本编码器的顶部添加了两个投影层,以将输出嵌入投影到共享的潜在空间。投影层是随机初始化的,因此模型应该在下游任务上进行微调。此模型可以用于对齐视觉-文本嵌入,使用类似 CLIP 的对比图像-文本训练,然后可以用于零样本视觉任务,例如图像分类或检索。

LiT: Zero-Shot Transfer with Locked-image Text Tuning 中,展示了如何利用预训练的(锁定/冻结的)图像和文本模型进行对比学习,从而在新出现的零样本视觉任务(如图像分类或检索)中产生显著的改进。

VisionTextDualEncoderConfig

class transformers.VisionTextDualEncoderConfig

< >

( projection_dim = 512 logit_scale_init_value = 2.6592 **kwargs )

参数

  • projection_dim (int, 可选, 默认为 512) — 文本和视觉投影层的维度。
  • logit_scale_init_value (float, 可选, 默认为 2.6592) — logit_scale 参数的初始值。默认值与原始 CLIP 实现中使用的值相同。
  • kwargs (可选) — 关键字参数字典。

VisionTextDualEncoderConfig 是用于存储 VisionTextDualEncoderModel 配置的配置类。它用于根据指定的参数实例化 VisionTextDualEncoderModel 模型,定义文本模型和视觉模型配置。

配置对象继承自 PretrainedConfig,可用于控制模型输出。有关更多信息,请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import ViTConfig, BertConfig, VisionTextDualEncoderConfig, VisionTextDualEncoderModel

>>> # Initializing a BERT and ViT configuration
>>> config_vision = ViTConfig()
>>> config_text = BertConfig()

>>> config = VisionTextDualEncoderConfig.from_vision_text_configs(config_vision, config_text, projection_dim=512)

>>> # Initializing a BERT and ViT model (with random weights)
>>> model = VisionTextDualEncoderModel(config=config)

>>> # Accessing the model configuration
>>> config_vision = model.config.vision_config
>>> config_text = model.config.text_config

>>> # Saving the model, including its configuration
>>> model.save_pretrained("vit-bert")

>>> # loading model and config from pretrained folder
>>> vision_text_config = VisionTextDualEncoderConfig.from_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert", config=vision_text_config)

from_vision_text_configs

< >

( vision_config: PretrainedConfig text_config: PretrainedConfig **kwargs ) VisionTextDualEncoderConfig

返回

VisionTextDualEncoderConfig

配置对象的一个实例

从文本模型配置和视觉模型配置实例化 VisionTextDualEncoderConfig (或派生类)。

VisionTextDualEncoderProcessor

class transformers.VisionTextDualEncoderProcessor

< >

( image_processor = None tokenizer = None **kwargs )

参数

构建一个 VisionTextDualEncoder 处理器,它将图像处理器和标记器包装到单个处理器中。

VisionTextDualEncoderProcessor 提供 AutoImageProcessorAutoTokenizer 的所有功能。 有关更多信息,请参阅 __call__()decode()

batch_decode

< >

( *args **kwargs )

此方法将其所有参数转发到 VisionTextDualEncoderTokenizer 的 batch_decode()。 有关更多信息,请参阅此方法的文档字符串。

decode

< >

( *args **kwargs )

此方法将其所有参数转发到 VisionTextDualEncoderTokenizer 的 decode()。 有关更多信息,请参阅此方法的文档字符串。

Pytorch
隐藏 Pytorch 内容

VisionTextDualEncoderModel

class transformers.VisionTextDualEncoderModel

< >

( config: typing.Optional[transformers.models.vision_text_dual_encoder.configuration_vision_text_dual_encoder.VisionTextDualEncoderConfig] = None vision_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None text_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None )

参数

  • config (VisionEncoderDecoderConfig) — 具有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重,仅加载配置。 查看 from_pretrained() 方法以加载模型权重。

此类可用于初始化视觉-文本双编码器模型,其中任何预训练的视觉自动编码模型作为视觉编码器,任何预训练的文本模型作为文本编码器。 视觉和文本编码器通过 from_pretrained() 方法加载。 投影层会自动添加到模型中,并且应该在下游任务(如对比图像-文本建模)上进行微调。

LiT:使用锁定图像文本调整的零样本迁移 中,展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新兴的零样本视觉任务(如图像分类或检索)上产生显着改进。

在此 Vision-Text-Dual-Encoder 模型经过训练/微调后,可以像任何其他模型一样保存/加载(有关更多信息,请参见示例)。

此模型继承自 PreTrainedModel。 查看超类文档,了解库为所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头等)。

此模型也是 PyTorch torch.nn.Module 子类。 将其用作常规 PyTorch 模块,并查阅 PyTorch 文档,了解与常规用法和行为相关的所有事项。

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None return_loss: typing.Optional[bool] = None token_type_ids: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.models.clip.modeling_clip.CLIPOutput or tuple(torch.FloatTensor)

参数

  • input_ids (torch.LongTensor,形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。 默认情况下,如果您提供填充,则会忽略填充。

    可以使用 AutoTokenizer 获取索引。 有关详细信息,请参见 PreTrainedTokenizer.encode()PreTrainedTokenizer.__call__()

    什么是输入 ID?

  • attention_mask (torch.Tensor,形状为 (batch_size, sequence_length)可选) — 掩码,以避免在填充标记索引上执行注意力机制。 在 [0, 1] 中选择的掩码值:

    • 1 表示未被掩码的标记,
    • 0 表示被掩码的标记。

    什么是注意力掩码?

  • position_ids (torch.LongTensor,形状为 (batch_size, sequence_length)可选) — 位置嵌入中每个输入序列标记的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

    什么是位置 ID?

  • pixel_values (torch.FloatTensor,形状为 (batch_size, num_channels, height, width)) — 像素值。 默认情况下,如果您提供填充,则会忽略填充。 可以使用图像处理器获取像素值(例如,如果您使用 ViT 作为编码器,则应使用 AutoImageProcessor)。 有关详细信息,请参见 ViTImageProcessor.__call__()
  • return_loss (bool可选) — 是否返回对比损失。
  • output_attentions (bool可选) — 是否返回所有注意力层的注意力张量。 有关更多详细信息,请参见返回张量下的 attentions
  • output_hidden_states (bool可选) — 是否返回所有层的隐藏状态。 有关更多详细信息,请参见返回张量下的 hidden_states
  • return_dict (bool可选) — 是否返回 ModelOutput 而不是普通元组。

返回

transformers.models.clip.modeling_clip.CLIPOutputtuple(torch.FloatTensor)

一个 transformers.models.clip.modeling_clip.CLIPOutputtorch.FloatTensor 的元组(如果传递了 return_dict=False 或当 config.return_dict=False 时),包括各种元素,具体取决于配置 (VisionTextDualEncoderConfig) 和输入。

  • loss (torch.FloatTensor,形状为 (1,)可选,当 return_lossTrue 时返回) — 图像-文本相似度的对比损失。
  • logits_per_image (torch.FloatTensor,形状为 (image_batch_size, text_batch_size)) — image_embedstext_embeds 之间缩放的点积分数。 这表示图像-文本相似度得分。
  • logits_per_text (torch.FloatTensor,形状为 (text_batch_size, image_batch_size)) — text_embedsimage_embeds 之间缩放的点积分数。 这表示文本-图像相似度得分。
  • text_embeds (torch.FloatTensor,形状为 (batch_size, output_dim) — 通过将投影层应用于 CLIPTextModel 的池化输出而获得的文本嵌入。
  • image_embeds (torch.FloatTensor,形状为 (batch_size, output_dim) — 通过将投影层应用于 CLIPVisionModel 的池化输出而获得的图像嵌入。
  • text_model_output (BaseModelOutputWithPooling) — CLIPTextModel 的输出。
  • vision_model_output (BaseModelOutputWithPooling) — CLIPVisionModel 的输出。

VisionTextDualEncoderModel forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应在此之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会静默忽略它们。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     VisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = VisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="pt", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the label probabilities
TensorFlow
隐藏 TensorFlow 内容

FlaxVisionTextDualEncoderModel

class transformers.FlaxVisionTextDualEncoderModel

< >

( config: VisionTextDualEncoderConfig input_shape: typing.Optional[typing.Tuple] = None seed: int = 0 dtype: dtype = <class 'jax.numpy.float32'> _do_init: bool = True **kwargs )

参数

  • config (VisionTextDualEncoderConfig) — 具有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重,仅加载配置。 查看 from_pretrained() 方法以加载模型权重。
  • dtype (jax.numpy.dtype, 可选, 默认为 jax.numpy.float32) — 计算的数据类型。 可以是 jax.numpy.float32, jax.numpy.float16 (在 GPU 上) 和 jax.numpy.bfloat16 (在 TPUs 上) 之一。

    这可以用于在 GPU 或 TPUs 上启用混合精度训练或半精度推理。 如果指定,所有计算都将使用给定的 dtype 执行。

    请注意,这仅指定计算的 dtype,不影响模型参数的 dtype。

    如果您希望更改模型参数的 dtype,请参阅 to_fp16()to_bf16()

此类可用于初始化视觉-文本双编码器模型,其中任何预训练的视觉自动编码模型作为视觉编码器,任何预训练的文本模型作为文本编码器。 视觉和文本编码器通过 from_pretrained() 方法加载。 投影层会自动添加到模型中,并且应该在下游任务(如对比图像-文本建模)上进行微调。

LiT:使用锁定图像文本调整的零样本迁移 中,展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新兴的零样本视觉任务(如图像分类或检索)上产生显着改进。

在此 Vision-Text-Dual-Encoder 模型经过训练/微调后,可以像任何其他模型一样保存/加载(有关更多信息,请参见示例)。

此模型继承自 PreTrainedModel。 查看超类文档,了解库为所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头等)。

此模型也是 flax.linen.Module 的子类。 可以像常规的 Flax linen Module 一样使用它,并参考 Flax 文档以了解所有与通用用法和行为相关的内容。

最后,此模型支持 JAX 固有的功能,例如

__call__

< >

( input_ids pixel_values attention_mask = None position_ids = None token_type_ids = None params: dict = None dropout_rng: <function PRNGKey at 0x7f787eb14310> = None train: bool = False output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.models.clip.modeling_flax_clip.FlaxCLIPOutputtuple(torch.FloatTensor)

参数

  • input_ids (形状为 (batch_size, sequence_length)numpy.ndarray) — 词汇表中输入序列 tokens 的索引。 默认情况下,如果您提供 padding,则会被忽略。

    索引可以使用 AutoTokenizer 获得。 有关详细信息,请参阅 PreTrainedTokenizer.encode()PreTrainedTokenizer.call()

    什么是输入 IDs?

  • attention_mask (形状为 (batch_size, sequence_length)torch.Tensor, 可选) — Mask,用于避免在 padding token 索引上执行 attention。 Mask 值在 [0, 1] 中选择:

    • 1 代表 未被 mask 的 tokens,
    • 0 代表 被 mask 的 tokens。

    什么是 attention masks?

  • position_ids (形状为 (batch_size, sequence_length)numpy.ndarray, 可选) — 位置 embeddings 中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

    什么是位置 IDs?

  • pixel_values (形状为 (batch_size, num_channels, height, width)torch.FloatTensor) — 像素值。 默认情况下,如果您提供 padding,则会被忽略。 像素值可以使用图像处理器获得 (例如,如果您使用 ViT 作为编码器,则应使用 AutoImageProcessor)。 有关详细信息,请参阅 ViTImageProcessor.call()
  • output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息,请参见返回的 tensors 下的 attentions
  • output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息,请参见返回的 tensors 下的 hidden_states
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通 tuple。

返回

transformers.models.clip.modeling_flax_clip.FlaxCLIPOutputtuple(torch.FloatTensor)

一个 transformers.models.clip.modeling_flax_clip.FlaxCLIPOutputtorch.FloatTensor 的 tuple (如果传递 return_dict=False 或当 config.return_dict=False 时),包含各种元素,具体取决于配置 (VisionTextDualEncoderConfig) 和输入。

  • logits_per_image:(形状为 (image_batch_size, text_batch_size)jnp.ndarray) — image_embedstext_embeds 之间缩放的点积分数。 这表示图像-文本相似度分数。
  • logits_per_text:(形状为 (text_batch_size, image_batch_size)jnp.ndarray) — text_embedsimage_embeds 之间缩放的点积分数。 这表示文本-图像相似度分数。
  • text_embeds(形状为 (batch_size, output_dim) 的jnp.ndarray) — 通过将 projection layer 应用于 FlaxCLIPTextModel 的 pooled output 获得的文本 embeddings。
  • image_embeds(形状为 (batch_size, output_dim) 的jnp.ndarray) — 通过将 projection layer 应用于 FlaxCLIPVisionModel 的 pooled output 获得的图像 embeddings。
  • text_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPTextModel 的输出。
  • vision_model_output(FlaxBaseModelOutputWithPooling): FlaxCLIPVisionModel 的输出。

FlaxVisionTextDualEncoderModel forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应在此之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会静默忽略它们。

示例

>>> from PIL import Image
>>> import requests
>>> import jax
>>> from transformers import (
...     FlaxVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcesor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = FlaxVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
... )
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = FlaxVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = jax.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities
JAX
隐藏 JAX 内容

TFVisionTextDualEncoderModel

class transformers.TFVisionTextDualEncoderModel

< >

( config: Optional[VisionTextDualEncoderConfig] = None vision_model: Optional[TFPreTrainedModel] = None text_model: Optional[TFPreTrainedModel] = None )

参数

  • config (VisionEncoderDecoderConfig) — 带有模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型关联的权重,仅加载配置。 查看 from_pretrained() 方法以加载模型权重。

此类可用于初始化视觉-文本双编码器模型,其中任何预训练的视觉自动编码模型作为视觉编码器,任何预训练的文本模型作为文本编码器。 视觉和文本编码器通过 from_pretrained() 方法加载。 投影层会自动添加到模型中,并且应该在下游任务(如对比图像-文本建模)上进行微调。

LiT:使用锁定图像文本调整的零样本迁移 中,展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新兴的零样本视觉任务(如图像分类或检索)上产生显着改进。

在此 Vision-Text-Dual-Encoder 模型经过训练/微调后,可以像任何其他模型一样保存/加载(有关更多信息,请参见示例)。

此模型继承自 TFPreTrainedModel。 查看超类文档,了解库为其所有模型实现的通用方法 (例如下载或保存、调整输入 embeddings 大小、剪枝 heads 等)。

此模型也是 Keras Model 的子类。 可以像常规的 Keras Model 一样使用它,并参考 TF 文档以了解所有与通用用法和行为相关的内容。

call

< >

( input_ids: tf.Tensor | None = None pixel_values: tf.Tensor | None = None attention_mask: tf.Tensor | None = None position_ids: tf.Tensor | None = None return_loss: Optional[bool] = None token_type_ids: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) transformers.models.clip.modeling_tf_clip.TFCLIPOutputtuple(tf.Tensor)

参数

  • input_ids (形状为 (batch_size, sequence_length)tf.Tensor) — 词汇表中输入序列 tokens 的索引。 默认情况下,如果您提供 padding,则会被忽略。

    索引可以使用 AutoTokenizer 获得。 有关详细信息,请参阅 PreTrainedTokenizer.encode()PreTrainedTokenizer.call()

    什么是输入 IDs?

  • attention_mask (形状为 (batch_size, sequence_length)tf.Tensor, 可选) — Mask,用于避免在 padding token 索引上执行 attention。 Mask 值在 [0, 1] 中选择:

    • 1 代表 未被 mask 的 tokens,
    • 0 代表 被 mask 的 tokens。

    什么是 attention masks?

  • position_ids (形状为 (batch_size, sequence_length)tf.Tensor, 可选) — 位置 embeddings 中每个输入序列 tokens 的位置索引。 在范围 [0, config.max_position_embeddings - 1] 中选择。

    什么是位置 IDs?

  • pixel_values (形状为 (batch_size, num_channels, height, width)tf.Tensor) — 像素值。 默认情况下,如果您提供 padding,则会被忽略。 像素值可以使用图像处理器获得 (例如,如果您使用 ViT 作为编码器,则应使用 AutoImageProcessor)。 有关详细信息,请参阅 ViTImageProcessor.call()
  • return_loss (bool, 可选) — 是否返回对比损失。
  • output_attentions (bool, 可选) — 是否返回所有 attention 层的 attentions tensors。 有关更多详细信息,请参见返回的 tensors 下的 attentions
  • output_hidden_states (bool, 可选) — 是否返回所有层的 hidden states。 有关更多详细信息,请参见返回的 tensors 下的 hidden_states
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通 tuple。

返回

transformers.models.clip.modeling_tf_clip.TFCLIPOutputtuple(tf.Tensor)

一个 transformers.models.clip.modeling_tf_clip.TFCLIPOutputtf.Tensor 的 tuple (如果传递 return_dict=False 或当 config.return_dict=False 时),包含各种元素,具体取决于配置 (VisionTextDualEncoderConfig) 和输入。

  • loss (形状为 (1,)tf.Tensor, 可选, 当 return_lossTrue 时返回) — 图像-文本相似度的对比损失。
  • logits_per_image:(形状为 (image_batch_size, text_batch_size)tf.Tensor) — image_embedstext_embeds 之间缩放的点积分数。 这表示图像-文本相似度分数。
  • logits_per_text:(形状为 (text_batch_size, image_batch_size)tf.Tensor) — text_embedsimage_embeds 之间缩放的点积分数。 这表示文本-图像相似度分数。
  • text_embeds(形状为 (batch_size, output_dim) 的tf.Tensor) — 通过将 projection layer 应用于 TFCLIPTextModel 的 pooled output 获得的文本 embeddings。
  • image_embeds(形状为 (batch_size, output_dim) 的tf.Tensor) — 通过将 projection layer 应用于 TFCLIPVisionModel 的 pooled output 获得的图像 embeddings。
  • text_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPTextModel 的输出。
  • vision_model_output(~modeling_tf_utils.TFBaseModelOutputWithPooling): TFCLIPVisionModel 的输出。

TFVisionTextDualEncoderModel forward 方法,覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义,但应在此之后调用 Module 实例而不是此函数,因为前者负责运行预处理和后处理步骤,而后者会静默忽略它们。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import (
...     TFVisionTextDualEncoderModel,
...     VisionTextDualEncoderProcessor,
...     AutoImageProcessor,
...     AutoTokenizer,
... )

>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = TFVisionTextDualEncoderModel.from_vision_text_pretrained(
...     "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )

>>> # contrastive training
>>> urls = [
...     "http://images.cocodataset.org/val2017/000000039769.jpg",
...     "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
...     input_ids=inputs.input_ids,
...     attention_mask=inputs.attention_mask,
...     pixel_values=inputs.pixel_values,
...     return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image  # this is the image-text similarity score

>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = TFVisionTextDualEncoderModel.from_pretrained("vit-bert")

>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
>>> probs = tf.nn.softmax(logits_per_image, axis=1)  # we can take the softmax to get the label probabilities
< > 更新 在 GitHub 上