KOSMOS-2

概述

KOSMOS-2 模型在 Kosmos-2: Grounding Multimodal Large Language Models to the World 中被提出，作者是 Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei。

KOSMOS-2 是一个基于 Transformer 的因果语言模型，它在一个网络规模的、接地的图像-文本对数据集 GRIT 上使用下一个词预测任务进行训练。数据集中边界框的空间坐标被转换为一系列位置标记，这些标记被附加到它们各自的实体文本跨度上（例如，a snowman 后面跟着 <patch_index_0044><patch_index_0863>）。数据格式类似于将图像中的对象区域连接到其在相应标题中的文本跨度的“超链接”。

论文的摘要如下：

我们介绍了 Kosmos-2，一个多模态大型语言模型 (MLLM)，它实现了感知对象描述（例如，边界框）并将文本接地到视觉世界的新功能。具体来说，我们将指称表达式表示为 Markdown 中的链接，即“[文本跨度](边界框)”，其中对象描述是位置标记序列。结合多模态语料库，我们构建了大规模的接地图像-文本对数据（称为 GrIT）来训练模型。除了 MLLM 的现有功能（例如，感知通用模态、遵循指令和执行上下文学习）之外，Kosmos-2 还将接地能力集成到下游应用程序中。我们在广泛的任务上评估了 Kosmos-2，包括 (i) 多模态接地，例如指称表达式理解和短语接地，(ii) 多模态指称，例如指称表达式生成，(iii) 感知-语言任务，以及 (iv) 语言理解和生成。这项工作为具身人工智能的发展奠定了基础，并阐明了语言、多模态感知、动作和世界建模的重大融合，这是迈向通用人工智能的关键一步。代码和预训练模型可在 https://aka.ms/kosmos-2 获取。

KOSMOS-2 可以处理的任务概述。摘自原始论文。

示例

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, Kosmos2ForConditionalGeneration

>>> model = Kosmos2ForConditionalGeneration.from_pretrained("microsoft/kosmos-2-patch14-224")
>>> processor = AutoProcessor.from_pretrained("microsoft/kosmos-2-patch14-224")

>>> url = "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> prompt = "<grounding> An image of"

>>> inputs = processor(text=prompt, images=image, return_tensors="pt")

>>> generated_ids = model.generate(
...     pixel_values=inputs["pixel_values"],
...     input_ids=inputs["input_ids"],
...     attention_mask=inputs["attention_mask"],
...     image_embeds=None,
...     image_embeds_position_mask=inputs["image_embeds_position_mask"],
...     use_cache=True,
...     max_new_tokens=64,
... )
>>> generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> processed_text = processor.post_process_generation(generated_text, cleanup_and_extract=False)
>>> processed_text
'<grounding> An image of<phrase> a snowman</phrase><object><patch_index_0044><patch_index_0863></object> warming himself by<phrase> a fire</phrase><object><patch_index_0005><patch_index_0911></object>.'

>>> caption, entities = processor.post_process_generation(generated_text)
>>> caption
'An image of a snowman warming himself by a fire.'

>>> entities
[('a snowman', (12, 21), [(0.390625, 0.046875, 0.984375, 0.828125)]), ('a fire', (41, 47), [(0.171875, 0.015625, 0.484375, 0.890625)])]

此模型由 Yih-Dar SHIEH 贡献。原始代码可以在这里找到。

Kosmos2Config

class transformers.Kosmos2Config

< source >

( text_config = None vision_config = None latent_query_num = 64 **kwargs )

参数

text_config (dict, 可选) — 用于初始化 Kosmos2TextConfig 的配置选项字典。
vision_config (dict, 可选) — 用于初始化 Kosmos2VisionConfig 的配置选项字典。
latent_query_num (int, 可选, 默认为 64) — 代表文本解码器组件中使用的图像特征的潜在查询标记的数量。
kwargs (可选) — 关键字参数字典。

这是用于存储 Kosmos2Model 配置的配置类。它用于根据指定的参数实例化 KOSMOS-2 模型，定义模型架构。使用默认值实例化配置将产生与 KOSMOS-2 microsoft/kosmos-2-patch14-224 架构类似的配置。

示例

>>> from transformers import Kosmos2Config, Kosmos2Model

>>> # Initializing a Kosmos-2 kosmos-2-patch14-224 style configuration
>>> configuration = Kosmos2Config()

>>> # Initializing a model (with random weights) from the kosmos-2-patch14-224 style configuration
>>> model = Kosmos2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Kosmos2ImageProcessor

Kosmos2Processor

class transformers.Kosmos2Processor

< source >

( image_processor tokenizer num_patch_index_tokens = 1024 *kwargs )

参数

image_processor (CLIPImageProcessor) — CLIPImageProcessor 的一个实例。图像处理器是必需的输入。
tokenizer (XLMRobertaTokenizerFast) — [‘XLMRobertaTokenizerFast`] 的一个实例。分词器是必需的输入。
num_patch_index_tokens (int, 可选，默认为 1024) — 表示补丁索引的 token 数量。

构建一个 KOSMOS-2 处理器，它将 KOSMOS-2 图像处理器和 KOSMOS-2 分词器包装成一个单独的处理器。

Kosmos2Processor 提供了 CLIPImageProcessor 的所有功能以及 XLMRobertaTokenizerFast 的部分功能。有关更多信息，请参阅 call() 和 decode() 的文档字符串。

call

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] = None text: typing.Union[str, typing.List[str]] = None audio = None videos = None **kwargs: typing_extensions.Unpack[transformers.models.kosmos2.processing_kosmos2.Kosmos2ProcessorKwargs] )

参数

bboxes (Union[List[Tuple[int]], List[Tuple[float]], List[List[Tuple[int]]], List[List[Tuple[float]]]], 可选) — 与 texts 关联的边界框 (bboxes)。
num_image_tokens (int, 可选，默认为 64) — 用于标记占位符以存储图像信息的（连续）位置的数量。这应与您使用的 Kosmos2Config 实例中的 latent_query_num 相同。
first_image_token_id (int, 可选) — 将用于保留用于存储图像信息的子序列的第一个位置的 token id。如果未设置，则默认为 self.tokenizer.unk_token_id + 1。
add_eos_token (bool, 默认为 False) — 当 add_special_tokens=True 时，是否在编码中包含 EOS token id。

此方法使用 CLIPImageProcessor.call() 方法为模型准备图像，并使用 XLMRobertaTokenizerFast.call() 为模型准备文本。

有关更多信息，请参阅上述两种方法的文档字符串。

本文档的其余部分显示了特定于 Kosmos2Processor 的参数。

Kosmos2Model

class transformers.Kosmos2Model

< source >

( config: Kosmos2Config )

参数

config (Kosmos2Config) — 具有模型所有参数的模型配置类。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

KOSMOS-2 模型用于生成文本和图像特征。该模型由视觉编码器和语言模型组成。

此模型继承自 PreTrainedModel。查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解与通用用法和行为相关的所有事项。

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = None input_ids: typing.Optional[torch.Tensor] = None image_embeds_position_mask: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None image_embeds: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None interpolate_pos_encoding: bool = False return_dict: typing.Optional[bool] = None ) → transformers.models.kosmos2.modeling_kosmos2.Kosmos2ModelOutput or tuple(torch.FloatTensor)

参数

pixel_values (形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参阅 CLIPImageProcessor.call()。
input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor) — 词汇表中输入序列 token 的索引。如果您提供 padding，则默认情况下会忽略 padding。

索引可以使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
image_embeds_position_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于指示序列中插入图像特征的位置的 Mask。 Mask 值选自 [0, 1]：
- 1 表示放置图像特征的位置，
- 0 表示不用于图像特征的位置（即用于文本 token）。
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 用于避免对 padding token 索引执行 attention 的 Mask。 Mask 值选自 [0, 1]：
- 1 表示 未被屏蔽 的 token，
- 0 表示 被屏蔽 的 token。
什么是 attention mask？
head_mask (形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可选) — 用于 nullify self-attention 模块的选定 head 的 Mask。 Mask 值选自 [0, 1]：
- 1 表示 head 未被屏蔽，
- 0 表示 head 被屏蔽。
past_key_values (长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，其中每个 tuple 具有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的 tensor) — 包含 attention 块的预计算的 key 和 value hidden state。可用于加速解码。

如果使用 past_key_values，则用户可以选择仅输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些没有将其过去的 key value state 提供给此模型的），而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
image_embeds — (形状为 (batch_size, latent_query_num, hidden_size) 的 torch.FloatTensor，可选): Kosmos2ImageToTextProjection 输出端的 hidden state 序列。
inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更好地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。
position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 位置嵌入中每个输入序列 token 的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

什么是位置 ID？
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值 state，并且可以用于加速解码（请参阅 past_key_values）。
output_attentions (bool, 可选) — 是否返回所有 attention 层的 attention tensor。有关更多详细信息，请参阅返回的 tensor 下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的 hidden state。有关更多详细信息，请参阅返回的 tensor 下的 hidden_states。
interpolate_pos_encoding (bool, optional, defaults False) — 是否对预训练的位置编码进行插值。（bool，可选，默认为 False）
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通的元组。（bool，可选）

Returns

transformers.models.kosmos2.modeling_kosmos2.Kosmos2ModelOutput or tuple(torch.FloatTensor)

A transformers.models.kosmos2.modeling_kosmos2.Kosmos2ModelOutput 或 torch.FloatTensor 的元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含取决于配置 (<class 'transformers.models.kosmos2.configuration_kosmos2.Kosmos2Config'>) 和输入的各种元素。

last_hidden_state (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size)) — 模型的最后一层的输出处的隐藏状态序列。（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor）
hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 的元组（对于嵌入的输出，如果模型具有嵌入层，则为一个；对于每个层的输出，则为一个），形状为 (batch_size, sequence_length, hidden_size)。（可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）

模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。
attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。（可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）

注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
image_embeds (torch.FloatTensor of shape (batch_size, latent_query_num, hidden_size), optional) — Kosmos2ImageToTextProjection 输出处的隐藏状态序列。（形状为 (batch_size, latent_query_num, hidden_size) 的 torch.FloatTensor，可选）
projection_attentions (tuple(torch.FloatTensor), optional) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。（可选）

由 Kosmos2ImageToTextProjection 给出的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
vision_model_output(BaseModelOutputWithPooling, optional) — Kosmos2VisionModel 的输出。（可选）
past_key_values (tuple(tuple(torch.FloatTensor)), optional, returned when use_cache=True is passed or when config.use_cache=True) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，其中每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，并且如果 config.is_encoder_decoder=True，则可选地具有 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。（可选，当传递 use_cache=True 或当 config.use_cache=True 时返回）

包含预先计算的隐藏状态（自注意力块中的键和值，以及可选地，如果 config.is_encoder_decoder=True，则在交叉注意力块中），可以用于加速顺序解码（参见 past_key_values 输入）。

Kosmos2Model forward 方法，覆盖了 __call__ 特殊方法。

尽管 forward 传递的配方需要在该函数内定义，但应该在此之后调用 Module 实例，而不是调用此函数，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

Examples

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, Kosmos2Model

>>> model = Kosmos2Model.from_pretrained("microsoft/kosmos-2-patch14-224")
>>> processor = AutoProcessor.from_pretrained("microsoft/kosmos-2-patch14-224")

>>> url = "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> text = (
...     "<grounding> An image of<phrase> a snowman</phrase><object><patch_index_0044><patch_index_0863>"
...     "</object> warming himself by<phrase> a fire</phrase><object><patch_index_0005><patch_index_0911>"
...     "</object>"
... )

>>> inputs = processor(text=text, images=image, return_tensors="pt", add_eos_token=True)

>>> last_hidden_state = model(
...     pixel_values=inputs["pixel_values"],
...     input_ids=inputs["input_ids"],
...     attention_mask=inputs["attention_mask"],
...     image_embeds_position_mask=inputs["image_embeds_position_mask"],
... ).last_hidden_state
>>> list(last_hidden_state.shape)
[1, 91, 2048]

Kosmos2ForConditionalGeneration

class transformers.Kosmos2ForConditionalGeneration

< source >

( config: Kosmos2Config )

参数

config (Kosmos2Config) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。（Kosmos2Config）

KOSMOS-2 模型，用于生成给定图像的文本和边界框。该模型由视觉编码器和语言模型组成。

此模型继承自 PreTrainedModel。查看超类文档，了解库为其所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参阅 PyTorch 文档，了解与通用用法和行为相关的所有事项。

forward

< source >

( pixel_values: typing.Optional[torch.Tensor] = None input_ids: typing.Optional[torch.Tensor] = None image_embeds_position_mask: typing.Optional[torch.Tensor] = None attention_mask: typing.Optional[torch.Tensor] = None head_mask: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None image_embeds: typing.Optional[torch.Tensor] = None inputs_embeds: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.Tensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.kosmos2.modeling_kosmos2.Kosmos2ForConditionalGenerationModelOutput or tuple(torch.FloatTensor)

参数

pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用 AutoImageProcessor 获得。有关详细信息，请参见 CLIPImageProcessor.call()。（形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）
input_ids (torch.LongTensor of shape (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。默认情况下，如果您提供填充，则会忽略填充。

索引可以使用 AutoTokenizer 获得。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 IDs？
image_embeds_position_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 掩码，指示在序列中插入图像特征的位置。掩码值在 [0, 1] 中选择：
- 1 表示放置图像特征的位置，
- 0 表示不用于图像特征的位置（即，用于文本标记）。
（形状为 (batch_size, sequence_length) 的 torch.Tensor，可选）
attention_mask (torch.Tensor of shape (batch_size, sequence_length), optional) — 掩码，用于避免在填充标记索引上执行注意力。掩码值在 [0, 1] 中选择：
- 1 表示未被掩码的标记，
- 0 表示被掩码的标记。
什么是注意力掩码？
（形状为 (batch_size, sequence_length) 的 torch.Tensor，可选）
head_mask (torch.FloatTensor of shape (num_heads,) or (num_layers, num_heads), optional) — 掩码，用于使自注意力模块的选定头无效。掩码值在 [0, 1] 中选择：
- 1 表示头未被掩码，
- 0 表示头被掩码。
（形状为 (num_heads,) 或 (num_layers, num_heads) 的 torch.FloatTensor，可选）
past_key_values (tuple(tuple(torch.FloatTensor)) of length config.n_layers with each tuple having 4 tensors of shape (batch_size, num_heads, sequence_length - 1, embed_size_per_head)) — 包含注意力块的预计算的键和值隐藏状态。可用于加速解码。

如果使用 past_key_values，则用户可以选择仅输入最后的 decoder_input_ids（那些没有将其过去键值状态提供给此模型的），形状为 (batch_size, 1)，而不是所有形状为 (batch_size, sequence_length) 的 decoder_input_ids。
（长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，其中每个元组具有 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量）
image_embeds — (torch.FloatTensor of shape (batch_size, latent_query_num, hidden_size), optional): Kosmos2ImageToTextProjection 输出处的隐藏状态序列。（形状为 (batch_size, latent_query_num, hidden_size) 的 torch.FloatTensor，可选）：
inputs_embeds (torch.FloatTensor of shape (batch_size, sequence_length, hidden_size), optional) — （可选）您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您想比模型的内部嵌入查找矩阵更精细地控制如何将 input_ids 索引转换为关联的向量，这将非常有用。（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）
position_ids (torch.LongTensor of shape (batch_size, sequence_length), optional) — 位置嵌入中每个输入序列标记的位置索引。在范围 [0, config.max_position_embeddings - 1] 中选择。

什么是位置 IDs？
（形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）
use_cache (bool, optional) — 如果设置为 True，则返回 past_key_values 键值状态，并可用于加速解码（请参阅 past_key_values）。（bool，可选）
output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。（bool，可选）
output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。（bool，可选）
interpolate_pos_encoding (bool, optional, defaults False) — 是否对预训练的位置编码进行插值。（bool，可选，默认为 False）
return_dict (bool, optional) — 是否返回 ModelOutput 而不是普通的元组。（bool，可选）
labels (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于计算从左到右语言建模损失（下一个单词预测）的标签。索引应在 [-100, 0, ..., config.vocab_size] 中（请参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 中的标记计算。（形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）

Returns

transformers.models.kosmos2.modeling_kosmos2.Kosmos2ForConditionalGenerationModelOutput or tuple(torch.FloatTensor)

A transformers.models.kosmos2.modeling_kosmos2.Kosmos2ForConditionalGenerationModelOutput 或 torch.FloatTensor 的元组（如果传递 return_dict=False 或当 config.return_dict=False 时），其中包含取决于配置 (<class 'transformers.models.kosmos2.configuration_kosmos2.Kosmos2Config'>) 和输入的各种元素。

loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于预测下一个 token）。
logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（SoftMax 之前每个词汇 token 的分数）。
hidden_states (tuple(torch.FloatTensor), optional, returned when output_hidden_states=True is passed or when config.output_hidden_states=True) — torch.FloatTensor 的元组（对于嵌入的输出，如果模型具有嵌入层，则为一个；对于每个层的输出，则为一个），形状为 (batch_size, sequence_length, hidden_size)。（可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回）

模型在每一层输出以及可选的初始嵌入输出处的隐藏状态。
attentions (tuple(torch.FloatTensor), optional, returned when output_attentions=True is passed or when config.output_attentions=True) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。（可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回）

注意力 softmax 之后的注意力权重，用于计算自注意力头中的加权平均值。
image_embeds (torch.FloatTensor of shape (batch_size, latent_query_num, hidden_size), optional) — Kosmos2ImageToTextProjection 输出处的隐藏状态序列。（形状为 (batch_size, latent_query_num, hidden_size) 的 torch.FloatTensor，可选）
projection_attentions (tuple(torch.FloatTensor), optional) — torch.FloatTensor 的元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。（可选）

由 Kosmos2ImageToTextProjection 给出的注意力权重，在注意力 softmax 之后，用于计算自注意力头中的加权平均值。
vision_model_output(BaseModelOutputWithPooling, optional) — Kosmos2VisionModel 的输出。（可选）
past_key_values (tuple(tuple(torch.FloatTensor)), optional, returned when use_cache=True is passed or when config.use_cache=True) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，其中每个元组具有 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，并且如果 config.is_encoder_decoder=True，则可选地具有 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的附加张量。（可选，当传递 use_cache=True 或当 config.use_cache=True 时返回）

包含预先计算的隐藏状态（自注意力块中的键和值，以及可选地，如果 config.is_encoder_decoder=True，则在交叉注意力块中），可以用于加速顺序解码（参见 past_key_values 输入）。

The Kosmos2ForConditionalGeneration 的 forward 方法，覆盖了 __call__ 特殊方法。

Examples

>>> from PIL import Image
>>> import requests
>>> from transformers import AutoProcessor, Kosmos2ForConditionalGeneration

>>> model = Kosmos2ForConditionalGeneration.from_pretrained("microsoft/kosmos-2-patch14-224")
>>> processor = AutoProcessor.from_pretrained("microsoft/kosmos-2-patch14-224")

>>> url = "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> prompt = "<grounding> An image of"

>>> inputs = processor(text=prompt, images=image, return_tensors="pt")

>>> generated_ids = model.generate(
...     pixel_values=inputs["pixel_values"],
...     input_ids=inputs["input_ids"],
...     attention_mask=inputs["attention_mask"],
...     image_embeds=None,
...     image_embeds_position_mask=inputs["image_embeds_position_mask"],
...     use_cache=True,
...     max_new_tokens=64,
... )
>>> generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> processed_text = processor.post_process_generation(generated_text, cleanup_and_extract=False)
>>> processed_text
'<grounding> An image of<phrase> a snowman</phrase><object><patch_index_0044><patch_index_0863></object> warming himself by<phrase> a fire</phrase><object><patch_index_0005><patch_index_0911></object>.'

>>> caption, entities = processor.post_process_generation(generated_text)
>>> caption
'An image of a snowman warming himself by a fire.'

>>> entities
[('a snowman', (12, 21), [(0.390625, 0.046875, 0.984375, 0.828125)]), ('a fire', (41, 47), [(0.171875, 0.015625, 0.484375, 0.890625)])]

< > 在 GitHub 上更新

Transformers

KOSMOS-2

概述

示例

Kosmos2Config

class transformers.Kosmos2Config

Kosmos2ImageProcessor

Kosmos2Processor

class transformers.Kosmos2Processor

__call__

Kosmos2Model

class transformers.Kosmos2Model

forward

Kosmos2ForConditionalGeneration

class transformers.Kosmos2ForConditionalGeneration

forward

call