Hugging Face 的 LOGO

Transformers 文档

Fuyu

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

该模型于 2023-10-19 贡献给 Hugging Face Transformers。

Fuyu

概述

Fuyu 模型由 ADEPT 创建，作者包括 Rohan Bavishi、Erich Elsen、Curtis Hawthorne、Maxwell Nye、Augustus Odena、Arushi Somani、Sağnak Taşırlar。

作者们推出了 Fuyu-8B，这是一款基于经典 Transformer 架构的仅解码器（decoder-only）多模态模型，具有查询（query）和键（key）归一化。此外还添加了一个线性编码器，用于从图像输入中创建多模态嵌入。

通过将图像 token 视为文本 token，并使用特殊的图像换行符，模型能够获知图像行的结束位置。图像位置嵌入已被移除。这避免了针对不同图像分辨率进行多个训练阶段的需要。Fuyu-8B 拥有 80 亿参数，采用 CC-BY-NC 许可协议，因其同时处理文本和图像的能力、高达 16K 的惊人上下文尺寸以及出色的整体性能而备受关注。

Fuyu 模型是使用 bfloat16 训练的，但原始推理使用的是 float16。上传到 Hub 的 checkpoint 使用了 dtype = 'float16'，AutoModel API 将使用它把 checkpoint 从 torch.float32 转换为 torch.float16。

在线权重的 dtype 通常无关紧要，除非您在初始化模型时使用了 dtype="auto"，例如 model = AutoModelForCausalLM.from_pretrained("path", dtype = "auto")。这是因为模型会先被下载（使用在线 checkpoint 的 dtype），然后被转换为 torch 的默认 dtype（变为 torch.float32，device_map=“auto”）。用户应该指定他们想要的 dtype，如果未指定，将默认为 torch.float32。

不建议在 float16 下对模型进行微调，因为这已知会产生 nan，因此该模型应当在 bfloat16 下进行微调。

技巧

  • 要转换模型，您需要使用 git clone https://github.com/persimmon-ai-labs/adept-inference 克隆原始仓库，然后获取 checkpoint。
git clone https://github.com/persimmon-ai-labs/adept-inference
wget path/to/fuyu-8b-model-weights.tar
tar -xvf fuyu-8b-model-weights.tar
python src/transformers/models/fuyu/convert_fuyu_weights_to_hf.py  --input_dir /path/to/downloaded/fuyu/weights/ --output_dir /output/path \
    --pt_model_path /path/to/fuyu_8b_release/iter_0001251/mp_rank_00/model_optim_rng.pt
    --ada_lib_path /path/to/adept-inference

对于对话（chat）模型

wget https://axtkn4xl5cip.objectstorage.us-phoenix-1.oci.customer-oci.com/n/axtkn4xl5cip/b/adept-public-data/o/8b_chat_model_release.tar
tar -xvf 8b_base_model_release.tar

然后，可以通过以下方式加载模型

from transformers import FuyuConfig, FuyuForCausalLM


model_config = FuyuConfig()
model = FuyuForCausalLM(model_config).from_pretrained('/output/path')

输入需要通过特定的 Processor 处理以获得正确的格式。Processor 需要一个 image_processor 和一个 tokenizer。因此，可以通过以下方式加载输入

from PIL import Image

from transformers import AutoTokenizer
from transformers.models.fuyu.image_processing_fuyu import FuyuImageProcessor
from transformers.models.fuyu.processing_fuyu import FuyuProcessor


tokenizer = AutoTokenizer.from_pretrained('adept-hf-collab/fuyu-8b')
image_processor = FuyuImageProcessor()


processor = FuyuProcessor(image_processor=image_processor, tokenizer=tokenizer)
text_prompt = "Generate a coco-style caption.\\n"

bus_image_url = "https://huggingface.co/datasets/hf-internal-testing/fixtures-captioning/resolve/main/bus.png"
bus_image_pil = Image.open(io.BytesIO(requests.get(bus_image_url).content))
inputs_to_model = processor(images=bus_image_pil, text=text_prompt)

该模型由 Molbap 贡献。原始代码可以在此处找到。

  • Fuyu 使用基于 sentencepiece 且采用 Unigram 模型的分词器（tokenizer）。它支持字节回退（bytefallback），这仅在 tokenizers==0.14.0 的快速分词器（fast tokenizer）中可用。由于 LlamaTokenizer 是围绕 sentencepiece 的标准包装器，因此这里使用了它。

  • 作者建议在进行图像描述（image captioning）时使用以下提示词：f"Generate a coco-style caption.\\n"

FuyuConfig

class transformers.FuyuConfig

< >

( transformers_version: str | None = None architectures: list[str] | None = None output_hidden_states: bool | None = False return_dict: bool | None = True dtype: typing.Union[str, ForwardRef('torch.dtype'), NoneType] = None chunk_size_feed_forward: int = 0 is_encoder_decoder: bool = False id2label: dict[int, str] | dict[str, str] | None = None label2id: dict[str, int] | dict[str, str] | None = None problem_type: typing.Optional[typing.Literal['regression', 'single_label_classification', 'multi_label_classification']] = None vocab_size: int = 262144 hidden_size: int = 4096 intermediate_size: int = 16384 num_hidden_layers: int = 36 num_attention_heads: int = 64 hidden_act: str = 'relu2' max_position_embeddings: int = 16384 image_size: int | None = 300 patch_size: int | None = 30 num_channels: int | None = 3 initializer_range: float = 0.02 layer_norm_eps: float | None = 1e-05 use_cache: bool = True tie_word_embeddings: bool = False rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None qk_layernorm: bool | None = True hidden_dropout: float | int | None = 0.0 attention_dropout: float | int | None = 0.0 pad_token_id: int | None = None bos_token_id: int | None = 1 eos_token_id: int | list[int] | None = 2 image_token_id: int | None = 71011 text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

参数

  • vocab_size (int, 可选, 默认为 262144) — 模型的词表大小。定义了 input_ids 可以表示的不同 token 的数量。
  • hidden_size (int, 可选, 默认为 4096) — 隐藏层表示的维度。
  • intermediate_size (int, 可选, 默认为 16384) — MLP 表示的维度。
  • num_hidden_layers (int, 可选, 默认为 36) — Transformer 解码器中隐藏层的数量。
  • num_attention_heads (int, 可选, 默认为 64) — Transformer 解码器中每个注意力层的注意力头数。
  • hidden_act (str, 可选, 默认为 relu2) — 解码器中的非线性激活函数（函数或字符串）。例如 "gelu"、"relu"、"silu" 等。
  • max_position_embeddings (int, 可选, 默认为 16384) — 该模型可能使用的最大序列长度。
  • image_size (int, 可选, 默认为 300) — 每张图像的大小（分辨率）。
  • patch_size (int, 可选, 默认为 30) — 每个 patch 的大小（分辨率）。
  • num_channels (int, 可选, 默认为 3) — 输入通道的数量。
  • initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • layer_norm_eps (float, 可选, 默认为 1e-05) — 层归一化（layer normalization）层使用的 epsilon 值。
  • use_cache (bool, 可选, 默认为 True) — 模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅在 config.is_decoder=True 或模型是仅解码器的生成模型时才相关。
  • tie_word_embeddings (bool, 可选, 默认为 False) — 是否根据模型的 tied_weights_keys 映射绑定权重嵌入。
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 可选) — 包含 RoPE 嵌入配置参数的字典。该字典应包含 rope_theta 的值，以及（可选的）当您希望在更长的 max_position_embeddings 下使用 RoPE 时用于缩放的参数。
  • qk_layernorm (bool, 可选, 默认为 True) — 是否在注意力中进行查询-键（query-key）归一化。
  • hidden_dropout (Union[float, int], 可选, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
  • attention_dropout (Union[float, int], 可选, 默认为 0.0) — 注意力概率的 dropout 比例。
  • pad_token_id (int, 可选) — 词表中用于填充（padding）的 token id。
  • bos_token_id (int, 可选, 默认为 1) — 词表中用于流开始（beginning-of-stream）的 token id。
  • eos_token_id (Union[int, list[int]], 可选, 默认为 2) — 词表中用于流结束（end-of-stream）的 token id。
  • image_token_id (int, 可选, 默认为 71011) — 用作输入图像占位符的图像 token 索引。
  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], 可选) — 文本骨干网络（text backbone）的配置对象或字典。

这是用于存储 FuyuModel 配置的配置类。它用于根据指定的参数实例化 Fuyu 模型，从而定义模型架构。使用默认参数实例化配置将产生与 adept/fuyu-8b 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。阅读 PreTrainedConfig 的文档以获取更多信息。

示例

>>> from transformers import FuyuConfig

>>> # Initializing a Fuyu fuyu-7b style configuration
>>> configuration = FuyuConfig()

FuyuModel

class transformers.FuyuModel

< >

( config: FuyuConfig )

参数

  • config (FuyuConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。请查看 from_pretrained() 方法来加载模型权重。

Fuyu 模型，由一个视觉骨干网络和一个语言模型组成，不包含语言建模头。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( input_ids: torch.LongTensor | None = None image_patches: torch.Tensor | None = None image_patches_indices: torch.Tensor | None = None attention_mask: torch.Tensor | None = None position_ids: torch.LongTensor | None = None past_key_values: transformers.cache_utils.Cache | None = None inputs_embeds: torch.FloatTensor | None = None use_cache: bool | None = None **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → CausalLMOutputWithPast or tuple(torch.FloatTensor)

参数

  • input_ids (形式为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词表中输入序列 token 的索引。默认情况下将忽略填充（padding）。

    索引可以通过 AutoTokenizer 获取。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.__call__()。

    什么是输入 ID？

  • image_patches (形式为 (batch_size, num_total_patches, patch_size_ x patch_size x num_channels) 的 torch.FloatTensor, 可选) — 用作连续嵌入的图像 patch。这些 patch 会被展平，然后投影到模型的隐藏层大小（hidden size）。
  • image_patches_indices (形式为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 图像 patch 在 input_ids 张量中的索引张量。
  • attention_mask (形式为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免在填充 token 索引上进行注意力的掩码。掩码值选在 [0, 1] 之间：

    • 对于未被掩码的 token，值为 1，
    • 对于被掩码的 token，值为 0。

    什么是注意力掩码？

  • position_ids (形式为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 每个输入序列 token 在位置嵌入中的位置索引。选在 [0, config.n_positions - 1] 范围内。

    什么是位置 ID？

  • past_key_values (~cache_utils.Cache, 可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的前一阶段返回的 past_key_values 组成（当 use_cache=True 或 config.use_cache=True 时）。

    仅允许 Cache 实例作为输入，请参阅我们的 KV 缓存指南。如果没有传入 past_key_values，默认会初始化 DynamicCache。

    模型将输出与输入相同格式的缓存。

    如果使用了 past_key_values，用户应仅输入形状为 (batch_size, unprocessed_length) 的未处理的 input_ids（即那些尚未将其历史键值状态提供给该模型的输入），而不是形状为 (batch_size, sequence_length) 的所有 input_ids。

  • inputs_embeds (形式为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 作为选择，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型内部的嵌入查找矩阵更自主地控制如何将 input_ids 索引转换为相关向量，这将非常有用。
  • use_cache (bool, 可选) — 如果设置为 True，将返回 past_key_values 键值状态，并可用于加速解码（参见 past_key_values）。

返回

CausalLMOutputWithPast or tuple(torch.FloatTensor)

一个 CausalLMOutputWithPast 或 torch.FloatTensor 元组（如果传入了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置（FuyuConfig）和输入的各种元素。

FuyuModel 的前向传播（forward）方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

  • loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

  • logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

  • past_key_values (Cache，*可选*，当传入 use_cache=True 或 config.use_cache=True 时返回) — 这是一个 Cache 实例。欲了解更多细节，请参阅我们的 KV 缓存指南。

    包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

  • hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

gather_continuous_embeddings

< >

( word_embeddings: Tensor continuous_embeddings: list image_patch_input_indices: Tensor )

参数

  • word_embeddings (形式为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor) — 词嵌入张量。
  • continuous_embeddings (形式为 (batch_size, num_patches, hidden_size) 的 torch.FloatTensor) — 连续嵌入张量。列表的长度为批次大小（batch size）。每个条目的形状为 [num_image_embeddings, hidden]，并且对于该批次元素，num_image_embeddings 需要与 image_patch_input_indices 中非负索引的数量相匹配。
  • image_patch_input_indices (形式为 (batch_size, sequence_length) 的 torch.LongTensor) — 图像 patch 在 input_ids 张量中的索引张量。

此函数将 continuous_embeddings 放置在由 image_patch_input_indices 指示的位置处的 word_embeddings 中。不同的批次元素可以具有不同数量的连续嵌入。

get_image_features

< >

( pixel_values: FloatTensor **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → BaseModelOutputWithPooling 或 tuple(torch.FloatTensor)

参数

  • pixel_values (形式为 (batch_size, num_channels, image_size, image_size) 的 torch.FloatTensor) — 对应于输入图像的张量。

返回

BaseModelOutputWithPooling or tuple(torch.FloatTensor)

一个 BaseModelOutputWithPooling 或 torch.FloatTensor 元组（如果传入了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置（FuyuConfig）和输入的各种元素。

  • last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

  • pooler_output (torch.FloatTensor，形状为 (batch_size, hidden_size)) — 序列第一个 token（分类 token）在进一步通过用于辅助预训练任务的层后的最后一个隐藏状态。例如，对于 BERT 系列模型，这会返回经过线性层和 tanh 激活函数处理后的分类 token。线性层的权重是通过预训练期间的下一句预测（分类）目标来训练的。

  • hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

get_placeholder_mask

< >

( input_ids: LongTensor inputs_embeds: FloatTensor image_features: FloatTensor )

从 input_ids 或 inputs_embeds 获取多模态占位符掩码，并检查占位符 token 计数是否等于多模态特征的长度。如果长度不同，则会引发错误。

FuyuForCausalLM

class transformers.FuyuForCausalLM

< >

( config: FuyuConfig )

参数

  • config (FuyuConfig) — 包含模型所有参数的模型配置类。使用配置文件进行初始化不会加载与模型关联的权重，只加载配置。请查看 from_pretrained() 方法来加载模型权重。

Fuyu 模型，顶部带有语言建模头，用于以图像块（image patches）和文本为条件的因果语言建模。

该模型继承自 PreTrainedModel。请查看超类文档以了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头部等）。

此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。

forward

< >

( input_ids: torch.LongTensor | None = None image_patches: torch.Tensor | None = None image_patches_indices: torch.Tensor | None = None attention_mask: torch.Tensor | None = None position_ids: torch.LongTensor | None = None past_key_values: transformers.cache_utils.Cache | None = None inputs_embeds: torch.FloatTensor | None = None use_cache: bool | None = None labels: torch.Tensor | None = None logits_to_keep: int | None = 0 **kwargs: typing_extensions.Unpack[transformers.utils.generic.TransformersKwargs] ) → CausalLMOutputWithPast or tuple(torch.FloatTensor)

参数

  • input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 词表中输入序列标记（tokens）的索引。默认情况下将忽略填充（Padding）。

    可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

    什么是输入 ID？

  • image_patches (形状为 (batch_size, num_total_patches, patch_size_ x patch_size x num_channels) 的 torch.FloatTensor，可选) — 用作连续嵌入的图像块。这些块会被展平，然后投射到模型的隐藏层大小（hidden size）。
  • image_patches_indices (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 图像块在 input_ids 张量中索引的张量。
  • attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor，可选) — 避免对填充标记（padding token）索引执行注意力操作的掩码。掩码值选在 [0, 1] 之间：

    • 1 表示未被屏蔽的标记，
    • 0 表示已被屏蔽的标记。

    什么是注意力掩码？

  • position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 位置嵌入中每个输入序列标记的位置索引。选择范围在 [0, config.n_positions - 1] 内。

    什么是位置 ID？

  • past_key_values (~cache_utils.Cache，可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包含模型在解码的前一个阶段返回的 past_key_values，前提是设置了 use_cache=True 或 config.use_cache=True。

    仅允许将 Cache 实例作为输入，请参阅我们的 键值缓存（KV Cache）指南。如果未传递 past_key_values，默认将初始化 DynamicCache。

    模型输出的缓存格式将与输入的相同。

    如果使用了 past_key_values，用户只需输入形状为 (batch_size, unprocessed_length) 且未处理的 input_ids（即未将其过去键值状态提供给此模型的那些 ID），而无需输入形状为 (batch_size, sequence_length) 的所有 input_ids。

  • inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选) — 可选，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵更自主地控制如何将 input_ids 索引转换为关联向量，则此参数非常有用。
  • use_cache (bool，可选) — 如果设置为 True，将返回 past_key_values 键值状态，并可用于加速解码（参见 past_key_values）。
  • labels (形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选) — 用于计算掩码语言建模损失的标签。索引应该在 [0, ..., config.text_config.vocab_size] 内，或者为 -100（请参阅 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（屏蔽），损失仅针对标签在 [0, ..., config.text_config.vocab_size] 内的标记进行计算。
  • logits_to_keep (int，可选，默认为 0) — 如果是 int，则计算最后 logits_to_keep 个标记的对数几率（logits）。如果为 0，则计算所有 input_ids 的对数几率（特例）。生成时只需要最后一个标记的对数几率，仅针对该标记计算对数几率可以节省显存，这对于长序列或大词表尤其重要。如果是 torch.Tensor，则必须是 1 维的，对应于序列长度维度中要保留的索引。这在使用打包张量格式（批次和序列长度使用单一维度）时非常有用。

返回

CausalLMOutputWithPast or tuple(torch.FloatTensor)

一个 CausalLMOutputWithPast 或 torch.FloatTensor 元组（如果传入了 return_dict=False 或当 config.return_dict=False 时），包含取决于配置（FuyuConfig）和输入的各种元素。

FuyuForCausalLM 的前向传播（forward）方法，重写了 __call__ 特殊方法。

虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用 Module 实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

  • loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。

  • logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。

  • past_key_values (Cache，*可选*，当传入 use_cache=True 或 config.use_cache=True 时返回) — 这是一个 Cache 实例。欲了解更多细节，请参阅我们的 KV 缓存指南。

    包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。

  • hidden_states (tuple(torch.FloatTensor), optional, 当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    模型在每个层输出的隐藏状态以及可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), optional, 当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

示例

>>> from transformers import FuyuProcessor, FuyuForCausalLM
>>> from PIL import Image
>>> import httpx
>>> from io import BytesIO

>>> processor = FuyuProcessor.from_pretrained("adept/fuyu-8b")
>>> model = FuyuForCausalLM.from_pretrained("adept/fuyu-8b")

>>> url = "https://huggingface.co/datasets/hf-internal-testing/fixtures-captioning/resolve/main/bus.png"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> prompt = "Generate a coco-style caption.\n"

>>> inputs = processor(images=image, text=prompt, return_tensors="pt")
>>> outputs = model(**inputs)

>>> generated_ids = model.generate(**inputs, max_new_tokens=7)
>>> generation_text = processor.batch_decode(generated_ids[:, -7:], skip_special_tokens=True)
>>> print(generation_text[0])
A blue bus parked on the side of a road.

FuyuImageProcessor

class transformers.FuyuImageProcessor

< >

( **kwargs: typing_extensions.Unpack[transformers.models.fuyu.image_processing_fuyu.FuyuImagesKwargs] )

参数

  • patch_size (dict[str, *kwargs*, int]，可选，默认为 {"height" -- 30, "width": 30}) — 格式为 {"height": int, "width": int} 的字典，用于指定图像块（patches）的大小。
  • padding_value (float，kwargs，可选，默认为 1.0) — 用于填充图像的值。
  • padding_mode (str，kwargs，可选，默认为 “constant”) — 填充图像时使用的填充模式。
  • **kwargs (ImagesKwargs，可选) — 额外的图像预处理选项。上面列出了特定于模型的关键字参数；请参阅 TypedDict 类以获取支持参数的完整列表。

构建一个 FuyuImageProcessor 图像处理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] *args **kwargs: typing_extensions.Unpack[transformers.processing_utils.ImagesKwargs] ) → ~image_processing_base.BatchFeature

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 要进行预处理的图像。需要单个图像或一批图像，像素值范围在 0 到 255 之间。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
  • return_tensors (str 或 TensorType，可选) — 如果设置为 'pt'，将返回堆叠的张量，否则返回张量列表。
  • **kwargs (ImagesKwargs，可选) — 额外的图像预处理选项。上面列出了特定于模型的关键字参数；请参阅 TypedDict 类以获取支持参数 the complete list of supported arguments。

返回

~image_processing_base.BatchFeature

  • data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
  • tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

FuyuImageProcessorPil

class transformers.FuyuImageProcessorPil

< >

( **kwargs: typing_extensions.Unpack[transformers.models.fuyu.image_processing_pil_fuyu.FuyuImagesKwargs] )

参数

  • patch_size (dict[str, *kwargs*, int]，可选，默认为 {"height" -- 30, "width": 30}): 格式为 {"height": int, "width": int} 的字典，用于指定图像块（patches）的大小。
  • padding_value (float，kwargs，可选，默认为 1.0) — 用于填充图像的值。
  • padding_mode (str，kwargs，可选，默认为 “constant”) — 填充图像时使用的填充模式。
  • **kwargs (ImagesKwargs，可选) — 额外的图像预处理选项。上面列出了特定于模型的关键字参数；请参阅 TypedDict 类以获取支持参数的完整列表。

构建一个 FuyuImageProcessor 图像处理器。

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] *args **kwargs: typing_extensions.Unpack[transformers.processing_utils.ImagesKwargs] ) → ~image_processing_base.BatchFeature

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 要进行预处理的图像。需要单个图像或一批图像，像素值范围在 0 到 255 之间。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
  • return_tensors (str 或 TensorType，可选) — 如果设置为 'pt'，将返回堆叠的张量，否则返回张量列表。
  • **kwargs (ImagesKwargs，可选) — 额外的图像预处理选项。上面列出了特定于模型的关键字参数；请参阅 TypedDict 类以获取支持参数的完整列表。

返回

~image_processing_base.BatchFeature

  • data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
  • tensor_type (Union[None, str, TensorType], optional) — 您可以在此处提供 tensor_type 以在初始化时将整数列表转换为 PyTorch/Numpy 张量。

FuyuProcessor

class transformers.FuyuProcessor

< >

( image_processor tokenizer **kwargs )

参数

  • image_processor (FuyuImageProcessor) — 图像处理器是必需的输入。
  • tokenizer (TokenizersBackend) — 分词器（tokenizer）是必需的输入。

构建一个 FuyuProcessor，将图像处理器和分词器包装到单个处理器中。

FuyuProcessor 提供了 FuyuImageProcessor 和 TokenizersBackend 的所有功能。有关更多信息，请参阅 ~FuyuImageProcessor 和 ~TokenizersBackend。

__call__

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None text: str | list[str] | None = None **kwargs: typing_extensions.Unpack[transformers.models.fuyu.processing_fuyu.FuyuProcessorKwargs] ) → FuyuBatchEncoding

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]，*可选*) — 要进行预处理的图像。需要单个图像或一批图像，像素值范围在 0 到 255 之间。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
  • text (Union[str, list[str]]，*可选*) — 要编码的序列或批次序列。每个序列可以是一个字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True 以避免与批次输入产生混淆。
  • return_tensors (str 或 TensorType，可选) — 如果设置，将返回特定框架的张量。可接受的值为：

    • 'pt': 返回 PyTorch 的 torch.Tensor 对象。
    • 'np': 返回 NumPy 的 np.ndarray 对象。
  • **kwargs (ProcessingKwargs，可选) — 针对每种模态（文本、图像、视频、音频）的附加处理选项。上面列出了特定于模型的参数；请参阅 TypedDict 类以获取支持参数的完整列表。

返回

FuyuBatchEncoding

一个具有以下字段的 FuyuBatchEncoding

  • input_ids — 要输入到模型中的标记（token）ID 的张量。当 text 不为 None 时返回。
  • image_patches — 图像块张量列表。当 images 不为 None 时返回。
  • image_patches_indices — 模型中必须插入图像块嵌入的索引张量。
  • attention_mask — 当 return_attention_mask=True 时，指定模型应关注哪些标记的索引列表。

在 GitHub 上更新

←Funnel Transformer Gemma→
© . This site is unofficial and not affiliated with Hugging Face, Inc.