Hugging Face 的徽标

Transformers 文档

Fuyu

Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始使用

Fuyu

概述

Fuyu 模型由 ADEPT 创建，由 Rohan Bavishi、Erich Elsen、Curtis Hawthorne、Maxwell Nye、Augustus Odena、Arushi Somani、Sağnak Taşırlar 编写。

作者推出了 Fuyu-8B，一个基于经典 Transformer 架构的解码器专用多模态模型，具有查询和键归一化。添加了一个线性编码器，以从图像输入创建多模态嵌入。

通过将图像标记视为文本标记并使用特殊的图像换行符，模型知道图像行何时结束。图像位置嵌入被移除。这避免了为各种图像分辨率进行不同训练阶段的需要。Fuyu-8B 具有 80 亿个参数，并根据 CC-BY-NC 许可，其以能够处理文本和图像、令人印象深刻的 16K 上下文大小和整体性能而著称。

Fuyu 模型使用 bfloat16 训练，但原始推理使用 float16。上传到中心的检查点使用 torch_dtype = 'float16'，AutoModel API 将使用它将检查点从 torch.float32 转换为 torch.float16。

在线权重的dtype 大多无关紧要，除非你在使用 torch_dtype="auto" 初始化模型时使用 model = AutoModelForCausalLM.from_pretrained("path", torch_dtype = "auto")。原因是模型会首先被下载（使用在线检查点的 dtype），然后会被转换为 torch 的默认 dtype（变成 torch.float32）。用户应该指定他们想要的 torch_dtype，如果没有指定，它将是 torch.float32。

不建议在 float16 中微调模型，并且已知会产生 nan，因此应该在 bfloat16 中微调模型。

提示

  • 要转换模型，你需要使用 git clone https://github.com/persimmon-ai-labs/adept-inference 克隆原始存储库，然后获取检查点。
git clone https://github.com/persimmon-ai-labs/adept-inference
wget path/to/fuyu-8b-model-weights.tar
tar -xvf fuyu-8b-model-weights.tar
python src/transformers/models/fuyu/convert_fuyu_weights_to_hf.py  --input_dir /path/to/downloaded/fuyu/weights/ --output_dir /output/path \
    --pt_model_path /path/to/fuyu_8b_release/iter_0001251/mp_rank_00/model_optim_rng.pt
    --ada_lib_path /path/to/adept-inference

对于聊天模型

wget https://axtkn4xl5cip.objectstorage.us-phoenix-1.oci.customer-oci.com/n/axtkn4xl5cip/b/adept-public-data/o/8b_chat_model_release.tar
tar -xvf 8b_base_model_release.tar

然后，可以通过以下方式加载模型：

from transformers import FuyuConfig, FuyuForCausalLM
model_config = FuyuConfig()
model = FuyuForCausalLM(model_config).from_pretrained('/output/path')

输入需要通过特定的处理器来获得正确的格式。处理器需要图像处理器和分词器。因此，可以通过以下方式加载输入：

from PIL import Image
from transformers import AutoTokenizer
from transformers.models.fuyu.processing_fuyu import FuyuProcessor
from transformers.models.fuyu.image_processing_fuyu import FuyuImageProcessor


tokenizer = AutoTokenizer.from_pretrained('adept-hf-collab/fuyu-8b')
image_processor = FuyuImageProcessor()


processor = FuyuProcessor(image_processor=image_processor, tokenizer=tokenizer)
text_prompt = "Generate a coco-style caption.\\n"

bus_image_url = "https://huggingface.co/datasets/hf-internal-testing/fixtures-captioning/resolve/main/bus.png"
bus_image_pil = Image.open(io.BytesIO(requests.get(bus_image_url).content))
inputs_to_model = processor(images=bus_image_pil, text=text_prompt)

此模型由 Molbap 贡献。原始代码可以在这里找到 这里。

  • Fuyu 使用基于 sentencepiece 的分词器，使用 Unigram 模型。它支持字节回退，这仅在 tokenizers==0.14.0 中的快速分词器中可用。LlamaTokenizer 被使用，因为它是一个围绕 sentencepiece 的标准包装器。

  • 作者建议使用以下提示进行图像字幕：f"Generate a coco-style caption.\\n"

FuyuConfig

class transformers.FuyuConfig

< >

( vocab_size = 262144 hidden_size = 4096 intermediate_size = 16384 num_hidden_layers = 36 num_attention_heads = 64 hidden_act = 'relu2' max_position_embeddings = 16384 image_size = 300 patch_size = 30 num_channels = 3 initializer_range = 0.02 layer_norm_eps = 1e-05 use_cache = True tie_word_embeddings = False rope_theta = 25000.0 rope_scaling = None qk_layernorm = True hidden_dropout = 0.0 attention_dropout = 0.0 partial_rotary_factor = 0.5 pad_token_id = None bos_token_id = 1 eos_token_id = 2 text_config = None **kwargs )

参数

  • vocab_size (int, 可选, 默认值 262144) — Fuyu 模型的词汇量大小。定义调用 FuyuForCausalLM 时传递的 inputs_ids 可以表示的不同标记的数量
  • hidden_size (int, 可选, 默认值 4096) — 隐藏表示的维度。
  • intermediate_size (int, 可选, 默认值 16384) — MLP 表示的维度。
  • num_hidden_layers (int, 可选, 默认值 36) — Transformer 编码器中的隐藏层数量。
  • num_attention_heads (int, 可选, 默认值为 64) — Transformer 编码器中每个注意力层的注意力头数。
  • hidden_act (str 或 function, 可选, 默认值为 "relu2") — 解码器中的非线性激活函数（函数或字符串）。
  • max_position_embeddings (int, 可选, 默认值为 16384) — 该模型可能使用的最大序列长度。
  • image_size (int, 可选, 默认值为 300) — 输入图像大小。
  • patch_size (int, 可选, 默认值为 30) — 输入视觉 Transformer 编码的补丁大小。
  • num_channels (int, 可选, 默认值为 3) — 输入图像的通道数。
  • initializer_range (float, 可选, 默认值为 0.02) — 初始化所有权重矩阵的截断正态初始化的标准差。
  • layer_norm_eps (float, 可选, 默认值为 1e-05) — RMS 归一化层使用的 epsilon。
  • use_cache (bool, 可选, 默认值为 True) — 模型是否应该返回最后键/值注意力（并非所有模型都使用）。 仅在 config.is_decoder=True 时才相关。 是否绑定权重嵌入
  • tie_word_embeddings (bool, 可选, 默认值为 False) — 是否绑定输入和输出嵌入。
  • rope_scaling (Dict, 可选) — 包含 RoPE 嵌入缩放配置的字典。 当前支持两种缩放策略：线性缩放和动态缩放。 它们的缩放因子必须是大于 1 的浮点数。 预期格式为 {"type": 策略名称, "factor": 缩放因子}。 使用此标志时，请不要将 max_position_embeddings 更新为预期的新的最大值。 有关这些缩放策略行为方式的更多信息，请参阅以下线程： https://www.reddit.com/r/LocalFuyu/comments/14mrgpr/dynamically_scaled_rope_further_increases/。 这是一个实验性功能，将来版本可能会出现 API 更改。
  • qk_layernorm (bool, 可选，默认为 True) — 是否在投影隐藏状态后规范化查询和键
  • hidden_dropout (float, 可选，默认为 0.0) — 将 MLP 应用于隐藏状态后的 dropout 比率。
  • attention_dropout (float, 可选，默认为 0.0) — 计算注意力分数后的 dropout 比率。
  • partial_rotary_factor (float, 可选，默认为 0.5) — 将具有旋转嵌入的查询和键的百分比。
  • pad_token_id (int, 可选) — 填充标记的 ID。
  • bos_token_id (int, 可选，默认为 1) — 序列开始标记的 ID。
  • eos_token_id (Union[int, List[int]], 可选，默认为 2) — 序列结束标记的 ID。 或者，使用列表设置多个序列结束标记。
  • text_config (dict, 可选) — 用于初始化 language```Aut 的配置选项字典。

这是用于存储 FuyuForCausalLM 配置的配置类。 它用于根据指定的参数实例化 Fuyu 模型，定义模型架构。 使用默认值实例化配置将产生类似于 adept/fuyu-8b 的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。 阅读 PretrainedConfig 的文档以获取更多信息。

>>> from transformers import FuyuConfig

>>> # Initializing a Fuyu fuyu-7b style configuration
>>> configuration = FuyuConfig()

FuyuForCausalLM

class transformers.FuyuForCausalLM

  • config (FuyuConfig) — 模型配置类，包含模型的所有参数。用配置文件初始化不会加载与模型关联的权重，只会加载配置。查看 from_pretrained() 方法加载模型权重。

Fuyu 模型，在顶部有一个语言建模头，用于根据图像块和文本进行因果语言建模。此模型继承自 PreTrainedModel。查看超类文档以了解库为所有模型实现的通用方法（如下载或保存、调整输入嵌入的大小、修剪头等）。

此模型也是一个 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解所有与一般使用和行为相关的事项。

forward

< >

( input_ids: LongTensor = None image_patches: Tensor = None image_patches_indices: Tensor = None attention_mask: Optional = None position_ids: Optional = None past_key_values: Optional = None inputs_embeds: Optional = None use_cache: Optional = None labels: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None ) → transformers.modeling_outputs.CausalLMOutputWithPast or tuple(torch.FloatTensor)

参数

  • input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。如果您提供填充，默认情况下将忽略填充。

    可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 。

    什么是输入 ID？

  • attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), 可选) — 掩码，用于避免对填充标记索引执行注意力。掩码值选择在 [0, 1] 中：

    • 1 表示未掩码的标记，
    • 0 表示掩码的标记。

    什么是注意力掩码？

    可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call() 。

    如果使用 past_key_values，可以选择仅输入最后一个 decoder_input_ids（参见 past_key_values）。

    如果您想更改填充行为，您应该阅读 modeling_opt._prepare_decoder_attention_mask 并修改为您的需求。有关默认策略的更多信息，请参见 论文 中的图 1。

    • 1 表示头未被掩码，
    • 0 表示头被掩码。
  • image_patches (torch.FloatTensor 形状为 (batch_size, num_total_patches, patch_size_ x patch_size x num_channels), 可选) — 用作连续嵌入的图像块。这些块被展平，然后投影到模型的隐藏大小。
  • image_patches_indices (torch.LongTensor 形状为 (batch_size, num_total_patches + number_of_newline_tokens + number_of_text_tokens, patch_size_ x patch_size x num_channels ), 可选) — 指示在 input_embeds 中插入 image_patches 的位置的索引。
  • position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 位置嵌入中每个输入序列标记位置的索引。 选择范围在 [0, config.n_positions - 1] 之间。

    什么是位置 ID？

  • past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量，以及 2 个形状为 (batch_size, num_heads, encoder_sequence_length, embed_size_per_head) 的额外张量。

    包含预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可以用于（参见 past_key_values 输入）加速顺序解码。

    如果使用 past_key_values，用户可以选择仅输入形状为 (batch_size, 1) 的最后一个 decoder_input_ids（那些没有提供给该模型的过去键值状态），而不是形状为 (batch_size, sequence_length) 的所有 decoder_input_ids。

  • inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。 这在您希望对如何将 input_ids 索引转换为相关向量进行更多控制时非常有用，而不是模型的内部嵌入查找矩阵。
  • use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。 参见返回张量中的 attentions 了解详细信息。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。 参见返回张量中的 hidden_states 了解详细信息。
  • return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
  • labels (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 用于计算掩码语言建模损失的标签。 索引应该在 [0, ..., config.text_config.vocab_size] 或 -100 中（参见 input_ids 文档字符串）。 索引设置为 -100 的标记被忽略（掩码），仅对标签在 [0, ..., config.text_config.vocab_size] 中的标记计算损失。

返回

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithPast 或 torch.FloatTensor 的元组（如果传递 return_dict=False 或 config.return_dict=False），包含取决于配置 (FuyuConfig) 和输入的各种元素。

  • loss (torch.FloatTensor 形状为 (1,), 可选，当提供 labels 时返回) — 语言建模损失（用于下一个标记预测）。

  • logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（每个词汇标记在 SoftMax 之前的分数）。

  • past_key_values (tuple(tuple(torch.FloatTensor)), 可选，当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含 2 个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量。

    包含预先计算的隐藏状态（自注意力块中的键和值），可以用于（参见 past_key_values 输入）加速顺序解码。

  • hidden_states (tuple(torch.FloatTensor), 可选，当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，加上每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

    每个层的输出处的模型隐藏状态加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选，当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

The FuyuForCausalLM forward method, overrides the __call__ special method.

虽然前向传递的配方需要在此函数中定义，但之后应该调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。

示例

>>> from transformers import FuyuProcessor, FuyuForCausalLM
>>> from PIL import Image
>>> import requests

>>> processor = FuyuProcessor.from_pretrained("adept/fuyu-8b")
>>> model = FuyuForCausalLM.from_pretrained("adept/fuyu-8b")

>>> url = "https://huggingface.co/datasets/hf-internal-testing/fixtures-captioning/resolve/main/bus.png"
>>> image = Image.open(requests.get(url, stream=True).raw)
>>> prompt = "Generate a coco-style caption.\n"

>>> inputs = processor(images=image, text=prompt, return_tensors="pt")
>>> outputs = model(**inputs)

>>> generated_ids = model.generate(**inputs, max_new_tokens=7)
>>> generation_text = processor.batch_decode(generated_ids[:, -7:], skip_special_tokens=True)
>>> print(generation_text[0])
A blue bus parked on the side of a road.

FuyuImageProcessor

class transformers.FuyuImageProcessor

< >

( do_resize: bool = True size: Optional = None resample: Resampling = <Resampling.BILINEAR: 2> do_pad: bool = True padding_value: float = 1.0 padding_mode: str = 'constant' do_normalize: bool = True image_mean: Union = 0.5 image_std: Union = 0.5 do_rescale: bool = True rescale_factor: float = 0.00392156862745098 patch_size: Optional = None **kwargs )

参数

  • do_resize (bool, 可选, 默认值 True) — 是否将图像调整为 size。
  • size (Dict[str, int], 可选, 默认值 {"height" -- 1080, "width": 1920}): 指定输出图像大小的字典，格式为 {"height": int, "width": int}。
  • resample (PILImageResampling, 可选, 默认值 Resampling.BILINEAR) — 调整图像大小时使用的 PILImageResampling 过滤器，例如 PILImageResampling.BILINEAR。
  • do_pad (bool, 可选, 默认值 True) — 是否将图像填充为 size。
  • padding_value (float, 可选, 默认值 1.0) — 用于填充图像的值。
  • padding_mode (str, 可选, 默认值 "constant") — 填充图像时使用的填充模式。
  • do_normalize (bool, 可选, 默认值 True) — 是否对图像进行归一化。
  • image_std (float, 可选, 默认为 0.5) — 用于归一化图像的标准差。
  • do_rescale (bool, 可选, 默认为 True) — 是否对图像进行重新缩放。
  • rescale_factor (float, 可选, 默认为 1 / 255) — 用于重新缩放图像的因子。
  • patch_size (Dict[str, int], 可选, 默认为 {"height" -- 30, "width": 30}): 指定补丁大小的字典，格式为 {"height": int, "width": int}。

此类应处理 FuyuForCausalLM 之前的主要图像处理部分。 具体来说，它应处理

  • 处理图像：将一批图像作为输入。 如果图像大小不一致，则根据所需的补丁尺寸调整它们的大小。 图像输出始终为 img_h、img_w 为 (1080, 1920)

    然后，它使用 patchify_image 函数将这些图像拼凑起来。

  • 创建图像输入 ID：对于每个补丁，都会给出一个占位符 ID 来标识这些补丁在标记序列中的位置。 对于大小不一致的图像，每行补丁都以换行 ID 结尾。

  • 图像补丁索引：对于每个图像补丁，代码都会维护一个索引，用于指定在标记流中插入这些补丁的位置。

__call__

 < >

( images **kwargs )

预处理图像或一批图像。

FuyuProcessor

class transformers.FuyuProcessor

 < >

( image_processor tokenizer **kwargs )

参数

构建一个 Fuyu 处理器，它将一个 Fuyu 图像处理器和一个 Llama 分词器包装到一个单独的处理器中。

FuyuProcessor 提供了 FuyuImageProcessor 和 LlamaTokenizerFast 的所有功能。 有关更多信息，请参阅 call() 和 decode()。

__call__

< >

( images: Union = None text: Union = None audio = None videos = None **kwargs: Unpack ) → FuyuBatchEncoding

参数

  • images (PIL.Image.Image, List[PIL.Image.Image]) — 要准备的图像或图像批次。每个图像可以是 PIL 图像、NumPy 数组或 PyTorch 张量。支持通道优先和通道最后格式。
  • text (str, List[str]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预标记的字符串）。如果序列作为字符串列表（预标记）提供，则必须设置is_split_into_words=True（以消除与序列批次的歧义）。

返回

FuyuBatchEncoding

具有以下字段的FuyuBatchEncoding

  • input_ids — 要馈送到模型的标记 ID 张量。当text不为None时返回。
  • image_patches — 图像补丁的张量列表。当images不为None时返回。
  • image_patches_indices — 模型需要插入补丁嵌入的索引张量。
  • attention_mask — 指示模型在return_attention_mask=True时应关注哪些标记的索引列表。

准备一个或多个序列和图像以供模型使用的主要方法。如果text不为None，此方法会将text和kwargs参数转发给LlamaTokenizerFast的call()来编码文本。为了准备图像，如果images不为None，此方法会将images和kwargs参数转发给FuyuImageProcessor的call()。有关更多信息，请参阅上述两种方法的文档字符串。

< > 在 GitHub 上更新

←漏斗变换器 Gemma→