Transformers

加入 Hugging Face 社区

并获得增强的文档体验

在模型、数据集和 Spaces 上协作

通过加速推理获得更快的示例

切换文档主题

开始使用

Mllama

概述

Llama 3.2-Vision 多模态大型语言模型 (LLM) 系列是预训练和指令微调的图像推理生成模型集合，包含 11B 和 90B 两种尺寸（文本 + 图像输入 / 文本输出）。Llama 3.2-Vision 指令微调模型针对视觉识别、图像推理、图像描述以及回答关于图像的通用问题进行了优化。

模型架构： Llama 3.2-Vision 是基于 Llama 3.1 纯文本模型构建的，后者是一个自回归语言模型，它使用了优化的 Transformer 架构。调优版本使用了监督微调 (SFT) 和基于人类反馈的强化学习 (RLHF)，以符合人类对 helpfulness（乐于助人）和 safety（安全）的偏好。为了支持图像识别任务，Llama 3.2-Vision 模型使用了一个单独训练的视觉适配器，该适配器与预训练的 Llama 3.1 语言模型集成。该适配器由一系列交叉注意力层组成，这些层将图像编码器表示馈送到核心 LLM 中。

使用技巧

对于图像+文本和文本输入，请使用 MllamaForConditionalGeneration。
对于纯文本输入，请使用 MllamaForCausalLM 进行生成，以避免加载视觉塔。
每个样本可以包含多张图像，并且样本之间的图像数量可以不同。处理器会将输入填充到跨样本的最大图像数量以及每个图像内的最大瓦片数量。
传递给处理器的文本应包含 "<|image|>" 标记，图像应插入在这些标记的位置。
处理器有其自己的 apply_chat_template 方法，用于将聊天消息转换为可以作为文本传递给处理器的格式。

使用示例

Instruct 模型

import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-11B-Vision-Instruct"
model = MllamaForConditionalGeneration.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained(model_id)

messages = [
    [
        {
            "role": "user", 
            "content": [
                {"type": "image"},
                {"type": "text", "text": "What does the image show?"}
            ]
        }
    ],
]
text = processor.apply_chat_template(messages, add_generation_prompt=True)

url = "https://llava-vl.github.io/static/images/view.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=text, images=image, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=25)
print(processor.decode(output[0]))

基础模型

import requests
import torch
from PIL import Image
from transformers import MllamaForConditionalGeneration, AutoProcessor

model_id = "meta-llama/Llama-3.2-11B-Vision"
model = MllamaForConditionalGeneration.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16)
processor = AutoProcessor.from_pretrained(model_id)

prompt = "<|image|>If I had to write a haiku for this one"
url = "https://llava-vl.github.io/static/images/view.jpg"
raw_image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=raw_image, return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=25)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

Mllama

概述

使用技巧

使用示例

Instruct 模型

基础模型

MllamaConfig

class transformers.MllamaConfig

MllamaProcessor

class transformers.MllamaProcessor

batch_decode

decode

MllamaImageProcessor

class transformers.MllamaImageProcessor

pad

preprocess

resize

MllamaForConditionalGeneration

class transformers.MllamaForConditionalGeneration

forward

MllamaForCausalLM

class transformers.MllamaForCausalLM

forward

MllamaTextModel

class transformers.MllamaTextModel

forward

MllamaForCausalLM

class transformers.MllamaForCausalLM

forward

MllamaVisionModel

class transformers.MllamaVisionModel

forward