Phi4 多模态

概述

Phi4 多模态是一个轻量级开放多模态基础模型，它利用了 Phi-3.5 和 4.0 模型所使用的语言、视觉和语音研究及数据集。该模型处理文本、图像和音频输入，生成文本输出，并具有 128K 令牌上下文长度。该模型经过了增强过程，结合了监督微调、直接偏好优化和 RLHF（基于人类反馈的强化学习），以支持精确的指令遵循和安全措施。每种模态支持的语言如下：

文本：阿拉伯语、中文、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、德语、希伯来语、匈牙利语、意大利语、日语、韩语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、瑞典语、泰语、土耳其语、乌克兰语
视觉：英语
音频：英语、中文、德语、法语、意大利语、日语、西班牙语、葡萄牙语

该模型由 Cyril Vallez 贡献。最新代码可在此处找到。

使用技巧

Phi4-multimodal-instruct 可以在 Huggingface Hub 上找到

接下来，我们将演示如何根据输入模态（文本、图像、音频）进行推理。

import torch
from transformers import AutoModelForCausalLM, AutoProcessor, GenerationConfig


# Define model path
model_path = "microsoft/Phi-4-multimodal-instruct"
device = "cuda:0"

# Load model and processor
processor = AutoProcessor.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device,  torch_dtype=torch.float16)

# Optional: load the adapters (note that without them, the base model will very likely not work well)
model.load_adapter(model_path, adapter_name="speech", device_map=device, adapter_kwargs={"subfolder": 'speech-lora'})
model.load_adapter(model_path, adapter_name="vision", device_map=device, adapter_kwargs={"subfolder": 'vision-lora'})

# Part : Image Processing
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]

model.set_adapter("vision") # if loaded, activate the vision adapter
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)

# Generate response
generate_ids = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
)
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(f'>>> Response\n{response}')


# Part 2: Audio Processing
model.set_adapter("speech") # if loaded, activate the speech adapter
audio_url = "https://upload.wikimedia.org/wikipedia/commons/b/b0/Barbara_Sahakian_BBC_Radio4_The_Life_Scientific_29_May_2012_b01j5j24.flac"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "url": audio_url},
            {"type": "text", "text": "Transcribe the audio to text, and then translate the audio to French. Use <sep> as a separator between the origina transcript and the translation."},
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)

generate_ids = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
)
generate_ids = generate_ids[:, inputs['input_ids'].shape[1]:]
response = processor.batch_decode(
    generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(f'>>> Response\n{response}')

Phi4MultimodalFeatureExtractor

class transformers.Phi4MultimodalFeatureExtractor

< 来源 >

( feature_size: int = 80 sampling_rate: int = 16000 hop_length: int = 160 n_fft: int = 512 win_length: int = 400 preemphasis: float = 0.97 padding_value: float = 0.0 audio_compression_rate: int = 8 audio_downsample_rate: int = 1 audio_feat_stride: int = 1 mel_min_frequency: float = 0 mel_max_frequency: float = 7690 **kwargs )

Phi4MultimodalImageProcessorFast

class transformers.Phi4MultimodalImageProcessorFast

< 来源 >

( **kwargs: typing_extensions.Unpack[transformers.models.phi4_multimodal.image_processing_phi4_multimodal_fast.Phi4MultimodalFastImageProcessorKwargs] )

构造一个快速的 Phi4 多模态图像处理器。

pad_to_max_num_crops

< 来源 >

( images max_crops = 5 )

图像：B x 3 x H x W，B <= 最大裁剪数

预处理

< 来源 >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']] **kwargs: typing_extensions.Unpack[transformers.models.phi4_multimodal.image_processing_phi4_multimodal_fast.Phi4MultimodalFastImageProcessorKwargs] ) → <class 'transformers.image_processing_base.BatchFeature'>

参数

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]) — 要预处理的图像。期望单个或批次图像，像素值范围为 0 到 255。如果传入像素值在 0 到 1 之间的图像，请设置 do_rescale=False。
do_resize (bool, 可选) — 是否调整图像大小。
size (dict[str, int], 可选) — 描述模型最大输入维度。
default_to_square (bool, 可选) — 如果大小为整数，调整图像大小是否默认为正方形。
resample (Union[PILImageResampling, F.InterpolationMode, NoneType]) — 如果调整图像大小，要使用的重采样过滤器。这可以是枚举 PILImageResampling 之一。仅在 do_resize 设置为 True 时有效。
do_center_crop (bool, 可选) — 是否中心裁剪图像。
crop_size (dict[str, int], 可选) — 应用 center_crop 后输出图像的大小。
do_rescale (bool, 可选) — 是否重新缩放图像。
rescale_factor (Union[int, float, NoneType]) — 如果 do_rescale 设置为 True，用于重新缩放图像的缩放因子。
do_normalize (bool, 可选) — 是否对图像进行归一化。
image_mean (Union[float, list[float], NoneType]) — 用于归一化的图像平均值。仅在 do_normalize 设置为 True 时有效。
image_std (Union[float, list[float], NoneType]) — 用于归一化的图像标准差。仅在 do_normalize 设置为 True 时有效。
do_convert_rgb (bool, 可选) — 是否将图像转换为 RGB。
return_tensors (Union[str, ~utils.generic.TensorType, NoneType]) — 如果设置为 `pt`，则返回堆叠张量，否则返回张量列表。
data_format (~image_utils.ChannelDimension, 可选) — 仅支持 ChannelDimension.FIRST。为与慢速处理器兼容而添加。
input_data_format (Union[str, ~image_utils.ChannelDimension, NoneType]) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
- "channels_first" 或 ChannelDimension.FIRST：图像为 (num_channels, height, width) 格式。
- "channels_last" 或 ChannelDimension.LAST：图像为 (height, width, num_channels) 格式。
- "none" 或 ChannelDimension.NONE：图像为 (height, width) 格式。
device (torch.device, 可选) — 处理图像的设备。如果未设置，则从输入图像推断设备。
disable_grouping (bool, 可选) — 是否禁用按大小分组图像以单独而不是批量处理它们。如果为 None，则如果图像在 CPU 上，则设置为 True，否则设置为 False。此选择基于经验观察，详情请参阅：https://github.com/huggingface/transformers/pull/38157
patch_size (int, 可选) — 补丁大小。
dynamic_hd (int, 可选) — 每张图像的最大裁剪数。

<class 'transformers.image_processing_base.BatchFeature'>

data (dict) — 由 call 方法返回的列表/数组/张量字典（“pixel_values”等）。
tensor_type (Union[None, str, TensorType], 可选) — 您可以在此处提供一个`tensor_type`，以便在初始化时将整数列表转换为PyTorch/TensorFlow/Numpy张量。

Phi4MultimodalProcessor

class transformers.Phi4MultimodalProcessor

< 来源 >

( image_processor audio_processor tokenizer **kwargs )

参数

image_processor (Phi4MultimodalImageProcessorFast) — 用于图像的图像处理器。
audio_processor (Phi4MultimodalFeatureExtractor) — 用于音频输入的音频处理器。
tokenizer (GPT2TokenizerFast) — 用于文本的分词器。
fake_image_token_pattern (str, 可选, 默认为 r"<\|image_\d+\|>") — 伪图像令牌模式。
fake_audio_token_pattern (str, 可选, 默认为 r"<\|audio_\d+\|>") — 伪音频令牌模式。

构造一个 Phi4Multimodal 处理器，它将图像处理器、音频处理器和 GPT 分词器封装到一个单一处理器中。

Phi4MultimodalProcessor 提供了 Phi4MultimodalImageProcessorFast 和 GPT2Tokenizer 的所有功能。有关更多信息，请参见 __call__() 和 decode()。

batch_decode

< source >

( *args **kwargs )

此方法将其所有参数转发给 GPT2Tokenizer 的 batch_decode()。有关此方法的更多信息，请参阅其文档字符串。

解码

< source >

( *args **kwargs )

此方法将其所有参数转发给 GPT2Tokenizer 的 decode()。有关此方法的更多信息，请参阅其文档字符串。

Phi4MultimodalAudioConfig

class transformers.Phi4MultimodalAudioConfig

< source >

( hidden_size: int = 1024 intermediate_size: int = 1536 num_blocks: int = 24 num_attention_heads: int = 16 activation: str = 'swish' chunk_size: int = -1 left_chunk: int = 18 dropout_rate: float = 0.0 ext_pw_out_channel: int = 1024 depthwise_seperable_out_channel: int = 1024 depthwise_multiplier: int = 1 kernel_size: int = 3 conv_activation: str = 'swish' input_size: int = 80 conv_glu_type: str = 'swish' time_reduction: int = 8 bias_max_distance: int = 1000 bias_symmetric: bool = False nemo_activation: str = 'relu' nemo_conv_channels: int = 1024 downsample_rate: int = 1 initializer_range: float = 0.02 audio_token_id: int = 200011 feature_layer: int = -2 **kwargs )

参数

hidden_size (int, 可选, 默认为 1024) — 编码器层的维度。
intermediate_size (int, 可选, 默认为 1536) — Transformer 编码器中“中间”（即前馈）层的维度。
num_blocks (int, 可选, 默认为 24) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数量。
activation (str, 可选, 默认为 "swish") — MLP 中的非线性激活函数。
chunk_size (int, 可选, 默认为 -1) — 创建掩码的块大小。
left_chunk (int, 可选, 默认为 18) — 创建掩码的左侧块。
dropout_rate (float, 可选, 默认为 0.0) — Dropout 比率。
ext_pw_out_channel (int, 可选, 默认为 1024) — 点式卷积模块中的输出通道数。
depthwise_seperable_out_channel (int, 可选, 默认为 1024) — 深度可分离卷积模块中的输出通道数。
depthwise_multiplier (int, 可选, 默认为 1) — 深度可分离卷积模块的输入大小乘数。
kernel_size (int, 可选, 默认为 3) — 深度可分离卷积模块的核大小。
conv_activation (str, 可选, 默认为 "swish") — 卷积模块中的非线性激活函数。
input_size (int, 可选, 默认为 80) — 音频模型的输入大小。
conv_glu_type (str, 可选, 默认为 "swish") — 点式卷积模块中的非线性激活函数。
time_reduction (int, 可选, 默认为 8) — 时间缩减（下采样因子）。
bias_max_distance (int, 可选, 默认为 1000) — 相对注意力偏差模块的最大距离。
bias_symmetric (bool, 可选, 默认为 False) — 相对注意力偏差是否应该对称。
nemo_activation (str, 可选, 默认为 "relu") — nemo 卷积模块中的非线性激活函数。
nemo_conv_channels (int, 可选, 默认为 1024) — nemo 卷积模块中的通道数。
downsample_rate (int, 可选, 默认为 1) — 音频特征提取器的下采样率。
initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
audio_token_id (int, 可选, 默认为 200011) — 音频标记 ID。
feature_layer (int, 可选, 默认为 -2) — 从编码器中提取音频特征的层索引。

这是用于存储 Phi4MultimodalAudioModel 配置的配置类。它用于根据指定的参数实例化 Phi4Multimodal 音频编码器，定义模型架构。使用默认值实例化配置将生成与 microsoft/Phi-4-multimodal-instruct 架构的音频编码器相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import Phi4MultimodalAudioConfig

>>> # Initializing a Phi4MultimodalAudioConfig with microsoft/Phi-4-multimodal-instruct style configuration
>>> configuration = Phi4MultimodalAudioConfig()

Phi4MultimodalVisionConfig

class transformers.Phi4MultimodalVisionConfig

< source >

( hidden_size = 1152 intermediate_size = 4304 num_hidden_layers = 27 num_attention_heads = 16 num_channels = 3 image_size = 448 patch_size = 14 hidden_act = 'gelu_pytorch_tanh' layer_norm_eps = 1e-06 attention_dropout = 0.0 crop_size: int = 448 image_token_id: int = 200010 feature_layer: int = -2 **kwargs )

参数

hidden_size (int, 可选, 默认为 1152) — 编码器层和池化器层的维度。
intermediate_size (int, 可选, 默认为 4304) — Transformer 编码器中“中间”（即前馈）层的维度。
num_hidden_layers (int, 可选, 默认为 27) — Transformer 编码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 16) — Transformer 编码器中每个注意力层的注意力头数量。
num_channels (int, 可选, 默认为 3) — 输入图像中的通道数。
image_size (int, 可选, 默认为 448) — 每张图像的大小（分辨率）。
patch_size (int, 可选, 默认为 14) — 每个补丁的大小（分辨率）。
hidden_act (str 或 function, 可选, 默认为 "gelu_pytorch_tanh") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu", "relu", "selu" 和 "gelu_new" "quick_gelu"。
layer_norm_eps (float, 可选, 默认为 1e-06) — 层归一化层使用的 epsilon。
attention_dropout (float, 可选, 默认为 0.0) — 注意力概率的 dropout 比率。
crop_size (int, 可选, 默认为 448) — 输入图像的裁剪大小。
image_token_id (int, 可选, 默认为 200010) — 图像标记 ID。
feature_layer (int, 可选, 默认为 -2) — 从编码器中提取图像特征的层索引。

这是用于存储 Phi4MultimodalVisionModel 配置的配置类。它用于根据指定的参数实例化 Phi4Multimodal 视觉编码器，定义模型架构。使用默认值实例化配置将生成与 microsoft/Phi-4-multimodal-instruct 架构的视觉编码器相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import Phi4MultimodalVisionConfig

>>> # Initializing a Phi4MultimodalVisionConfig with microsoft/Phi-4-multimodal-instruct style configuration
>>> configuration = Phi4MultimodalVisionConfig()

Phi4MultimodalConfig

class transformers.Phi4MultimodalConfig

< source >

( vocab_size = 200064 hidden_size = 3072 intermediate_size = 8192 num_hidden_layers = 32 num_attention_heads = 32 num_key_value_heads = 8 resid_pdrop = 0.0 embd_pdrop = 0.0 attention_dropout = 0.0 hidden_act = 'silu' max_position_embeddings = 131072 initializer_range = 0.02 rms_norm_eps = 1e-05 use_cache = True tie_word_embeddings = False rope_theta = 10000.0 rope_scaling = None partial_rotary_factor = 1 bos_token_id = 199999 eos_token_id = [199999, 200020] pad_token_id = 199999 original_max_position_embeddings = 4096 sliding_window = None vision_config = None audio_config = None **kwargs )

参数

vocab_size (int, 可选, 默认为 200064) — Phi-3 模型的词汇量。定义了调用 Phi3Model 时可以通过 inputs_ids 表示的不同标记的数量。
hidden_size (int, 可选, 默认为 3072) — 隐藏表示的维度。
intermediate_size (int, 可选, 默认为 8192) — MLP 表示的维度。
num_hidden_layers (int, 可选, 默认为 32) — Transformer 解码器中的隐藏层数量。
num_attention_heads (int, 可选, 默认为 32) — Transformer 解码器中每个注意力层的注意力头数量。
num_key_value_heads (int, 可选, 默认为 8) — 用于实现分组查询注意力（Grouped Query Attention）的 key_value 头数量。如果 num_key_value_heads=num_attention_heads，模型将使用多头注意力（MHA），如果 num_key_value_heads=1，模型将使用多查询注意力（MQA），否则使用 GQA。将多头检查点转换为 GQA 检查点时，每个组的 key 和 value 头应该通过对该组内所有原始头进行均值池化来构建。有关更多详细信息，请查看这篇论文。如果未指定，将默认为 num_attention_heads。
resid_pdrop (float, 可选, 默认为 0.0) — MLP 输出的 dropout 概率。
embd_pdrop (int, 可选, 默认为 0.0) — 嵌入的 dropout 比率。
attention_dropout (float, 可选, 默认为 0.0) — 计算注意力分数后的 dropout 比率。
hidden_act (str 或 function, 可选, 默认为 "silu") — 解码器中的非线性激活函数（函数或字符串）。
max_position_embeddings (int, 可选, 默认为 131072) — 此模型可能使用的最大序列长度。
initializer_range (float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的截断正态分布初始化器的标准差。
rms_norm_eps (float, optional, 默认为 1e-05) — 用于 RMSNorm 的 epsilon 值。
use_cache (bool, optional, 默认为 True) — 模型是否应返回最后一个键/值注意力（并非所有模型都使用）。仅当 config.is_decoder=True 时才相关。是否绑定权重嵌入。
tie_word_embeddings (bool, optional, 默认为 False) — 是否绑定权重嵌入
rope_theta (float, optional, 默认为 10000.0) — RoPE 嵌入的基础周期。
rope_scaling (dict, optional) — RoPE 嵌入的缩放策略。如果为 None，则不应用缩放。如果为字典，则必须包含以下键：type、short_factor 和 long_factor。type 必须为 longrope，且 short_factor 和 long_factor 必须是数字列表，其长度与隐藏层大小除以注意力头数再除以 2 相同。
partial_rotary_factor (float, optional, 默认为 1.0) — 将进行旋转嵌入的查询和键的百分比。必须介于 0.0 和 1.0 之间。
bos_token_id (int, optional, 默认为 199999) — “序列开始”标记的 ID。
eos_token_id (int 或 list[int], optional, 默认为 [199999, 200020]) — “序列结束”标记的 ID。
pad_token_id (int, optional, 默认为 199999) — 填充标记的 ID。
original_max_position_embeddings (int, optional, 默认为 4096) — 此模型训练时使用的最大序列长度。当使用长缩放时，这用于确定原始 RoPE 嵌入的大小。
sliding_window (int, optional) — 滑动窗口注意力窗口大小。如果为 None，则不应用滑动窗口。
vision_config (Phi4MultimodalVisionConfig 或 dict, optional) — 底层图像嵌入模型的视觉配置。如果未提供，将默认为用于实例化与 microsoft/Phi-4-multimodal-instruct 架构相似的模型时使用的配置。
audio_config (Phi4MultimodalAudioConfig 或 dict, optional) — 底层音频嵌入模型的音频配置。如果未提供，将默认为用于实例化与 microsoft/Phi-4-multimodal-instruct 架构相似的模型时使用的配置。

这是用于存储 Phi4MultimodalModel 配置的配置类。它用于根据指定参数实例化 Phi4Multimodal 模型，定义模型架构。使用默认值实例化配置将产生与 microsoft/Phi-4-multimodal-instruct 架构相似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PretrainedConfig 的文档。

示例

>>> from transformers import Phi4MultimodalModel, Phi4MultimodalConfig

>>> # Initializing a Phi4Multimodal style configuration
>>> configuration = Phi4MultimodalConfig.from_pretrained("microsoft/Phi-4-multimodal-instruct")

>>> # Initializing a model from the configuration
>>> model = Phi4MultimodalModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Phi4MultimodalAudioModel

class transformers.Phi4MultimodalAudioModel

< source >

( config: Phi4MultimodalAudioConfig )

forward_embeddings

< source >

( hidden_states masks )

通过顶部嵌入层转发输入

Phi4MultimodalVisionModel

class transformers.Phi4MultimodalVisionModel

< source >

( config: Phi4MultimodalVisionConfig )

Phi4MultimodalModel

class transformers.Phi4MultimodalModel

< source >

( config: Phi4MultimodalConfig )

参数

config (Phi4MultimodalConfig) — 包含模型所有参数的模型配置类。用配置文件初始化不会加载与模型关联的权重，只加载配置。请查看 from_pretrained() 方法以加载模型权重。

裸 Phi4 多模态模型，输出原始隐藏状态，不带任何特定头部。

此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（如下载或保存、调整输入嵌入大小、修剪头部等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None image_pixel_values: typing.Optional[torch.FloatTensor] = None image_sizes: typing.Optional[torch.LongTensor] = None image_attention_mask = None audio_input_features: typing.Optional[torch.FloatTensor] = None audio_embed_sizes = None audio_attention_mask = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None **kwargs ) → transformers.modeling_outputs.BaseModelOutputWithPast or tuple(torch.FloatTensor)

参数

input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
- 1 表示未遮蔽的标记，
- 0 表示已遮蔽的标记。
什么是注意力掩码？
position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

什么是位置 ID？
past_key_values (list[torch.FloatTensor], 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码上一阶段返回的 past_key_values，当 use_cache=True 或 config.use_cache=True 时。

允许两种格式：
- Cache 实例，参见我们的 kv 缓存指南；
- 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也被称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入 past_key_values，将返回传统缓存格式。

如果使用 past_key_values，用户可以选择只输入形状为 (batch_size, 1) 的最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的输入 ID），而不是形状为 (batch_size, sequence_length) 的所有 input_ids。
inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，除了传入 input_ids，您还可以选择直接传入嵌入表示。如果您想对如何将 input_ids 索引转换为相关向量比模型的内部嵌入查找矩阵有更多的控制，这将很有用。
image_pixel_values (torch.FloatTensor, 可选) — 如果输入包含图像，这些对应于转换后的像素值（由处理器返回）
image_sizes (torch.LongTensor, 可选) — 如果输入包含图像，这些对应于每张图像的大小。
image_attention_mask (torch.LongTensor, 可选) — 图像的注意力掩码。
audio_input_features (torch.FloatTensor, 可选) — 如果输入包含音频样本，这些对应于转换后的值（由处理器返回）。
audio_embed_sizes (torch.Tensor, 可选) — 音频输入的大小。
audio_attention_mask (`torch.Tensor, 可选) — 音频输入的注意力掩码。
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详情请参见返回张量中的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详情请参见返回张量中的 hidden_states。
cache_position (形状为 (sequence_length) 的 torch.LongTensor, 可选) — 描述输入序列标记在序列中的位置的索引。与 position_ids 不同，此张量不受填充影响。它用于在正确位置更新缓存并推断完整的序列长度。

transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.BaseModelOutputWithPast 或 torch.FloatTensor 的元组（如果传入 return_dict=False 或当 config.return_dict=False 时），包含根据配置（Phi4MultimodalConfig）和输入的不同元素。

last_hidden_state (torch.FloatTensor, 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

如果使用了 past_key_values，则只输出形状为 (batch_size, 1, hidden_size) 的序列的最后一个隐藏状态。
past_key_values (Cache, 可选, 当传入 use_cache=True 或当 config.use_cache=True 时返回) — 这是一个 Cache 实例。更多详情请参见我们的 kv 缓存指南。

包含预计算的隐藏状态（自注意力块中的键和值，如果 config.is_encoder_decoder=True，可选地还包含交叉注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。
hidden_states (tuple(torch.FloatTensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层的输出）。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

Phi4MultimodalModel 的 forward 方法，覆盖了 __call__ 特殊方法。

虽然前向传播的实现需要在该函数中定义，但之后应调用 Module 实例而不是该函数，因为前者负责运行预处理和后处理步骤，而后者则默默忽略它们。

Phi4MultimodalForCausalLM

class transformers.Phi4MultimodalForCausalLM

< source >

( config )

参数

config (Phi4MultimodalForCausalLM) — 包含模型所有参数的模型配置类。用配置文件初始化不会加载与模型关联的权重，只加载配置。请查看 from_pretrained() 方法以加载模型权重。

用于因果语言建模的 Phi4 多模态模型。

此模型继承自 PreTrainedModel。请查看超类文档，了解库为其所有模型实现的通用方法（如下载或保存、调整输入嵌入大小、修剪头部等）。

此模型也是 PyTorch torch.nn.Module 子类。将其用作常规 PyTorch 模块，并参考 PyTorch 文档以了解与一般用法和行为相关的所有事项。

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[list[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None image_pixel_values: typing.Optional[torch.FloatTensor] = None image_sizes: typing.Optional[torch.LongTensor] = None image_attention_mask = None audio_input_features: typing.Optional[torch.FloatTensor] = None audio_embed_sizes = None audio_attention_mask = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None logits_to_keep: typing.Union[int, torch.Tensor] = 0 **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

参数

input_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 词汇表中输入序列标记的索引。默认情况下会忽略填充。

可以使用 AutoTokenizer 获取索引。有关详细信息，请参见 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

什么是输入 ID？
attention_mask (形状为 (batch_size, sequence_length) 的 torch.Tensor, 可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在 [0, 1] 中选择：
- 1 表示未遮蔽的标记，
- 0 表示已遮蔽的标记。
什么是注意力掩码？
position_ids (形状为 (batch_size, sequence_length) 的 torch.LongTensor, 可选) — 每个输入序列标记在位置嵌入中的位置索引。在 [0, config.n_positions - 1] 范围内选择。

什么是位置 ID？
past_key_values (list[torch.FloatTensor], 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常包括模型在解码上一阶段返回的 past_key_values，当 use_cache=True 或 config.use_cache=True 时。

允许两种格式：
- Cache 实例，参见我们的 kv 缓存指南；
- 长度为 config.n_layers 的 tuple(torch.FloatTensor) 元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也被称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传入 past_key_values，将返回传统缓存格式。

如果使用 past_key_values，用户可以选择只输入形状为 (batch_size, 1) 的最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的输入 ID），而不是形状为 (batch_size, sequence_length) 的所有 input_ids。
inputs_embeds (形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor, 可选) — 可选地，除了传入 input_ids，您还可以选择直接传入嵌入表示。如果您想对如何将 input_ids 索引转换为相关向量比模型的内部嵌入查找矩阵有更多的控制，这将很有用。
image_pixel_values (torch.FloatTensor, 可选) — 如果输入包含图像，这些对应于转换后的像素值（由处理器返回）
image_sizes (torch.LongTensor, 可选) — 如果输入包含图像，这些对应于每张图像的大小。
image_attention_mask (torch.LongTensor, 可选) — 图像的注意力掩码。
audio_input_features (torch.FloatTensor, 可选) — 如果输入包含音频样本，这些对应于转换后的值（由处理器返回）。
audio_embed_sizes (torch.Tensor, 可选) — 音频输入的大小。
audio_attention_mask (`torch.Tensor`, 可选) — 音频输入的注意力掩码。
labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 或 -100 (参见 input_ids 文档字符串) 之间。索引设置为 -100 的标记将被忽略（掩码），损失仅针对标签在 [0, ..., config.vocab_size] 中的标记计算。
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码 (参见 past_key_values)。
output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。更多详细信息请参见返回张量下的 attentions。
output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。更多详细信息请参见返回张量下的 hidden_states。
cache_position (torch.LongTensor，形状为 (sequence_length)，可选) — 表示输入序列标记在序列中的位置的索引。与 position_ids 不同，此张量不受填充影响。它用于在正确位置更新缓存并推断完整的序列长度。
logits_to_keep (Union[int, torch.Tensor]，默认为 0) — 如果是 int，则计算最后 logits_to_keep 个标记的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。生成时只需要最后一个标记的 logits，并且仅为该标记计算可以节省内存，这对于长序列或大词汇量来说非常重要。如果是 torch.Tensor，则必须是 1D，对应于在序列长度维度中要保留的索引。这在使用打包张量格式（批次和序列长度的单维度）时很有用。

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithPast 或一个 torch.FloatTensor 元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含根据配置（Phi4MultimodalConfig）和输入而定的各种元素。

loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 语言建模损失（用于下一个 token 预测）。
logits (形状为 (batch_size, sequence_length, config.vocab_size) 的 torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。
past_key_values (Cache, 可选, 当传入 use_cache=True 或当 config.use_cache=True 时返回) — 这是一个 Cache 实例。更多详情请参见我们的 kv 缓存指南。

包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 past_key_values 输入）加速顺序解码。
hidden_states (tuple(torch.FloatTensor), 可选, 当传入 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor 元组（一个用于嵌入层输出，如果模型有嵌入层，+ 一个用于每一层的输出）。

模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
attentions (tuple(torch.FloatTensor), 可选, 当传入 output_attentions=True 或当 config.output_attentions=True 时返回) — 形状为 (batch_size, num_heads, sequence_length, sequence_length) 的 torch.FloatTensor 元组（每个层一个）。

注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

此为 Phi4MultimodalForCausalLM 的前向方法，覆盖了 __call__ 特殊方法。

虽然前向传播的实现需要在该函数中定义，但之后应调用 Module 实例而不是该函数，因为前者负责运行预处理和后处理步骤，而后者则默默忽略它们。

示例

>>> from transformers import AutoTokenizer, Phi4MultimodalForCausalLM
>>> model = Phi4MultimodalForCausalLM.from_pretrained("TBA")
>>> tokenizer = AutoTokenizer.from_pretrained("TBA")
>>> prompt = "This is an example script ."
>>> inputs = tokenizer(prompt, return_tensors="pt")
>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
'This is an example script .\n Certainly! Below is a sample script that demonstrates a simple task, such as calculating the sum'

< > 在 GitHub 上更新

Transformers

Phi4 多模态

概述

使用技巧

Phi4MultimodalFeatureExtractor

class transformers.Phi4MultimodalFeatureExtractor

Phi4MultimodalImageProcessorFast

class transformers.Phi4MultimodalImageProcessorFast

pad_to_max_num_crops

预处理

Phi4MultimodalProcessor

class transformers.Phi4MultimodalProcessor

batch_decode

解码

Phi4MultimodalAudioConfig

class transformers.Phi4MultimodalAudioConfig

Phi4MultimodalVisionConfig

class transformers.Phi4MultimodalVisionConfig

Phi4MultimodalConfig

class transformers.Phi4MultimodalConfig

Phi4MultimodalAudioModel

class transformers.Phi4MultimodalAudioModel

forward_embeddings

Phi4MultimodalVisionModel

class transformers.Phi4MultimodalVisionModel

Phi4MultimodalModel

class transformers.Phi4MultimodalModel

forward

Phi4MultimodalForCausalLM

class transformers.Phi4MultimodalForCausalLM

forward