处理器

在 Transformers 库中，处理器（Processors）可能指两种不同的东西：

用于预处理多模态模型输入的对象，例如 Wav2Vec2（语音和文本）或 CLIP（文本和视觉）。
在旧版库中用于为 GLUE 或 SQUAD 预处理数据的已弃用对象。

多模态处理器

任何多模态模型都需要一个对象来编码或解码组合了多种模态（文本、视觉、音频）的数据。这由称为处理器的对象处理，这些对象组合了两个或多个处理对象，例如分词器（用于文本模态）、图像处理器（用于视觉）和特征提取器（用于音频）。

这些处理器继承自以下基类，该基类实现了保存和加载功能：

class transformers.ProcessorMixin

< 源 >

( *args **kwargs )

这是一个混入（mixin），用于为所有处理器类提供保存/加载功能。

apply_chat_template

< 源 >

( conversation: typing.Union[list[dict[str, str]], list[list[dict[str, str]]]] chat_template: typing.Optional[str] = None **kwargs: typing_extensions.Unpack[transformers.processing_utils.AllKwargsForChatTemplate] )

参数

conversation (Union[list[Dict, [str, str]], list[list[dict[str, str]]]]) — 要格式化的对话。
chat_template (Optional[str], 可选) — 用于格式化对话的 Jinja 模板。如果未提供，则使用分词器的聊天模板。

与分词器上的 `apply_chat_template` 方法类似，此方法将 Jinja 模板应用于输入对话，将其转换为单个可分词的字符串。

输入应为以下格式，其中每条消息内容是一个列表，包含文本以及可选的图像或视频输入。也可以提供图像、视频、URL 或本地路径，当 `return_dict=True` 时，这些将被用于形成 `pixel_values`。如果未提供，将只获得格式化的文本，或可选的分词后的文本。

conversation = [ { “role”: “user”, “content”: [ {“type”: “image”, “url”: “https://www.ilankelman.org/stopsigns/australia.jpg”}, {“type”: “text”, “text”: “请详细描述这张图片。”}, ], }, ]

check_argument_for_proper_class

< 源 >

( argument_name argument )

检查传入参数的类是否与预期的 transformers 类匹配。如果预期类与实际类之间出现意外不匹配，则会引发错误。否则，返回正确检索到的类。

from_args_and_dict

< 源 >

( args processor_dict: dict **kwargs ) → ~processing_utils.ProcessingMixin

参数

processor_dict (dict[str, Any]) — 用于实例化处理器对象的字典。此类字典可以利用 `~processing_utils.ProcessingMixin.to_dict` 方法从预训练的检查点中检索。
kwargs (dict[str, Any]) — 用于初始化处理器对象的附加参数。

~processing_utils.ProcessingMixin

从这些参数实例化的处理器对象。

从一个 Python 参数字典实例化 `~processing_utils.ProcessingMixin` 类型的对象。

from_pretrained

< 源 >

( pretrained_model_name_or_path: typing.Union[str, os.PathLike] cache_dir: typing.Union[str, os.PathLike, NoneType] = None force_download: bool = False local_files_only: bool = False token: typing.Union[str, bool, NoneType] = None revision: str = 'main' **kwargs )

参数

pretrained_model_name_or_path (str or os.PathLike) — 这可以是以下之一：
- 一个字符串，即托管在 huggingface.co 模型仓库中的预训练 feature_extractor 的 *模型 id*。
- 一个包含使用 save_pretrained() 方法保存的特征提取器文件的 *目录* 的路径，例如，`./my_model_directory/`。
- 一个已保存的特征提取器 JSON *文件* 的路径或 URL，例如，`./my_model_directory/preprocessor_config.json`。
**kwargs — 传递给 from_pretrained() 和 `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` 的附加关键字参数。

实例化与预训练模型关联的处理器。

此类方法仅调用特征提取器的 from_pretrained()、图像处理器的 ImageProcessingMixin 和分词器的 `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` 方法。请参阅上述方法的文档字符串以获取更多信息。

get_processor_dict

< 源 >

( pretrained_model_name_or_path: typing.Union[str, os.PathLike] **kwargs ) → tuple[Dict, Dict]

参数

pretrained_model_name_or_path (str or os.PathLike) — 我们想要获取参数字典的预训练检查点的标识符。
subfolder (str, 可选, 默认为 "") — 如果相关文件位于 huggingface.co 上的模型仓库的子文件夹中，可以在此处指定文件夹名称。

tuple[Dict, Dict]

用于实例化处理器对象的字典。

从一个 `pretrained_model_name_or_path` 解析出一个参数字典，用于使用 `from_args_and_dict` 实例化一个 `~processing_utils.ProcessingMixin` 类型的处理器。

post_process_image_text_to_text

< 源 >

( generated_outputs skip_special_tokens = True **kwargs ) → list[str]

参数

generated_outputs (torch.Tensor or np.ndarray) — 模型 `generate` 函数的输出。输出应为一个形状为 `(batch_size, sequence_length)` 或 `(sequence_length,)` 的张量。
skip_special_tokens (bool, 可选, 默认为 True) — 是否在输出中移除特殊标记。此参数会传递给分词器的 `batch_decode` 方法。
**kwargs — 要传递给分词器 `batch_decode` 方法的附加参数。

list[str]

解码后的文本。

后处理视觉语言模型（VLM）的输出以解码文本。

prepare_and_validate_optional_call_args

< 源 >

( *args )

将可选的位置参数与处理器类中的 `optional_call_args` 中的相应名称按它们传递给处理器调用的顺序进行匹配。

请注意，这只应在具有特殊参数的处理器的 `__call__` 方法中使用。特殊参数是指既不是 `text`、`images`、`audio`、`videos`，也不是传递给分词器、图像处理器等的参数。这类处理器的例子有：

CLIPSegProcessor
LayoutLMv2Processor
OwlViTProcessor

另请注意，通过位置向处理器调用传递参数现已弃用，并将在未来版本中被禁止。我们保留此功能仅为向后兼容。

例如：假设处理器类有 `optional_call_args = ["arg_name_1", "arg_name_2"]`。

我们定义 call 方法如下：

def __call__(
    self,
    text: str,
    images: Optional[ImageInput] = None,
    *arg,
    audio=None,
    videos=None,
)

那么，如果我们这样调用处理器：

images = [...]
processor("What is common in these images?", images, arg_value_1, arg_value_2)

此方法将返回：

{
    "arg_name_1": arg_value_1,
    "arg_name_2": arg_value_2,
}

然后我们可以将其作为 kwargs 传递给 `self._merge_kwargs`

push_to_hub

< 源 >

( repo_id: str use_temp_dir: typing.Optional[bool] = None commit_message: typing.Optional[str] = None private: typing.Optional[bool] = None token: typing.Union[bool, str, NoneType] = None max_shard_size: typing.Union[str, int, NoneType] = '5GB' create_pr: bool = False safe_serialization: bool = True revision: typing.Optional[str] = None commit_description: typing.Optional[str] = None tags: typing.Optional[list[str]] = None **deprecated_kwargs )

参数

repo_id (str) — 您想要将处理器推送到的仓库名称。当推送到特定组织时，它应包含您的组织名称。
use_temp_dir (bool, 可选) — 是否使用临时目录来存储推送到 Hub 之前保存的文件。如果没有名为 `repo_id` 的目录，则默认为 `True`，否则为 `False`。
commit_message (str, 可选) — 推送时提交的消息。将默认为 `"Upload processor"`。
private (bool, 可选) — 是否将仓库设为私有。如果为 `None` (默认)，除非组织的默认设置为私有，否则仓库将为公开。如果仓库已存在，则忽略此值。
token (bool or str, 可选) — 用于远程文件 HTTP 持有者授权的令牌。如果为 `True`，将使用运行 `huggingface-cli login` 时生成的令牌 (存储在 `~/.huggingface` 中)。如果未指定 `repo_url`，则默认为 `True`。
max_shard_size (int or str, 可选, 默认为 "5GB") — 仅适用于模型。在分片前检查点的最大大小。检查点分片的大小将小于此大小。如果表示为字符串，需要是数字后跟一个单位 (如 `"5MB"`)。我们将其默认为 `"5GB"`，以便用户可以轻松在免费的 Google Colab 实例上加载模型，而不会出现 CPU 内存不足的问题。
create_pr (bool, 可选, 默认为 False) — 是为上传的文件创建一个拉取请求（PR）还是直接提交。
safe_serialization (bool, 可选, 默认为 True) — 是否将模型权重转换为 safetensors 格式以实现更安全的序列化。
revision (str, 可选) — 推送上传文件到的分支。
commit_description (str, 可选) — 将要创建的提交的描述
tags (list[str], 可选) — 要推送到 Hub 的标签列表。

将处理器文件上传到 🤗 模型中心。

示例

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("google-bert/bert-base-cased")

# Push the processor to your namespace with the name "my-finetuned-bert".
processor.push_to_hub("my-finetuned-bert")

# Push the processor to an organization with the name "my-finetuned-bert".
processor.push_to_hub("huggingface/my-finetuned-bert")

register_for_auto_class

< 源 >

( auto_class = 'AutoProcessor' )

参数

auto_class (str or type, 可选, 默认为 "AutoProcessor") — 要注册此新特征提取器的自动类。

向给定的自动类注册此类。这只应用于自定义特征提取器，因为库中的特征提取器已经与 `AutoProcessor` 映射。

save_pretrained

< 源 >

( save_directory push_to_hub: bool = False **kwargs )

参数

save_directory (str or os.PathLike) — 将保存特征提取器 JSON 文件和分词器文件的目录（如果不存在，将创建该目录）。
push_to_hub (bool, 可选, 默认为 False) — 是否在保存模型后将其推送到 Hugging Face 模型中心。您可以使用 `repo_id` 指定要推送到的仓库（将默认为您命名空间中 `save_directory` 的名称）。
kwargs (dict[str, Any], 可选) — 传递给 push_to_hub() 方法的附加关键字参数。

将此处理器（特征提取器、分词器…）的属性保存在指定目录中，以便可以使用 from_pretrained() 方法重新加载。

这个类方法只是简单地调用 save_pretrained() 和 save_pretrained()。有关更多信息，请参阅上述方法的文档字符串。

Transformers

处理器

多模态处理器

class transformers.ProcessorMixin

apply_chat_template

check_argument_for_proper_class

from_args_and_dict

from_pretrained

get_processor_dict

post_process_image_text_to_text

prepare_and_validate_optional_call_args

push_to_hub

register_for_auto_class

save_pretrained

to_dict

to_json_file

to_json_string

已弃用的处理器

class transformers.DataProcessor

get_dev_examples

get_example_from_tensor_dict

get_labels

get_test_examples

get_train_examples

tfds_map

class transformers.InputExample

to_json_string

class transformers.InputFeatures

to_json_string

GLUE

transformers.glue_convert_examples_to_features

XNLI

SQuAD

处理器

class transformers.data.processors.squad.SquadProcessor

get_dev_examples

get_examples_from_dataset

get_train_examples

transformers.squad_convert_examples_to_features

用法示例