处理器

处理器用于为模型准备非文本输入（例如，图像或音频）。

示例： 使用 WhisperProcessor 为模型准备音频输入。

import { AutoProcessor, read_audio } from '@huggingface/transformers';

let processor = await AutoProcessor.from_pretrained('openai/whisper-tiny.en');
let audio = await read_audio('https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac', 16000);
let { input_features } = await processor(audio);
// Tensor {
//   data: Float32Array(240000) [0.4752984642982483, 0.5597258806228638, 0.56434166431427, ...],
//   dims: [1, 80, 3000],
//   type: 'float32',
//   size: 240000,
// }

• 处理器
  • 静态
    • .FeatureExtractor ⇐ Callable
      • new FeatureExtractor(config)
      • ._call(...args)
    • .ImageFeatureExtractor ⇐ FeatureExtractor
      • new ImageFeatureExtractor(config)
      • .thumbnail(image, size, [resample]) ⇒ Promise.<RawImage>
      • .crop_margin(image, gray_threshold) ⇒ Promise.<RawImage>
      • .pad_image(pixelData, imgDims, padSize, options) ⇒ *
      • .rescale(pixelData) ⇒ void
      • .get_resize_output_image_size(image, size) ⇒ *
      • .resize(image) ⇒ Promise.<RawImage>
      • .preprocess(image, overrides) ⇒ Promise.<PreprocessedImage>
      • ._call(images, ...args) ⇒ Promise.<ImageFeatureExtractorResult>
    • .DetrFeatureExtractor ⇐ ImageFeatureExtractor
      • ._call(images) ⇒ Promise.<DetrFeatureExtractorResult>
      • .post_process_object_detection() : *
      • .post_process_panoptic_segmentation() : *
    • .Processor ⇐ Callable
      • new Processor(feature_extractor)
      • ._call(input, ...args) ⇒ Promise.<any>
    • .WhisperProcessor ⇐ Processor
      • ._call(audio) ⇒ Promise.<any>
    • .AutoProcessor
      • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>
    • .data : Float32Array
  • inner
    • ~center_to_corners_format(arr) ⇒ Array.<number>
    • ~post_process_semantic_segmentation(outputs, [target_sizes]) ⇒ *
      • ~labels : Array.<number>
    • ~post_process_panoptic_segmentation(outputs, [threshold], [mask_threshold], [overlap_mask_area_threshold], [label_ids_to_fuse], [target_sizes]) ⇒ Array.<{segmentation: Tensor, segments_info: Array<{id: number, label_id: number, score: number}>}>
    • ~post_process_instance_segmentation(outputs, [threshold], [target_sizes]) ⇒ Array.<{segmentation: Tensor, segments_info: Array<{id: number, label_id: number, score: number}>}>
    • ~enforce_size_divisibility(size, divisor) ⇒ *
    • ~HeightWidth : *
    • ~ImageFeatureExtractorResult : object
    • ~PreprocessedImage : object
    • ~DetrFeatureExtractorResult : object
    • ~SamImageProcessorResult : object

processors.FeatureExtractor ⇐ Callable

特征提取器的基类。

类型：processors 的静态类
继承自：Callable

• .FeatureExtractor ⇐ Callable
  • new FeatureExtractor(config)
  • ._call(...args)

new FeatureExtractor(config)

构造一个新的 FeatureExtractor 实例。

featureExtractor._call(...args)

此方法应在子类中实现，以提供可调用对象的功能。

类型：FeatureExtractor 的实例方法
重写：_call
抛出:

• Error 如果子类未实现 `_call` 方法。

processors.ImageFeatureExtractor ⇐ FeatureExtractor

用于图像模型的特征提取器。

类型：processors 的静态类
继承自：FeatureExtractor

• .ImageFeatureExtractor ⇐ FeatureExtractor
  • new ImageFeatureExtractor(config)
  • .thumbnail(image, size, [resample]) ⇒ Promise.<RawImage>
  • .crop_margin(image, gray_threshold) ⇒ Promise.<RawImage>
  • .pad_image(pixelData, imgDims, padSize, options) ⇒ *
  • .rescale(pixelData) ⇒ void
  • .get_resize_output_image_size(image, size) ⇒ *
  • .resize(image) ⇒ Promise.<RawImage>
  • .preprocess(image, overrides) ⇒ Promise.<PreprocessedImage>
  • ._call(images, ...args) ⇒ Promise.<ImageFeatureExtractorResult>

new ImageFeatureExtractor(config)

构造一个新的 ImageFeatureExtractor 实例。

imageFeatureExtractor.thumbnail(image, size, [resample]) ⇒ Promise. < RawImage >

调整图像大小以制作缩略图。调整后的图像大小将使得任何维度都不大于指定尺寸的相应维度。

类型：ImageFeatureExtractor 的实例方法
返回值：Promise.<RawImage> - 调整大小后的图像。

imageFeatureExtractor.crop_margin(image, gray_threshold) ⇒ Promise. < RawImage >

裁剪图像的边距。灰色像素被认为是边距（即，像素值低于阈值的像素）。

类型：ImageFeatureExtractor 的实例方法
返回值：Promise.<RawImage> - 裁剪后的图像。

imageFeatureExtractor.pad_image(pixelData, imgDims, padSize, options) ⇒ *

将图像填充一定量。

类型：ImageFeatureExtractor 的实例方法
返回值：* - 填充后的像素数据和图像尺寸。

imageFeatureExtractor.rescale(pixelData) ⇒ void

通过 this.rescale_factor 重新缩放图像的像素值。

类型：ImageFeatureExtractor 的实例方法

imageFeatureExtractor.get_resize_output_image_size(image, size) ⇒ *

在给定输入图像和所需尺寸后，查找调整大小后输出图像的目标（宽度、高度）尺寸。

类型：ImageFeatureExtractor 的实例方法
返回值：* - 调整大小后输出图像的目标（宽度、高度）尺寸。

imageFeatureExtractor.resize(image) ⇒ Promise. < RawImage >

调整图像大小。

类型：ImageFeatureExtractor 的实例方法
返回值：Promise.<RawImage> - 调整大小后的图像。

imageFeatureExtractor.preprocess(image, overrides) ⇒ Promise. < PreprocessedImage >

预处理给定的图像。

类型：ImageFeatureExtractor 的实例方法
返回值：Promise.<PreprocessedImage> - 预处理后的图像。

imageFeatureExtractor._call(images, ...args) ⇒ Promise. < ImageFeatureExtractorResult >

对图像数组调用特征提取过程，预处理每个图像，并将结果特征连接到单个 Tensor 中。

类型：ImageFeatureExtractor 的实例方法
返回值：Promise.<ImageFeatureExtractorResult> - 一个包含预处理图像的连接像素值（和其他元数据）的对象。

processors.DetrFeatureExtractor ⇐ ImageFeatureExtractor

Detr 特征提取器。

类型：processors 的静态类
继承自：ImageFeatureExtractor

• .DetrFeatureExtractor ⇐ ImageFeatureExtractor
  • ._call(images) ⇒ Promise.<DetrFeatureExtractorResult>
  • .post_process_object_detection() : *
  • .post_process_panoptic_segmentation() : *

detrFeatureExtractor._call(images) ⇒ Promise. < DetrFeatureExtractorResult >

对图像数组调用特征提取过程，预处理每个图像，并将结果特征连接到单个 Tensor 中。

类型：DetrFeatureExtractor 的实例方法
返回值：Promise.<DetrFeatureExtractorResult> - 一个包含预处理图像的连接像素值的对象。

detrFeatureExtractor.post_process_object_detection() : <code> * </code>

类型：DetrFeatureExtractor 的实例方法

detrFeatureExtractor.post_process_panoptic_segmentation() : <code> * </code>

类型：DetrFeatureExtractor 的实例方法

processors.Processor ⇐ <code> Callable </code>

表示一个从输入中提取特征的处理器。

类型：processors 的静态类
继承自：Callable

• .Processor ⇐ Callable
  • new Processor(feature_extractor)
  • ._call(input, ...args) ⇒ Promise.<any>

new Processor(feature_extractor)

创建一个使用给定特征提取器的新处理器。

processor._call(input, ...args) ⇒ <code> Promise. < any > </code>

使用给定的输入调用 feature_extractor 函数。

Kind: instance method of Processor
重写：_call
Returns: Promise.<any> - 一个 Promise，它会解析为提取的特征。

processors.WhisperProcessor ⇐ <code> Processor </code>

表示一个从音频输入中提取特征的 WhisperProcessor。

类型：processors 的静态类
Extends: Processor

whisperProcessor._call(audio) ⇒ <code> Promise. < any > </code>

使用给定的音频输入调用 feature_extractor 函数。

Kind: instance method of WhisperProcessor
Returns: Promise.<any> - 一个 Promise，它会解析为提取的特征。

processors.AutoProcessor

辅助类，用于使用 from_pretrained 函数实例化预训练的处理器。选择的处理器类由处理器配置中指定的类型确定。

Example: 使用 from_pretrained 加载处理器。

let processor = await AutoProcessor.from_pretrained('openai/whisper-tiny.en');

Example: 通过处理器运行图像。

let processor = await AutoProcessor.from_pretrained('Xenova/clip-vit-base-patch16');
let image = await RawImage.read('https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/football-match.jpg');
let image_inputs = await processor(image);
// {
//   "pixel_values": {
//     "dims": [ 1, 3, 224, 224 ],
//     "type": "float32",
//     "data": Float32Array [ -1.558687686920166, -1.558687686920166, -1.5440893173217773, ... ],
//     "size": 150528
//   },
//   "original_sizes": [
//     [ 533, 800 ]
//   ],
//   "reshaped_input_sizes": [
//     [ 224, 224 ]
//   ]
// }

类型：processors 的静态类

AutoProcessor.from_pretrained(pretrained_model_name_or_path, options) ⇒ <code> Promise. < Processor > </code>

从预训练模型实例化库中的一个处理器类。

要实例化的处理器类是根据配置对象的 feature_extractor_type 属性选择的（可以作为参数传递，也可以从 pretrained_model_name_or_path 加载，如果可能的话）

Kind: static method of AutoProcessor
Returns: Promise.<Processor> - Processor 类的新实例。

processors.data : <code> Float32Array </code>

Kind: static property of processors

processors~center_to_corners_format(arr) ⇒ <code> Array. < number > </code>

将边界框从中心格式转换为角点格式。

Kind: inner method of processors
Returns: Array.<number> - 框的左上角和右下角的坐标 (top_left_x, top_left_y, bottom_right_x, bottom_right_y)

processors~post_process_semantic_segmentation(outputs, [target_sizes]) ⇒ <code> * </code>

后处理模型的输出（用于语义分割）。

Kind: inner method of processors
Returns: * - 语义分割图。

post_process_semantic_segmentation~labels : <code> Array. < number > </code>

检测到的唯一标签列表

Kind: inner constant of post_process_semantic_segmentation

processors~post_process_panoptic_segmentation(outputs, [threshold], [mask_threshold], [overlap_mask_area_threshold], [label_ids_to_fuse], [target_sizes]) ⇒ <code> Array. < {segmentation: Tensor, segments_info: Array < {id: number, label_id: number, score: number} > } > </code>

后处理模型输出以生成最终的全景分割。

Kind: inner method of processors

processors~post_process_instance_segmentation(outputs, [threshold], [target_sizes]) ⇒ <code> Array. < {segmentation: Tensor, segments_info: Array < {id: number, label_id: number, score: number} > } > </code>

后处理模型的输出（用于实例分割）。

Kind: inner method of processors

processors~enforce_size_divisibility(size, divisor) ⇒ <code> * </code>

将高度和宽度向下舍入到 size_divisibility 最接近的倍数

Kind: inner method of processors
Returns: * - 四舍五入后的尺寸。

processors~HeightWidth : <code> * </code>

命名元组，用于指示我们使用的顺序是（高度 x 宽度），即使图形行业的标准是（宽度 x 高度）。

Kind: inner typedef of processors

processors~ImageFeatureExtractorResult : <code> object </code>

Kind: inner typedef of processors
属性

processors~PreprocessedImage : <code> object </code>

Kind: inner typedef of processors
属性

processors~DetrFeatureExtractorResult : <code> object </code>

Kind: inner typedef of processors
属性

processors~SamImageProcessorResult : <code> object </code>

Kind: inner typedef of processors
属性