处理器

处理器用于准备模型的输入（例如，文本、图像或音频）。

示例： 使用 WhisperProcessor 准备模型的音频输入。

import { AutoProcessor, read_audio } from '@huggingface/transformers';

const processor = await AutoProcessor.from_pretrained('openai/whisper-tiny.en');
const audio = await read_audio('https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac', 16000);
const { input_features } = await processor(audio);
// Tensor {
//   data: Float32Array(240000) [0.4752984642982483, 0.5597258806228638, 0.56434166431427, ...],
//   dims: [1, 80, 3000],
//   type: 'float32',
//   size: 240000,
// }

• 处理器
  • 静态
    • .Processor
      • new Processor(config, components)
      • 实例
        • .image_processor ⇒ *
        • .tokenizer ⇒ PreTrainedTokenizer | undefined
        • .feature_extractor ⇒ *
        • .apply_chat_template(messages, options) ⇒ *
        • .batch_decode(...args) ⇒ *
        • .decode(...args) ⇒ *
        • ._call(input, ...args) ⇒ Promise.<any>
      • 静态
        • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>
  • 内部
    • ~PreTrainedTokenizer : Object

processors.Processor

表示一个从输入中提取特征的处理器。

类型：processors 的静态类

• .Processor
  • new Processor(config, components)
  • 实例
    • .image_processor ⇒ *
    • .tokenizer ⇒ PreTrainedTokenizer | undefined
    • .feature_extractor ⇒ *
    • .apply_chat_template(messages, options) ⇒ *
    • .batch_decode(...args) ⇒ *
    • .decode(...args) ⇒ *
    • ._call(input, ...args) ⇒ Promise.<any>
  • 静态
    • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>

new Processor(config, components)

使用给定组件创建一个新的 Processor

processor.image_processor ⇒ *

类型：Processor 的实例属性
返回值：* - 处理器的图像处理器（如果存在）。

processor.tokenizer ⇒ PreTrainedTokenizer | undefined

类型：Processor 的实例属性
返回值：PreTrainedTokenizer | undefined - 处理器的分词器（如果存在）。

processor.feature_extractor ⇒ *

类型：Processor 的实例属性
返回值：* - 处理器的特征提取器（如果存在）。

processor.apply_chat_template(messages, options) ⇒ *

类型：Processor 的实例方法

processor.batch_decode(...args) ⇒ *

类型：Processor 的实例方法

processor.decode(...args) ⇒ *

类型：Processor 的实例方法

processor._call(input, ...args) ⇒ Promise. < any >

使用给定的输入调用 feature_extractor 函数。

类型：Processor 的实例方法
返回值：Promise.<any> - 一个 Promise，它解析为提取的特征。

Processor.from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise. < Processor >

从预训练模型实例化库中的一个处理器类。

要实例化的处理器类是根据配置对象的 image_processor_type（或 feature_extractor_type；旧版）属性选择的（可以作为参数传递，也可以从 pretrained_model_name_or_path 加载，如果可能）

类型：Processor 的静态方法
返回值：Promise.<Processor> - Processor 类的新实例。

processors~PreTrainedTokenizer : Object

其他处理器特定的属性。

类型：processors 的内部类型定义