处理器

处理器用于为模型准备输入（例如文本、图像或音频）。

示例： 使用 WhisperProcessor 为模型准备音频输入。

import { AutoProcessor, read_audio } from '@huggingface/transformers';

const processor = await AutoProcessor.from_pretrained('openai/whisper-tiny.en');
const audio = await read_audio('https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac', 16000);
const { input_features } = await processor(audio);
// Tensor {
//   data: Float32Array(240000) [0.4752984642982483, 0.5597258806228638, 0.56434166431427, ...],
//   dims: [1, 80, 3000],
//   type: 'float32',
//   size: 240000,
// }

• 处理器
  • 静态
    • .Processor
      • new Processor(config, components, chat_template)
      • 实例
        • .image_processor ⇒ *
        • .tokenizer ⇒ PreTrainedTokenizer | undefined
        • .feature_extractor ⇒ *
        • .apply_chat_template(messages, options) ⇒ *
        • .batch_decode(...args) ⇒ *
        • .decode(...args) ⇒ *
        • ._call(input, ...args) ⇒ Promise.<any>
      • 静态
        • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>
  • 内部
    • ~PreTrainedTokenizer : Object

processors.Processor

表示一个从输入中提取特征的处理器。

类型：processors 的静态类

• .Processor
  • new Processor(config, components, chat_template)
  • 实例
    • .image_processor ⇒ *
    • .tokenizer ⇒ PreTrainedTokenizer | undefined
    • .feature_extractor ⇒ *
    • .apply_chat_template(messages, options) ⇒ *
    • .batch_decode(...args) ⇒ *
    • .decode(...args) ⇒ *
    • ._call(input, ...args) ⇒ Promise.<any>
  • 静态
    • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<Processor>

new Processor(config, components, chat_template)

使用给定的组件创建一个新的处理器

processor.image_processor ⇒ <code> * </code>

类型：Processor 的实例属性
返回：* - 处理器的图像处理器（如果存在）。

processor.tokenizer ⇒ <code> PreTrainedTokenizer </code> | <code> undefined </code>

类型：Processor 的实例属性
返回：PreTrainedTokenizer | undefined - 处理器的分词器（如果存在）。

processor.feature_extractor ⇒ <code> * </code>

类型：Processor 的实例属性
返回：* - 处理器的特征提取器（如果存在）。

processor.apply_chat_template(messages, options) ⇒ <code> * </code>

类型：Processor 的实例方法

processor.batch_decode(...args) ⇒ <code> * </code>

类型：Processor 的实例方法

processor.decode(...args) ⇒ <code> * </code>

类型：Processor 的实例方法

processor._call(input, ...args) ⇒ <code> Promise. < any > </code>

使用给定的输入调用 feature_extractor 函数。

类型：Processor 的实例方法
返回：Promise.<any> - 一个解析为提取的特征的 Promise。

Processor.from_pretrained(pretrained_model_name_or_path, options) ⇒ <code> Promise. < Processor > </code>

从预训练模型中实例化库中的一个处理器类。

要实例化的处理器类是根据配置对象的 image_processor_type（或旧版的 feature_extractor_type）属性选择的（既可以作为参数传入，也可以在可能的情况下从 pretrained_model_name_or_path 加载）

类型：Processor 的静态方法
返回：Promise.<Processor> - Processor 类的新实例。

processors~PreTrainedTokenizer : <code> Object </code>

附加的特定于处理器的属性。

类型：processors 的内部类型定义