models

详细介绍了Transformers.js中所有可用的模型。

示例： 加载并运行一个AutoModel。

import { AutoModel, AutoTokenizer } from '@xenova/transformers';

let tokenizer = await AutoTokenizer.from_pretrained('Xenova/bert-base-uncased');
let model = await AutoModel.from_pretrained('Xenova/bert-base-uncased');

let inputs = await tokenizer('I love transformers!');
let { logits } = await model(inputs);
// Tensor {
//     data: Float32Array(183132) [-7.117443084716797, -7.107812881469727, -7.092104911804199, ...]
//     dims: (3) [1, 6, 30522],
//     type: "float32",
//     size: 183132,
// }

我们还提供了其他AutoModel（如下所示），您可以使用与Python库相同的方式使用它们。例如

示例： 加载并运行一个AutoModelForSeq2SeqLM。

import { AutoModelForSeq2SeqLM, AutoTokenizer } from '@xenova/transformers';

let tokenizer = await AutoTokenizer.from_pretrained('Xenova/t5-small');
let model = await AutoModelForSeq2SeqLM.from_pretrained('Xenova/t5-small');

let { input_ids } = await tokenizer('translate English to German: I love transformers!');
let outputs = await model.generate(input_ids);
let decoded = tokenizer.decode(outputs[0], { skip_special_tokens: true });
// 'Ich liebe Transformatoren!'

• 模型
  • 静态
    • .PreTrainedModel
      • new PreTrainedModel(config, session)
      • 实例
        • .dispose() ⇒ Promise.<Array<unknown>>
        • ._call(model_inputs) ⇒ Promise.<Object>
        • .forward(model_inputs) ⇒ Promise.<Object>
        • ._get_generation_config(generation_config) ⇒ *
        • .groupBeams(beams) ⇒ Array
        • .getPastKeyValues(decoderResults, pastKeyValues) ⇒ Object
        • .getAttentions(decoderResults) ⇒ Object
        • .addPastKeyValues(decoderFeeds, pastKeyValues)
      • 静态
        • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<PreTrainedModel>
    • .BaseModelOutput
      • new BaseModelOutput(output)
    • .BertForMaskedLM
      • ._call(model_inputs) ⇒ Promise.<MaskedLMOutput>
    • .BertForSequenceClassification
      • ._call(model_inputs) ⇒ Promise.<SequenceClassifierOutput>
    • .BertForTokenClassification
      • ._call(model_inputs) ⇒ Promise.<TokenClassifierOutput>
    • .BertForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • RoFormerModel
    • RoFormerForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • RoFormerForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • RoFormerForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • RoFormerForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • ConvBertModel
    • ConvBertForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • ConvBertForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • ConvBertForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • ConvBertForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • ElectraModel
    • ElectraForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • ElectraForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • ElectraForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • ElectraForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • CamembertModel
    • CamembertForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • CamembertForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • CamembertForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • CamembertForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • DebertaModel
    • DebertaForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • DebertaForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • DebertaForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • DebertaForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • DebertaV2Model
    • DebertaV2ForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • DebertaV2ForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • DebertaV2ForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • DebertaV2ForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • DistilBertForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • DistilBertForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • DistilBertForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • DistilBertForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • EsmModel
    • EsmForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • EsmForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • EsmForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • .MobileBertForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • .MobileBertForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .MobileBertForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • .MPNetModel
    • .MPNetForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • .MPNetForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .MPNetForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • .MPNetForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • .T5ForConditionalGeneration
      • new T5ForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .LongT5PreTrainedModel
    • .LongT5Model
    • .LongT5ForConditionalGeneration
      • new LongT5ForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .MT5ForConditionalGeneration
      • new MT5ForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .BartModel
    • .BartForConditionalGeneration
      • new BartForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .BartForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .MBartModel
    • .MBartForConditionalGeneration
      • new MBartForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .MBartForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .MBartForCausalLM
      • new MBartForCausalLM(config, decoder_merged_session, generation_config)
    • .BlenderbotModel
    • .BlenderbotForConditionalGeneration
      • new BlenderbotForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .BlenderbotSmallModel
    • .BlenderbotSmallForConditionalGeneration
      • new BlenderbotSmallForConditionalGeneration(config, session, decoder_merged_session, generation_config)
    • .RobertaForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • .RobertaForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .RobertaForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • .RobertaForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • .XLMPreTrainedModel
    • .XLMModel
    • .XLMWithLMHeadModel
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • .XLMForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .XLMForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • .XLMForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • .XLMRobertaForMaskedLM
      • ._call(model_inputs) 返回 Promise.<MaskedLMOutput>
    • .XLMRobertaForSequenceClassification
      • ._call(model_inputs) 返回 Promise.<SequenceClassifierOutput>
    • .XLMRobertaForTokenClassification
      • ._call(model_inputs) 返回 Promise.<TokenClassifierOutput>
    • .XLMRobertaForQuestionAnswering
      • ._call(model_inputs) 返回 Promise.<QuestionAnsweringModelOutput>
    • .ASTModel
    • .ASTForAudioClassification
    • .WhisperModel
    • .WhisperForConditionalGeneration
      • new WhisperForConditionalGeneration(config, session, decoder_merged_session, generation_config)
      • .generate(inputs, generation_config, logits_processor) 返回 Promise.<Object>
      • ._extract_token_timestamps(generate_outputs, alignment_heads, [num_frames], [time_precision]) 返回 Tensor
    • .视觉编码器-解码器模型
      • new 视觉编码器-解码器模型(config, session, 解码器合并会话, 生成配置)
    • .CLIP模型
    • .CLIP文本模型
      • .from_pretrained() : 预训练模型.from_pretrained
    • .CLIP文本模型带投影
      • .from_pretrained() : 预训练模型.from_pretrained
    • .CLIP视觉模型
      • .from_pretrained() : 预训练模型.from_pretrained
    • .CLIP视觉模型带投影
      • .from_pretrained() : 预训练模型.from_pretrained
    • .Siglip模型
    • .Siglip文本模型
      • .from_pretrained() : 预训练模型.from_pretrained
    • .Siglip视觉模型
      • .from_pretrained() : 预训练模型.from_pretrained
    • .CLIP图像分割模型
    • .GPT2预训练模型
      • new GPT2预训练模型(config, session, 生成配置)
    • .GPT2语言模型头部模型
    • .GPTNeo预训练模型
      • new GPTNeo预训练模型(config, session, 生成配置)
    • .GPTNeoX预训练模型
      • new GPTNeoX预训练模型(config, session, 生成配置)
    • .GPTJ预训练模型
      • new GPTJ预训练模型(config, session, 生成配置)
    • .GPTBigCode预训练模型
      • new GPTBigCode预训练模型(config, session, 生成配置)
    • .代码生成预训练模型
      • new 代码生成预训练模型(config, session, 生成配置)
    • .代码生成模型
    • .代码生成因果语言模型
    • .Llama预训练模型
      • new Llama预训练模型(config, session, 生成配置)
    • .Llama模型
    • .Qwen2预训练模型
      • new Qwen2预训练模型(config, session, 生成配置)
    • .Qwen2模型
    • .Phi预训练模型
      • new Phi预训练模型(config, session, 生成配置)
    • .Phi模型
    • .Bloom预训练模型
      • new Bloom预训练模型(config, session, 生成配置)
    • .Bloom模型
    • .Bloom因果语言模型
    • .Mpt预训练模型
      • new Mpt预训练模型(config, session, 生成配置)
    • .Mpt模型
    • .Mpt因果语言模型
    • .OPT预训练模型
      • new OPT预训练模型(config, session, 生成配置)
    • .OPT模型
    • .OPT因果语言模型
    • .VitMatte图像抠图模型
      • ._call(模型输入)
    • .Detr对象检测输出
      • new Detr对象检测输出(output)
    • .Detr分割输出
      • new Detr分割输出(output)
    • .表格转换模型
    • .表格转换对象检测模型
      • ._call(模型输入)
    • .ResNet预训练模型
    • .ResNet模型
    • .ResNet图像分类模型
      • ._call(模型输入)
    • .Swin2SR模型
    • .Swin2SR图像超分辨率模型
    • .DPT模型
    • .DPT深度估计模型
    • .DepthAnything深度估计模型
    • .GLPN模型
    • .GLPN深度估计模型
    • ._donutSwin模型
    • .ConvNext模型
    • .ConvNext图像分类模型
      • ._call(模型输入)
    • .ConvNextV2模型
    • .ConvNextV2图像分类模型
      • ._call(模型输入)
    • .Dinov2模型
    • .Dinov2图像分类模型
      • ._call(模型输入)
    • .Yolos对象检测输出
      • new Yolos对象检测输出(output)
    • .Sam模型
      • new Sam模型(config, 视觉编码器, 提示编码器掩码解码器)
      • .get_image_embeddings(model_inputs) ⇒ Promise.<{image_embeddings: Tensor, image_positional_embeddings: Tensor}>
      • .forward(model_inputs) ⇒ Promise.<Object>
      • ._call(model_inputs) ⇒ Promise.<SamImageSegmentationOutput>
    • .Sam图像分割输出
      • new Sam图像分割输出(output)
    • .MarianMT模型
      • new MarianMT模型(config, session, 解码器合并会话, 生成配置)
    • .M2M100条件生成模型
      • new M2M100条件生成模型(config, session, 解码器合并会话, 生成配置)
    • .Wav2Vec2模型
    • .Wav2Vec2音频帧分类模型
      • ._call(model_inputs) ⇒ Promise.<TokenClassifierOutput>
    • .UniSpeech模型
    • .UniSpeech序列到序列分类模型
      • ._call(模型输入)
    • .UniSpeech序列分类模型
      • ._call(model_inputs) ⇒ Promise.<SequenceClassifierOutput>
    • .UniSpeechSat模型
    • .UniSpeechSat序列到序列分类模型
      • ._call(模型输入)
    • .UniSpeechSat序列分类模型
      • ._call(model_inputs) ⇒ Promise.<SequenceClassifierOutput>
    • .UniSpeechSat音频帧分类模型
      • ._call(model_inputs) ⇒ Promise.
    • .Wav2Vec2BertModel
    • .Wav2Vec2BertForCTC
      • ._call(模型输入)
    • .Wav2Vec2BertForSequenceClassification
      • ._call(model_inputs) ⇒ Promise.
    • .HubertModel
    • .HubertForCTC
      • ._call(模型输入)
    • .HubertForSequenceClassification
      • ._call(model_inputs) ⇒ Promise.
    • .WavLMPreTrainedModel
    • .WavLMModel
    • .WavLMForCTC
      • ._call(模型输入)
    • .WavLMForSequenceClassification
      • ._call(model_inputs) ⇒ Promise.
    • .WavLMForXVector
      • ._call(model_inputs) ⇒ Promise.
    • .WavLMForAudioFrameClassification
      • ._call(model_inputs) ⇒ Promise.
    • .SpeechT5PreTrainedModel
    • .SpeechT5Model
    • .SpeechT5ForSpeechToText
    • .SpeechT5ForTextToSpeech
      • new SpeechT5ForTextToSpeech(config, session, decoder_merged_session, generation_config)
      • .generate_speech(input_values, speaker_embeddings, options) ⇒ Promise.
    • .SpeechT5HifiGan
    • .TrOCRPreTrainedModel
      • new TrOCRPreTrainedModel(config, session, generation_config)
    • .TrOCRForCausalLM
    • .MistralPreTrainedModel
      • new MistralPreTrainedModel(config, session, generation_config)
    • .Starcoder2PreTrainedModel
      • new Starcoder2PreTrainedModel(config, session, generation_config)
    • .FalconPreTrainedModel
      • new FalconPreTrainedModel(config, session, generation_config)
    • .ClapTextModelWithProjection
      • .from_pretrained() : PreTrainedModel.from_pretrained
    • .ClapAudioModelWithProjection
      • .from_pretrained() : PreTrainedModel.from_pretrained
    • .VitsModel
      • ._call(model_inputs) ⇒ Promise.
    • .SegformerModel
    • .SegformerForImageClassification
    • .SegformerForSemanticSegmentation
    • .StableLmPreTrainedModel
      • new StableLmPreTrainedModel(config, session, generation_config)
    • .StableLmModel
    • .StableLmForCausalLM
    • .EfficientNetModel
    • .EfficientNetForImageClassification
      • ._call(模型输入)
    • .DecisionTransformerModel
    • .PretrainedMixin
      • 实例
        • .MODEL_CLASS_MAPPINGS : *
        • .BASE_IF_FAIL
      • 静态
        • .from_pretrained() : PreTrainedModel.from_pretrained
    • .AutoModel
      • .MODEL_CLASS_MAPPINGS : *
    • .AutoModelForSequenceClassification
    • .AutoModelForTokenClassification
    • .AutoModelForSeq2SeqLM
    • .AutoModelForSpeechSeq2Seq
    • .AutoModelForTextToSpectrogram
    • .AutoModelForTextToWaveform
    • .AutoModelForCausalLM
    • .AutoModelForMaskedLM
    • .AutoModelForQuestionAnswering
    • .AutoModelForVision2Seq
    • .AutoModelForImageClassification
    • .AutoModelForImageSegmentation
    • .AutoModelForSemanticSegmentation
    • .AutoModelForObjectDetection
    • .AutoModelForMaskGeneration
    • .Seq2SeqLMOutput
      • new Seq2SeqLMOutput(output)
    • .SequenceClassifierOutput
      • new SequenceClassifierOutput(output)
    • .XVectorOutput
      • new XVectorOutput(output)
    • .TokenClassifierOutput
      • new TokenClassifierOutput(output)
    • .MaskedLMOutput
      • new MaskedLMOutput(output)
    • .QuestionAnsweringModelOutput
      • new QuestionAnsweringModelOutput(output)
    • .CausalLMOutput
      • new CausalLMOutput(output)
    • .CausalLMOutputWithPast
      • new CausalLMOutputWithPast(output)
    • .ImageMattingOutput
      • new ImageMattingOutput(output)
    • .VitsModelOutput
      • new VitsModelOutput(output)
  • 内部
    • ~InferenceSession : *
    • ~TypedArray : *
    • ~DecoderOutput ⇒ Promise.<(Array.>|EncoderDecoderOutput|DecoderOutput)>
    • ~WhisperGenerationConfig : Object
    • ~SamModelInputs : Object
    • ~SpeechOutput : Object

models.PreTrainedModel

为预训练模型提供模型配置和ONNX会话的基类。

类型: models 的静态类

• .PreTrainedModel
  • new PreTrainedModel(config, session)
  • 实例
    • .dispose() ⇒ Promise.<Array<unknown>>
    • ._call(model_inputs) ⇒ Promise.<Object>
    • .forward(model_inputs) ⇒ Promise.<Object>
    • ._get_generation_config(generation_config) ⇒ *
    • .groupBeams(beams) ⇒ Array
    • .getPastKeyValues(decoderResults, pastKeyValues) ⇒ Object
    • .getAttentions(decoderResults) ⇒ Object
    • .addPastKeyValues(decoderFeeds, pastKeyValues)
  • 静态
    • .from_pretrained(pretrained_model_name_or_path, options) ⇒ Promise.<PreTrainedModel>

new PreTrainedModel(config, session)

创建 PreTrainedModel 类的新实例。

preTrainedModel.dispose() ⇒ <code> Promise. < Array < unknown > > </code>

释放推理过程中创建的所有ONNX会话。

类型: PreTrainedModel 的实例方法
返回值: Promise.<Array<unknown>> - 每个将要释放的ONNX会话的promise数组。
待办

• 使用 https://mdn.org.cn/en-US/docs/Web/JavaScript/Reference/Global_Objects/FinalizationRegistry

preTrainedModel._call(model_inputs) ⇒ <code> Promise. < Object > </code>

使用提供的输入运行模型

类型: PreTrainedModel 的实例方法
返回值: Promise.