使用自定义模型

默认情况下，Transformers.js 使用托管的预训练模型和预编译的 WASM 二进制文件，这些文件应该可以开箱即用。您可以按如下方式自定义此设置

设置

import { env } from '@huggingface/transformers';

// Specify a custom location for models (defaults to '/models/').
env.localModelPath = '/path/to/models/';

// Disable the loading of remote models from the Hugging Face Hub:
env.allowRemoteModels = false;

// Set location of .wasm files. Defaults to use a CDN.
env.backends.onnx.wasm.wasmPaths = '/path/to/files/';

有关可用设置的完整列表，请查看API 参考。

将您的模型转换为 ONNX

我们建议使用我们的转换脚本，以单个命令将您的 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX。在幕后，它使用🤗 Optimum来执行模型的转换和量化。

python -m scripts.convert --quantize --model_id <model_name_or_path>

例如，使用以下命令转换和量化 bert-base-uncased

python -m scripts.convert --quantize --model_id bert-base-uncased

这会将以下文件保存到 ./models/

bert-base-uncased/
├── config.json
├── tokenizer.json
├── tokenizer_config.json
└── onnx/
    ├── model.onnx
    └── model_quantized.onnx

有关支持的架构的完整列表，请参阅Optimum 文档。

< > 在 GitHub 上更新