backends/onnx
根据环境选择正确版本的 ONNX Runtime 的处理程序文件。理想情况下,我们可以在需要时仅导入 onnxruntime-web
和 onnxruntime-node
包,但动态导入似乎与当前的 webpack 版本和/或配置不兼容。这可能是由于顶级等待语句的实验性质导致的。因此,我们只导入这两个包,并根据环境使用适当的包
- 在 node 中运行时,我们使用
onnxruntime-node
。 - 在浏览器中运行时,我们使用
onnxruntime-web
(onnxruntime-node
未捆绑)。
此模块不会直接导出,但可以通过环境变量访问
import { env } from '@huggingface/transformers';
console.log(env.backends.onnx);
- backends/onnx
- static
.deviceToExecutionProviders([device])
⇒Array.<ONNXExecutionProviders>
.createInferenceSession(buffer, session_options, session_config)
⇒*
.isONNXTensor(x)
⇒boolean
.isONNXProxy()
⇒boolean
- inner
~defaultDevices
:Array.<ONNXExecutionProviders>
~wasmInitPromise
:Promise<any>
|null
~DEVICE_TO_EXECUTION_PROVIDER_MAPPING
:*
~supportedDevices
:*
~ONNX_ENV
:*
~ONNXExecutionProviders
:*
- static
backends/onnx.deviceToExecutionProviders([device]) ⇒ <code> Array. < ONNXExecutionProviders > </code>
将设备映射到给定设备要使用的执行提供程序。
类型: backends/onnx
的静态方法
返回: Array.<ONNXExecutionProviders>
- 给定设备要使用的执行提供程序。
参数 | 类型 | 默认值 | 描述 |
---|---|---|---|
[device] | * |
| (可选) 要运行推理的设备。 |
backends/onnx.createInferenceSession(buffer, session_options, session_config) ⇒ <code> * </code>
创建一个 ONNX 推理会话。
类型: backends/onnx
的静态方法
返回: *
- ONNX 推理会话。
参数 | 类型 | 描述 |
---|---|---|
buffer | Uint8Array | ONNX 模型缓冲区。 |
session_options | * | ONNX 推理会话选项。 |
session_config | Object | ONNX 推理会话配置。 |
backends/onnx.isONNXTensor(x) ⇒ <code> boolean </code>
检查对象是否为 ONNX 张量。
类型: backends/onnx
的静态方法
返回: boolean
- 对象是否为 ONNX 张量。
参数 | 类型 | 描述 |
---|---|---|
x | any | 要检查的对象 |
backends/onnx.isONNXProxy() ⇒ <code> boolean </code>
检查 ONNX 的 WASM 后端是否正在代理。
类型: backends/onnx
的静态方法
返回: boolean
- ONNX 的 WASM 后端是否正在代理。
backends/onnx~defaultDevices : <code> Array. < ONNXExecutionProviders > </code>
Kind: backends/onnx
的内部属性
backends/onnx~wasmInitPromise : <code> Promise < any > </code> | <code> null </code>
为了防止多次调用 initWasm()
,我们将第一次调用存储在一个 Promise 中,当第一个 InferenceSession 创建时,该 Promise 会被解析。后续调用将在创建自己的 InferenceSession 之前等待该 Promise 解析。
Kind: backends/onnx
的内部属性
backends/onnx~DEVICE_TO_EXECUTION_PROVIDER_MAPPING : <code> * </code>
Kind: backends/onnx
的内部常量
backends/onnx~supportedDevices : <code> * </code>
支持设备列表,按优先级/性能排序。
Kind: backends/onnx
的内部常量
backends/onnx~ONNX_ENV : <code> * </code>
Kind: backends/onnx
的内部常量
backends/onnx~ONNXExecutionProviders : <code> * </code>
Kind: backends/onnx
的内部类型定义
< > 在 GitHub 上更新