Hugging Face 的徽标

Optimum 文档

优化

您正在查看 主分支 版本，需要从源代码安装. 如果你想使用常规的 pip 安装，请查看最新的稳定版本（v1.23.1）。
Hugging Face's logo
加入 Hugging Face 社区

并获得增强型文档体验

开始使用

优化

ORTOptimizer

class optimum.onnxruntime.ORTOptimizer

< >

( onnx_model_path: typing.List[os.PathLike] config: PretrainedConfig from_ortmodel: bool = False )

处理 Huggingface.co/models 上共享的模型的 ONNX Runtime 优化过程。

from_pretrained

< >

( model_or_path: typing.Union[str, os.PathLike, optimum.onnxruntime.modeling_ort.ORTModel] file_names: typing.Optional[typing.List[str]] = None )

参数

  • model_or_path (Union[str, os.PathLike, ORTModel]) — 要优化的模型的本地目录路径或要量化的 ORTModel 实例。 可以是以下之一：
    • 包含要优化的模型的本地目录的路径。
    • ORTModel 的实例。
  • file_names(Optional[List[str]], 默认值为 None) — 要优化的模型的文件名列表。

get_fused_operators

< >

( onnx_model_path: typing.Union[str, os.PathLike] )

参数

  • onnx_model_path (Union[str, os.PathLike]) — ONNX 模型路径。

计算融合运算符名称与其在模型中出现次数的映射字典。

get_nodes_number_difference

< >

( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )

参数

  • onnx_model_path (Union[str, os.PathLike]) — ONNX 模型路径。
  • onnx_optimized_model_path (Union[str, os.PathLike]) — 优化后的 ONNX 模型路径。

计算原始模型和优化模型之间的节点数量差异。

get_operators_difference

< >

( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )

参数

  • onnx_model_path (Union[str, os.PathLike]) — ONNX 模型路径。
  • onnx_optimized_model_path (Union[str, os.PathLike]) — 优化后的 ONNX 模型路径。

计算运算符名称与其在原始模型和优化模型之间对应节点数量差异的映射字典。

optimize

< >

( optimization_config: OptimizationConfig save_dir: typing.Union[str, os.PathLike] file_suffix: typing.Optional[str] = 'optimized' use_external_data_format: typing.Optional[bool] = None one_external_file: bool = True )

参数

  • save_dir (Union[str, os.PathLike]) — 用于保存优化模型的路径。
  • file_suffix (str, 默认值为 "optimized") — 用于保存优化模型的文件后缀。
  • use_external_data_format (Optional[bool], 默认值为 None) — 是否使用外部数据格式存储大小>= 2Gb 的模型。该参数已弃用。
  • one_external_file (bool, 默认值为 True) — 当 use_external_data_format=True 时，是否将所有张量保存到一个外部文件。如果为 False，则将每个张量保存到一个以张量名称命名的文件中。

根据 optimization_config 中定义的优化规范优化模型。

< > 在 GitHub 上更新

←配置 量化→