Optimum 文档
优化
并获得增强的文档体验
开始使用
优化
ORTOptimizer
class optimum.onnxruntime.ORTOptimizer
< source >( onnx_model_path: typing.List[os.PathLike] config: PretrainedConfig from_ortmodel: bool = False )
处理在 huggingface.co/models 上共享的模型的 ONNX Runtime 优化过程。
from_pretrained
< source >( model_or_path: typing.Union[str, os.PathLike, optimum.onnxruntime.modeling_ort.ORTModel] file_names: typing.Optional[typing.List[str]] = None )
参数
- model_or_path (
Union[str, os.PathLike, ORTModel]) — 要优化的模型的本地目录路径，或ORTModel的实例以进行量化。可以是：- 包含要优化模型的本地目录的路径。
- ORTModel 的实例。
- file_names(
Optional[List[str]], 默认为None) — 要优化的模型的文件名列表。
get_fused_operators
< source >( onnx_model_path: typing.Union[str, os.PathLike] )
计算字典，该字典将融合算子的名称映射到它们在模型中出现的次数。
get_nodes_number_difference
< source >( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )
计算原始模型和优化模型之间节点数量的差异。
get_operators_difference
< source >( onnx_model_path: typing.Union[str, os.PathLike] onnx_optimized_model_path: typing.Union[str, os.PathLike] )
计算字典，该字典将算子名称映射到原始模型和优化模型之间相应节点数量的差异。
optimize
< source >( optimization_config: OptimizationConfig save_dir: typing.Union[str, os.PathLike] file_suffix: typing.Optional[str] = 'optimized' use_external_data_format: typing.Optional[bool] = None one_external_file: bool = True )
参数
- optimization_config (OptimizationConfig) — 包含与优化相关的参数的配置。
- save_dir (
Union[str, os.PathLike]) — 用于保存优化模型的路径。 - file_suffix (
str, 默认为"optimized") — 用于保存优化模型的文件后缀。 - use_external_data_format (
Optional[bool], 默认为None) — 是否使用外部数据格式存储大小 >= 2Gb 的模型。此参数已弃用。 - one_external_file (
bool, 默认为True) — 当use_external_data_format=True时，是否将所有张量保存到一个外部文件。如果为 False，则将每个张量保存到一个以张量名称命名的文件中。
根据 optimization_config 中定义的优化规范来优化模型。