Hugging Face's logo

Optimum 文档

配置

您正在查看 main 版本，该版本需要从源代码安装。如果您想要常规 pip 安装，请查看最新的稳定版本 (v1.24.0)。
Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

配置

配置类是指定任务应如何完成的方式。以下是如何配置量化：

  1. 量化：由 ~furiosa.FuriosaQuantizer 执行，可以使用 ~furiosa.configuration.QuantizationConfig 设置量化。在某些情况下（训练后静态量化）需要校准步骤，可以使用 ~furiosa.configuration.CalibrationConfig 指定。

QuantizationConfig

class optimum.furiosa.QuantizationConfig

< >

( with_quantize: bool = True normalized_pixel_outputs: typing.Sequence[int] = None )

参数

  • with_quantize (bool, 默认为 True) — 是否在结果模型的开头放置 Quantize 运算符。
  • normalized_pixel_outputs ( Sequence[int, 默认为 None) —: ONNX 模型中输出张量的索引序列，这些张量以 0.0 到 1.0 的归一化格式生成像素值。如果指定，则结果量化模型中相应的输出张量将生成未归一化的格式为 0 到 255 的像素值，表示为无符号 8 位整数 (uint8)。

QuantizationConfig 是处理所有 FuriosaAI 量化参数的配置类。

CalibrationConfig

class optimum.furiosa.CalibrationConfig

< >

( dataset_name: str dataset_config_name: str dataset_split: str dataset_num_samples: int method: CalibrationMethod percentage: typing.Optional[float] = None )

参数

  • dataset_name (str) — 校准数据集的名称。
  • dataset_config_name (str) — 校准数据集配置的名称。
  • dataset_split (str) — 用于执行校准步骤的数据集拆分。
  • dataset_num_samples (int) — 组成校准数据集的样本数。
  • method (CalibrationMethod) — 选择用于使用校准数据集计算激活量化参数的方法。
  • percentage (Optional[float], 默认为 None) — 当使用百分位方法执行校准步骤时，用于计算激活量化范围的百分比。

CalibrationConfig 是处理与静态量化校准步骤相关的所有 FurioaAI 参数的配置类。

FuriosaConfig

class optimum.furiosa.FuriosaAIConfig

< >

( opset: typing.Optional[int] = None quantization: typing.Optional[optimum.furiosa.configuration.QuantizationConfig] = None calibration: typing.Optional[optimum.furiosa.configuration.CalibrationConfig] = None **kwargs )

←模型 量化→