Optimum 文档

配置

您正在查看 主分支 版本,需要从源代码安装。如果您想要使用常规的 pip 安装,请查看最新的稳定版本 (v1.23.1).
Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

开始使用

配置

配置类是指定任务如何执行的方式。以下是如何配置量化的示例:

  1. 量化:由~furiosa.FuriosaQuantizer执行,可以使用~furiosa.configuration.QuantizationConfig设置量化。在某些情况下(训练后静态量化)需要校准步骤,可以使用~furiosa.configuration.CalibrationConfig指定。

QuantizationConfig

optimum.furiosa.QuantizationConfig

< >

( with_quantize: bool = True normalized_pixel_outputs: Sequence = None )

参数

  • with_quantize (bool,默认为 True) — 是否在生成的模型开头放置量化操作符。
  • normalized_pixel_outputs ( Sequence[int,默认为 None) —:ONNX 模型中输出张量的索引序列,这些张量生成范围从 0.0 到 1.0 的归一化格式的像素值。如果指定,则生成的量化模型中的相应输出张量将生成范围从 0 到 255 的非归一化格式的像素值,表示为无符号 8 位整数 (uint8)。

QuantizationConfig 是处理所有 FuriosaAI 量化参数的配置类。

CalibrationConfig

optimum.furiosa.CalibrationConfig

< >

( dataset_name: str <

参数

  • dataset_name (str) — 校准数据集的名称。
  • dataset_config_name (str) — 校准数据集配置的名称。
  • dataset_split (str) — 用于执行校准步骤的数据集的哪个部分。
  • dataset_num_samples (int) — 构成校准数据集的样本数。
  • method (CalibrationMethod) — 使用校准数据集计算激活量化参数时选择的方法。
  • percentage (Optional[float], defaults to None) — 使用百分位数方法执行校准步骤时,计算激活量化范围时使用的百分比。

CalibrationConfig 是一个配置类,用于处理与静态量化校准步骤相关的所有 FurioaAI 参数。

FuriosaConfig

class optimum.furiosa.FuriosaAIConfig

< >

( opset: Optional = None quantization: Optional = None calibration: Optional = None **kwargs )