配置

配置类是指定任务应如何完成的方式。以下是如何配置量化：

量化：由 ~furiosa.FuriosaQuantizer 执行，可以使用 ~furiosa.configuration.QuantizationConfig 设置量化。在某些情况下（训练后静态量化）需要校准步骤，可以使用 ~furiosa.configuration.CalibrationConfig 指定。

QuantizationConfig

class optimum.furiosa.QuantizationConfig

< source >

( with_quantize: bool = True normalized_pixel_outputs: typing.Sequence[int] = None )

参数

with_quantize (bool, 默认为 True) — 是否在结果模型的开头放置 Quantize 运算符。
normalized_pixel_outputs ( Sequence[int, 默认为 None) —: ONNX 模型中输出张量的索引序列，这些张量以 0.0 到 1.0 的归一化格式生成像素值。如果指定，则结果量化模型中相应的输出张量将生成未归一化的格式为 0 到 255 的像素值，表示为无符号 8 位整数 (uint8)。

QuantizationConfig 是处理所有 FuriosaAI 量化参数的配置类。

CalibrationConfig

class optimum.furiosa.CalibrationConfig

< source >

( dataset_name: str dataset_config_name: str dataset_split: str dataset_num_samples: int method: CalibrationMethod percentage: typing.Optional[float] = None )

参数

dataset_name (str) — 校准数据集的名称。
dataset_config_name (str) — 校准数据集配置的名称。
dataset_split (str) — 用于执行校准步骤的数据集拆分。
dataset_num_samples (int) — 组成校准数据集的样本数。
method (CalibrationMethod) — 选择用于使用校准数据集计算激活量化参数的方法。
percentage (Optional[float], 默认为 None) — 当使用百分位方法执行校准步骤时，用于计算激活量化范围的百分比。

CalibrationConfig 是处理与静态量化校准步骤相关的所有 FurioaAI 参数的配置类。

FuriosaConfig

class optimum.furiosa.FuriosaAIConfig

< source >

( opset: typing.Optional[int] = None quantization: typing.Optional[optimum.furiosa.configuration.QuantizationConfig] = None calibration: typing.Optional[optimum.furiosa.configuration.CalibrationConfig] = None **kwargs )

Optimum

配置

QuantizationConfig

class optimum.furiosa.QuantizationConfig

CalibrationConfig

class optimum.furiosa.CalibrationConfig

FuriosaConfig

class optimum.furiosa.FuriosaAIConfig