参数

• 权重 (str, 可选, 默认为 "int8") — 量化后权重的目标数据类型。支持的值为 (“float8”,“int8”,“int4”,“int2”)
• 激活 (str, 可选) — 量化后激活的目标数据类型。支持的值为 (None,“int8”,“float8”)
• modules_to_not_convert (list，可选，默认为 None) — 不进行量化的模块列表，对于需要某些模块保持原始精度的模型（例如 Whisper 编码器、Llava 编码器、Mixtral 门控层）的量化很有用。

参数

• in_group_size (int，可选，默认为 8) — 沿输入维度的组大小。
• out_group_size (int，可选，默认为 1) — 沿输出维度的组大小。建议始终使用 1。
• num_codebooks (int，可选，默认为 1) — 加法量化过程的码本数量。
• nbits_per_codebook (int, 可选, 默认为 16) — 编码单个码本向量的位数。码本大小为 2**nbits_per_codebook。
• linear_weights_not_to_quantize (Optional[List[str]], 可选) — 不应量化的 nn.Linear 权重参数的完整路径列表。
• kwargs (Dict[str, Any], 可选) — 用于初始化配置对象的附加参数。

参数

• bits (int，可选，默认为 4) — 量化到的位数。
• group_size (int，可选，默认为 128) — 用于量化的组大小。建议值为 128，-1 使用每列量化。
• zero_point (bool，可选，默认为 True) — 是否使用零点量化。
• version (AWQLinearVersion，可选，默认为 AWQLinearVersion.GEMM) — 要使用的量化算法版本。GEMM 更适合大批量大小（例如 >= 8），否则 GEMV 更好（例如 < 8）。GEMM 模型与 Exllama 内核兼容。
• backend (AwqBackendPackingMethod，可选，默认为 AwqBackendPackingMethod.AUTOAWQ) — 量化后端。某些模型可以使用 llm-awq 后端进行量化。这对于使用 llm-awq 库量化自己模型的用户很有用。
• do_fuse (bool，可选，默认为 False) — 是否将注意力和 mlp 层融合在一起以加快推理速度
• fuse_max_seq_len (int，可选) — 使用融合时生成的最大序列长度。
• modules_to_fuse (dict，可选，默认为 None) — 使用用户指定的融合方案覆盖原生支持的融合方案。
• modules_to_not_convert (list，可选，默认为 None) — 不进行量化的模块列表，对于需要明确保留某些模块原始精度的模型的量化很有用（例如 Whisper 编码器、Llava 编码器、Mixtral 门控层）。请注意，您不能直接使用 transformers 进行量化，请参阅 AutoAWQ 文档以了解如何量化 HF 模型。
• exllama_config (Dict[str, Any]，可选) — 您可以通过 version 键指定 exllama 内核的版本，通过 max_input_len 键指定最大序列长度，通过 max_batch_size 键指定最大批次大小。如果未设置，则默认为 {"version": 2, "max_input_len": 2048, "max_batch_size": 8}。

参数

• weights (str，可选，默认为 "int8") — 权重的目标数据类型。支持的值只有“int8”
• modules_to_not_convert (list, 可选, 默认为 None) — 不进行量化的模块列表，对于需要某些模块保持原始精度的模型的量化很有用。

参数

• bits (int) — 量化的位数，支持的数字为 (2, 3, 4, 8)。
• tokenizer (str 或 PreTrainedTokenizerBase，可选) — 用于处理数据集的分词器。您可以传递以下内容：
  • 自定义分词器对象。
  • 字符串，托管在 huggingface.co 上的模型仓库中的预定义分词器的模型 ID。
  • 分词器所需的目录路径，其中包含词汇表文件，例如使用 save_pretrained() 方法保存的文件，例如，./my_model_directory/。
• dataset (Union[List[str]]，可选) — 用于量化的数据集。您可以在字符串列表中提供自己的数据集，或者只使用 GPTQ 论文 [‘wikitext2’,‘c4’,‘c4-new’] 中使用的原始数据集
• group_size (int，可选，默认为 128) — 用于量化的组大小。建议值为 128，-1 使用每列量化。
• damp_percent (float，可选，默认为 0.1) — 用于阻尼的平均 Hessian 对角线的百分比。建议值为 0.1。
• desc_act (bool，可选，默认为 False) — 是否按激活大小递减的顺序量化列。将其设置为 False 可以显着加快推理速度，但困惑度可能会略有下降。也称为 act-order。
• sym (bool，可选，默认为 True) — 是否使用对称量化。
• true_sequential (bool，可选，默认为 True) — 是否即使在单个 Transformer 块内也执行顺序量化。我们不是一次量化整个块，而是执行逐层量化。因此，每一层都使用通过先前量化层的输入进行量化。
• use_cuda_fp16 (bool，可选，默认为 False) — 是否使用针对 fp16 模型优化的 cuda 内核。需要将模型转换为 fp16 格式。
• model_seqlen (int，可选) — 模型可以接受的最大序列长度。
• block_name_to_quantize (str，可选) — 要量化的 transformers 模块名称。如果为 None，我们将使用常见模式（例如 model.layers）推断模块名称。
• module_name_preceding_first_block (List[str]，可选) — 第一个 Transformer 模块之前的层。
• batch_size (int，可选，默认为 1) — 处理数据集时使用的批量大小。
• pad_token_id (int，可选) — 填充标记 ID。当 batch_size > 1 时，需要准备数据集。
• use_exllama (bool，可选) — 是否使用 exllama 后端。如果未设置，则默认为 True。仅适用于 bits = 4 的情况。
• max_input_length (int，可选) — 最大输入长度。这是初始化依赖于最大预期输入长度的缓冲区所必需的。它特定于带有 act-order 的 exllama 后端。
• exllama_config (Dict[str, Any], 可选) — Exllama 配置。您可以通过 version 键指定 exllama 内核的版本。如果未设置，则默认为 {"version": 1}。
• cache_block_outputs (bool, 可选, 默认为 True) — 是否缓存块输出以重用作为后续块的输入。
• modules_in_block_to_quantize (List[List[str]], 可选) — 指定块中要量化的模块名称列表的列表。此参数可用于从量化中排除某些线性模块。要量化的块可以通过设置 block_name_to_quantize 来指定。我们将按顺序量化每个列表。如果未设置，我们将量化所有线性层。示例： modules_in_block_to_quantize =[["self_attn.k_proj", "self_attn.v_proj", "self_attn.q_proj"], ["self_attn.o_proj"]]。在此示例中，我们将首先同时量化 q、k、v 层，因为它们是独立的。然后，我们将使用量化的 q、k、v 层量化 self_attn.o_proj 层。这样，我们将获得更好的结果，因为它反映了模型量化时 self_attn.o_proj 将获得的实际输入。

参数

• load_in_8bit (bool, 可选, 默认为 False) — 此标志用于启用 LLM.int8() 的 8 位量化。
• load_in_4bit (bool, 可选, 默认为 False) — 此标志用于通过将线性层替换为来自 bitsandbytes 的 FP4/NF4 层来启用 4 位量化。
• llm_int8_threshold (float, 可选, 默认为 6.0) — 这对应于 LLM.int8() : 8-bit Matrix Multiplication for Transformers at Scale 论文中描述的异常值检测的异常值阈值： https://arxiv.org/abs/2208.07339 任何高于此阈值的隐藏状态值将被视为异常值，并且对这些值的运算将在 fp16 中完成。 值通常呈正态分布，也就是说，大多数值都在 [-3.5, 3.5] 范围内，但有一些特殊的系统异常值对于大型模型的分布非常不同。 这些异常值通常在 [-60, -6] 或 [6, 60] 区间内。 Int8 量化适用于大小约为 5 的值，但超过此值，性能会显着下降。 一个良好的默认阈值为 6，但对于更不稳定的模型（小型模型、微调），可能需要更低的阈值。
• llm_int8_skip_modules (List[str], 可选) — 我们不想转换为 8 位的模块的显式列表。 这对于 Jukebox 等模型很有用，这些模型在不同位置有多个头部，而且不一定位于最后一个位置。 例如，对于 CausalLM 模型，最后一个 lm_head 保留在其原始 dtype 中。
• llm_int8_enable_fp32_cpu_offload (bool，可选，默认为 False) — 此标志用于高级用例和了解此功能的用户。如果想将模型拆分为不同的部分，并在 GPU 上以 int8 运行某些部分，在 CPU 上以 fp32 运行某些部分，则可以使用此标志。这对于卸载大型模型（例如 google/flan-t5-xxl）非常有用。请注意，int8 操作不会在 CPU 上运行。
• llm_int8_has_fp16_weight (bool，可选，默认为 False) — 此标志使用 16 位主权重运行 LLM.int8()。这对于微调非常有用，因为权重不必为了反向传播而反复转换。
• bnb_4bit_compute_dtype (torch.dtype 或 str，可选，默认为 torch.float32) — 这将设置计算类型，该类型可能与输入类型不同。例如，输入可能是 fp32，但为了提高速度，可以将计算设置为 bf16。
• bnb_4bit_quant_type (str，可选，默认为 "fp4") — 这将设置 bnb.nn.Linear4Bit 层中的量化数据类型。选项为 FP4 和 NF4 数据类型，分别由 fp4 或 nf4 指定。
• bnb_4bit_use_double_quant (bool，可选，默认为 False) — 此标志用于嵌套量化，其中来自第一次量化的量化常数将再次被量化。
• bnb_4bit_quant_storage (torch.dtype 或 str，可选，默认为 torch.uint8) — 这将设置存储类型以打包量化的 4 位参数。
• kwargs (Dict[str, Any]，可选) — 用于初始化配置对象的附加参数。

参数

• nbits (int，可选，默认为 4) — 位数。支持的值为 (8, 4, 3, 2, 1)。
• group_size (int，可选，默认为 64) — 组大小值。支持的值为任何可被 weight.shape[axis] 整除的值。
• quant_zero (bool，可选，默认为 True) — 如果设置为 True，则量化零点。
• quant_scale (bool，可选，默认为 False) — 如果设置为 True，则量化缩放比例。
• offload_meta (bool，可选，默认为 False) — 如果设置为 True，则将元数据卸载到 CPU。
• view_as_float (bool，可选，默认为 False) — 如果设置为 True，则将量化权重视为浮点数（用于分布式训练）。
• axis (int，可选，默认为 0) — 执行分组的轴。支持的值为 0 或 1。
• dynamic_config (dict，可选) — 动态配置的参数。键是层的名称标签，值是量化配置。如果设置，则每个由其 ID 指定的层将使用其专用的量化配置。
• skip_modules (List[str], 可选, 默认为 ['lm_head']) — 要跳过的 nn.Linear 层列表。
• kwargs (Dict[str, Any], 可选) — 用于初始化配置对象的附加参数。

参数

• activation_scale_ub (float, 可选, 默认为 1200.0) — 激活比例上限。这用于量化输入激活。
• modules_to_not_convert (list, 可选, 默认为 None) — 不进行量化的模块列表，对于需要某些模块保持原始精度的模型的量化很有用。

参数

• config_groups (typing.Dict[str, typing.Union[ForwardRef('QuantizationScheme'), typing.List[str]]], 可选) — 将组名映射到量化方案定义的字典
• format (str, 可选, 默认为 "dense") — 模型表示的格式
• quantization_status (QuantizationStatus, 可选, 默认为 "initialized") — 模型在量化生命周期中的状态，例如“初始化”、“校准”、“冻结”
• kv_cache_scheme (typing.Union[QuantizationArgs, NoneType], 可选) — 指定键值缓存的量化。如果为 None，则不量化键值缓存。
• global_compression_ratio (typing.Union[float, NoneType]，可选) — 模型压缩百分比，0-1 之间的浮点数
• ignore (typing.Union[typing.List[str], NoneType]，可选) — 不进行量化的层名称或类型，支持以“re:”为前缀的正则表达式
• sparsity_config (typing.Dict[str, typing.Any]，可选) — 稀疏压缩的配置
• quant_method (str，可选，默认为 "compressed-tensors") — 请勿覆盖，应为 compressed-tensors

参数

• quant_type (str) — 我们想要使用的量化类型，目前支持：int4_weight_only、int8_weight_only 和 int8_dynamic_activation_int8_weight。
• modules_to_not_convert (list, 可选, 默认值为 None) — 不进行量化的模块列表，这对于量化明确要求某些模块保持原始精度的模型很有用。
• kwargs (Dict[str, Any], 可选) — 所选量化类型的关键字参数，例如，int4_weight_only 量化目前支持两个关键字参数 group_size 和 inner_k_tiles。更多 API 示例和参数文档可以在 https://github.com/pytorch/ao/tree/main/torchao/quantization#other-available-quantization-techniques 中找到