CPO 训练器

对比偏好优化 (CPO) 如 Haoran Xu、Amr Sharaf、Yunmo Chen、Weiting Tan、Lingfeng Shen、Benjamin Van Durme、Kenton Murray 和 Young Jin Kim 在论文对比偏好优化：推动机器翻译中大型语言模型性能的边界中介绍。在高层次上，CPO 训练模型以避免在机器翻译 (MT) 任务中生成足够但并非完美的翻译。然而，CPO 是 DPO 损失的通用近似值，可以应用于其他领域，例如聊天。

CPO 的目标是减轻 SFT 的两个基本缺点。首先，SFT 的方法是最小化预测输出与黄金标准参考之间的差异，这固有地将模型性能限制在训练数据的质量水平。其次，SFT 缺乏一种机制来防止模型拒绝翻译中的错误。CPO 目标是从 DPO 目标推导出来的。

SimPO

CPOTrainer 中也实现了 SimPO 方法。SimPO 是一种替代损失，它添加了奖励边际，允许长度归一化，并且不使用 BC 正则化。要使用此损失，我们可以通过在 CPOConfig 中打开 loss_type="simpo" 和 cpo_alpha=0 来轻松使用 SimPO。

CPO-SimPO

我们还提供 CPO 和 SimPO 的组合使用，这可以实现更稳定的训练和改进的性能。在 CPO-SimPO Github 上了解更多详细信息。要使用此方法，只需通过设置 loss_type="simpo" 和非零 cpo_alpha 在 CPOConfig 中启用 SimPO 即可。

预期数据集格式

CPO 训练器期望的数据格式与 DPO 训练器相同，应包含三个条目。这些条目的名称应如下：

prompt
chosen
rejected

例如

cpo_dataset_dict = {
    "prompt": [
        "hello",
        "how are you",
        "What is your name?",
        "What is your name?",
        "Which is the best programming language?",
        "Which is the best programming language?",
        "Which is the best programming language?",
    ],
    "chosen": [
        "hi nice to meet you",
        "I am fine",
        "My name is Mary",
        "My name is Mary",
        "Python",
        "Python",
        "Java",
    ],
    "rejected": [
        "leave me alone",
        "I am not fine",
        "Whats it to you?",
        "I dont have a name",
        "Javascript",
        "C++",
        "C++",
    ],
}

其中prompt包含上下文输入，chosen包含相应的选中响应，rejected包含相应的负面（拒绝）响应。可以看出，一个提示可以有多个响应，这反映在字典的值数组中条目的重复。

预期模型格式

CPO 训练器期望的模型为AutoModelForCausalLM，而 PPO 则期望AutoModelForCausalLMWithValueHead 用于价值函数。

使用 CPOTrainer

有关详细示例，请查看examples/scripts/cpo.py脚本。在较高层面上，我们需要使用我们希望训练的model初始化CPOTrainer。**请注意，CPOTrainer 消除了使用参考模型的需要，简化了优化过程。**beta指的是隐式奖励的超参数，数据集包含上面列出的 3 个条目。

cpo_config = CPOConfig(
    beta=0.1,
)

cpo_trainer = CPOTrainer(
    model,
    args=cpo_config,
    train_dataset=train_dataset,
    tokenizer=tokenizer,
)

之后，就可以调用

cpo_trainer.train()

损失函数

给定偏好数据，CPOTrainer 使用通过logsigmoid对归一化似然进行 sigmoid 损失来拟合逻辑回归。

来自RSO论文的作者建议对来自SLiC论文的归一化似然使用 hinge 损失。可以通过loss_type="hinge"参数将CPOTrainer切换到此损失，在这种情况下，beta是边距的倒数。

来自IPO论文的作者提供了对 CPO 算法更深入的理论理解，并确定了一个过度拟合问题，并提出了一个替代损失，可以通过loss_type="ipo"参数传递给训练器。请注意，beta参数是选中与拒绝完成对的 log-likelihood 比率之间的间隙的倒数，因此beta越小，此间隙越大。根据论文，损失在完成的 log-likelihood 上取平均值（与仅求和的 CPO 不同）。

对于混合专家模型：启用辅助损失

如果负载在专家之间大致平均分配，则 MOE 最有效率。
为了确保我们在偏好调整期间以类似的方式训练 MOE，将负载平衡器中的辅助损失添加到最终损失中是有益的。

此选项通过在模型配置（例如 MixtralConfig）中设置output_router_logits=True来启用。
要调整辅助损失对总损失的贡献程度，请使用超参数router_aux_loss_coef=...（默认值：0.001）。

日志记录

在训练和评估期间，我们记录以下奖励指标：

rewards/chosen：策略模型对选中响应的平均 log 概率，乘以 beta
rewards/rejected：策略模型对拒绝响应的平均 log 概率，乘以 beta
rewards/accuracies：选中奖励大于相应拒绝奖励的频率的平均值
rewards/margins：选中奖励与相应拒绝奖励之间差异的平均值
nll_loss：策略模型对选中响应的平均负 log 似然损失

CPOTrainer

class trl.CPOTrainer

< 源代码 >

( model: Union = None args: Optional = None data_collator: Optional = None train_dataset: Optional = None eval_dataset: Union = None tokenizer: Optional = None model_init: Optional = None callbacks: Optional = None optimizers: Tuple = (None, None) preprocess_logits_for_metrics: Optional = None peft_config: Optional = None compute_metrics: Optional = None )

参数

model (transformers.PreTrainedModel) — 用于训练的模型，最好是 AutoModelForSequenceClassification。
args (CPOConfig) — 用于训练的 CPO 配置参数。
data_collator (transformers.DataCollator) — 用于训练的数据整理器。如果未指定，则将使用默认数据整理器 (DPODataCollatorWithPadding)，它将在给定配对序列数据集的情况下，将序列填充到批次中序列的最大长度。
train_dataset (datasets.Dataset) — 用于训练的数据集。
eval_dataset (datasets.Dataset) — 用于评估的数据集。
tokenizer (transformers.PreTrainedTokenizerBase) — 用于训练的分词器。如果您想使用默认数据整理器，则需要此参数。
model_init (Callable[[], transformers.PreTrainedModel]) — 用于训练的模型初始化器。如果未指定，则将使用默认模型初始化器。
callbacks (List[transformers.TrainerCallback]) — 用于训练的回调函数。
optimizers (Tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用于训练的优化器和调度器。
peft_config (Dict，默认为None) — 用于训练的 PEFT 配置。如果您传递 PEFT 配置，则模型将被包装在 PEFT 模型中。
compute_metrics (Callable[[EvalPrediction], Dict]，可选) — 用于计算指标的函数。必须接收一个EvalPrediction并返回一个字符串到指标值的字典。

初始化 CPOTrainer。

build_tokenized_answer

< 源代码 >

( prompt answer )

Llama 分词器满足enc(a + b) = enc(a) + enc(b)。它确保enc(a + b) = enc(a) + enc(a + b)[len(enc(a)):]。参考：https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257

concatenated_forward

< 源代码 >

( model: Module batch: Dict )

在给定的输入批次上运行给定的模型，将选择的和拒绝的输入连接在一起。

我们这样做是为了避免进行两次前向传递，因为对于 FSDP 来说它更快。

concatenated_inputs

< 源代码 >

( batch: Dict is_encoder_decoder: bool = False label_pad_token_id: int = -100 padding_value: int = 0 device: Optional = None )

将选择的和拒绝的输入连接成单个张量。

cpo_loss

< 源代码 >

( policy_chosen_logps: FloatTensor policy_rejected_logps: FloatTensor ) → 三个张量的元组

返回值

三个张量的元组

(losses, chosen_rewards, rejected_rewards)。losses 张量包含批次中每个示例的 CPO 损失。chosen_rewards 和 rejected_rewards 张量分别包含选择和拒绝响应的奖励。

计算一批策略和参考模型对数概率的 CPO 损失。

evaluation_loop

< 源代码 >

( dataloader: DataLoader description: str prediction_loss_only: Optional = None ignore_keys: Optional = None metric_key_prefix: str = 'eval' )

覆盖内置的评估循环以存储每个批次的指标。预测/评估循环，由Trainer.evaluate()和Trainer.predict()共享。

适用于有标签和无标签的情况。

get_batch_logps

< 源代码 >

( logits: FloatTensor labels: LongTensor average_log_prob: bool = False label_pad_token_id: int = -100 is_encoder_decoder: bool = False )

计算给定 logits 下给定标签的对数概率。

get_batch_loss_metrics

< 源代码 >

( model batch: Dict train_eval: Literal = 'train' )

计算给定批次的输入（训练或测试）的 CPO 损失和其他指标。

get_batch_samples

< 源代码 >

( model batch: Dict )

从模型和参考模型生成给定批次输入的样本。

log

< 源代码 >

( logs: Dict )

参数

logs (Dict[str, float]) — 要记录的值。

在各种观察训练的对象（包括存储的指标）上记录 logs。

tokenize_row

< 源代码 >

( feature model: Union = None )

对来自 CPO 特定数据集的单个行进行标记化。

在此阶段，我们尚未转换为 PyTorch 张量；我们只是处理截断，以防提示 + 选择的响应或提示 + 拒绝的响应过长。首先我们截断提示；如果仍然过长，我们截断选择/拒绝。

我们还为选择/拒绝的响应创建标签，其长度等于提示和选择/拒绝响应长度的总和，提示标记使用 label_pad_token_id。

CPOConfig

类 trl.CPOConfig

< 源代码 >

( output_dir: str overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: Union = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: Optional = None per_gpu_eval_batch_size: Optional = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: Optional = None eval_delay: Optional = 0 torch_empty_cache_steps: Optional = None learning_rate: float = 5e-05 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: Union = 'linear' lr_scheduler_kwargs: Union = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: Optional = 'passive' log_level_replica: Optional = 'warning' log_on_each_node: bool = True logging_dir: Optional = None logging_strategy: Union = 'steps' logging_first_step: bool = False logging_steps: float = 500 logging_nan_inf_filter: bool = True save_strategy: Union = 'steps' save_steps: float = 500 save_total_limit: Optional = None save_safetensors: Optional = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: Optional = None jit_mode_eval: bool = False use_ipex: bool = False bf16: bool = False fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: Optional = None local_rank: int = -1 ddp_backend: Optional = None tpu_num_cores: Optional = None tpu_metrics_debug: bool = False debug: Union = '' dataloader_drop_last: bool = False eval_steps: Optional = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: Optional = None past_index: int = -1 run_name: Optional = None disable_tqdm: Optional = None remove_unused_columns: Optional = True label_names: Optional = None load_best_model_at_end: Optional = False metric_for_best_model: Optional = None greater_is_better: Optional = None ignore_data_skip: bool = False fsdp: Union = '' fsdp_min_num_params: int = 0 fsdp_config: Union = None fsdp_transformer_layer_cls_to_wrap: Optional = None accelerator_config: Union = None deepspeed: Union = None label_smoothing_factor: float = 0.0 optim: Union = 'adamw_torch' optim_args: Optional = None adafactor: bool = False group_by_length: bool = False length_column_name: Optional = 'length' report_to: Union = None ddp_find_unused_parameters: Optional = None ddp_bucket_cap_mb: Optional = None ddp_broadcast_buffers: Optional = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: Optional = None hub_model_id: Optional = None hub_strategy: Union = 'every_save' hub_token: Optional = None hub_private_repo: bool = False hub_always_push: bool = False gradient_checkpointing: bool = False gradient_checkpointing_kwargs: Union = None include_inputs_for_metrics: bool = False include_for_metrics: List = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' evaluation_strategy: Union = None push_to_hub_model_id: Optional = None push_to_hub_organization: Optional = None push_to_hub_token: Optional = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: Optional = None ray_scope: Optional = 'last' ddp_timeout: Optional = 1800 torch_compile: bool = False torch_compile_backend: Optional = None torch_compile_mode: Optional = None dispatch_batches: Optional = None split_batches: Optional = None include_tokens_per_second: Optional = False include_num_input_tokens_seen: Optional = False neftune_noise_alpha: Optional = None optim_target_modules: Union = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: Optional = False eval_use_gather_object: Optional = False max_length: Optional = None max_prompt_length: Optional = None max_completion_length: Optional = None beta: float = 0.1 label_smoothing: float = 0.0 loss_type: Literal = 'sigmoid' disable_dropout: bool = True cpo_alpha: float = 1.0 simpo_gamma: float = 0.5 label_pad_token_id: int = -100 padding_value: Optional = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: Optional = None model_init_kwargs: Optional = None dataset_num_proc: Optional = None )

参数

max_length (Optional[int], 可选, 默认为 None) — 批次中序列（提示 + 补全）的最大长度。如果您想使用默认的数据整理器，则需要此参数。
max_completion_length (Optional[int]，可选，默认为 None) — 完结的最大长度。如果您想使用默认的数据整理器并且您的模型是编码器-解码器，则需要此参数。
beta (float，可选，默认为 0.1) — 控制与参考模型偏差的参数。较高的 β 表示与参考模型的偏差较小。对于 IPO 损失 (loss_type="ipo")，β 是论文中表示为 τ 的正则化参数。论文。
label_smoothing (float，可选，默认为 0.0) — 标签平滑因子。如果您想使用默认的数据整理器，则需要此参数。
loss_type (str，可选，默认为 "sigmoid") — 要使用的损失类型。可能的值包括：
- "sigmoid"：来自原始 DPO 论文的 sigmoid 损失。
- "hinge"：来自 SLiC 论文的归一化似然的 hinge 损失。
- "ipo"：来自 IPO 论文的 IPO 损失。
- "simpo"：来自 SimPO 论文的 SimPO 损失。
disable_dropout (bool，可选，默认为 True) — 是否禁用模型中的 dropout。
cpo_alpha (float，可选，默认为 1.0) — CPO 训练中 BC 正则化器的权重。
simpo_gamma (float，可选，默认为 0.5) — SimPO 损失的目标奖励裕度，仅在 loss_type="simpo" 时使用。
label_pad_token_id (int，可选，默认为 -100) — 标签填充 token id。如果您想使用默认的数据整理器，则需要此参数。
padding_value (Optional[int]，可选，默认为 None) — 要使用的填充值。如果为 None，则使用分词器的填充值。
truncation_mode (str，可选，默认为 "keep_end") — 当提示过长时使用的截断模式。可能的值为 "keep_end" 或 "keep_start"。如果您想使用默认的数据整理器，则需要此参数。
is_encoder_decoder (Optional[bool]，可选，默认为 None) — 当使用 model_init 参数（可调用对象）来实例化模型而不是 model 参数时，您需要指定可调用对象返回的模型是否为编码器-解码器模型。
model_init_kwargs (Optional[Dict[str, Any]]，可选，默认为 None) — 在从字符串实例化模型时，传递给 AutoModelForCausalLM.from_pretrained 的关键字参数。
dataset_num_proc (Optional[int]，可选，默认为 None) — 用于处理数据集的进程数。

CPOTrainer 的配置类。

使用 HfArgumentParser，我们可以将此类转换为 argparse 参数，这些参数可以在命令行上指定。

< > 在 GitHub 上更新

TRL

CPO 训练器

SimPO

CPO-SimPO

预期数据集格式

预期模型格式

使用 CPOTrainer

损失函数

对于混合专家模型：启用辅助损失

日志记录

CPOTrainer

class trl.CPOTrainer

build_tokenized_answer

concatenated_forward

concatenated_inputs

cpo_loss

evaluation_loop

get_batch_logps

get_batch_loss_metrics

get_batch_samples

log

tokenize_row

CPOConfig

类 trl.CPOConfig