CPO Trainer

概览

对比偏好优化 (CPO)，如对比偏好优化：推动 LLM 在机器翻译性能方面的边界论文中所介绍，作者包括 Haoran Xu、Amr Sharaf、Yunmo Chen、Weiting Tan、Lingfeng Shen、Benjamin Van Durme、Kenton Murray 和 Young Jin Kim。从高层次来看，CPO 训练模型以避免在机器翻译 (MT) 任务中生成足够好但不完美的翻译。然而，CPO 是 DPO 损失的一般近似，可以应用于其他领域，例如聊天。

CPO 旨在缓解 SFT 的两个基本缺点。首先，SFT 最小化预测输出和黄金标准参考之间差异的方法，本质上将模型性能限制在训练数据的质量水平。其次，SFT 缺乏一种机制来防止模型拒绝翻译中的错误。CPO 目标源自 DPO 目标。

快速入门

此示例演示了如何使用 CPO 方法训练模型。我们使用 Qwen 0.5B 模型作为基础模型。我们使用来自 UltraFeedback 数据集的偏好数据。您可以在此处查看数据集中的数据

以下是训练模型的脚本

# train_cpo.py
from datasets import load_dataset
from trl import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO", logging_steps=10)
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

使用以下命令执行脚本

accelerate launch train_cpo.py

预期数据集类型

CPO 需要一个偏好数据集。CPOTrainer 同时支持对话式和标准数据集格式。当提供对话式数据集时，训练器将自动将聊天模板应用于数据集。

示例脚本

我们提供了一个示例脚本，用于演示如何使用 CPO 方法训练模型。该脚本位于 examples/scripts/cpo.py 中

要在 UltraFeedback 数据集上使用 Qwen2 0.5B 模型测试 CPO 脚本，请运行以下命令

accelerate launch examples/scripts/cpo.py \
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized \
    --num_train_epochs 1 \
    --logging_steps 25 \
    --output_dir Qwen2-0.5B-CPO

记录的指标

在训练和评估期间，我们记录以下奖励指标

rewards/chosen：策略模型对选定响应的平均对数概率，并按 beta 缩放
rewards/rejected：策略模型对拒绝响应的平均对数概率，并按 beta 缩放
rewards/accuracies：选定奖励 > 相应拒绝奖励的平均频率
rewards/margins：选定奖励与相应拒绝奖励之间的平均差异
nll_loss：策略模型对选定响应的平均负对数似然损失

CPO 变体

简单偏好优化 (SimPO)

SimPO 方法也在 CPOTrainer 中实现。SimPO 是一种替代损失函数，它增加了奖励边际，允许长度归一化，并且不使用 BC 正则化。要使用此损失函数，我们可以通过在 CPOConfig 中启用 loss_type="simpo" 和 cpo_alpha=0.0 来轻松使用 SimPO。

CPO-SimPO

我们还提供了 CPO 和 SimPO 的组合使用，这可以实现更稳定的训练和改进的性能。在 CPO-SimPO GitHub 了解更多详情。要使用此方法，只需在 CPOConfig 中设置 loss_type="simpo" 和非零 cpo_alpha 来启用 SimPO。

损失函数

CPO 算法支持多种损失函数。可以使用 CPOConfig 中的 loss_type 参数设置损失函数。支持以下损失函数

`loss_type=`	描述
`"sigmoid"` (默认)	给定偏好数据，我们可以根据 Bradley-Terry 模型拟合二元分类器，实际上 DPO 作者建议通过 `logsigmoid` 对归一化似然使用 sigmoid 损失，以拟合逻辑回归。
`"hinge"`	RSO 作者建议在 SLiC 论文中使用来自归一化似然的 hinge 损失。在这种情况下，`beta` 是边际的倒数。
`"ipo"`	IPO 作者提供了对 DPO 算法更深层次的理论理解，并识别了过度拟合问题，并提出了替代损失函数。在这种情况下，`beta` 是选定与拒绝完成对的对数似然比之间的差距的倒数，因此 `beta` 越小，此差距越大。根据论文，损失是在完成的对数似然上平均的（与仅求和的 DPO 不同）。

对于专家混合模型：启用辅助损失

如果专家之间的负载大致均等分布，则 MOE 是最有效的。
为了确保我们在偏好调整期间以类似的方式训练 MOE，将来自负载均衡器的辅助损失添加到最终损失中是有益的。

通过在模型配置（例如 MixtralConfig）中设置 output_router_logits=True 来启用此选项。
要缩放辅助损失对总损失的贡献程度，请在模型配置中使用超参数 router_aux_loss_coef=...（默认值：0.001）。

CPOTrainer

class trl.CPOTrainer

< source >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, str, NoneType] = None args: typing.Optional[trl.trainer.cpo_config.CPOConfig] = None data_collator: typing.Optional[transformers.data.data_collator.DataCollator] = None train_dataset: typing.Optional[datasets.arrow_dataset.Dataset] = None eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, dict[str, datasets.arrow_dataset.Dataset], NoneType] = None processing_class: typing.Union[transformers.tokenization_utils_base.PreTrainedTokenizerBase, transformers.image_processing_utils.BaseImageProcessor, transformers.feature_extraction_utils.FeatureExtractionMixin, transformers.processing_utils.ProcessorMixin, NoneType] = None model_init: typing.Optional[typing.Callable[[], transformers.modeling_utils.PreTrainedModel]] = None callbacks: typing.Optional[list[transformers.trainer_callback.TrainerCallback]] = None optimizers: tuple = (None, None) preprocess_logits_for_metrics: typing.Optional[typing.Callable[[torch.Tensor, torch.Tensor], torch.Tensor]] = None peft_config: typing.Optional[dict] = None compute_metrics: typing.Optional[typing.Callable[[transformers.trainer_utils.EvalLoopOutput], dict]] = None )

参数

model (transformers.PreTrainedModel) — 要训练的模型，最好是 AutoModelForSequenceClassification。
args (CPOConfig) — 用于训练的 CPO 配置参数。
data_collator (transformers.DataCollator) — 用于训练的数据收集器。如果未指定，将使用默认数据收集器 (DPODataCollatorWithPadding)，它将根据成对序列数据集，将序列填充到批次中最长序列的长度。
train_dataset (datasets.Dataset) — 用于训练的数据集。
eval_dataset (datasets.Dataset) — 用于评估的数据集。
processing_class (PreTrainedTokenizerBase or BaseImageProcessor or FeatureExtractionMixin or ProcessorMixin, optional) — 用于处理数据的处理类。如果提供，将用于自动处理模型的输入，并将其与模型一起保存，以便更容易地重新运行中断的训练或重用微调后的模型。
model_init (Callable[[], transformers.PreTrainedModel]) — 用于训练的模型初始化器。如果未指定，将使用默认模型初始化器。
callbacks (list[transformers.TrainerCallback]) — 用于训练的回调列表。
optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用于训练的优化器和调度器。
preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 用于在计算指标之前预处理 logits 的函数。
peft_config (dict, defaults to None) — 用于训练的 PEFT 配置。如果您传递 PEFT 配置，模型将被包装在 PEFT 模型中。
compute_metrics (Callable[[EvalPrediction], dict], optional) — 用于计算指标的函数。必须接受 EvalPrediction 并返回一个字典，其中字符串映射到指标值。

初始化 CPOTrainer。

build_tokenized_answer

< source >

( prompt answer )

Llama 分词器满足 enc(a + b) = enc(a) + enc(b)。它确保 enc(a + b) = enc(a) + enc(a + b)[len(enc(a)):]。参考：https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257

concatenated_forward

< source >

( model: Module batch: dict )

在给定的输入批次上运行给定模型，并将选择的和拒绝的输入连接在一起。

我们这样做是为了避免进行两次前向传递，因为对于 FSDP 来说这样更快。

concatenated_inputs

< source >

( batch: dict is_encoder_decoder: bool = False label_pad_token_id: int = -100 padding_value: int = 0 device: typing.Optional[torch.device] = None )

参数

batch — 数据批次。必须包含键 ‘chosen_input_ids’ 和 ‘rejected_input_ids’，它们是形状为 (batch_size, sequence_length) 的张量。
is_encoder_decoder — 模型是否为编码器-解码器模型。
label_pad_token_id — 标签填充 token id。
padding_value — 用于连接的 inputs_ids 的填充值。
device — 连接输入的设备。

将选择的和拒绝的输入连接成单个张量。

cpo_loss

< source >

( policy_chosen_logps: FloatTensor policy_rejected_logps: FloatTensor ) → 包含三个张量的元组

参数

policy_chosen_logps — 选择的响应的策略模型的对数概率。形状：(batch_size,)
policy_rejected_logps — 拒绝的响应的策略模型的对数概率。形状：(batch_size,)

包含三个张量的元组

(losses, chosen_rewards, rejected_rewards)。losses 张量包含批次中每个示例的 CPO 损失。chosen_rewards 和 rejected_rewards 张量分别包含选择的和拒绝的响应的奖励。

计算一批策略和参考模型对数概率的 CPO 损失。

create_model_card

< source >

( model_name: typing.Optional[str] = None dataset_name: typing.Optional[str] = None tags: typing.Union[str, list[str], NoneType] = None )

参数

model_name (str or None, optional, defaults to None) — 模型名称。
dataset_name (str or None, optional, defaults to None) — 用于训练的数据集名称。
tags (str, list[str] or None, optional, defaults to None) — 与模型卡关联的标签。

使用 Trainer 可用的信息创建模型卡的草稿。

evaluation_loop

< source >

( dataloader: DataLoader description: str prediction_loss_only: typing.Optional[bool] = None ignore_keys: typing.Optional[list[str]] = None metric_key_prefix: str = 'eval' )

重写内置的评估循环，以存储每个批次的指标。预测/评估循环，由 Trainer.evaluate() 和 Trainer.predict() 共享。

可以用于带标签或不带标签的情况。

generate_from_model

< source >

( model batch: dict )

从模型和参考模型中为给定的输入批次生成样本。

get_batch_logps

< source >

( logits: FloatTensor labels: LongTensor average_log_prob: bool = False label_pad_token_id: int = -100 is_encoder_decoder: bool = False )

参数

logits — 模型的 logits（未归一化）。形状: (batch_size, sequence_length, vocab_size)
labels — 用于计算对数概率的标签。标签 token 值为 label_pad_token_id 的将被忽略。形状: (batch_size, sequence_length)
average_log_prob — 如果为 True，则返回每个（非掩码）token 的平均对数概率。否则，返回（非掩码）token 的对数概率之和。
label_pad_token_id — 标签填充 token id。
is_encoder_decoder — 模型是否为编码器-解码器模型。

计算给定 logits 下给定标签的对数概率。

get_batch_loss_metrics

< source >

( model batch: dict train_eval: typing.Literal['train', 'eval'] = 'train' )

计算给定输入批次的 CPO 损失和其他指标，用于训练或测试。

log

< source >

( logs: dict start_time: typing.Optional[float] = None )

参数

logs (dict[str, float]) — 要记录的值。
start_time (float 或 None, 可选, 默认为 None) — 训练的开始时间。

在各种监视训练的对象上记录 logs，包括存储的指标。

tokenize_row

< source >

( feature model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.modules.module.Module, NoneType] = None )

从 CPO 特定数据集中 token 化单行数据。

在此阶段，我们尚未转换为 PyTorch 张量；我们只是处理截断，以防 prompt + chosen 或 prompt + rejected 响应过长。首先我们截断 prompt；如果仍然太长，我们将截断 chosen/rejected。

我们还为 chosen/rejected 响应创建标签，标签的长度等于 prompt 和 chosen/rejected 响应的长度之和，prompt token 的标签为 label_pad_token_id。

CPOConfig

class trl.CPOConfig

< source >

( output_dir: typing.Optional[str] = None overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: typing.Optional[int] = None per_gpu_eval_batch_size: typing.Optional[int] = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: typing.Optional[int] = None eval_delay: typing.Optional[float] = 0 torch_empty_cache_steps: typing.Optional[int] = None learning_rate: float = 1e-06 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: typing.Union[transformers.trainer_utils.SchedulerType, str] = 'linear' lr_scheduler_kwargs: typing.Union[dict, str, NoneType] = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: typing.Optional[str] = 'passive' log_level_replica: typing.Optional[str] = 'warning' log_on_each_node: bool = True logging_dir: typing.Optional[str] = None logging_strategy: typing.Union[transformers.trainer_utils.IntervalStrategy, str] = 'steps' logging_first_step: bool = False logging_steps: float = 500 logging_nan_inf_filter: bool = True save_strategy: typing.Union[transformers.trainer_utils.SaveStrategy, str] = 'steps' save_steps: float = 500 save_total_limit: typing.Optional[int] = None save_safetensors: typing.Optional[bool] = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: typing.Optional[int] = None jit_mode_eval: bool = False use_ipex: bool = False bf16: bool = False fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: typing.Optional[bool] = None local_rank: int = -1 ddp_backend: typing.Optional[str] = None tpu_num_cores: typing.Optional[int] = None tpu_metrics_debug: bool = False debug: typing.Union[str, list[transformers.debug_utils.DebugOption]] = '' dataloader_drop_last: bool = False eval_steps: typing.Optional[float] = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: typing.Optional[int] = None past_index: int = -1 run_name: typing.Optional[str] = None disable_tqdm: typing.Optional[bool] = None remove_unused_columns: typing.Optional[bool] = True label_names: typing.Optional[list[str]] = None load_best_model_at_end: typing.Optional[bool] = False metric_for_best_model: typing.Optional[str] = None greater_is_better: typing.Optional[bool] = None ignore_data_skip: bool = False fsdp: typing.Union[list[transformers.trainer_utils.FSDPOption], str, NoneType] = '' fsdp_min_num_params: int = 0 fsdp_config: typing.Union[dict, str, NoneType] = None tp_size: typing.Optional[int] = 0 fsdp_transformer_layer_cls_to_wrap: typing.Optional[str] = None accelerator_config: typing.Union[dict, str, NoneType] = None deepspeed: typing.Union[dict, str, NoneType] = None label_smoothing_factor: float = 0.0 optim: typing.Union[transformers.training_args.OptimizerNames, str] = 'adamw_torch' optim_args: typing.Optional[str] = None adafactor: bool = False group_by_length: bool = False length_column_name: typing.Optional[str] = 'length' report_to: typing.Union[NoneType, str, list[str]] = None ddp_find_unused_parameters: typing.Optional[bool] = None ddp_bucket_cap_mb: typing.Optional[int] = None ddp_broadcast_buffers: typing.Optional[bool] = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: typing.Optional[str] = None hub_model_id: typing.Optional[str] = None hub_strategy: typing.Union[transformers.trainer_utils.HubStrategy, str] = 'every_save' hub_token: typing.Optional[str] = None hub_private_repo: typing.Optional[bool] = None hub_always_push: bool = False gradient_checkpointing: bool = False gradient_checkpointing_kwargs: typing.Union[dict, str, NoneType] = None include_inputs_for_metrics: bool = False include_for_metrics: list = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' push_to_hub_model_id: typing.Optional[str] = None push_to_hub_organization: typing.Optional[str] = None push_to_hub_token: typing.Optional[str] = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: typing.Optional[str] = None ray_scope: typing.Optional[str] = 'last' ddp_timeout: typing.Optional[int] = 1800 torch_compile: bool = False torch_compile_backend: typing.Optional[str] = None torch_compile_mode: typing.Optional[str] = None include_tokens_per_second: typing.Optional[bool] = False include_num_input_tokens_seen: typing.Optional[bool] = False neftune_noise_alpha: typing.Optional[float] = None optim_target_modules: typing.Union[NoneType, str, list[str]] = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: typing.Optional[bool] = False eval_use_gather_object: typing.Optional[bool] = False average_tokens_across_devices: typing.Optional[bool] = False max_length: typing.Optional[int] = 1024 max_prompt_length: typing.Optional[int] = 512 max_completion_length: typing.Optional[int] = None beta: float = 0.1 label_smoothing: float = 0.0 loss_type: str = 'sigmoid' disable_dropout: bool = True cpo_alpha: float = 1.0 simpo_gamma: float = 0.5 label_pad_token_id: int = -100 padding_value: typing.Optional[int] = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: typing.Optional[bool] = None model_init_kwargs: typing.Optional[dict[str, typing.Any]] = None dataset_num_proc: typing.Optional[int] = None )

参数

learning_rate (float, optional, defaults to 1e-6) — AdamW 优化器的初始学习率。默认值替换了 TrainingArguments 的默认值。
max_length (int 或 None, 可选, 默认为 1024) — 批次中序列（prompt + completion）的最大长度。如果您想使用默认数据整理器，则此参数是必需的。
max_prompt_length (int 或 None, 可选, 默认为 512) — prompt 的最大长度。如果您想使用默认数据整理器，则此参数是必需的。
max_completion_length (int 或 None, 可选, 默认为 None) — completion 的最大长度。如果您想使用默认数据整理器，并且您的模型是编码器-解码器模型，则此参数是必需的。
beta (float, 可选, 默认为 0.1) — 控制偏离参考模型的参数。β 值越高，表示偏离参考模型越少。对于 IPO 损失 (loss_type="ipo")，β 是论文中用 τ 表示的正则化参数。
label_smoothing (float, 可选, 默认为 0.0) — 标签平滑因子。如果您想使用默认数据整理器，则此参数是必需的。
loss_type (str, 可选, 默认为 "sigmoid") — 要使用的损失类型。可能的值包括：
- "sigmoid"：来自原始 DPO 论文的 sigmoid 损失。
- "hinge"：来自 SLiC 论文的归一化似然的 hinge 损失。
- "ipo"：来自 IPO 论文的 IPO 损失。
- "simpo"：来自 SimPO 论文的 SimPO 损失。
disable_dropout (bool, 可选, 默认为 True) — 是否禁用模型中的 dropout。
cpo_alpha (float, optional, defaults to 1.0) — CPO 训练中 BC 正则化项的权重。
simpo_gamma (float, optional, defaults to 0.5) — SimPO 损失的目标奖励边距，仅在 loss_type="simpo" 时使用。
label_pad_token_id (int, optional, defaults to -100) — 标签填充 token id。如果您想使用默认的数据收集器，则此参数是必需的。
padding_value (int 或 None，可选，默认为 None) — 要使用的填充值。如果为 None，则使用 tokenizer 的填充值。
truncation_mode (str，可选，默认为 "keep_end") — 当 prompt 过长时使用的截断模式。可能的值为 "keep_end" 或 "keep_start"。如果您想使用默认的数据收集器，则此参数是必需的。
generate_during_eval (bool，可选，默认为 False) — 如果为 True，则在评估期间从模型生成完成结果并将其记录到 W&B 或 Comet。
is_encoder_decoder (bool 或 None，可选，默认为 None) — 当使用 model_init 参数（可调用对象）来实例化模型而不是 model 参数时，您需要指定可调用对象返回的模型是否为 encoder-decoder 模型。
model_init_kwargs (dict[str, Any] 或 None，可选，默认为 None) — 从字符串实例化模型时，传递给 AutoModelForCausalLM.from_pretrained 的关键字参数。
dataset_num_proc (int 或 None，可选，默认为 None) — 用于处理数据集的进程数。

用于 CPOTrainer 的配置类。

使用 HfArgumentParser，我们可以将此类转换为 argparse 参数，这些参数可以在命令行中指定。

< > 在 GitHub 上更新

TRL

CPO Trainer

概览

快速入门

预期数据集类型

示例脚本

记录的指标

CPO 变体

简单偏好优化 (SimPO)

CPO-SimPO

损失函数

对于专家混合模型：启用辅助损失

CPOTrainer

class trl.CPOTrainer

build_tokenized_answer

concatenated_forward

concatenated_inputs

cpo_loss

create_model_card

evaluation_loop

generate_from_model

get_batch_logps

get_batch_loss_metrics

log

tokenize_row

CPOConfig

class trl.CPOConfig