ORPO训练器

Odds Ratio Preference Optimization (ORPO) 由 Jiwoo Hong、Noah Lee 和 James Thorne 研究了在偏好对齐的背景下，SFT（结构化化语言模型）的关键作用。使用偏好数据，该方法假设对不偏向生成的轻微惩罚以及通过简单对数似然比项附加到NLL损失中的强大适应信号足以实现偏好对齐的SFT。

因此，ORPO是一种无参考模型偏好优化算法，消除了额外偏好对齐阶段的必要性，从而节省了计算和存储资源。

官方代码可以在xfactlab/orpo找到。

预期的数据集格式

ORPO训练器期望的格式与DPO训练器相同，应包括三条记录。这些条目应按以下名称命名

prompt
chosen
rejected

例如

orpo_dataset_dict = {
    "prompt": [
        "hello",
        "how are you",
        "What is your name?",
        "What is your name?",
        "Which is the best programming language?",
        "Which is the best programming language?",
        "Which is the best programming language?",
    ],
    "chosen": [
        "hi nice to meet you",
        "I am fine",
        "My name is Mary",
        "My name is Mary",
        "Python",
        "Python",
        "Java",
    ],
    "rejected": [
        "leave me alone",
        "I am not fine",
        "Whats it to you?",
        "I dont have a name",
        "Javascript",
        "C++",
        "C++",
    ],
}

其中，prompt包含上下文输入，chosen包含相应的所选响应，rejected包含相应的负面（拒绝）响应。请注意，一个提示可以有多重响应，并且这反映在字典值数组中的条目重复。

预期的模型格式

与期望值函数的 PPO 预期的AutoModelForCausalLMWithValueHead相比，ORPO训练器期望一个AutoModelForCausalLM模型。

使用 ORPOTrainer

详细示例请参阅 examples/scripts/orpo.py 脚本。从宏观层面来看，我们需要用我们希望训练的 模型 初始化 ORPOTrainer。**请注意，ORPOTrainer 避免了使用参考模型的需求，简化了优化过程**。这里的 beta 指的是论文中方程（6）中的超参数 lambda，它指的是 SFT 中使用的标准交叉熵损失中相对优势比损失的加权。

orpo_config = ORPOConfig(
    beta=0.1, # the lambda/alpha hyperparameter in the paper/code
)

orpo_trainer = ORPOTrainer(
    model,
    args=orpo_config,
    train_dataset=train_dataset,
    tokenizer=tokenizer,
)

之后，可以调用

orpo_trainer.train()

在专家混合模型中：启用辅助损失

当专家之间的负载大致相等时，MOEs（专家混合）是最有效的。
为了确保在偏好调整期间对 MOEs 的训练相似，将负载均衡器的辅助损失添加到最终损失中是有益的。

通过在模型配置（例如 MixtralConfig）中将 output_router_logits=True 设置启用此选项。
为了缩放辅助损失对总损失的贡献程度，使用超参数 router_aux_loss_coef=... （默认：0.001）。

日志记录

在训练和评估过程中，我们记录以下奖励指标

rewards/chosen：政策模型选择响应的平均对数概率，乘以 beta 的值
rewards/rejected：政策模型拒绝响应的平均对数概率，乘以 beta 的值
rewards/accuracies：所选奖励大于相应拒绝奖励的平均频率
rewards/margins：所选奖励与相应拒绝奖励之间的平均差值
log_odds_chosen：所选响应相对于拒绝响应的平均对数优势比
log_odds_ratio：log(sigmoid(log_odds_chosen)) 的平均值
nll_loss：从所选响应的损失中SFT部分的平均负对数似然损失

ORPOTrainer

类 trl.ORPOTrainer

< 源代码 >

( model: Union = None args: Optional = None data_collator: Optional = None train_dataset: Optional = None eval_dataset: Union = None tokenizer: Optional = None model_init: Optional = None callbacks: Optional = None optimizers: Tuple = (None, None) preprocess_logits_for_metrics: Optional = None peft_config: Optional = None compute_metrics: Optional = None )

参数

model (transformers.PreTrainedModel) — 要训练的模型，最好是一个 AutoModelForSequenceClassification。
args (ORPOConfig) — 用于训练的 ORPO 配置参数。
data_collator (transformers.DataCollator) — 用于训练的数据合并器。如果未指定，将使用默认数据合并器 (DPODataCollatorWithPadding)，该合并器将填充序列以适应批量中序列的最大长度，给定成对的序列数据集。
train_dataset (datasets.Dataset) — 用于训练的数据集。
eval_dataset (datasets.Dataset) — 用于评估的数据集。
tokenizer (transformers.PreTrainedTokenizerBase) — 用于训练的词元化工具。如果你想要使用默认的数据合并器，则需要指定此参数。
model_init (Callable[[], transformers.PreTrainedModel]) — 用于训练的模型初始化器。如果未指定，则使用默认模型初始化器。
callbacks (List[transformers.TrainerCallback]) — 用于训练的回调函数。
优化器 (Tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用于训练的优化器和调度器。
preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 在计算指标之前预处理logits使用的函数。
peft_config (Dict, 默认为 None) — 用于训练的 PEFT 配置。如果您传递一个 PEFT 配置，则模型将被包装在 PEFT 模型中。
compute_metrics (Callable[[EvalPrediction], Dict], optional) — 计算指标的函数。必须接受一个 EvalPrediction 并返回一个到指标值的字典字符串。

初始化 ORPOTrainer。

build_tokenized_answer

< 源代码 >

( 提示答案 )

Llama 分词器满足 enc(a + b) = enc(a) + enc(b)。它确保 enc(a + b) = enc(a) + enc(a + b)[len(enc(a)):]。参考：[https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257](https://github.com/EleutherAI/lm-evaluation-harness/pull/531#issuecomment-1595586257)

concatenated_forward

< 源代码 >

( model: Module batch: Dict )

在给定的输入批次上运行给定模型，将选定的和被拒绝的输入连接起来。

我们这样做是为了避免进行两次正向传递，因为它对于FSDP来说更快。

concatenated_inputs

< source >

( batch: Dict is_encoder_decoder: bool = False label_pad_token_id: int = -100 padding_value: int = 0 device: Optional = None )

将选定的和被拒绝的输入连接成一个单一的tensor。

evaluation_loop

< source >

( dataloader: DataLoader description: str prediction_loss_only: Optional = None ignore_keys: Optional = None metric_key_prefix: str = 'eval' )

覆盖内置评估循环以存储每个批次的度量值。预测/评估循环，由 Trainer.evaluate() 和 Trainer.predict() 共享。

既可以与标记一起使用，也可以不与标记一起使用。

get_batch_logps

< 来源 >

( logits: FloatTensor labels: LongTensor average_log_prob: bool = False label_pad_token_id: int = -100 is_encoder_decoder: bool = False )

计算给定标签在给定 logits 下的对数概率。

get_batch_loss_metrics

< 来源 >

( model batch: Dict train_eval: Literal = 'train' )

计算给定批次输入的 ORPO 损失和其他训练或测试指标。

get_batch_samples

< source >

( 模型批次: Dict )

从给定输入批次的模型和参照模型生成样本。

日志

< source >

( 日志条目: Dict )

参数

日志条目 (Dict[str, float]) — 要记录的值。

在观察训练的各种对象（包括存储的指标）上记录 日志条目。

odds_ratio_loss

< source >

( policy_chosen_logps: FloatTensor policy_rejected_logps: FloatTensor ) → A tuple of three tensors

返回值

三个张量的元组

(losses, chosen_rewards, rejected_rewards)。其中，losses张量包含批次中每个示例的ORPO损失。chosen_rewards和rejected_rewards张量分别包含选择和拒绝的反应的奖励。为日志记录目的，计算选择反应相对于拒绝反应的对数似然比。日志记录的log(sigmoid(log_odds_chosen))。

计算政策批次和参考模型对数概率的ORPO赔率比（OR）损失。

tokenize_row

< source >

( feature model: Union = None )

将ORPO特定数据集的单行进行分词。

在此阶段，我们还没有将其转换为PyTorch张量；我们只处理截断，以防提示+选择或提示+拒绝反应过长。首先我们截断提示；如果我们仍然过长，我们将截断选择/拒绝。

我们还创建了选择/拒绝反应的标签，其长度等于提示和选择/拒绝响应长度的总和，其中prompt_tokens的label_pad_token_id是提示。

ORPOConfig

类 trl.ORPOConfig

< 源代码 >

( output_dir: str overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: Union = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: Optional = None per_gpu_eval_batch_size: Optional = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: Optional = None eval_delay: Optional = 0 torch_empty_cache_steps: Optional = None learning_rate: float = 5e-05 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: Union = 'linear' lr_scheduler_kwargs: Union = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: Optional = 'passive' log_level_replica: Optional = 'warning' log_on_each_node: bool = True logging_dir: Optional = None logging_strategy: Union = 'steps' logging_first_step: bool = False logging_steps: float = 500 logging_nan_inf_filter: bool = True save_strategy: Union = 'steps' save_steps: float = 500 save_total_limit: Optional = None save_safetensors: Optional = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: Optional = None jit_mode_eval: bool = False use_ipex: bool = False bf16: bool = False fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: Optional = None local_rank: int = -1 ddp_backend: Optional = None tpu_num_cores: Optional = None tpu_metrics_debug: bool = False debug: Union = '' dataloader_drop_last: bool = False eval_steps: Optional = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: Optional = None past_index: int = -1 run_name: Optional = None disable_tqdm: Optional = None remove_unused_columns: Optional = True label_names: Optional = None load_best_model_at_end: Optional = False metric_for_best_model: Optional = None greater_is_better: Optional = None ignore_data_skip: bool = False fsdp: Union = '' fsdp_min_num_params: int = 0 fsdp_config: Union = None fsdp_transformer_layer_cls_to_wrap: Optional = None accelerator_config: Union = None deepspeed: Union = None label_smoothing_factor: float = 0.0 optim: Union = 'adamw_torch' optim_args: Optional = None adafactor: bool = False group_by_length: bool = False length_column_name: Optional = 'length' report_to: Union = None ddp_find_unused_parameters: Optional = None ddp_bucket_cap_mb: Optional = None ddp_broadcast_buffers: Optional = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: Optional = None hub_model_id: Optional = None hub_strategy: Union = 'every_save' hub_token: Optional = None hub_private_repo: bool = False hub_always_push: bool = False gradient_checkpointing: bool = False gradient_checkpointing_kwargs: Union = None include_inputs_for_metrics: bool = False eval_do_concat_batches: bool = True fp16_backend: str = 'auto' evaluation_strategy: Union = None push_to_hub_model_id: Optional = None push_to_hub_organization: Optional = None push_to_hub_token: Optional = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: Optional = None ray_scope: Optional = 'last' ddp_timeout: Optional = 1800 torch_compile: bool = False torch_compile_backend: Optional = None torch_compile_mode: Optional = None dispatch_batches: Optional = None split_batches: Optional = None include_tokens_per_second: Optional = False include_num_input_tokens_seen: Optional = False neftune_noise_alpha: Optional = None optim_target_modules: Union = None batch_eval_metrics: bool = False eval_on_start: bool = False eval_use_gather_object: Optional = False max_length: Optional = None max_prompt_length: Optional = None max_completion_length: Optional = None beta: float = 0.1 disable_dropout: bool = True label_pad_token_id: int = -100 padding_value: int = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: Optional = None model_init_kwargs: Optional = None dataset_num_proc: Optional = None )

参数

max_length (int, 默认为 None) — 批次中序列的最大长度。如果想要使用默认的数据合并器，则此参数是必需的。
max_prompt_length (int, 默认为 None) — 提示的最大长度。如果想要使用默认的数据合并器，则此参数是必需的。
padding_value (int, 默认为 None) — 如果与分词器的 pad_token_id 不同，则为填充值。
truncation_mode (str, 默认为 keep_end) — 要使用的截断模式，可以是 keep_end 或 keep_start。如果您想要使用默认的数据合并器，则需要此参数。
generate_during_eval (bool, 默认为 False) — 是否在评估步骤中进行采样和记录生成。
is_encoder_decoder (Optional[bool], optional, 默认为 None) — 如果没有提供模型，我们需要知道 model_init 返回的是编码器-解码器。
disable_dropout (bool, 默认为 True) — 是否禁用 model 中的 dropout。
model_init_kwargs (Optional[Dict], 可选) — 利用字符串实例化模型时要传递的可选 kwarg 字典
dataset_num_proc (Optional[int], 可选) — 用于标记数据的线程数。默认为 None。

ORPOConfig 收集与 ORPOTrainer 类相关的所有训练参数。

使用 HfArgumentParser，我们可以将此类转换为 argparse 参数，该参数可以指定在命令行上。

< > 在 GitHub 上更新

TRL

ORPO训练器

预期的数据集格式

预期的模型格式

使用 ORPOTrainer

在专家混合模型中：启用辅助损失

日志记录

ORPOTrainer

类 trl.ORPOTrainer

build_tokenized_answer

concatenated_forward

concatenated_inputs

evaluation_loop

get_batch_logps

get_batch_loss_metrics

get_batch_samples

日志

odds_ratio_loss

tokenize_row

ORPOConfig

类 trl.ORPOConfig