BCO 训练器
TRL 支持二元分类器优化 (BCO)。BCO 的作者训练了一个二元分类器,其逻辑回归值作为奖励,以便分类器将 {提示、选择的完成} 对映射到 1,将 {提示、拒绝的完成} 对映射到 0。有关完整示例,请查看 examples/scripts/bco.py
。
预期数据集格式
BCO 训练器期望数据集采用非常特定的格式,因为它不需要成对的偏好。由于模型将被训练为直接优化由提示、模型完成和指示完成是“好”还是“坏”的标签组成的示例,因此我们期望数据集包含以下列
提示
完成
标签
例如
bco_dataset_dict = {
"prompt": [
"Hey, hello",
"How are you",
"What is your name?",
"What is your name?",
"Which is the best programming language?",
"Which is the best programming language?",
"Which is the best programming language?",
],
"completion": [
"hi nice to meet you",
"leave me alone",
"I don't have a name",
"My name is Mary",
"Python",
"C++",
"Java",
],
"label": [
True,
False,
False,
True,
True,
False,
False,
],
}
其中 prompt
包含上下文输入,completion
包含相应的响应,label
包含指示生成的完成是期望的 (True
) 还是不期望的 (False
) 的相应标志。一个提示可以有多个响应,这反映在字典的值数组中重复出现的条目。要求数据集中至少包含一个期望的完成和一个不期望的完成。
预期模型格式
BCO 训练器期望模型为 AutoModelForCausalLM
,而 PPO 期望 AutoModelForCausalLMWithValueHead
用于值函数。
使用 BCOTrainer
有关详细示例,请查看 examples/scripts/bco.py
脚本。在高级别,我们需要使用要训练的 model
和将用于计算首选和拒绝响应的隐式奖励的参考 ref_model
初始化 BCOTrainer
。
beta
指的是隐式奖励的超参数,数据集包含上面列出的 3 个条目。请注意,model
和 ref_model
需要具有相同的架构(即仅解码器或编码器-解码器)。
training_args = BCOConfig(
beta=0.1,
)
bco_trainer = BCOTrainer(
model,
model_ref,
args=training_args,
train_dataset=train_dataset,
tokenizer=tokenizer,
)
然后可以调用
bco_trainer.train()
底层分布匹配 (UDM)
在实际场景中,点赞和点踩数据集可能具有不同的提示底层分布。考虑一个为用户反馈而部署的 LLM:如果模型在写作任务中表现出色,但在编码方面表现不佳,那么点赞数据集将以与写作相关的提示为主,而点踩数据集将主要包含与编码相关的提示。
如果期望数据集和不期望数据集中的提示差异很大,则启用 UDM 很有用。
选择一个嵌入模型和分词器
embedding_model = AutoModel.from_pretrained(your_model_id)
embedding_tokenizer = AutoTokenizer.from_pretrained(your_model_id)
# customize this function depending on your embedding model
def embed_prompt(input_ids, attention_mask, model):
outputs = model(input_ids=input_ids, attention_mask=attention_mask)
return outputs.last_hidden_state.mean(dim=1)
embedding_model = Accelerator().prepare_model(self.embedding_model)
embedding_func = partial(embed_prompt, model=embedding_model)
将 prompt_sample_size
设置为定义选择多少个提示来训练 UDM 分类器,并使用提供的嵌入函数开始训练
training_args = BCOConfig(
beta=0.1,
prompt_sample_size=512,
)
bco_trainer = BCOTrainer(
model,
model_ref,
args=training_args,
train_dataset=train_dataset,
tokenizer=tokenizer,
embedding_func=embedding_func,
embedding_tokenizer=self.embedding_tokenizer,
)
bco_trainer.train()
对于专家混合模型:启用辅助损失
如果负载在专家之间平均分配,MOE 的效率最高。
为了确保我们在偏好微调期间以类似的方式训练 MOE,将负载均衡器的辅助损失添加到最终损失中是有益的。
通过在模型配置(例如 MixtralConfig)中设置 output_router_logits=True
来启用此选项。
要缩放辅助损失对总损失的贡献程度,请使用超参数 router_aux_loss_coef=...
(默认值:0.001)。
BCOTrainer
类 trl.BCOTrainer
< 源代码 >( model: Union = None ref_model: Union = None args: BCOConfig = None train_dataset: Optional = None eval_dataset: Union = None tokenizer: Optional = None data_collator: Optional = None model_init: Optional = None callbacks: Optional = None optimizers: Tuple = (None, None) preprocess_logits_for_metrics: Optional = None peft_config: Optional = None compute_metrics: Optional = None model_adapter_name: Optional = None ref_adapter_name: Optional = None embedding_func: Optional = None embedding_tokenizer: Optional = None )
参数
- model (
transformers.PreTrainedModel
) — 要训练的模型,最好是AutoModelForSequenceClassification
。 - ref_model (
PreTrainedModelWrapper
) — 具有因果语言建模头的 Hugging Face transformer 模型。用于隐式奖励计算和损失。如果没有提供参考模型,训练器将创建一个与要优化的模型具有相同架构的参考模型。 - args (
BCOConfig
) — 用于训练的参数。 - train_dataset (
datasets.Dataset
) — 用于训练的数据集。 - eval_dataset (
datasets.Dataset
) — 用于评估的数据集。 - tokenizer (
transformers.PreTrainedTokenizerBase
) — 用于训练的分词器。 如果要使用默认数据整理器,则此参数是必需的。 - data_collator (
transformers.DataCollator
, 可选, 默认值:None
) — 用于训练的数据整理器。 如果未指定,将使用默认数据整理器 (DPODataCollatorWithPadding
),在给定成对序列数据集的情况下,它将序列填充到批次中最长序列的长度。 - model_init (
Callable[[], transformers.PreTrainedModel]
) — 用于训练的模型初始化器。 如果未指定,将使用默认模型初始化器。 - callbacks (
List[transformers.TrainerCallback]
) — 用于训练的回调。 - optimizers (
Tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]
) — 用于训练的优化器和调度器。 - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]
) — 用于在计算指标之前预处理 logits 的函数。 - peft_config (
Dict
,默认为None
) — 用于训练的 PEFT 配置。如果传入 PEFT 配置,模型将被包装在 PEFT 模型中。 - disable_dropout (
bool
,默认为True
) — 是否在model
和ref_model
中禁用 dropout。 - compute_metrics (
Callable[[EvalPrediction], Dict]
,可选) — 用于计算指标的函数。必须接受EvalPrediction
并返回一个字符串到指标值的字典。 - model_adapter_name (
str
,默认为None
) — 使用 LoRA 和多个适配器时,训练目标 PEFT 适配器的名称。 - ref_adapter_name (
str
,默认为None
) — 使用 LoRA 和多个适配器时,参考 PEFT 适配器的名称。
从 BCO 论文初始化 BCOTrainer。
bco_loss
< source >( policy_chosen_logps: FloatTensor policy_rejected_logps: FloatTensor reference_chosen_logps: FloatTensor reference_rejected_logps: FloatTensor chosen_embeddings: Optional rejected_embeddings: Optional ) → 一个包含四个张量的元组
返回值
一个包含四个张量的元组
(losses, chosen_rewards, rejected_rewards, delta). losses 张量包含批次中每个示例的 BCO 损失。chosen_rewards 和 rejected_rewards 张量分别包含已选择和已拒绝响应的奖励。delta 值包含所有隐式奖励的移动平均值。
计算一批策略和参考模型对数概率的 BCO 损失。
计算 BCO 特定数据集中单个填充批次的参考模型的对数概率。
evaluation_loop
< source >( dataloader: DataLoader description: str prediction_loss_only: Optional = None ignore_keys: Optional = None metric_key_prefix: str = 'eval' )
覆盖内置评估循环以存储每个批次的指标。预测/评估循环,由 Trainer.evaluate()
和 Trainer.predict()
共享。
无论是否有标签都可以工作。
get_batch_logps
< source >( logits: FloatTensor labels: LongTensor average_log_prob: bool = False label_pad_token_id: int = -100 is_encoder_decoder: bool = False )
计算给定 logits 下给定标签的对数概率。
计算给定输入批次的 BCO 损失和其他指标,用于训练或测试。
从模型和参考模型生成给定输入批次的样本。
get_eval_dataloader
< source >( eval_dataset: Optional = None )
参数
- eval_dataset (
torch.utils.data.Dataset
, 可选) — 如果提供,将覆盖self.eval_dataset
。如果它是 Dataset,则会自动删除model.forward()
方法不接受的列。它必须实现__len__
。
返回评估 ~torch.utils.data.DataLoader
。
transformers.src.transformers.trainer.get_eval_dataloader 的子类,用于预先计算 ref_log_probs
。
返回训练 ~torch.utils.data.DataLoader
。
transformers.src.transformers.trainer.get_train_dataloader 的子类,用于预先计算 ref_log_probs
。
在观察训练的各种对象(包括存储的指标)上记录 logs
。
用于处理空引用模型(即 peft 适配器操作)的上下文管理器。
BCOConfig
类 trl.BCOConfig
< source >( output_dir: str overwrite_output_dir: bool = False do_train: bool = False do_eval: bool = False do_predict: bool = False eval_strategy: Union = 'no' prediction_loss_only: bool = False per_device_train_batch_size: int = 8 per_device_eval_batch_size: int = 8 per_gpu_train_batch_size: Optional = None per_gpu_eval_batch_size: Optional = None gradient_accumulation_steps: int = 1 eval_accumulation_steps: Optional = None eval_delay: Optional = 0 torch_empty_cache_steps: Optional = None learning_rate: float = 5e-05 weight_decay: float = 0.0 adam_beta1: float = 0.9 adam_beta2: float = 0.999 adam_epsilon: float = 1e-08 max_grad_norm: float = 1.0 num_train_epochs: float = 3.0 max_steps: int = -1 lr_scheduler_type: Union = 'linear' lr_scheduler_kwargs: Union = <factory> warmup_ratio: float = 0.0 warmup_steps: int = 0 log_level: Optional = 'passive' log_level_replica: Optional = 'warning' log_on_each_node: bool = True logging_dir: Optional = None logging_strategy: Union = 'steps' logging_first_step: bool = False logging_steps: float = 500 logging_nan_inf_filter: bool = True save_strategy: Union = 'steps' save_steps: float = 500 save_total_limit: Optional = None save_safetensors: Optional = True save_on_each_node: bool = False save_only_model: bool = False restore_callback_states_from_checkpoint: bool = False no_cuda: bool = False use_cpu: bool = False use_mps_device: bool = False seed: int = 42 data_seed: Optional = None jit_mode_eval: bool = False use_ipex: bool = False bf16: bool = False fp16: bool = False fp16_opt_level: str = 'O1' half_precision_backend: str = 'auto' bf16_full_eval: bool = False fp16_full_eval: bool = False tf32: Optional = None local_rank: int = -1 ddp_backend: Optional = None tpu_num_cores: Optional = None tpu_metrics_debug: bool = False debug: Union = '' dataloader_drop_last: bool = False eval_steps: Optional = None dataloader_num_workers: int = 0 dataloader_prefetch_factor: Optional = None past_index: int = -1 run_name: Optional = None disable_tqdm: Optional = None remove_unused_columns: Optional = True label_names: Optional = None load_best_model_at_end: Optional = False metric_for_best_model: Optional = None greater_is_better: Optional = None ignore_data_skip: bool = False fsdp: Union = '' fsdp_min_num_params: int = 0 fsdp_config: Union = None fsdp_transformer_layer_cls_to_wrap: Optional = None accelerator_config: Union = None deepspeed: Union = None label_smoothing_factor: float = 0.0 optim: Union = 'adamw_torch' optim_args: Optional = None adafactor: bool = False group_by_length: bool = False length_column_name: Optional = 'length' report_to: Union = None ddp_find_unused_parameters: Optional = None ddp_bucket_cap_mb: Optional = None ddp_broadcast_buffers: Optional = None dataloader_pin_memory: bool = True dataloader_persistent_workers: bool = False skip_memory_metrics: bool = True use_legacy_prediction_loop: bool = False push_to_hub: bool = False resume_from_checkpoint: Optional = None hub_model_id: Optional = None hub_strategy: Union = 'every_save' hub_token: Optional = None hub_private_repo: bool = False hub_always_push: bool = False gradient_checkpointing: bool = False gradient_checkpointing_kwargs: Union = None include_inputs_for_metrics: bool = False include_for_metrics: List = <factory> eval_do_concat_batches: bool = True fp16_backend: str = 'auto' evaluation_strategy: Union = None push_to_hub_model_id: Optional = None push_to_hub_organization: Optional = None push_to_hub_token: Optional = None mp_parameters: str = '' auto_find_batch_size: bool = False full_determinism: bool = False torchdynamo: Optional = None ray_scope: Optional = 'last' ddp_timeout: Optional = 1800 torch_compile: bool = False torch_compile_backend: Optional = None torch_compile_mode: Optional = None dispatch_batches: Optional = None split_batches: Optional = None include_tokens_per_second: Optional = False include_num_input_tokens_seen: Optional = False neftune_noise_alpha: Optional = None optim_target_modules: Union = None batch_eval_metrics: bool = False eval_on_start: bool = False use_liger_kernel: Optional = False eval_use_gather_object: Optional = False max_length: Optional = None max_prompt_length: Optional = None max_completion_length: Optional = None beta: float = 0.1 label_pad_token_id: int = -100 padding_value: Optional = None truncation_mode: str = 'keep_end' generate_during_eval: bool = False is_encoder_decoder: Optional = None precompute_ref_log_probs: bool = False model_init_kwargs: Optional = None ref_model_init_kwargs: Optional = None dataset_num_proc: Optional = None prompt_sample_size: int = 1024 min_density_ratio: float = 0.5 max_density_ratio: float = 10.0 )
参数
- max_length (
Optional[int]
, 可选, 默认为None
) — 批次中序列(提示 + 完成)的最大长度。 如果要使用默认数据整理器,则此参数是必需的。 - max_prompt_length (
Optional[int]
, 可选, 默认为None
) — 提示的最大长度。 如果要使用默认数据整理器,则此参数是必需的。 - max_completion_length (
Optional[int]
, 可选, 默认为None
) — 完成的最大长度。 如果要使用默认数据整理器并且模型是编码器-解码器,则此参数是必需的。 - beta (
float
, 可选, 默认为0.1
) — 控制与参考模型偏差的参数。 β 越高意味着与参考模型的偏差越小。 - label_pad_token_id (
int
, 可选, 默认为-100
) — 标签填充标记 ID。 如果要使用默认数据整理器,则此参数是必需的。 - padding_value (
Optional[int]
, 可选, 默认为None
) — 要使用的填充值。 如果为None
,则使用分词器的填充值。 - truncation_mode (
str
, 可选, 默认为"keep_end"
) — 当提示过长时使用的截断模式。 可能的值为"keep_end"
或"keep_start"
。 如果要使用默认数据整理器,则此参数是必需的。 - generate_during_eval (
bool
,可选,默认为False
) — 如果为True
,则在评估期间从模型和参考模型生成完成并记录到 W&B。 - is_encoder_decoder (
Optional[bool]
,可选,默认为None
) — 当使用model_init
参数(可调用)实例化模型而不是model
参数时,您需要指定可调用对象返回的模型是否是编码器-解码器模型。 - precompute_ref_log_probs (
bool
,可选,默认为False
) — 是否预先计算训练和评估数据集的参考模型对数概率。这在没有参考模型的情况下进行训练以减少所需的 GPU 总内存时非常有用。 - model_init_kwargs (
Optional[Dict[str, Any]]
,可选,默认为None
) — 从字符串实例化模型时传递给AutoModelForCausalLM.from_pretrained
的关键字参数。 - ref_model_init_kwargs (
Optional[Dict[str, Any]]
,可选,默认为None
) — 从字符串实例化参考模型时传递给AutoModelForCausalLM.from_pretrained
的关键字参数。 - dataset_num_proc (
Optional[int]
,可选,默认为None
) — 用于处理数据集的进程数。 - prompt_sample_size (
int
,可选,默认为1024
) — 馈送到密度比分类器的提示数量。 - min_density_ratio (
float
,可选,默认为0.5
) — 密度比的最小值。估计的密度比将被钳制为此值。 - max_density_ratio (
float
,可选,默认为10.0
) — 密度比的最大值。估计的密度比会被限制在此值。
BCOTrainer 的配置类。
使用 HfArgumentParser,我们可以将此类转换为 argparse 参数,这些参数可以在命令行中指定。