您正在查看 主分支 版本,它需要从源代码安装。如果您想要使用常规的 pip 安装,请查看最新稳定版本(v0.8.24)。
AutoTrain 配置
AutoTrain 配置是使用 AutoTrain 在本地使用和训练模型的方式。
安装 AutoTrain Advanced 后,可以使用以下命令使用 AutoTrain 配置文件训练模型
$ export HF_USERNAME=your_hugging_face_username
$ export HF_TOKEN=your_hugging_face_write_token
$ autotrain --config path/to/config.yaml
所有任务的示例配置可以在 AutoTrain Advanced GitHub 仓库 的 configs
目录中找到。
以下是一个 AutoTrain 配置文件的示例
task: llm
base_model: meta-llama/Meta-Llama-3-8B-Instruct
project_name: autotrain-llama3-8b-orpo
log: tensorboard
backend: local
data:
path: argilla/distilabel-capybara-dpo-7k-binarized
train_split: train
valid_split: null
chat_template: chatml
column_mapping:
text_column: chosen
rejected_text_column: rejected
params:
trainer: orpo
block_size: 1024
model_max_length: 2048
max_prompt_length: 512
epochs: 3
batch_size: 2
lr: 3e-5
peft: true
quantization: int4
target_modules: all-linear
padding: right
optimizer: adamw_torch
scheduler: linear
gradient_accumulation: 4
mixed_precision: bf16
hub:
username: ${HF_USERNAME}
token: ${HF_TOKEN}
push_to_hub: true
在此配置中,我们使用 orpo
训练器对 meta-llama/Meta-Llama-3-8B-Instruct
模型进行微调,数据集为 argilla/distilabel-capybara-dpo-7k-binarized
,训练 3 个 epochs,批大小为 2,学习率为 3e-5
。有关可用参数的更多信息,请参阅“数据格式和参数”部分。
如果您不想将模型推送到 Hub,可以在配置文件中将 push_to_hub
设置为 false
。如果不推送到 Hub,则不需要用户名和令牌。注意:如果您尝试访问受限模型或数据集,可能仍然需要它们。