使用训练后的模型
使用 SFTTrainer、PPOTrainer 或 DPOTrainer 训练模型后,您将获得一个经过微调的模型,可用于文本生成。在本节中,我们将逐步介绍加载经过微调的模型并生成文本的过程。如果您需要使用训练后的模型运行推理服务器,可以探索 text-generation-inference
等库。
加载并生成
如果您已经完全微调了模型,这意味着没有使用 PEFT,那么您可以像在 transformers 中加载任何其他语言模型一样简单地加载它。例如,在 PPO 训练期间训练的值头不再需要,如果使用原始 transformer 类加载模型,它将被忽略。
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "kashif/stack-llama-2" #path/to/your/model/or/name/on/hub
device = "cpu" # or "cuda" if you have a GPU
model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
inputs = tokenizer.encode("This movie was really", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
或者,您也可以使用管道
from transformers import pipeline
model_name_or_path = "kashif/stack-llama-2" #path/to/your/model/or/name/on/hub
pipe = pipeline("text-generation", model=model_name_or_path)
print(pipe("This movie was really")[0]["generated_text"])
使用适配器 PEFT
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_model_name = "kashif/stack-llama-2" #path/to/your/model/or/name/on/hub"
adapter_model_name = "path/to/my/adapter"
model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
您也可以将适配器合并到基础模型中,这样您就可以像使用普通 transformers 模型一样使用该模型,但是检查点将明显更大。
model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)
model = model.merge_and_unload()
model.save_pretrained("merged_adapters")
加载模型后,您可以将适配器合并或单独保留它们,然后就可以像上面概述的普通模型一样运行生成。
< > 在 GitHub 上更新