P-tuning
P-tuning 在输入中添加可训练的提示嵌入，这些嵌入由提示编码器优化，以找到更好的提示，从而无需手动设计提示。 提示标记可以添加到输入序列中的任何位置，p-tuning 还引入了锚点标记以提高性能。
论文摘要为
虽然采用传统微调的 GPT 在自然语言理解 (NLU) 任务上无法取得令人满意的结果，但我们表明，GPT 在 NLU 任务上的表现可以优于或与同等规模的 BERT 相媲美，方法是采用一种新颖的 P-tuning 方法，该方法使用可训练的连续提示嵌入。 在知识探测 (LAMA) 基准测试中，最佳 GPT 在测试时没有任何额外文本提供的情况下，恢复了 64% (P@1) 的世界知识，这比之前的最佳结果提高了 20 多个百分点。 在 SuperGlue 基准测试中，GPT 在监督学习中取得了与同等规模的 BERT 相当甚至更好的性能。 重要的是，我们发现 P-tuning 还提高了 BERT 在少样本和监督设置中的性能，同时很大程度上减少了对提示工程的需求。 因此，P-tuning 在少样本 SuperGlue 基准测试中优于最先进的方法。.
PromptEncoderConfig
class peft.PromptEncoderConfig
< source >( peft_type: Union = None auto_mapping: Optional = None base_model_name_or_path: Optional = None revision: Optional = None task_type: Union = None inference_mode: bool = False num_virtual_tokens: int = None token_dim: int = None num_transformer_submodules: Optional = None num_attention_heads: Optional = None num_layers: Optional = None encoder_reparameterization_type: Union = <PromptEncoderReparameterizationType.MLP: 'MLP'> encoder_hidden_size: int = None encoder_num_layers: int = 2 encoder_dropout: float = 0.0 )
这是一个配置类，用于存储 PromptEncoder 的配置。
PromptEncoder
class peft.PromptEncoder
< source >( config )
参数
- config (PromptEncoderConfig) — 用于 p-tuning 生成虚拟 token 嵌入的提示编码器网络配置。
用于 p-tuning 生成虚拟 token 嵌入的提示编码器网络。
示例
>>> from peft import PromptEncoder, PromptEncoderConfig
>>> config = PromptEncoderConfig(
... peft_type="P_TUNING",
... task_type="SEQ_2_SEQ_LM",
... num_virtual_tokens=20,
... token_dim=768,
... num_transformer_submodules=1,
... num_attention_heads=12,
... num_layers=12,
... encoder_reparameterization_type="MLP",
... encoder_hidden_size=768,
... )
>>> prompt_encoder = PromptEncoder(config)属性:
- embedding (
torch.nn.Embedding) — 提示编码器的嵌入层。 - mlp_head (
torch.nn.Sequential) — 如果inference_mode=False，则为提示编码器的 MLP 头。 - lstm_head (
torch.nn.LSTM) — 如果inference_mode=False且encoder_reparameterization_type="LSTM"，则为提示编码器的 LSTM 头。 - token_dim (
int) — 基础 Transformer 模型的隐藏嵌入维度。 - input_size (
int) — 提示编码器的输入大小。 - output_size (
int) — 提示编码器的输出大小。 - hidden_size (
int) — 提示编码器的隐藏大小。 - total_virtual_tokens (
int): 提示编码器的虚拟 token 总数。 - encoder_type (Union[
PromptEncoderReparameterizationType,str]): 提示编码器的编码器类型。
输入形状： (batch_size, total_virtual_tokens)
输出形状： (batch_size, total_virtual_tokens, token_dim)