LLM 课程文档
管道背后
并获得增强的文档体验
开始使用
管道背后
让我们从一个完整的示例开始,看看在第 1 章中执行以下代码时幕后发生了什么
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier(
[
"I've been waiting for a HuggingFace course my whole life.",
"I hate this so much!",
]
)
并获得了
[{'label': 'POSITIVE', 'score': 0.9598047137260437},
{'label': 'NEGATIVE', 'score': 0.9994558095932007}]
正如我们在第 1 章中所看到的,这个管道将三个步骤组合在一起:预处理、通过模型传递输入和后处理。
让我们快速回顾一下这些步骤。
使用分词器进行预处理
像其他神经网络一样,Transformer 模型无法直接处理原始文本,所以我们管道的第一步是将文本输入转换为模型能够理解的数字。为此,我们使用分词器,它负责:
- 将输入分割成单词、子词或符号(如标点符号),这些都被称为标记。
- 将每个标记映射到一个整数。
- 添加可能对模型有用的额外输入。
所有这些预处理都必须与模型预训练时的方式完全相同,所以我们首先需要从模型中心下载这些信息。为此,我们使用AutoTokenizer
类及其from_pretrained()
方法。通过我们模型的检查点名称,它将自动获取与模型分词器相关的数据并进行缓存(因此只有在您首次运行以下代码时才下载)。
由于sentiment-analysis
管道的默认检查点是distilbert-base-uncased-finetuned-sst-2-english
(您可以在此处查看其模型卡),我们运行以下代码:
from transformers import AutoTokenizer
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
一旦我们有了分词器,我们就可以直接将句子传递给它,然后会得到一个可以直接输入模型的字典!唯一剩下的就是将输入 ID 列表转换为张量。
您可以使用 🤗 Transformers,而无需担心后端使用的是哪种机器学习框架;对于某些模型,它可能是 PyTorch 或 Flax。然而,Transformer 模型只接受张量作为输入。如果这是您第一次听说张量,您可以将它们视为 NumPy 数组。NumPy 数组可以是标量(0D)、向量(1D)、矩阵(2D),或具有更多维度。它实际上是一个张量;其他机器学习框架的张量行为类似,并且通常像 NumPy 数组一样容易实例化。
为了指定我们希望返回的张量类型(PyTorch 或普通 NumPy),我们使用 return_tensors
参数:
raw_inputs = [
"I've been waiting for a HuggingFace course my whole life.",
"I hate this so much!",
]
inputs = tokenizer(raw_inputs, padding=True, truncation=True, return_tensors="pt")
print(inputs)
暂时不用担心填充和截断;我们稍后会解释这些。这里要记住的主要事情是,您可以传递一个句子或一个句子列表,并指定您希望返回的张量类型(如果未传递类型,您将得到一个列表的列表作为结果)。
以下是 PyTorch 张量形式的结果:
{
'input_ids': tensor([
[ 101, 1045, 1005, 2310, 2042, 3403, 2005, 1037, 17662, 12172, 2607, 2026, 2878, 2166, 1012, 102],
[ 101, 1045, 5223, 2023, 2061, 2172, 999, 102, 0, 0, 0, 0, 0, 0, 0, 0]
]),
'attention_mask': tensor([
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
[1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0]
])
}
输出本身是一个字典,包含两个键:input_ids
和 attention_mask
。input_ids
包含两行整数(每句话一行),它们是每句话中标记的唯一标识符。我们将在本章后面解释 attention_mask
是什么。
通过模型
我们可以像下载分词器一样下载预训练模型。🤗 Transformers 提供了一个 AutoModel
类,它也有一个 from_pretrained()
方法:
from transformers import AutoModel
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
model = AutoModel.from_pretrained(checkpoint)
在这段代码中,我们下载了之前在管道中使用的相同检查点(它应该已经被缓存了),并用它实例化了一个模型。
此架构仅包含基础 Transformer 模块:给定一些输入,它会输出我们称之为隐藏状态,也称为特征。对于每个模型输入,我们将检索一个高维向量,它代表Transformer 模型对该输入的上下文理解。
如果这听起来不太明白,也不用担心。我们稍后会详细解释。
虽然这些隐藏状态本身可能很有用,但它们通常是模型另一部分(称为头部)的输入。在第 1 章中,不同的任务可以使用相同的架构执行,但每个任务都会有不同的关联头部。
高维向量?
Transformer 模块输出的向量通常很大。它通常有三个维度:
- 批大小:一次处理的序列数量(在我们的示例中为 2)。
- 序列长度:序列数字表示的长度(在我们的示例中为 16)。
- 隐藏大小:每个模型输入的向量维度。
由于最后一个值,它被称为“高维”。隐藏大小可以非常大(对于较小的模型,768 很常见,在较大的模型中,这可以达到 3072 或更多)。
如果我们将预处理后的输入馈送到模型中,我们可以看到这一点:
outputs = model(**inputs)
print(outputs.last_hidden_state.shape)
torch.Size([2, 16, 768])
请注意,🤗 Transformers 模型的输出行为类似于 namedtuple
或字典。您可以通过属性(如我们所做)或通过键(outputs["last_hidden_state"]
)访问元素,甚至如果您确切知道所需内容的位置,也可以通过索引(outputs[0]
)访问。
模型头部:从数字中理解意义
模型头部将高维隐藏状态向量作为输入,并将其投影到不同的维度。它们通常由一个或几个线性层组成:
Transformer 模型的输出直接发送到模型头部进行处理。
在此图中,模型由其嵌入层和后续层表示。嵌入层将标记化输入中的每个输入 ID 转换为一个表示关联标记的向量。后续层使用注意力机制操作这些向量,以生成句子的最终表示。
🤗 Transformers 中有许多不同的架构,每种架构都旨在解决特定的任务。以下是一个不完全列表:
*Model
(检索隐藏状态)*ForCausalLM
*ForMaskedLM
*ForMultipleChoice
*ForQuestionAnswering
*ForSequenceClassification
*ForTokenClassification
- 以及其他 🤗
对于我们的例子,我们将需要一个带有序列分类头的模型(以便能够将句子分类为积极或消极)。所以,我们实际上不会使用 AutoModel
类,而是使用 AutoModelForSequenceClassification
:
from transformers import AutoModelForSequenceClassification
checkpoint = "distilbert-base-uncased-finetuned-sst-2-english"
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
outputs = model(**inputs)
现在,如果我们查看输出的形状,维度会低得多:模型头将我们之前看到的高维向量作为输入,并输出包含两个值(每个标签一个)的向量:
print(outputs.logits.shape)
torch.Size([2, 2])
由于我们只有两个句子和两个标签,所以从模型中得到的结果形状是 2 x 2。
后处理输出
我们从模型输出的值本身不一定有意义。我们来看看:
print(outputs.logits)
tensor([[-1.5607, 1.6123],
[ 4.1692, -3.3464]], grad_fn=<AddmmBackward>)
我们的模型预测第一句话为[-1.5607, 1.6123]
,第二句话为[4.1692, -3.3464]
。这些不是概率,而是对数,是模型最后一层输出的原始、未归一化的分数。要将其转换为概率,它们需要经过一个SoftMax层(所有🤗 Transformers 模型都输出对数,因为训练的损失函数通常会将最后一个激活函数(如 SoftMax)与实际的损失函数(如交叉熵)融合在一起)。
import torch
predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)
print(predictions)
tensor([[4.0195e-02, 9.5980e-01],
[9.9946e-01, 5.4418e-04]], grad_fn=<SoftmaxBackward>)
现在我们可以看到,模型预测第一个句子为 [0.0402, 0.9598]
,第二个句子为 [0.9995, 0.0005]
。这些都是可识别的概率分数。
为了获得每个位置对应的标签,我们可以检查模型配置的 id2label
属性(更多内容将在下一节介绍):
model.config.id2label
{0: 'NEGATIVE', 1: 'POSITIVE'}
现在我们可以得出结论,模型预测结果如下:
- 第一句话:消极:0.0402,积极:0.9598
- 第二句话:消极:0.9995,积极:0.0005
我们已经成功地再现了管道的三个步骤:使用分词器进行预处理、通过模型传递输入和后处理!现在让我们花点时间深入了解每个步骤。
✏️ 试一试! 选择您自己的两(或更多)段文本,并通过 sentiment-analysis
管道运行它们。然后自己重复您在这里看到的步骤,并检查您是否获得了相同的结果!