模型

在本节中，我们将更深入地了解创建和使用模型。我们将使用 AutoModel 类，它在您想要从检查点实例化任何模型时非常有用。

AutoModel 类及其所有相关类实际上是库中各种模型的简单包装器。它是一个巧妙的包装器，因为它可以自动猜测您的检查点所需的模型架构，然后使用此架构实例化模型。

但是，如果您知道要使用的模型类型，则可以使用直接定义其架构的类。让我们看看 BERT 模型是如何工作的。

创建 Transformer

初始化 BERT 模型的第一件事是加载配置对象

from transformers import BertConfig, BertModel

# Building the config
config = BertConfig()

# Building the model from the config
model = BertModel(config)

配置包含许多用于构建模型的属性

print(config)

BertConfig {
  [...]
  "hidden_size": 768,
  "intermediate_size": 3072,
  "max_position_embeddings": 512,
  "num_attention_heads": 12,
  "num_hidden_layers": 12,
  [...]
}

虽然您还没有看到所有这些属性的作用，但您应该认识其中一些：hidden_size 属性定义了 hidden_states 向量的尺寸，num_hidden_layers 定义了 Transformer 模型具有的层数。

不同的加载方法

从默认配置创建模型会使用随机值初始化它

from transformers import BertConfig, BertModel

config = BertConfig()
model = BertModel(config)

# Model is randomly initialized!

模型可以在此状态下使用，但会输出乱码；它需要先进行训练。我们可以从头开始针对当前任务训练模型，但正如您在第 1 章中看到的，这需要很长时间和大量数据，还会对环境产生不可忽视的影响。为了避免不必要的重复工作，必须能够共享和重用已经过训练的模型。

加载已经过训练的 Transformer 模型很简单 - 我们可以使用 from_pretrained() 方法来完成

from transformers import BertModel

model = BertModel.from_pretrained("bert-base-cased")

正如您之前看到的，我们可以将 BertModel 替换为等效的 AutoModel 类。我们将从现在开始这样做，因为这会生成与检查点无关的代码；如果您的代码适用于一个检查点，它应该与其他检查点无缝地配合使用。这即使在架构不同的情况下也适用，只要检查点是在类似任务（例如情感分析任务）上训练的。

在上面的代码示例中，我们没有使用 BertConfig，而是通过 bert-base-cased 标识符加载了预训练模型。这是一个由 BERT 作者自己训练的模型检查点；您可以在其模型卡中找到有关它的更多详细信息。

此模型现在使用检查点的所有权重进行初始化。它可以直接用于对它所训练的任务进行推理，也可以对新任务进行微调。通过使用预训练权重而不是从头开始进行训练，我们可以快速获得良好的结果。

权重已下载并缓存（因此将来调用 from_pretrained() 方法不会重新下载它们）在缓存文件夹中，该文件夹默认为 ~/.cache/huggingface/transformers。您可以通过设置 HF_HOME 环境变量来自定义缓存文件夹。

用于加载模型的标识符可以是模型中心中任何模型的标识符，只要它与 BERT 架构兼容即可。可以在这里找到所有可用的 BERT 检查点列表。

保存方法

保存模型与加载模型一样容易 - 我们使用 save_pretrained() 方法，它类似于 from_pretrained() 方法

model.save_pretrained("directory_on_my_computer")

这会将两个文件保存到您的磁盘

ls directory_on_my_computer

config.json pytorch_model.bin

如果您查看 config.json 文件，您会识别出构建模型架构所需的属性。此文件还包含一些元数据，例如检查点源自何处以及上次保存检查点时您使用的 🤗 Transformers 版本。

pytorch_model.bin 文件称为 状态字典；它包含您模型的所有权重。这两个文件是相辅相成的；配置是了解模型架构所必需的，而模型权重是模型的参数。

使用 Transformer 模型进行推理

现在您已经了解了如何加载和保存模型，让我们尝试使用它进行一些预测。Transformer 模型只能处理数字 - 由分词器生成的数字。但在我们讨论分词器之前，让我们先了解模型接受哪些输入。

分词器可以处理将输入转换为适当框架张量的过程，但为了帮助您了解发生了什么，我们将快速了解在将输入发送到模型之前必须完成的操作。

假设我们有两个序列

sequences = ["Hello!", "Cool.", "Nice!"]

分词器将这些转换为词汇索引，通常称为输入 ID。每个序列现在都是一个数字列表！最终输出是

encoded_sequences = [
    [101, 7592, 999, 102],
    [101, 4658, 1012, 102],
    [101, 3835, 999, 102],
]

这是一个编码序列的列表：一个列表的列表。张量只接受矩形形状（例如矩阵）。此“数组”已经是矩形形状，因此将其转换为张量很容易

import torch

model_inputs = torch.tensor(encoded_sequences)

将张量用作模型的输入

使用模型中的张量非常简单 - 我们只需要使用输入调用模型

output = model(model_inputs)

虽然模型接受许多不同的参数，但只需要输入 ID。我们将在后面解释其他参数的作用以及何时需要它们，但首先我们需要仔细看看构建 Transformer 模型可以理解的输入的分词器。