在 Hugging Face 上使用 timm

timm，也称为 pytorch-image-models，是一个开源的 PyTorch 图像模型集合，包含预训练权重和用于训练、推理和验证的实用脚本。

本文档重点介绍 Hugging Face Hub 中的 timm 功能，而非 timm 库本身。有关 timm 库的详细信息，请访问其文档。

您可以使用模型页面左侧的过滤器，在 Hub 上找到许多 timm 模型。

Hub 上的所有模型都具有一些有用的功能：

自动生成的模型卡片，模型作者可以使用有关其模型的信息来完善它。
元数据标签可帮助用户发现相关的 timm 模型。
一个交互式小部件，您可以在浏览器中直接使用该模型。
一个推理 API，允许用户发出推理请求。

使用 Hub 中的现有模型

只要安装了 timm，就可以使用一行代码从 Hugging Face Hub 加载任何 timm 模型！选择 Hub 中的模型后，将模型 ID 前缀为 hf-hub: 传递给 timm 的 create_model 方法以下载并实例化模型。

import timm

# Loading https://huggingface.co/timm/eca_nfnet_l0
model = timm.create_model("hf-hub:timm/eca_nfnet_l0", pretrained=True)

如果您想了解如何加载特定模型，可以单击在 timm 中使用，您将获得一个可用的代码片段来加载它！

推理

下面的代码片段展示了如何对从 Hub 加载的 timm 模型进行推理：

import timm
import torch
from PIL import Image
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform

# Load from Hub 🔥
model = timm.create_model(
    'hf-hub:nateraw/resnet50-oxford-iiit-pet',
    pretrained=True
)

# Set model to eval mode for inference
model.eval()

# Create Transform
transform = create_transform(**resolve_data_config(model.pretrained_cfg, model=model))

# Get the labels from the model config
labels = model.pretrained_cfg['label_names']
top_k = min(len(labels), 5)

# Use your own image file here...
image = Image.open('boxer.jpg').convert('RGB')

# Process PIL image with transforms and add a batch dimension
x = transform(image).unsqueeze(0)

# Pass inputs to model forward function to get outputs
out = model(x)

# Apply softmax to get predicted probabilities for each class
probabilities = torch.nn.functional.softmax(out[0], dim=0)

# Grab the values and indices of top 5 predicted classes
values, indices = torch.topk(probabilities, top_k)

# Prepare a nice dict of top k predictions
predictions = [
    {"label": labels[i], "score": v.item()}
    for i, v in zip(indices, values)
]
print(predictions)

这将为您生成一个预测列表，如下所示：

[
    {'label': 'american_pit_bull_terrier', 'score': 0.9999998807907104},
    {'label': 'staffordshire_bull_terrier', 'score': 1.0000000149011612e-07},
    {'label': 'miniature_pinscher', 'score': 1.0000000149011612e-07},
    {'label': 'chihuahua', 'score': 1.0000000149011612e-07},
    {'label': 'beagle', 'score': 1.0000000149011612e-07}
]

共享您的模型

您可以将 timm 模型直接共享到 Hugging Face Hub。这将把您的模型的新版本发布到 Hugging Face Hub，如果模型仓库尚不存在，则会为您创建一个。

在推送模型之前，请确保您已登录 Hugging Face

python -m pip install huggingface_hub
hf auth login

或者，如果您更喜欢在 Jupyter 或 Colaboratory notebook 中工作，一旦安装了 huggingface_hub，您就可以通过以下方式登录：

from huggingface_hub import notebook_login
notebook_login()

然后，使用 push_to_hf_hub 方法推送您的模型：

import timm

# Build or load a model, e.g. timm's pretrained resnet18
model = timm.create_model('resnet18', pretrained=True, num_classes=4)

###########################
# [Fine tune your model...]
###########################

# Push it to the 🤗 Hub
timm.models.hub.push_to_hf_hub(
    model,
    'resnet18-random-classifier',
    model_config={'labels': ['a', 'b', 'c', 'd']}
)

# Load your model from the Hub
model_reloaded = timm.create_model(
    'hf-hub:<your-username>/resnet18-random-classifier',
    pretrained=True
)

推理小部件和 API

Hub 上的所有 timm 模型都自动配备了推理小部件，如下所示的nateraw/timm-resnet50-beans。此外，timm 模型可以通过推理 API 访问，您可以通过 HTTP 使用 cURL、Python 的 requests 库或您首选的网络请求方法进行访问。

curl https://api-inference.huggingface.co/models/nateraw/timm-resnet50-beans \
        -X POST \
        --data-binary '@beans.jpeg' \
        -H "Authorization: Bearer {$HF_API_TOKEN}"
# [{"label":"angular_leaf_spot","score":0.9845947027206421},{"label":"bean_rust","score":0.01368315052241087},{"label":"healthy","score":0.001722085871733725}]

其他资源

timm (pytorch-image-models) GitHub 仓库。
timm 文档。
由 Aman Arora 提供的 timmdocs 上的其他文档。
由 Chris Hughes 撰写的《PyTorch 图像模型 (timm) 入门：实践者指南》。

< > 在 GitHub 上更新