timm 文档

噪声学生 (EfficientNet)

Hugging Face's logo
加入 Hugging Face 社区

并获得增强文档体验

开始

嘈杂学生 (EfficientNet)

嘈杂学生训练 是一种半监督学习方法。它扩展了自训练和蒸馏的概念,使用相同或更大的学生模型,并在学习过程中向学生添加噪声。它有三个主要步骤

  1. 在标记的图像上训练教师模型
  2. 使用教师在未标记的图像上生成伪标签
  3. 在标记图像和伪标记图像的组合上训练学生模型。

该算法通过将学生视为教师来重新标记未标记的数据并训练新的学生,迭代几次。

噪声学生训练旨在从两个方面改进自训练和蒸馏。首先,它使学生比教师更大,或者至少与教师一样大,以便学生可以从更大的数据集中学到更多。其次,它在学生身上添加噪声,迫使噪声学生从伪标签中更努力地学习。为了给学生添加噪声,它在训练期间使用输入噪声(如 RandAugment 数据增强)和模型噪声(如 dropout 和随机深度)。

如何在图像上使用此模型?

加载预训练模型

>>> import timm
>>> model = timm.create_model('tf_efficientnet_b0_ns', pretrained=True)
>>> model.eval()

加载和预处理图像

>>> import urllib
>>> from PIL import Image
>>> from timm.data import resolve_data_config
>>> from timm.data.transforms_factory import create_transform

>>> config = resolve_data_config({}, model=model)
>>> transform = create_transform(**config)

>>> url, filename = ("https://github.com/pytorch/hub/raw/master/images/dog.jpg", "dog.jpg")
>>> urllib.request.urlretrieve(url, filename)
>>> img = Image.open(filename).convert('RGB')
>>> tensor = transform(img).unsqueeze(0) # transform and add batch dimension

获取模型预测结果

>>> import torch
>>> with torch.no_grad():
...     out = model(tensor)
>>> probabilities = torch.nn.functional.softmax(out[0], dim=0)
>>> print(probabilities.shape)
>>> # prints: torch.Size([1000])

获取前 5 个预测类名

>>> # Get imagenet class mappings
>>> url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
>>> urllib.request.urlretrieve(url, filename) 
>>> with open("imagenet_classes.txt", "r") as f:
...     categories = [s.strip() for s in f.readlines()]

>>> # Print top categories per image
>>> top5_prob, top5_catid = torch.topk(probabilities, 5)
>>> for i in range(top5_prob.size(0)):
...     print(categories[top5_catid[i]], top5_prob[i].item())
>>> # prints class names and probabilities like:
>>> # [('Samoyed', 0.6425196528434753), ('Pomeranian', 0.04062102362513542), ('keeshond', 0.03186424449086189), ('white wolf', 0.01739676296710968), ('Eskimo dog', 0.011717947199940681)]

用您想使用的变体替换模型名称,例如 tf_efficientnet_b0_ns。您可以在本页顶部模型摘要中找到 ID。

要使用此模型提取图像特征,请按照 timm 特征提取示例 操作,只需更改要使用的模型名称即可。

如何微调此模型?

您只需更改分类器(最后一层)即可微调任何预训练模型。

>>> model = timm.create_model('tf_efficientnet_b0_ns', pretrained=True, num_classes=NUM_FINETUNE_CLASSES)

要在您自己的数据集上进行微调,您必须编写一个训练循环或调整 timm 的训练脚本 以使用您的数据集。

如何训练此模型?

您可以按照 timm 食谱脚本 从头开始训练新模型。

引用

@misc{xie2020selftraining,
      title={Self-training with Noisy Student improves ImageNet classification}, 
      author={Qizhe Xie and Minh-Thang Luong and Eduard Hovy and Quoc V. Le},
      year={2020},
      eprint={1911.04252},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}
< > 在 GitHub 上更新