Instagram ResNeXt WSL

一个 ResNeXt 重复一个构建块，该构建块聚合了一组具有相同拓扑结构的变换。与 ResNet 相比，它揭示了一个新的维度，基数 (变换集的大小) $C$ , 作为深度和宽度维度之外的一个重要因素。

该模型在数十亿张 Instagram 图片上进行训练，使用数千个不同的标签作为标签，展现出极佳的迁移学习性能。

请注意，这些权重的许可证为 CC-BY-NC 4.0，仅供非商业用途。

如何在图片上使用此模型？

加载预训练模型

>>> import timm
>>> model = timm.create_model('ig_resnext101_32x16d', pretrained=True)
>>> model.eval()

加载和预处理图片

>>> import urllib
>>> from PIL import Image
>>> from timm.data import resolve_data_config
>>> from timm.data.transforms_factory import create_transform

>>> config = resolve_data_config({}, model=model)
>>> transform = create_transform(**config)

>>> url, filename = ("https://github.com/pytorch/hub/raw/master/images/dog.jpg", "dog.jpg")
>>> urllib.request.urlretrieve(url, filename)
>>> img = Image.open(filename).convert('RGB')
>>> tensor = transform(img).unsqueeze(0) # transform and add batch dimension

获取模型预测结果

>>> import torch
>>> with torch.no_grad():
...     out = model(tensor)
>>> probabilities = torch.nn.functional.softmax(out[0], dim=0)
>>> print(probabilities.shape)
>>> # prints: torch.Size([1000])

获取前 5 个预测类别名称

>>> # Get imagenet class mappings
>>> url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
>>> urllib.request.urlretrieve(url, filename)
>>> with open("imagenet_classes.txt", "r") as f:
...     categories = [s.strip() for s in f.readlines()]

>>> # Print top categories per image
>>> top5_prob, top5_catid = torch.topk(probabilities, 5)
>>> for i in range(top5_prob.size(0)):
...     print(categories[top5_catid[i]], top5_prob[i].item())
>>> # prints class names and probabilities like:
>>> # [('Samoyed', 0.6425196528434753), ('Pomeranian', 0.04062102362513542), ('keeshond', 0.03186424449086189), ('white wolf', 0.01739676296710968), ('Eskimo dog', 0.011717947199940681)]

将模型名称替换为您要使用的变体，例如 ig_resnext101_32x16d。您可以在此页面顶部的模型摘要中找到这些 ID。

要使用此模型提取图片特征，请按照 timm 特征提取示例的说明进行操作，只需更改您要使用的模型名称。

如何微调此模型？

您可以通过更改分类器（最后一层）来微调任何预训练模型。

>>> model = timm.create_model('ig_resnext101_32x16d', pretrained=True, num_classes=NUM_FINETUNE_CLASSES)

要在您自己的数据集上进行微调，您必须编写训练循环或调整 timm 的训练脚本以使用您的数据集。

如何训练此模型？

您可以按照 timm 食谱脚本的说明从头开始训练一个新的模型。

引用

@misc{mahajan2018exploring,
      title={Exploring the Limits of Weakly Supervised Pretraining},
      author={Dhruv Mahajan and Ross Girshick and Vignesh Ramanathan and Kaiming He and Manohar Paluri and Yixuan Li and Ashwin Bharambe and Laurens van der Maaten},
      year={2018},
      eprint={1805.00932},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

< > 在 GitHub 上更新