(Tensorflow) EfficientNet CondConv

EfficientNet 是一种卷积神经网络架构和缩放方法，它使用复合系数统一缩放深度/宽度/分辨率的所有维度。与任意缩放这些因素的传统做法不同，EfficientNet 缩放方法使用一组固定的缩放系数统一缩放网络宽度、深度和分辨率。例如，如果我们想使用 $2^N$ 倍的计算资源，那么我们可以简单地将网络深度增加 $\alpha ^ N$ ，宽度增加 $\beta ^ N$ ，图像大小增加 $\gamma ^ N$ ，其中 $\alpha, \beta, \gamma$ 是常数系数，通过对原始小模型进行小范围网格搜索来确定。EfficientNet 使用复合系数 $\phi$ 以一种有原则的方式统一缩放网络宽度、深度和分辨率。

复合缩放方法是基于这样的直觉：如果输入图像更大，那么网络需要更多的层来增加感受野，需要更多的通道来捕获更大图像上更精细的模式。

基础的 EfficientNet-B0 网络基于 MobileNetV2 的倒置残差块，并加入了Squeeze-and-Excitation 模块。

此模型集合通过添加 CondConv 卷积来改进 EfficientNet。

该模型的权重是从 Tensorflow/TPU 移植的。

我如何在图像上使用此模型？

加载预训练模型

>>> import timm
>>> model = timm.create_model('tf_efficientnet_cc_b0_4e', pretrained=True)
>>> model.eval()

加载并预处理图像

>>> import urllib
>>> from PIL import Image
>>> from timm.data import resolve_data_config
>>> from timm.data.transforms_factory import create_transform

>>> config = resolve_data_config({}, model=model)
>>> transform = create_transform(**config)

>>> url, filename = ("https://github.com/pytorch/hub/raw/master/images/dog.jpg", "dog.jpg")
>>> urllib.request.urlretrieve(url, filename)
>>> img = Image.open(filename).convert('RGB')
>>> tensor = transform(img).unsqueeze(0) # transform and add batch dimension

获取模型预测结果

>>> import torch
>>> with torch.inference_mode():
...     out = model(tensor)
>>> probabilities = torch.nn.functional.softmax(out[0], dim=0)
>>> print(probabilities.shape)
>>> # prints: torch.Size([1000])

获取排名前 5 的预测类别名称

>>> # Get imagenet class mappings
>>> url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
>>> urllib.request.urlretrieve(url, filename)
>>> with open("imagenet_classes.txt", "r") as f:
...     categories = [s.strip() for s in f.readlines()]

>>> # Print top categories per image
>>> top5_prob, top5_catid = torch.topk(probabilities, 5)
>>> for i in range(top5_prob.size(0)):
...     print(categories[top5_catid[i]], top5_prob[i].item())
>>> # prints class names and probabilities like:
>>> # [('Samoyed', 0.6425196528434753), ('Pomeranian', 0.04062102362513542), ('keeshond', 0.03186424449086189), ('white wolf', 0.01739676296710968), ('Eskimo dog', 0.011717947199940681)]

将模型名称替换为您要使用的变体，例如 tf_efficientnet_cc_b0_4e。您可以在本页顶部的模型摘要中找到 ID。

要使用此模型提取图像特征，请遵循 timm 特征提取示例，只需更改你想使用的模型名称。

我如何微调此模型？

你可以通过更改分类器（最后一层）来微调任何预训练模型。

>>> model = timm.create_model('tf_efficientnet_cc_b0_4e', pretrained=True, num_classes=NUM_FINETUNE_CLASSES)

要在自己的数据集上进行微调，你需要编写一个训练循环或修改 timm 的训练脚本以使用你的数据集。

我如何训练此模型？

你可以按照 timm 食谱脚本来重新训练一个新模型。

引用

@article{DBLP:journals/corr/abs-1904-04971,
  author    = {Brandon Yang and
               Gabriel Bender and
               Quoc V. Le and
               Jiquan Ngiam},
  title     = {Soft Conditional Computation},
  journal   = {CoRR},
  volume    = {abs/1904.04971},
  year      = {2019},
  url       = {http://arxiv.org/abs/1904.04971},
  archivePrefix = {arXiv},
  eprint    = {1904.04971},
  timestamp = {Thu, 25 Apr 2019 13:55:01 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1904-04971.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

< > 在 GitHub 上更新