万圣节快乐，ResNet 请客！

一点万圣节小礼物🎃，我刚刚上传了一些小型的 ResNet，它们经过了前所未有的训练。应用户要求，我将最近的一组超参数（MobileNet-v4 Conv Small x ResNet Strikes Back / timm，表格中的 ra4）应用于 'Basic Block' ResNet-18 和 34，包括 V2（预激活）变体。

结果非常好！ResNet-18 的准确率达到 73-74%，ResNet-34 达到 77-78%，哇哦！

请参阅下表以了解更多背景信息。我列出了一些过去的“最佳”ResNet 结果：

• ResNet Strikes Back (a1, a1h)
• torchvision “自带电池” ResNets (tv2)，它们是 RSB 的后续版本
• O.G. torchvision (tv) ResNets，范围在 18-50

实际上，我确实用类似的 ra4 超参数训练了一个 D 变体的 ResNet50，但它们的改进不如过去那么多，可能需要进一步的超参数调整和更多的增广。

所有新权重在推理时都能很好地扩展到更高分辨率。这里有一些值得注意的地方。tv2 和 a1h ResNet50 是在 176x176 分辨率下训练的，通过在 224x224 下评估，它们试图达到训练-测试分辨率差异的“峰值”（https://arxiv.org/abs/1906.06423）。当我研究 RSB 方法时，我不想为了在 224x224 评估时获得峰值而牺牲高分辨率扩展，只有在较低分辨率下训练的低成本 a3 才这样。你可以在这个 288x288 表格中看到，a1 RSB 还有更多的潜力，tv2 已经处于下降趋势，而 a1h 刚刚越过峰值。这些新的 ra4 是分辨率缩放的佼佼者，还有一些提升空间。