Press "Enter" to skip to content

ResNet最强改进版来了!ResNeSt:Split-Attention Networks

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

加入极市专业CV交流群,与  1 0000+来自港科大、北大、清华、中科院、CMU、腾讯、百度  等名校名企视觉开发者互动交流!

 

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注  极市平台  公众号  , 回复  加群, 立刻申请入群~

 

 

《ResNeSt: Split-Attention Networks》

 

作者团队:亚马逊(张航和李沐等)&UC Davis

 

代码(提供PyTorch和MXNet双版本):

 

https://github.com/zhanghang1989/ResNeSt

 

论文: https://hangzhang.org/files/resnest.pdf

 

前言

 

开头先致敬一下 ResNet!2020年4月17日在谷歌学术上查看ResNet的引用量,发现已高达 43413!请注意,这还只是ResNet发表短短4年多的引用量。

 

这里吐槽一句,现在出现很多基于NAS的新网络(趋势),暴力出奇迹,比如MobileNetV3、EfficientNet等,但论应用场景,还是ResNet给力。实际上,很多下游工作(目标检测、图像分割等)仍然在使用ResNet或其变体,主要是因为结构简洁通用。

 

 

本文要介绍的是ResNet 的新变体: ResNeSt 。继续将ResNet”发扬光大”,值得点赞。

 

标题注明了最强,很多人肯定会质疑是不是标题党?究竟有多强?往下看,你就知道了!

 

先说几组数据:

 

ResNeSt-50 在 ImageNet 上实现了 81.13%  top-1 准确率

 

简单地用ResNeSt-50替换ResNet-50,可以将MS-COCO上的Faster R-CNN的mAP从39.25%提高到 42.33% !

 

简单地用ResNeSt-50替换ResNet-50,可以将ADE20K上的DeeplabV3的mIoU从42.1%提高到 45.1% !

 

性能显着提升,参数量并没有显着增加,部分实验结果如下图所示。轻松超越ResNeXt、SENet等前辈(巨人)们。

 

 

ResNeSt

 

ResNeSt 的全称是:Split-Attention Networks,也就是特别引入了Split-Attention模块。如果没有猜错,ResNe S t 的  S  应该就是 Split。

 

这里要说一下,ResNeSt 实际上是站在巨人们上的”集大成者”,特别借鉴了:Multi-path 和 Feature-map Attention思想。

 

其中:

 

GoogleNet  采用了Multi-path机制,其中每个网络块均由不同的卷积kernels组成。

 

ResNeXt 在ResNet bottle模块中采用组卷积,将multi-path结构转换为统一操作。

 

SE-Net  通过自适应地重新校准通道特征响应来引入通道注意力(channel-attention)机制。

 

SK-Net  通过两个网络分支引入特征图注意力(feature-map attention)。

 

ResNeSt 和 SE-Net、SK-Net 的对应图示如下:

 

 

其中上图中都包含的 Split Attention模块如下图所示:

 

 

从图1和图2可知,都有split的影子。比如图1中的  K(k)  和图2中的  R(r)  都是超参数,也就是共计  G = K*R  组。

 

限于篇幅问题,本文旨在论文速递。完整理解Split Attention模块需要涉及部分公式,这里建议大家结合原文和代码进行理解。目前代码已经提供PyTorch和MXNet两个版本。

 

https://github.com/zhanghang1989/ResNeSt

 

同时论文还介绍了训练策略,这个对大家目前的工作应该具有很大的参考价值(涨点tricks)。

 

Large Mini-batch Distributed Training

 

Label Smoothing

 

Auto Augmentation

 

Mixup Training

 

Large Crop Size

 

Regularization

 

实验结果

 

ResNeSt 在ImageNet 图像分类性能如下,轻松超越SKNet、SENet、ResNetXt和ResNet。

 

 

ResNeSt 和其他SoTA的CNN模型进行性能比较(特别是NAS阵营)

 

 

ResNeSt 在MS-COCO 目标检测和实例分割任务上的表现性能如下,涨点太恐怖!

 

 

 

ResNeSt 在ADE20K 语义分割任务上的表现性能如下:

 

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。