Press "Enter" to skip to content

CVPR2022 | A ConvNet for the 2020s & 如何设计神经网络总结

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

前言本文深入探讨了如何设计神经网络、如何使得训练神经网络具有更加优异的效果,以及思考网络设计的物理意义。

 

欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

 

 

论文: arxiv.org/pdf/2201.03…

 

代码: github.com/facebookres…

 

引言

 

VIT问世以后,Swin Transformer在图像领域(分类下游任务)的全面大幅度超越 CNN 模型,仿佛印证了 Attetion 论文中 “Attention Is All You Need ”。

 

ConvNext这篇论文,通过借鉴Swin Transformer精心构建的 tricks,使得卷积在图像领域反超了Transformer。这些技巧对分类问题的下游问题也有效果。不禁令人深思,在深度学习中如何设计网络,如何使得训练神经网络具有更加优异的效果,以及思考网络设计的物理意义(尽管到现在为止很多网络模型的构建可能更多来源于“灵感”之类的)。

 

ConvNeXt借鉴了以下tricks:

 

1. 训练技巧、预训练和网络结构比例

 

2. 减少激活层和归一化层的使用(Relu和Norm会造成特征损失)

 

3. 运用了7*7大尺寸的卷积核且效果更优(由于运用了Inverted Bottleneck和depth-wise Convs使得计算量基本稳定的情况下增加了性能)

 

4. 分离的下采样层和LN层。

 

一、Swin-Transformer介绍

 

1.1、Swin-Transformer背景介绍

 

自从ViT提出之后,在过去的一年里(2021年),基于transformer的模型在计算机视觉各个领域全面超越CNN模型。然而,这很大程度上都归功于Local Vision Transformer模型,Swin Transformer是其中重要代表。

 

原生的ViT模型其计算量与图像大小的平方成正比,而Local Vision Transformer模型由于采用local attention(eg. window attention),其计算量大幅度降低。

 

除此之外,Local Vision Transformer模型往往也采用金字塔结构,这使得它更容易应用到密集任务如检测和分割中,因为密集任务往往输入图像分辨率较高,而且也需要多尺度特征(eg. FPN)。

 

总而言之,Swin Transformer 将计算量降低,引入 CNN 多尺度结构,使 Transformer 能够解决分类下游问题。

 

 

1.2、CNN网络的反击

 

1.2.1、Depth-wise conv的反击

 

微软在去年6年份的工作已经讨论了用7×7 depth-wise conv模拟Local Vision Transformer,并且实现了比Swin Transformer更好的效果。微软在论文Demystifying Local Vision Transformer: Sparse Connectivity, Weight Sharing, and Dynamic Weight上系统地总结了Local Vision Transformer的三大特性:

 

Sparse connectivity:每个token的输出只依赖于其所在local window上tokens,而且各个channel之间是无联系的;(这里忽略了attention中query,key和valude的linear projections,那幺attention就其实可以看成在计算好的权重下对tokens的特征进行加权求和,而且是channel-wise的);

 

Weight sharing:权重对于各个channel是共享的;

 

Dynamic weight:权重不是固定的,而是基于各个tokens动态生成的。

 

这样总结的话,local attention就和depth-wise convs存在很多的相似之处。首先后者也具有Sparse connectivity:计算只在kernel size范围内,而且各个channel之间无连接。然后depth-wise convs也具有weight sharing特性,但是卷积核是在所有的空间位置上共享的,而且不同channle采用不同的卷积核。对于第三点,depth-wise conv的卷积核是训练参数,一旦完成训练就是固定的,而不像attention那样是动态的。但是local attention丢失了位置信息,需要位置编码,而depth-wise convolution则不需要。

 

下面是不同操作的区别:

 

 

1.2.2、ConvNeXt

 

MetaAI在论文A ConvNet for the 2020s中, 从ResNet出发并借鉴Swin Transformer提出了一种新的 CNN 模型:ConvNeXt,其效果无论在图像分类还是检测分割任务上均能超过Swin Transformer,而且ConvNeXt和vision transformer一样具有类似的scalability(随着数据量和模型大小增加,性能同比提升)。

 

 

二、ResNet到ConvNeXt

 

ConvNeXt 从原始的 ResNet 出发,逐步加入swin transform 的 trick,来改进模型。论文中适用 ResNet模型:ResNet50和ResNet200。其中ResNet50和Swin-T有类似的FLOPs(4G vs 4.5G),而ResNet200和Swin-B有类似的FLOPs(15G)。

 

首先做的改进是调整训练策略,然后是模型设计方面的递进优化:宏观设计->ResNeXt化->改用Inverted bottleneck->采用large kernel size->微观设计。由于模型性能和FLOPs强相关,所以在优化过程中尽量保持FLOPs的稳定。

 

 

模型效果提升 tricks 总览:

 

 

2.1、训练策略

 

原生的ViT需要大规模数据的预训练,而MetaAI在DeiT论文中提出了一种增强版本的训练策略来解决这个问题,这个训练策略也被随后的vision transformer模型所采用。

 

对于ResNet50,其训练策略比较简单(torchvision版本):batch size是32*8,epochs为90;优化器采用momentum=0.9的SGD,初始学习速率为0.1,然后每30个epoch学习速率衰减为原来的0.1;正则化只有L2,weight decay=1e-4;数据增强采用随机缩放裁剪(RandomResizedCrop)+水平翻转(RandomHorizontalFlip)。

 

而DeiT的训练策略则非常heavy:采用了比较多的数据增强如Mixup,Cutmix和RandAugment;训练的epochs增加至300;训练的optimizer采用AdamW,学习速率schedule采用cosine decay;采用 smooth label 和EMA等优化策略。

 

这里直接将DeiT的训练策略(具体参数设置如下表)应用在ResNet50模型,其性能从原来的76.1%提升至78.8%(+2.7)。这也说明vision transformer模型相比CNN模型的提升很多程度上归功于训练策略的优化,关于这个问题,另外一篇论文Visformer也论证过这一点,而且最近timm库和torchvison库也分别发布了ResNet新的训练策略,并将ResNet50的性能提升至80%+。

 

我们框架中也可能存在adam优化器的问题, 2014年被提出的Adam优化器的收敛性被证明是错误的,之前大部分机器学习框架中对于Adam的权重衰减的实现也都是错误的。实际上,L2正则化和权重衰减在大部分情况下并不等价,只在SGD优化的情况下是等价的。而大多数框架中对于Adam+L2正则使用的是权重衰减的方式,两者不能混为一谈。

 

在 ConvNeXt 使用模型与训练的方法, 如下:

 

 

2.2、Changing stage compute ratio

 

Swin Transfomer和CNN一样也采用金字塔结构:包含4个stage,每个stage输出不同尺度的特征。这里考虑Swin Transformer和ResNet在宏观设计上的区别,主要有两点:每个stage的计算量占比以及 stem cell结构(即stage1之前的模块)。

 

首先是各个stage的计算量占比,对比ResNet50,4个stage的blocks数量分别是(3,4,6,3),而Swin-T的设置为(2,2,6,2),4个stage的计算量比约为1:1:3:1。这里调整ResNet50各个stage的blocks数量以和Swin-T一致:从原来的(3,4,6,3)调整至(3,3,9,3)。

 

调整之后模型性能从78.8%提升至79.4%,不过这里要注意的一点是,调整后其实blocks数量增加了,模型的FLOPs从原来的4G增加至4.5G,基本和Swin-T一致了,所以这个性能的提升很大程度上归功于FLOPs的增加。

 

关于各个stage的计算量分配,并没有一个理论上的参考,不过RegNet和EfficientNetV2论文中都指出,后面的stages应该占用更多的计算量。

 

第二个就是stem的区别。对于Swin-T模型,其stem是一个patch embedding layer,实际上就是一个stride=4的4×4 conv。而 ResNet50的stem相对更复杂一些:首先是一个stride=2的7×7 conv,然后是一个stride=2 的 3×3 max pooling。

 

两种stem最后均是得到1/4大小的特征,所以这里可以直接用Swin的stem来替换ResNet的stem,这个变动对模型效果影响较小:从79.4%提升至79.5%,可能是去掉最大池化起到了作用 ,最大池化会造成特征损失。

 

对于ViT模型,其 patch size一般较大(eg. 16),只采用一个stride较大的conv来做patch embedding往往会存在一定问题,比如Mocov3论文中就指出patch embed可能会导致训练不稳定,而论文Early Convolutions Help Transformers See Better指出将 patch embed 设计成几个堆叠的 stride=2 的3*3 conv,无论是在模型效果上,还是在训练稳定性以及收敛速度都更好;而Swin-T的 patch size相对较小,不会出现ViT的上述问题,不过Swin-T采用的是 non-overlapping conv,后面有论文指出采用overlapping conv(eg stride=4 的7×7 conv)会带来一定的性能提升。

 

 

2.3、ResNeXt-ify (depth-wise)

 

相比 ResNet,ResNeXt通过采用group conv来提升性能,标准的conv其输入是所有的channels,而group conv会对channels进行分组来减少计算量,这样节省下来的计算量用来增加网络的width即特征channels。对于group conv,其最极端的情况就是每个channel一个group,这样就变成了depthwise conv(简称dw conv),dw conv首先在MobileNet中应用,后来也被其它CNN模型广泛采用。

 

对于dw conv,其和 local attention 有很多的相似的地方,local attention其实就是对window里的各个token的特征做加权和,而且操作是per-channel的;而dw conv是对kernel size范围的token的特征求加权和,也是分channel的。这里的最大区别就是:self-attention的权重是动态计算的(data dependent),而dw conv的权重就是学习的kernel。

 

这里将 ResNet50中的 3×3 conv替换成3×3 dw conv,为了弥补 FLOPs 的减少,同时将 ResNet50 的 base width从原来的64增加至96(和Swin-T一致,这里的base width是指stem后的特征大小),此时模型的FLOPs有所增加(5.3G),模型性能提升至80.5%。

 

2.4、Inverted Bottleneck

 

如果把self-attention看成一个dw conv的话(这里忽略self-attention的linear projection操作),那幺一个transformer block可以近似看成一个inverted bottleneck,因为MLP等效于两个1×1 conv,并且MLP中间隐含层特征是输入特征大小的4倍(expansion ratio=4)。

 

inverted bottleneck最早在MobileNetV2中提出,随后的EfficientNet也采用了这样的结构。ResNet50采用的是正常的residual bottleneck,这里将其改成inverted bottleneck,即从图(a)变成图(b),虽然dw conv的计算量增加了,但是对于包含下采样的residual block中,用于shortcut的1×1 conv计算量却大大降低,最终模型的FLOPs减少为4.6G。这个变动对ResNet50的影响较小(80.5%->80.6%)。

 

 

2.5、Large Kernel Sizes

 

自从VGG之后,主流的CNN往往采用较小的kernel size,如3×3和5×5,其中3×3 conv在GPU上有高效的实现。然而Swin-T采用的 window size为7×7,这比3×3 conv对应的 window size要大得多,所以这里考虑采用更大的kernel size。

 

在这之前,首先将dw conv移到inverted bottleneck block的最开始,如上图(c)所示。对于transformer block,其实self-attention也是在开始,同时由于采用inverted bottleneck,将dw conv移动到最前面可以减少计算量(4.1G),后续采用较大的kernel size后模型的FLOPs变动更少。

 

由于模型FLOPs的降低,模型性能也出现一定的下降:80.6%->79.9%。然后调整dw conv的kernel size,这里共实验了5种kernel size:3×3,5×5,7×7,9×9和11×11。

 

实验发现kernel size增加,模型性能有提升,但是在7×7之后采用更大的kernel size性能达到饱和。所以最终选择7×7,这样也和Swin-T的window size一致,由于前面的dw conv位置变动,采用7×7的kernel size基本没带来FLOPs的增加。采用7×7 dw conv之后,模型的性能又回到 80.6%。

 

2.6、微观设计

 

2.6.1 ReLU -> GreLU

 

经过前面的改动,模型的性能已经提升到80%以上,此时改动后的ResNet50也和Swin-T在整体结构上很类似了,下面我们开始关注一些微观设计上的差异,或者说是layer级别的不同。

 

首先是激活函数,CNN模型一般采用ReLU,而transformer模型常常采用GELU。这里把激活函数都从ReLU改成GELU,模型效果没有变化(80.6%)。

 

2.6.2 减少激活层和归一化层

 

如下图示,这里只保留中间1×1 conv之后的GELU,就和Swin-T基本保持一致了,这个变动使模型性能从80.6%提升至81.3%。

 

 

对于norm层,也存在和激活函数一样的问题,transformer中只在self-attention和MLP的开始采用了LayerNorm,而ResNet每个conv之后采用BatchNorm,比transformer多一个norm层。这里去掉其它的BatchNorm,只保留中间1×1 conv前的BatchNorm,此时模型性能有0.1%的提升。实际上要和 transformer 保持一致,应该在block最开始增加一个BatchNorm,但是这个并没有提升性能,所以最终只留下了一个norm层。

 

另外,transformer的norm层采用 LayerNorm,而CNN常采用BatchNorm,一般情况下BatchNorm要比LayerNorm效果要好,但是BatchNorm受batch size的影响较大。这里将BatchNorm替换成LayerNorm后,模型性能提升至81.5%。

 

最后一个差异是下采样,ResNet中的下采样一般放在每个stage的最开始的block中,采用 stride=2 的3×3 conv;但是ConvNeXt 采用分离的下采样去近似 Swin Transform的 Patch Merging layer(可以看补充知识去理解 Patch Merging),即下采样是放在两个stage之间,通过一个stride=2的 2×2 conv。

 

但是实验发现,如果直接改用Swin-T的下采样,会出现训练发散问题,解决的办法是在添加几个norm层:在stem之后,每个下采样层之前以及global avg pooling之后都增加一个LayerNom(Swin-T也是这样做的)。最终模型的性能提升至82.0%,超过Swin-T(81.3%)。

 

2.7、其它数据

 

前面我们从ResNet50的Swin-T化,最终得到了ConvNeXt-T模型,对于更大的模型,可以通过调整特征的维度C和各个stage的blocks数量。论文共设计5个ConvNeXt模型,其中前4个模型分别对标Swin,而最后ConvNeXt-XL是一个更大的模型,用来验证模型的scalability。

 

ConvNeXt-T: C = (96, 192, 384, 768), B = (3, 3, 9, 3)

 

ConvNeXt-S: C = (96, 192, 384, 768), B = (3, 3, 27, 3)

 

ConvNeXt-B: C = (128, 256, 512, 1024), B = (3, 3, 27, 3)

 

ConvNeXt-L: C = (192, 384, 768, 1536), B = (3, 3, 27, 3)

 

ConvNeXt-XL: C = (256, 512, 1024, 2048), B = (3, 3, 27, 3)

 

ConvNeXt在ImageNet1K数据集上的分类效果如下所示,可以看到,ConvNeXt在不同的FLOPs均可以超过Swin,如果采用ImageNet22K预训练后,模型性能有进一步的提升,其中ConvNeXt-XL可以达到87.8%,仅略低于目前的SOTA一点(MViT-H, 512^2,88.8%,只有ImageNet21K)。

 

 

在下游任务检测和分割上,ConvNeXt也可以超过Swin,如下表所示:

 

 

由于FLOPs往往不能准确地反映实际的推理速度,所以上面的对比结果也包括模型速度(分类上用throughout,检测上用FPS),可以看到在实际推理速度上,ConvNeXt也略好于Swin。

 

在显存使用上,两者也相当,比如基于ConvNeXt-B的Cascade Mask-RCNN需要17.4GB peak memory,而Swin-B 需要18.5GB。另外,如果在A100上(支持TF32),采用channel last,ConvNeXt相比Swin有明显的速度优势:

 

 

Robustness Evaluation , ConVNeXt 也优于 swin-Transform

 

 

寻找一位对目标检测非常熟悉的朋友,对目标检测从传统方法到深度学习的所有大总结,主要包括传统方法检测、RCNN系列、YOLO系列、anchor-free系列、小目标检测方法总结、小样本目标检测方法总结、视频中的目标检测方法总结、目标检测使用的损失函数总结等内容。支持边学边写。有一定的稿费与福利,具体请联系本人详谈(扫描链接中的二维码)。同理也包括图像分割、Transformer等方向。

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。