Press "Enter" to skip to content

“文艺复兴” ConvNet卷土重来,压过Transformer!FAIR重新设计纯卷积新架构

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

作者丨happy

 

论文链接: https://arxiv.org/pdf/2201.03545.pdf

 

代码链接: https://github.com/facebookresearch/ConvNeXt

 

Abstract

 

ViT伴随着视觉的“20年代”咆哮而来,迅速的碾压了ConvNet成为主流的研究方向。然而,当应用于广义CV任务(如目标检测、语义分割)时,常规的ViT面临着极大挑战。因此,分层Transformer(如Swin Transformer)重新引入了ConvNet先验信息,使得Transformer成实际可行的骨干网络并在不同视觉任务上取得了非凡的性能。然而, 这种混合方法的有效性仍然很大程度上归根于Transformer的内在优越性,而非卷积固有归纳偏置 。

 

本文对该设计空间进行了重新审视并测试了ConvNet所能达到的极限。我们将标准卷积朝ViT的设计方向进行逐步“现代化”调整,并发现了几种影响性能的关键成分。由于该探索是纯ConvNet架构,故将其称之为ConvNeXt。 完全标准ConvNet模块构建的ConvNeXt取得了优于Transformer的精度87.8%,在COCO检测与ADE20K分割任务上超越了SwinTransformer,同时保持了ConvNet的简单性与高效性 。

 

Modernizing ConvNet:Roadmap

 

接下来,我们将提供从ResNet到ConvNeXt的演变轨迹。我们考虑了两种不同FLOPs尺寸的模型:ResNet50/Swin-T(FLOPs约)与ResNet200/Swin-B(FLOPs约),为简单起见,这里仅呈现ResNet50/Swin-T复杂度模型的结果。

 

我们以ResNet50作为出发点,首先采用类似ViT的训练技术对其重训练并得到ResNet50的改进结果(这将作为本文的基线);然后我们研究了一系列设计准则,总结如下:

 

Macro Design

 

ResNeXt

 

Inverted Bottleneck

 

Large Kernel Size

 

Various Layer-wise Micro Design.

 

从上图可以看到网络架构每一次进化所能取得的性能( ConvNeXt-T取得了82%,超越了Swin-T的81.3%) ,由于模型复杂度与最终性能相关,故FLOPs进行了一定程度的控制。

 

Training Techniques

 

除了网络架构的设计外,训练方式也会影响最终的性能。ViT不仅带来了新的模块与架构设计,同时还引入了不同的训练技术,如AdamW优化。因此,探索的第一步就是采用ViT的训练机制训练基线模型ResNet-50/200。

 

本文采用了DeiT与SwinTransformer的训练方案,可参见上表。训练周期从原始的90epoch扩展到了300epoch;优化器为AdamW,数据增广包含Mixup、Cutmix、RandAugment、RandomErasing;正则化技术包含Stochastic Depth与Label Smoothing。 增强的训练技术将ResNet50的性能从76.1%提升到了78.8% ,这说明: Transformer与ConvNet的性能差距很大比例源自训练技术的升级 。

 

Macro Design

 

我们现在开始对SwinTransformer的宏观架构设计,它参考ConvNet采用了多阶段设计思想,每个阶段具有不同的特征分辨率。它具有两个有意思的设计考量:(1) Stage Compute Ratio; (2)Stem Cell架构。

 

Changing Stage Compute Ratio. 原始ResNet的计算分布是经验性成果。“res4”的重计算设计是为了与下游任务(如目标检测)相兼容;而Swin-T参考了类似的设计准则但将计算比例微调为,更大的SwinTransformer的比例则为。参考该设计理念,我们将ResNet50每个阶段的块数从调整为。 此时模型的性能从78.8%提升到79.4% 。

 

Changing Stem to “Patchify”. 一般来讲,Stem设计主要关心: 在网络起始部分如何对图像进行处理 。由于自然图像的信息冗余性,常见的Stem通过对输入图像下采样聚合到适当的特征尺寸。ResNet中的Stem包含stride等于2的卷积+MaxPool,它将输入图像进行4倍下采样;而ViT则采用了”Patchify”策略,它对应了大卷积核(如14、16)、非重叠卷积;SwinTransformer采用了类似的”Patchify”,但块尺寸为4以兼容多阶段设计架构。我们将ResNet中的Stem替换为的”Patchify”层。此时, 模型的性能从79.4%提升到了79.5% 。

 

ResNeXt-ify

 

在这里,我们尝试采用了ResNeXt的设计理念( 采用更多的组扩展宽度 ),其核心成分为组卷积。具体来说,ResNeXt在Bottleneck中为采用组卷积。这种设计方式可以大幅减少FLOPs,故通过提升网络宽度补偿容量损失。

 

在本文中,我们采用depthwise卷积,同时将网络的宽度进行了提升,此时它与Swin-T具有相同的通道数。此时, 模型的性能提升到了80.5%,而FLOPs则提升到了53.G 。

 

Inverted Bottleneck

 

Transformer模块的一个重要设计:它构建了Inverted Bottleneck,如MLP的隐层维度是输入维度的4倍。有意思的是:Transformer的这种设计与ConvNet中的Inverted Bottleneck(最早源自MobileNetV2)设计相一致。

 

在这里,我们探索了上图的几种不同设计,它将网络的FLOPs下降到了4.6G。有意思的是, 这种设计将模型的性能从80.5%提升到了80.6% 。对ResNet200的性能提升则更大,从81.9%提升到了82.6%。

 

Large Kernel Sizes

 

在这部分,我们聚焦于大卷积核的行为表现。ViT的最重要区分是其非局部自注意力,它使得每一层均具有全局感受野。尽管SwinTransformer采用了局部窗口机制,但其感受野仍至少为,远大于ConvNet的。因此,我们将ConvNet中使用大卷积核卷积进行回顾。

 

Moving up depthwise conv layer. 为探索大核, 先决条件是depthwise卷积的位置上移 (见Figure3c)。这种设计理念等同于Transformer中的MHSA先于MLP。此时, 模型的性能临时下降到了79.9%,而FLOPs也下降到了4.1G 。

 

Increasing the kernel size. 基于上述准备,我们采用了更大的卷积核,如。此时, 模型的性能从79.9%!提升到了80.6%() ,而模型的FLOPs几乎不变。

 

Micro Design

 

接下来,我们将从微观角度(即OP层面)探索几种架构差异,主要聚焦于激活函数与Normalization层的选择。

 

Replacing ReLU wit GELU. NLP与视觉架构的一个差异体现在激活函数的实用 。ConvNet大多采用ReLU,而ViT大多采用GELU。我们发现:ConvNet中的ReLU可以替换为GELU,同时性能不变(80.6%)。

 

Fewer Activation Functions.Transformer与ResNet模块的一个小区别: Transformer模块使用了更少的激活函数 。类似的,我们对ConvNeXt模块进行下图所示的改进, 模型性能从80.6%提升到了81.3% (此时,它具有与Swin-T相当的性能)。

 

Fewer Normalization LayersTransformer通常具有更少的Normalization层,因此我们移除两个BN层 仅保留 卷积之前的一个BN 。 模型的性能提升到了81.4%,超越了Swin-T。

 

Substituting BN with LN尽管BN是ConvNet的重要成分,具有加速收敛降低过拟合的作用;但BN对模型性能也存在有害影响。Transformer中的LN对不同的应用场景均具有比较好的性能。直接在原始ResNet中将BN替换为LN会导致性能下降,而 组合了上述技术后再将BN替换为LN则能带来性能的提升:81.5% 。

 

Separate Downsamling Layers在ResNet中,每个阶段先采用stride=2的卷积进行下采样;而SwinTransformer则采用了分离式下采样层。我们探索了类似的策略:采用stride=2的卷积进行下采样,但这种方式导致了“不收敛”。进一步研究表明:在下采样处添加Normalization层有助于稳定训练。此时, 模型的性能提升到了82.0%,大幅超越了Swin-T的81.3%。

 

Closing remarks. 到此为止,我们完成了ConvNet的进化之路,得到了超越SwinTransformer的纯ConvNet架构ConvNeXt。需要注意的是,上述设计并没有新颖之处,均得到了研究,但并未进行汇总集成。 ConvNeXt具有与SwinTransformer相当的参数量、吞吐量、内存占用,更高的性能,且不需要依赖特定的模块(比如移位窗口注意力、相对位置偏置) 。

 

Exmpirical Evaluations on ImageNet

 

基于前述ConvNeXt架构,我们构建了ConvNeXt-T/S/B/L以对标Swin-T/S/B/L。此外,我们还构建了一个更大的ConvNeXt-XL以进一步测试ConvNeXt的缩放性。不同变种模型的区别在于通道数、模块数,详细信息如下:

 

ConvNeXt-T: C=,B=

 

ConvNeXt-S: C=,B=

 

ConvNeXt-B: C=,B=

 

ConvNeXt-L: C=,B=

 

ConvNeXt-XL: C=,B=

 

上表给出了ImageNet上的性能对比,从中可以看到:

 

ConvNeXt具有比ConvNet(如RegNet、EfficientNet)更佳的精度-计算均衡以及吞吐量;

 

ConvNeXt同样具有比SwinTransformer更佳的性能,且无需特殊操作模块;

 

[email protected]比Swin-B性能高0.6%且推理速度快12.5%;

 

仅需ImageNet训练,ConvNeXt-XL的性能即可达到85.5%;当采用ImageNet-22K预训练时,模型性能进一步提升到了87.8%。

 

既然ConvNeXt这幺好,其设计理念能否应用到ViT中呢?结果见上表,从中可以看到:两者具有相当的性能,这意味着:ConvNeXt的设计理念用于非分层模块时仍具有竞争力。

 

Empirical Evalution on Downstream Tasks

 

为进一步验证ConvNeXt在下游任务的表现,我们基于Mask R-CNN与Cascade Mask R-CNN在COCO检测方面的性能,结果见上表,从中可以看到: ConvNeXt取得了与SwinTransformer相当,甚至更优的性能。当采用更大的骨干且ImageNet22K预训练时,ConvNeXt的性能更佳 。

 

上表给出了ADE20K数据上的性能对比,从中可以看到: 在不同容量大小下,ConvNeXt均可取得极具竞争力的结果,进一步验证了ConvNeXt的有效性 。

 

上表还给出了Swin与ConvNeXt在吞吐量方面的对比,很明显: ConvNeXt具有比Swin更高的吞吐量、更高的精度 。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注