Press "Enter" to skip to content

从百度飞桨YOLOSeries库看各个YOLO模型

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

近年来YOLO系列算法遍地开花,前阵子YOLOv6和YOLOv7相继被提出,一开源就有了极高的流量热度。还在用v5呢结果v6出来了,赶紧换v6训一波,结果v7又出来了不得不再换v7训和测,相信不少人和我一样,虽然结构差不多,但切换起来还是繁琐,而且自己的数据集精度用哪个训高还真不一定。当时就想把这3个代码整合在一个库的想法,但是这三个代码基本就是yolov5代码,当年debug yolov5代码时候吃了不少苦头,二次开发也非常的不友好。

 

前两天看到了百度飞桨公众号上的宣传,推出了一个重构后的YOLO库 YOLOSeries,说同时支持PP-YOLOE、YOLOX、YOLOv5、YOLOv6、YOLOv7,于是立马去使用了下。代码链接是这个:

 

这个库全称是 PaddleDetection_YOLOSeries,顾名思义就是基于百度飞桨的PaddleDetection 复现的,这个库看起来也是百度飞桨派人维护更新的。yoloseries代码其实就是PaddleDetection上加了v5 v6 v7模型,但是受限于v5 v6 v7的GPL协议而单独另开一个维护,yoloseries作者也说会同步和PaddleDetectio保持更新。原版的PaddleDetection里就有YOLOv3、YOLOv4、PP-YOLOE和YOLOX,代码链接是这个:

 

言归正传,yoloseries库对yolov5、yolov6、yolov7的重构是我比较关心的,更不用说还有百度他们的yoloe (torch的yoloe好像没看到有复现的) 和 convnext更高精度版本,看着首页的一排排表格和下载链接就兴奋。

 

1.各个YOLO基本结构

 

首先还是简单回顾下几个热门YOLO的大致结构:从2020年开始

 

1.YOLOv5(2020):

 

YOLOv5主要提出更灵活和更轻量级的网络设计,还有Mosaic数据增强。模型精度最初不如YOLOv4,但是速度快的多,后来精度速度一直在迭代优化,逐渐成为业界顶流。关于取名之类的就不纠结了,作者几乎全年甚至全天无休地维护也使得YOLOv5始终保持着极高的热度,但是代码可读性比较差。

 

2.YOLOX(2021.08):

 

YOLOX主要特点是提出了Anchor Free的YOLO检测思路,使用SimOTA改进label assign,和Decoupled Head解耦头。还有一些trick包括采用MixUp和Mosaic,最后15个epoch关闭Mosaic使用L1 loss等。

 

值得一提的是,PaddleDetection中的YOLOX我看了下,是我见过复现精度最高的版本,比旷视的原版也更高,其中大模型更高的多,YOLOX-x直接51.8。

 

3.YOLOE(2022.03):

 

YOLOE是PaddleDetection团队自己研发出来的,backbone采用了新设计的CSP-RepVGG形式的变种ResNet,这个确实挺惊艳的,head也是解耦头还有加了个ESE Attention,也是Anchor Free的,标签分配采用了早期ATSS后期TAL(Task Alignment Learning)联合的做法。PP-YOLOv2和PP-YOLO是百度之前的作品,一段时间出一个PP特色模型看得出来是很用心做的了。

 

4.YOLOv6(2022.06):

 

YOLOv6是美团做的,具体参照 美团技术团队:YOLOv6:又快又准的目标检测框架开源啦 。怎幺说呢,大致就是YOLOX+整体RepVGG,还有一些trick包括采用SIoU loss、relu加速、训400epoch等。但我个人觉得创新点还不足以取名v6,也一直没有放出m l x版本完整的一套模型,感觉就是3个小模型在坐吃山空。

 

5.YOLOv7(2022.07):

 

YOLOv7是YOLOv4团队做的,AlexeyAB和YOLOR/CSP的作者Wang Chien-Yao王建尧均为YOLO界的知名大佬,算是YOLO正统,并且已经列在了YOLO之父Joseph Redmon的darknet上 https:// github.com/pjreddie/dar knet

 

YOLOv7主要是结构上提出E-ELAN模块,大规模E-ELAN模块堆叠都保持链路计算量参数量稳定,还有YOLOR的隐式参数学习和aux辅助头的设计。还放出了加P6的1280尺度的超大模型,可以看出目标不只是为了比较现有的YOLO,还为了和ConvNeXt Swin Transformer等模型硬碰硬,总之业内知名大佬出品,那肯定是用心设计过的。

 

2.各个YOLO代码实现和异同

 

yoloseries代码其实就是PaddleDetection上加了v5 v6 v7模型,PaddleDetection这个套件的检测模型大体框架还是很清楚简单的,yoloseries的实现也是直接继承使用。配置文件采用的yml形式是我比较喜欢的,因为以前用dict形式多层括号的时候就觉得繁琐也出过错,还有命名大小写驼峰形式不会看的很累,嵌套形式的config我觉得比把所有的都塞一个yml里方便清楚的多。

 

而模型结构的代码基本都在PaddleDetection/ppdet/modeling,新加yolo模型的话就是添加到这几个文件下:architectures、backbones 、neck、head、loss。YOLOE YOLOX的代码本来就都是Apache协议,百度和旷视写的也比较清楚易懂了。而原版v5 v6 v7的代码都是GPL协议,其实都总归是v5的代码,debug起来简直就是噩梦了,尽管yolov5作者几乎全天无休的维护,但是基本小修小改,代码几乎不大改,可读性依然很差,记得有个大佬说的很形象,yolov5代码就像是一辆摇摇晃晃东修西补的老爷车在高速公路上以120码的速度狂飙。而YOLOSeries代码重构,我看了下还是做的很好的。

 

一起来看下YOLOSeries里的v5 v6 v7相关的代码以及和yoloe yolox的异同点:

 

代码目录主要在 https:// github.com/nemonameless /PaddleDetection_YOLOSeries/tree/develop/ppdet/modeling

 

1.architectures:

 

主要是整体结构排布,architectures下的py都是这个作用,每个网络都继承自meta_arch.py里的BaseArch,重写get_loss()和get_pred()函数,分别对应训练和预测阶段。具体可以看 https:// github.com/nemonameless /PaddleDetection_YOLOSeries/tree/develop/ppdet/modeling/architectures

 

v5 v6 v7都采用的是ppdet/modeling/architectures/yolov5.py,应该是为了区分开yolov3和ppyolo的ppdet/modeling/architectures/yolo.py吧,内容基本一样yolov5.py更简洁点,yolo.py还有些跟踪相关的。而yolox.py也另开一个,因为只有它是在网络中用 F.interpolate 来制造多尺度训练的,所以yolox.py里是新加了_preprocess和_get_size函数。

 

2.backbones:

 

是各个backbone的代码,其中yoloe和v5都是ppdet/modeling/backbones/csp_darknet.py,v6则是 efficientrep.py ,还有v7也写在了csp_darknet.py里,而yoloe则是 cspresnet.py 。主要看 ppdet/modeling/ backbones里的代码,具体可以看

 

https:// github.com/nemonameless /PaddleDetection_YOLOSeries/tree/develop/ppdet/modeling/backbones

 

backbone的组成还是很有规律的,都是1个stem + 4个stage,下采样率分别是1/2,1/4, 1/8, 1/16, 1/32,最后一个stage还要加SPP模块才输出。yolox和yolov5的backbone几乎只有个别参数的差别,可能yolox本来就是用的yolov5 v6.0版本之前的backbone,所以用arch_settings给一个arch参数指定选用哪个。常规模型一般是640尺度的,return_idx都是后3位索引,表示输出是后3个stage的特征,步长分别是8, 16, 32,对应特征图就是80×80,40×40,20×20。而P6模型是1280尺度,就是1个stem+5个stage,输出后4个stage的特征图,所以FPN和head也相应就是4层,步长分别是8,16,32,64, 对应特征图就是160×160,80×80,40×40,20×20。P6模型现在只有v5 v7提供了,训一个P6模型是非常耗资源的。

 

2.1 stem的区别 ,stem主要是要进行1/2下采样和通道数从3通道增大

 

(1) yolov5(包括它的P6)的做法是一个大卷积核为6的ConvBN

 

(2) yolox则是Focus结构=切片重组+一个3×3的ConvBN,切片重组是下采样

 

(3) yoloe是3层3×3的ConvBN,代码里称为use_large_stem

 

(4) yolov6是一个RepConv(RepVGGBlock训练时是两个并联的Conv BN部署时会融合成一个卷积)

 

(5) yolov7就复杂了,L和X版本是像yoloe那样的3层3×3的ConvBN,tiny版本则是两层3×3的ConvBN,P6的W6 E6 D6 E6E则是ReOrg+ConvBN,其实就是Focus结构=切片重组+一个3×3的ConvBN

 

2.2 stage的区别 ,每个stage基本都遵循着 下采样+ConvBN堆叠的模块 的设计,最后一个stage一般再加一个SPP,这些stage输出的特征通常称为c2 c3 c4 c5,而c1也就是stem,也可以记为2的几次方就下采样几,c5就是下采样1/32,特征图大小就是640/32=20

 

(1) yolov5(包括它的P6):一个3×3的ConvBN下采样 + CSPLayer(C3),使用的是SPPF是一个单尺寸5核的SPP

 

(2) yolox:和yolov5一样,也是一个3×3的ConvBN下采样 + CSPLayer(C3),使用的SPP是(5, 9, 13)的核设置

 

(3) yoloe:是RepVGG+ResNet改造的,一个3×3的ConvBN下采样 + 一堆BasicBlock + 可选的EffectiveSE注意力机制 + 一个3×3的ConvBN,SPP模块是写在了neck里

 

(4) yolov6:是和yolov5 yolox一样,模块换成一个RepConv下采样 + RepLayer,使用的SPP是SimSPPF是和yolov5一样单尺寸5的核,但是使用relu激活而不是silu

 

(5) yolov7还是最复杂也没有章法:下采样方法第一个stage和后3个略有不同,总共包括了Conv, DownC, MPConvLayer, MP, None等各种方法,按模型arch种类来选择,在YOLOSeries代码里写的还是非常清楚的。 https:// github.com/nemonameless /PaddleDetection_YOLOSeries/blob/develop/ppdet/modeling/backbones/csp_darknet.py#L871 。至于堆叠的模块,是ELANLayer,在E6E里是ELAN2Layer其实是两个并联ELANLayer。最后SPP是SPPCSPC(5, 9, 13)卷积核设置,tiny则是SPPELAN(5, 9, 13)卷积核设置。具体还是看代码吧。

 

3. neck:

 

neck的组成都是采用了PAN形式,自底向上+自顶上下两个链路使得特征融合更充分。主要看 ppdet/modeling/ necks里的代码

 

(1) yolov5:是YOLOCSPPAN,两个lateral_convs+fpn_blocks组合 + 两个downsample_convs+pan_blocks组合,细看其实就是4个ConvBN+CSPLayer组合,P6模型则是3对+3对=6个组合

 

(2) yolox:是YOLOCSPPAN,和yolov5的neck一模一样,旷视原版的写法虽然清楚但不易复用为P6,只能另写一个PAFPNP6之类的

 

(3) yoloe:是CustomCSPPAN,写在了ppdet/modeling/necks/custom_pan.py里,结构和以前ppyolo前两版的PPYOLOPAN类似包括spp drop_block等trick,只是基础结构使用了cspresnet的模块,ConvBNLayer+CSPStage的组合

 

(4) yolov6:是RepPAN,和yolox和v5一样,只是基础模块是RepLayer而不是CSPLayer,上采样换成了Conv2DTranspose而不是nn.Upsample,是SimConv+RepLayer的组合

 

(5) yolov7:是ELANFPN,也是2对+2对=4个组合,BaseConv+ELANLayer,但是再各加一层卷积缩小下通道数,也还是复杂会分情况,L和X版本PAN的下采样是MPConvLayer,在tiny里则是普通ConvBN,最后一层卷积只有在L版本里是RepConv别的都是BaseConv。P6版本另写了一个ELANFPNP6,3对+3对=6个组合,E6、D6和E6E版本PAN的下采样是DownC,在W6里则是普通ConvBN,另外E6E版本的是使用的ELAN2Layer,相当于并联的两个ELANLayer,最后一层卷积都是BaseConv。另外如果是P6版本还需要使用aux_head训,就需要再返回更浅4层的fpn特征,也就是ELANFPNP6 返回的是8层特征图,当然也可以不使用aux_head就返回常规的4层。具体可以看代码: https:// github.com/nemonameless /PaddleDetection_YOLOSeries/blob/develop/ppdet/modeling/necks/yolo_fpn.py#L1266

 

4. head:

 

head的组成也有很多区别。主要看 ppdet/modeling/ heads里的代码:

 

(1) yolov5:和yolov3一样简洁直接就是一个anchor一层卷积直接输出分类回归结果,通道数是3x(num_classes + 5),后续会拆出4维度的reg(xywh)+num_classes维度的分类信息cls+1维度的obj,score是cls和obj想乘。

 

(2) yolox:是解耦的头,1层公用卷积的stem_conv+2层卷积的conv_cls/conv_reg(含pred卷积),其中pred的卷积都是nn.Conv2D而不是BaseConv,而且conv_reg的pred是包含了obj一起的是5维度的,其实一起做或拆开做是一样的,在旷视原版obj和reg的pred是拆分的。score是cls和obj想乘再开了个根号。

 

(3) yoloe:也是解耦的头,但是分类回归没有公用部分,一开始就分离cls和reg成为stem_cls和stem_reg,还加上了ESEAttn注意力,然后是nn.Conv2D的pred层卷积,还加上了一个projection conv。在预测的时候,neck的特征先过一层adaptive_avg_pool2d,再短路连接之类的总之就像TOOD那样。

 

(4) yolov6:和yolox一样。。。

 

(5) yolov7:P5的几个基础版本像L X,还是和yolov3一样简洁直接就是一层卷积直接输出分类回归结果,但是使用了YOLOR的ImplicitA和ImplicitM隐式参数机制,训练的时候正常过,预测的时候会做一个参数融合。另外P6模型的时候就加了aux就得再加4个卷积层。通道数依然是3x(num_classes + 5),score依然是cls和obj想乘。

 

5. loss(label assign):

 

到了最激动人心的loss部分了,应该是各家YOLO闪光点的地方了。loss调用一般写在 ppdet/modeling/ heads里,主要看各个head里的get_loss()函数,而定义一般写在 ppdet/modeling/ losses里:

 

(1) yolov5:anchor based,标签分配是传统的手动设计的anchor网格和gt匹配,cls obj都是BCEWithLogitsLoss,而reg采用了ciou loss。loss_weight是cls 0.5 obj 1.0 reg 0.05,obj还有一个balance[4.0, 1.0, 0.4]进一步乘上去加权obj。此外为了适配不同batch size的范围,总loss是乘以了总batch size的,这样就无论训什幺batch size都保持lr设置不变,但还是总batch size大点训精度会更高。

 

(2) yolox:anchor free,标签分配采用simota能自动决定每个gt拥有多少正样本和来自哪一层,cls和obj采用F.binary_cross_entropy,reg采用IouLoss,loss_weight除了IouLoss权重为5其余均为1,而L1 loss是最后15epoch才加配合着关闭mosaic。

 

(3) yoloe:anchor free,标签分配是联合策略,前1/3时期ATSS+后1/3时期TAL,cls使用了VFL(varifocal_loss), reg使用了GIoULoss,还有df_loss,值得一提的是L1 loss虽然也计算了但是没有加到总loss上,估计只是为了看收敛情况吧,因为确实L1 loss最能体现收敛。loss_weight是cls 1.0 iou 2.5 dfl 0.5,看样子也是实验过很多次调过了。

 

(4) yolov6:和yolox一样。。。iou loss换成了ciou和siou。

 

(5) yolov7: 标签分配方面,结合yolov5和Yolox,将simOTA中的第一步“使用中心先验”替换成“yolov5中的策略”,至于Aux Head是为对应的主head加强每层特征精修的。这个文章讲的还不错,yolov7正负样本分配详解 – 骚骚骚的文章 – 知乎 https:// zhuanlan.zhihu.com/p/54 3160484 。剩下的loss方面和yolov5一样,loss_weight是cls 0.3 obj 0.7 reg 0.05,此外tiny版本和P6的几个大模型loss_weight也不同。

 

6. data aug

 

这方面其实各个模型都可以借用过去试试。PaddleDetection的数据增强基本都用写在 ppdet/data/transform/operators.py 和 ppdet/data/transform/batch_operators.py,直接搜OP名字就能看到定义。配置文件都在各自的xxx_reader.yml里

 

(1) yolov5 v6 v7:reader基本一致,Mosaic里是用的random_perspective仿射变换,还有非常耗时的图片hsv变换。v7的Mosaic里还加了mixup和paste_in。

 

(2) yolox:mosaic是用的random_affine仿射变换,使用mixup当copy paste用,还有一个另类的hsv变换。最后15个epoch会关闭Mosaic使用L1 loss,因为做了mosaic会把原图的gt相对变小改变了分布,最后关闭mosaic相当于加大了变相加大了训练的gt分布,这个肯定是有增益的。

 

(3) yoloe:只有最基本的,除了RandomDistort、RandomExpand、RandomCrop,ppyolo前两版还有mixup。

 

需要说明的是,数据增强的操作会影响训练速度。其中hsv和mosaic(包括mixup copy paste等)都是非常耗时的OP,yolov5 采用了cache机制加速,后面v6 v7直接照用。mosaic是公认涨点很多的操作,从这点看yoloe很吃亏,后续看yoloe作者他们会不会加上吧。

 

7.其他

 

模型库完整性上看,v5 v7 yoloe yolox都是s m l x齐全的,v6只有3个小模型没有m l x版本,P6-1280尺度模型只是v5 v7有提供。

 

还有其他一些trick方面的:

 

(1)训练epoch数:v6是训了400epoch,v5 v6 v7 yoloe都是300epoch,yoloe后来也训了个400epoch是比v6更高的,听说yoloe yolox还会开放obj365预训练权重,这可是个超级外挂。

 

(2)多尺度训练方面:yoloe yolox是多尺度,v5 v6 v7是单尺度640,但是这个多尺度好像只能涨一点点精度不像两阶段那种涨很多,P6的1280尺度只有v5 v7有,训一个可费时间了。

 

(3)优化器方面,全都是SGD(Momentum),但yolox v5 v6 v7还带了nesterov,v5 v6 v7还有momentum=0.937和分组优化器不同lr等trick,估计也能涨0.几吧,只能说v5种树,v6 v7乘凉。

 

(4)NMS:关于NMS方面看了这两个回答后才恍然大悟,【 如何评价美团提出的yolo v6? – 知乎 https://www. zhihu.com/question/5392 05443/answer/2557990982 】【如何评价Alexey Bochkovskiy团队提出的YoloV7? – 知乎 https://www. zhihu.com/question/5419 85721/answer/2562541931 】。原来v5 v6 v7的同一套nms还有这幺多猫腻,这样部署的时候和eval严格意义上就不一样了,权重还是同一个权重,但是部署onnx后再去eval就无法得到直接eval那幺高精度,所以v5 v6 v7的确是eval出了一个虚高的精度。而yolox和yoloe这方面就做的一致,这样子看eval的精度表格上yolox和yoloe其实是吃亏的,但是部署onnx方面不至于有掉精度的落差。

 

(5)激活函数和速度的trick:v5 v7 yoloe yolox都是整体全部使用了silu激活,因为在trt部署的时候无论是torch还是paddle都会用x*sigmoid(x)融合无去代替silu,这样会快很多很多。而v6在大部分卷积里使用的是relu,也有silu,看了这篇 【如何评价美团提出的yolo v6? – 张志的回答 – 知乎 https://www. zhihu.com/question/5392 05443/answer/2543602804 】后才明白,理论上来讲只需要把任何yolo中的所有激活函数换成relu,速度就可以提高20%~30%的性能。

 

(6)量化:v6 v7 yoloe都是使用了RepVGG,但是量化性能不佳是RepVGG的固有问题,看到PaddleSlim团队对v6 v7 yoloe的处理也有些措施和成效,有空去试用下看看。 https:// github.com/PaddlePaddle /PaddleSlim/tree/develop/example/auto_compression

 

3.总结

 

现在YOLO各个模型库各自为营,维护力度不一,用户只能使用某一套,如想使用多个模型在使用时需要切换代码库和调整用法。而yoloseries这个库设计的初衷和实施方面都还是很好的,yoloseries作者也说会和PaddleDetection定期同步更新,加了个飞桨的用户群也一直有百度的工程师回复初学者问题。

 

我试验了一下YOLOSeries的每个YOLO模型都能训练测试ok,用起来还行吧,代码风格也是比较易懂了,至少是比v5系列的代码可读性高很多了,二次开发也挺方便。YOLO还在继续发展中,不知道后面还有什幺yolo模型,总之还是继续保持学习态度吧,结合代码和论文一起看模型,一起来say yolo again吧!

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。