Press "Enter" to skip to content

深入浅出Yolo系列之Yolox核心基础完整讲解

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

作者丨江大白

 

在Yolov4、Yolov5刚出来时,大白就写过关于Yolov3、Yolov4、Yolov5的文章,并且做了一些讲解的视频,反响都还不错。

 

而从 2015年的Yolov1 , 2016年Yolov2 , 2018年的Yolov3 ,再到 2020年的Yolov4、Yolov5 ,Yolo系列也在不断的进化发展。

 

就在大家质疑,Yolo如何进一步改进时,旷视科技发表了 研究改进的Yolox算法 。

 

大白对于Yolox文章和相关的代码,进行了学习,发现有很多改进的方式。

 

比如 Decoupled Head、SimOTA等方式 ,效果还是非常不错的,很值得借鉴。

 

但因为很难 直接可视化的学习 ,了解Yolox和之前Yolo相关算法的区别。

 

因此本文,大白对 Yolox的一些细节 ,和之前的Yolov3、Yolov4、Yolov5算法对比,进行 深入浅出的分析讲解 ,和大家一些探讨学习。

 

文章目录

 

1 Yolox相关基础知识点

 

1.1 Yolox的论文及代码

 

1.2. Yolox个版本网络结构图

 

1.2.1 Netron工具

 

1.2.2 各个Yolox的onnx文件

 

1.2.3 各个Yolox网络结构图

 

2 Yolox核心知识点

 

2.1 Yolov3&Yolov4&Yolov5网络结构图

 

2.2 Yolox基础知识点

 

2.2.1 基准模型:Yolov3_spp

 

2.2.2 Yolox-Darknet53

 

2.2.3 Yolox-s、l、m、x系列

 

2.2.4 轻量级网络研究

 

3 深入浅出Yolox之自有数据集训练

 

4 不同的落地模型部署方式

 

5 后续更新ing

 

6 相关推荐:数据集分类下载 7 Yolov3&Yolov4&Yolov5相关资料

 

7.1 Yolov3相关资料

 

7.2 Yolov4相关资料

 

7.3 Yolov5相关资料

 

1 Yolox相关基础知识点

 

1.1 Yolox的论文及代码

 

Yolox论文名:《YOLOX: Exceeding YOLO Series in 2021》

 

Yolox论文地址: https://arxiv.org/abs/2107.08430

 

Yolox代码地址: https://github.com/Megvii-BaseDetection/YOLOX

 

1.2 Yolox各版本网络结构图

 

想学习一个算法,最好从 直观图示的角度 ,进行了解。

 

如果纯粹从代码上进行查看,很可能会一头雾水。

 

而且Yolox的各种网络结构也很多,比如下面的各个网络结构权重文件。

因此可以采用,将 各个模型文件转换成onnx格式 ,再用 netron工具打开的方式, 对网络结构进行可视化学习。

1.2.1 Netron工具

 

如果有同学对netron工具还不是很熟悉,这里还是放上netron工具安装的详细流程。

 

可以移步大白的另一篇文章:《网络可视化工具netron详细安装流程》

 

https://blog.csdn.net/nan355655600/article/details/106245563

 

1.2.2 各个Yolox的onnx文件

 

各个onnx文件,可以采用代码中的,tools/export_onnx.py脚本,进行转换。

 

此外,官方代码中的这个版块,已经转换好了各个版本的onnx,也可以直接下载使用。

1.2.3 各个Yolox网络结构图

 

不过考虑到,有些同学可能不方便,使用netron查看。

 

因此,大白也上传了使用netron打开的, 每个网络结构图的图片 ,也可以直接点击查看。

 

(1)Yolox-Nano

 

Yolox-Nano是Yolox系列最小的结构,网络参数只有0.91M。

 

此处放上netron打开的,Yolox-Nano网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329864

 

(2)Yolox-Tiny

 

Yolox-Tiny网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329848

 

(3)Yolox-Darknet53

 

Yolox-Darknet53是在Yolov3的基础上,进行的改进,也是后面主要介绍的网络结构。

 

Yolox-Darknet53网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329834

 

(4)Yolox-s

 

Yolox-s是在Yolov5-s的基础上,进行的改进,也是后面主要介绍的网络结构。

 

Yolox-s网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329727

 

(5)Yolox-m

 

Yolox-m网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329784

 

(6)Yolox-l

 

Yolox-l网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329801

 

(7)Yolox-x

 

Yolox-x网络结构可视图:

 

https://blog.csdn.net/nan355655600/article/details/119329818

 

2 Yolox核心知识点

 

2.1 Yolov3&Yolov4&Yolov5网络结构图

 

在学习Yolox之前,我们先了解一下 Yolov3、Yolov4、Yolov5 的网络结构图,而后面的Yolox网络,都是在此基础上延伸而来的。

 

① Yolov3网络结构图

Yolov3是在2018年提出,也是工业界使用非常广泛的目标检测算法。

 

不过在Yolox系列中的,Yolox-Darknet53模型,采用的Baseline基准网络,采用的并不是 Yolov3版本 ,而是改进后的 Yolov3_spp版本。

 

而Yolov3和Yolov3_spp的不同点在于,Yolov3的主干网络后面, 添加了spp组件 ,这里需要注意。

 

② Yolov4网络结构图

上图是DarknetAB大神,在2020年提出的Yolov4算法。

 

在此算法中,网络的很多地方,都进行了改进。

 

比如 输入端: 采用Mosaic数据增强;

 

Backbone:采用了CSPDarknet53、Mish激活函数、Dropblock等方式;

 

Neck:采用了SPP(按照DarknetAB的设定)、FPN+PAN结构;

 

输出端:采用CIOU_Loss、DIOU_Nms操作。

 

因此可以看出,Yolov4对Yolov3的各个部分,都进行了很多的整合创新。

 

关于Yolov4,如果有不清楚的,可以参照大白之前写的《深入浅出Yolo系列之Yolov3&Yolov4核心基础知识完整讲解》,写的比较详细。

 

https://zhuanlan.zhihu.com/p/143747206

 

③ Yolov5网络结构图

而在Yolov5网络中,和Yolov4不同,最大的创新点在于,作者将网络结构,做成了可选择配置的方式。

 

比如主干网络结构,根据各个网络的宽度、高度不同,可以分为 Yolov5s、Yolov5l、Yolov5s、Yolo5x等版本。

 

这种转变,在目标检测领域,引领了一股网络拆分的热潮。

 

本文的Yolox算法,也从这个角度出发,将Yolox模型,变为多种可选配的网络,比如标准网络结构和轻量级网络结构。

 

(1)标准网络结构:Yolox-s、Yolox-m、Yolox-l、Yolox-x、Yolox-Darknet53。

 

(2)轻量级网络结构:Yolox-Nano、Yolox-Tiny。

 

在实际的项目中,大家可以根据不同项目需求,进行挑选使用。

 

2.2 Yolox基础知识点

 

从上面的描述中,我们可以知道 Yolox整体的改进思路:

 

(1)基准模型:Yolov3_spp

 

选择Yolov3_spp结构,并添加一些常用的改进方式,作为Yolov3 baseline 基准模型;

 

(2)Yolox-Darknet53

 

对Yolov3 baseline基准模型,添加各种trick,比如Decoupled Head、SimOTA等,得到Yolox-Darknet53 版本;

 

(3)Yolox-s、Yolox-m、Yolox-l、Yolox-x系列

 

对Yolov5的四个版本,采用这些有效的trick,逐一进行改进,得到 Yolox-s、Yolox-m、Yolox-l、Yolox-x四个版本;

 

(4)轻量级网络

 

设计了 Yolox-Nano、Yolox-Tiny轻量级网络 ,并测试了一些trick的适用性;

 

总体来说,论文中做了很多的工作,下面和大家一起,从以上的角度,对Yolox算法的网络结构,以及各个创新点进行讲解。

 

2.2.1 基准模型:Yolov3_spp

 

在设计算法时,为了对比改进trick的好坏,常常需要选择 基准的模型算法。

 

而在选择Yolox的基准模型时,作者考虑到:

 

Yolov4和Yolov5系列,从基于锚框的算法角度来说, 可能有一些过度优化 ,因此最终选择了Yolov3系列。

 

不过也并没有直接选择Yolov3系列中,标准的Yolov3算法,而是选择添加了spp组件,进而性能更优的 Yolov3_spp版本。

 

以下是论文中的解释:

 

Considering YOLOv4 and YOLOv5 may be a little over-optimized for the anchor-based pipeline, we choose YOLOv3 [25] as our start point (we set YOLOv3-SPP as the default YOLOv3)。

 

为了便于大家理解,大白在前面Yolov3结构图的基础上,添加上spp组件,变为下图所示的 Yolov3_spp网络。

大家可以看到,主干网络Backbone后面,增加了一个SPP组件。

 

当然在此基础上, 对网络训练过程中的很多地方,都进行了改进 ,比如:

 

(1)添加了EMA权值更新、Cosine学习率机制等训练技巧

 

(2)使用IOU损失函数训练reg分支,BCE损失函数训练cls与obj分支

 

(3)添加了RandomHorizontalFlip、ColorJitter以及多尺度数据增广,移除了RandomResizedCrop。

 

在此基础上,Yolov3_spp的AP值达到38.5,即下图中的Yolov3 baseline。

不过在对上图研究时, 有一点点小疑惑 :

 

YOLOv3_ultralytics的AP值为44.3,论文中引用时,说是目前Yolov3_spp算法中,精度最好的版本。(the current best practice of YOLOv3)。

 

接着对此代码( https://github.com/ultralytics/yolov3 )进行查看,发现正如论文中所说,增加了很多trick的Yolov3_spp版本, AP值为44.3。

而Yolox的基准模型,是最原始的Yolov3_spp版本,经过一系列的改进后, AP值达到38.5。

 

在此基础上,又增加了Strong augmentation、Decoupled head、anchor-free、multi positives、SimOTA,等5种trick,最终达到了AP47.3。

 

但存在疑惑的是?

 

如果直接采用YOLOv3_ultralytics的Yolov3_spp版本,再增加上面的4种trick(除掉strong augmentation,因为代码中已经改进了), 是否会有更好的AP提升?

 

2.2.2 Yolox-Darknet53

 

我们在前面知道,当得到Yolov3 baseline后,作者又添加了一系列的trick,最终改进为Yolox-Darknet53 网络结构 。

上图即是Yolox-Darknet53网络结构图。

 

为了便于分析改进点,我们对Yolox-Darknet53网络结构进行拆分,变为四个板块:

 

① 输入端:Strong augmentation数据增强

 

② BackBone主干网络:主干网络没有什幺变化,还是Darknet53。

 

③ Neck:没有什幺变化,Yolov3 baseline的Neck层还是FPN结构。

 

④ Prediction:Decoupled Head、End-to-End YOLO、Anchor-free、Multi positives。

 

在经过一系列的改进后,Yolox-Darknet53最终达到 AP47.3的效果。

下面我们对于Yolox-Darknet53的 输入端、Backbone、Neck、Prediction 四个部分,进行详解的拆解。

 

2.2.2.1 输入端

 

(1)Strong augmentation

在网络的输入端,Yolox主要采用了 Mosaic、Mixup两种数据增强方法。

 

而采用了这两种数据增强,直接将Yolov3 baseline,提升了2.4个百分点。

 

① Mosaic数据增强

 

Mosaic增强的方式,是U版YOLOv3引入的一种非常有效的增强策略。

 

而且在Yolov4、Yolov5算法中,也得到了广泛的应用。

 

通过 随机缩放 、 随机裁剪 、 随机排布 的方式进行拼接,对于 小目标 的检测效果提升,还是很不错的。

② MixUp数据增强

 

MixUp是在Mosaic基础上,增加的一种 额外的增强策略。

 

主要来源于2017年,顶会ICLR的一篇论文《mixup: Beyond Empirical Risk Minimization》。当时主要应用在 图像分类任务中 ,可以在几乎无额外计算开销的情况下, 稳定提升1个百分点的分类精度。

 

mixup: Beyond Empirical Risk Minimization

 

https://arxiv.org/abs/1710.09412

 

而在Yolox中,则也应用到目标检测中,代码在yolox/datasets/mosaicdetection.py这个文件中。

其实方式很简单,比如我们在做 人脸检测的任务 。

 

先读取一张图片,图像两侧填充,缩放到640*640大小,即Image_1,人脸检测框为红色框。

 

再随机选取一张图片,图像上下填充,也缩放到640*640大小,即Image_2,人脸检测框为蓝色框。

 

然后设置一个融合系数,比如上图中,设置为0.5,将Image_1和Image_2,加权融合,最终得到右面的Image。

 

从右图可以看出, 人脸的红色框和蓝色框是叠加存在的。

 

我们知道,在Mosaic和Mixup的基础上,Yolov3 baseline增加了 2.4个百分点 。

 

不过有两点需要注意:

 

(1)在训练的 最后15个epoch ,这两个数据增强会被关闭掉。

 

而在此之前,Mosaic和Mixup数据增强,都是打开的,这个细节需要注意。

 

(2)由于采取了更强的数据增强方式,作者在研究中发现, ImageNet预训练将毫无意义 ,因此,所有的模型,均是 从头开始训练的。

 

2.2.2.2 Backbone

 

Yolox-Darknet53的Backbone主干网络,和原本的Yolov3 baseline的主干网络都是一样的。

2.2.2.3 Neck

 

在Neck结构中,Yolox-Darknet53和Yolov3 baseline的Neck结构,也是一样的,都是采用 FPN的结构 进行融合。

如下图所示, FPN自顶向下 ,将高层的特征信息,通过 上采样的方式进行传递融合 ,得到进行预测的特征图。

而在Yolov4、Yolov5、甚至后面讲到的Yolox-s、l等版本中,都是采用 FPN+PAN的形式 ,这里需要注意。

 

2.2.2.4 Prediction层

 

在输出层中,主要从四个方面进行讲解: Decoupled Head 、 Anchor Free 、 标签分配、Loss计算。

(1)Decoupled Head

 

我们先来看一下Decoupled Head,目前在很多一阶段网络中都有类似应用,比如 RetinaNet、FCOS等 。

 

而在Yolox中,作者增加了三个Decoupled Head,俗称“解耦头”

 

大白这里从两个方面对Decoupled Head进行讲解:

 

① 为什幺使用Decoupled Head?

 

② Decoupled Head的细节?

从上图右面的Prediction中,我们可以看到,有三个Decoupled Head分支。

 

① 为什幺使用Decoupled Head?

 

在了解原理前,我们先了解下改进的原因。为什幺将原本的 Yolo head ,修改为 Decoupled Head 呢?

 

我们先看一张论文中的表格:

在前面3.2.1 基准网络中,我们知道 Yolov3 baseline的AP值为38.5。

 

作者想继续改进,比如输出端改进为End-to-end的方式(即无NMS的形式)。

 

但意外的发现,改进完之后的AP值 只有34.3 。

 

而在2020年12月份,旷视科技发表的《End-to-End Object Detection with Fully Convolution Network》中。

 

https://arxiv.org/abs/2012.03544

 

在对FCOS改进为无NMS时,在COCO上,达到了与有NMS的FCOS,相当的性能。

 

那这时就奇怪了, 为什幺在Yolo上改进,会下降这幺多?

 

在偶然间,作者将End-to-End中的Yolo Head,修改为Decoupled Head的方式。

惊喜的发现,End-to-end Yolo的AP值, 从34.3增加到38.8。

 

那End-to-end的方式有效果,Yolov3 baseline中是否也有效果呢?

 

然后作者又将Yolov3 baseline 中Yolo Head,也修改为Decoupled Head。

 

发现AP值,从 38.5 ,增加到 39.6 。

 

当然作者在实验中还发现,不单单是 精度上的提高 。替换为Decoupled Head后, 网络的收敛速度也加快了。

 

因此可以得到一个非常关键的结论:

 

★ 目前Yolo系列使用的检测头,表达能力可能有所欠缺,没有Decoupled Head的表达能力更好。

 

这里添加Yolo Head和Decoupled Head的对比曲线:

曲线表明:Decoupled Head的收敛速度更快,且精度更高一些。

 

但是需要注意的是:将检测头解耦,会增加运算的复杂度。

 

因此作者经过速度和性能上的权衡,最终使用 1个1×1 的卷积先进行降维,并在后面两个分支里,各使用了 2个3×3 卷积,最终调整到仅仅增加一点点的网络参数。

 

而且这里解耦后,还有一个更深层次的重要性:

 

Yolox的网络架构,可以和很多算法任务,进行一体化结合。

 

比如:

 

(1)YOLOX + Yolact/CondInst/SOLO , 实现端侧的实例分割。

 

(2)YOLOX + 34 层输出,实现端侧人体的 17 个关键点检测。

 

② Decoupled Head的细节?

 

了解了Decoupled Head的来源,再看一下Decoupled Head的细节。

 

我们将Yolox-Darknet53中,Decoupled Head①提取出来,经过前面的Neck层,这里Decouple Head①输入的长宽为20*20。

从图上可以看出,Concat前总共有 三个分支 :

 

(1)cls_output:主要对目标框的类别,预测分数。因为COCO数据集总共有80个类别,且主要是N个二分类判断,因此经过Sigmoid激活函数处理后,变为20*20*80大小。

 

(2)obj_output:主要判断目标框是前景还是背景,因此经过Sigmoid处理好,变为20*20*1大小。

 

(3)reg_output:主要对目标框的坐标信息(x,y,w,h)进行预测,因此大小为20*20*4。

 

最后三个output,经过Concat融合到一起,得到20*20*85的特征信息。

 

当然,这只是 Decoupled Head① 的信息,再对 Decoupled Head②和③ 进行处理。

Decoupled Head②输出特征信息,并进行 Concate,得到40*40*85特征信息。

 

Decoupled Head③输出特征信息,并进行 Concate,得到80*80*85特征信息 。

 

再对①②③三个信息,进行Reshape操作,并进行总体的Concat,得到 8400*85的预测信息。

 

并经过一次Transpose,变为85*8400大小的 二维向量信息。

 

这里的8400, 指的是预测框的数量 ,而85是每个 预测框的信息(reg,obj,cls)。

 

有了预测框的信息,下面我们再了解,如何将这些预测框和标注的框,即groundtruth进行关联,从而计算Loss函数,更新网络参数呢?

 

(2)Anchor-free

 

这里就要引入Anchor的内容,目前行业内,主要有Anchor Based和Anchor Free两种方式。

 

在Yolov3、Yolov4、Yolov5中,通常都是采用 Anchor Based的方式 ,来提取目标框,进而和标注的groundtruth进行比对,判断两者的差距。

 

① Anchor Based方式

 

比如输入图像,经过Backbone、Neck层,最终将特征信息,传送到输出的Feature Map中。

 

这时,就要设置一些Anchor规则, 将预测框和标注框进行关联。

 

从而在训练中,计算两者的差距,即损失函数,再更新网络参数。

 

比如在下图的,最后的三个Feature Map上,基于每个单元格,都有三个不同尺寸大小的锚框。

这里为了更形象的展示,输入图像大小416*416为例。

当输入为416*416时,网络最后的三个特征图大小为 13*13,26*26,52*52。

 

我们可以看到,黄色框为小狗的Groundtruth,即标注框。

 

而蓝色的框,为 小狗中心点所在的单元格 ,所对应的锚框,每个单元格都有3个蓝框。

 

当采用COCO数据集,即有80个类别时。

 

基于每个锚框,都有x、y、w、h、obj(前景背景)、class(80个类别),共85个参数。

 

因此会产生3*(13*13+26*26+52*52)*85= 904995个预测结果。

 

如果将输入从416*416,变为640*640,最后的三个特征图大小为 20*20,40*40,80*80。

 

则会产生3*(20*20+40*40+80*80)*85= 2142000个预测结果。

 

② Anchor Free方式

 

而Yolox-Darknet53中,则采用Anchor Free的方式。

 

我们从两个方面,来对Anchor Free进行了解。

 

a.输出的参数量

 

我们先计算下,当得到包含目标框所有输出信息时, 所需要的参数量?

 

这里需要注意的是:

 

最后黄色的85*8400,不是类似于Yolov3中的Feature Map,而是特征向量。

从图中可知,当输入为 640*640 时,最终输出得到的特征向量是 85*8400。

 

我们看下,和之前Anchor Based方式,预测结果数量 相差多少?

 

通过计算,8400*85=714000个预测结果,比基于 Anchor Based 的方式,少了2/3的参数量。

 

b.Anchor框信息

 

在前面Anchor Based中,我们知道,每个Feature map的单元格,都有3个大小不一的锚框。

 

那幺Yolox-Darknet53就没有吗?

 

其实并不然,这里只是巧妙的,将前面Backbone中, 下采样的大小信息引入进来。

比如上图中,最上面的分支,下采样了5次, 2的5次方为32 。

 

并且Decoupled Head①的输出,为 20*20*85大小。

因此如上图所示:

 

最后8400个预测框中,其中有400个框,所对应锚框的大小, 为32*32。

 

同样的原理,中间的分支,最后有1600个预测框,所对应锚框的大小, 为16*16。

 

最下面的分支,最后有6400个预测框,所对应锚框的大小, 为8*8。

 

当有了8400个 预测框的信息 ,每张图片也有标注的 目标框的信息。

 

这时的锚框, 就相当于桥梁。

 

这时需要做的,就是将8400个锚框,和图片上所有的目标框进行关联,挑选出 正样本锚框。

 

而相应的, 正样本锚框 所对应的位置,就可以将 正样本预测框 ,挑选出来。

 

这里采用的关联方式,就是 标签分配。

 

(3)标签分配

 

当有了8400个Anchor锚框后,这里的每一个锚框,都对应85*8400特征向量中的预测框信息。

 

不过需要知道,这些预测框只有 少部分是正样本,绝大多数是负样本。

 

那幺到底哪些是正样本呢?

 

这里需要利用锚框和实际目标框的关系,挑选出 一部分适合的正样本锚框。

 

比如第3、10、15个锚框是正样本锚框,则对应到网络输出的8400个预测框中,第3、10、15个预测框,就是相应的 正样本预测框。

 

训练过程中,在锚框的基础上,不断的预测,然后不断的迭代,从而更新网络参数,让网络预测的越来越准。

 

那幺在Yolox中,是 如何挑选正样本锚框的呢?

 

这里就涉及到两个关键点: 初步筛选 、 SimOTA。

 

① 初步筛选

 

初步筛选的方式主要有两种: 根据中心点来判断 、 根据目标框来判断 ;

 

这部分的代码,在models/yolo_head.py的get_in_boxes_info函数中。

 

a. 根据中心点来判断:

 

规则:寻找anchor_box中心点,落在groundtruth_boxes矩形范围的所有anchors。

 

比如在get_in_boxes_info的代码中,通过groundtruth的[x_center,y_center,w,h],计算出每张图片的每个groundtruth的左上角、右下角坐标。

为了大家更容易理解,大白以人脸检测的任务绘制图片:

通过上面的公式,可以对左面人脸图片,计算出左上角(gt_l,gt_t),右下角(gt_r,gt_b)。

 

groundtruth的矩形框范围确定了,再根据范围去选择适合的锚框。

 

这里再绘制一个锚框的中心点,(x_center,y_center)。

 

而右面的图片,就是寻 找锚框和groundtruth的对应关系。

 

即计算锚框中心点(x_center,y_center),和人脸标注框左上角(gt_l,gt_t),右下角(gt_r,gt_b)两个角点的相应距离。

 

比如下面代码图片中的 前四行代码 :

而在第五行,将四个值叠加之后,通过第六行, 判断是否都大于0?

 

就可以将落在groundtruth矩形范围内的所有anchors,都提取出来了。

 

因为ancor box的中心点,只有落在矩形范围内,这时的 b_l,b_r,b_t,b_b都大于0。

 

b.根据目标框来判断:

 

除了根据锚框中心点,和groundtruth两边距离判断的方式外,作者还设置了根据目标框判断的方法。

 

规则:以groundtruth中心点为基准,设置边长为5的正方形,挑选在正方形内的所有锚框。

 

同样在get_in_boxes_info的代码中,通过groundtruth的[x_center,y_center,w,h],绘制了一个边长为5的正方形。

为了大家容易理解,大白还是以人脸检测的任务绘制图片:

在左面的人脸图片中,基于人脸标注框的中心点,利用上面的公式,绘制了一个 边长为5的正方形。 左上角点为(gt_l,gt_t),右下角点为(gt_r,gt_b)。

 

这时groundtruth正方形范围确定了,再根据范围去挑选锚框。

 

而右面的图片,就是找出所有中心点(x_center,y_center)在正方形内的锚框。

在代码图片中的前四行代码,也是计算锚框中心点,和正方形两边的距离。

 

通过第五行的叠加,再在第六行, 判断c_l,c_r,c_t,c_b是否都大于0?

 

就可以将落在边长为5的正方形范围内,所有的anchors,都提取出来了,因为这时的c_l,c_r,c_t,c_b都大于0。

 

经过上面两种挑选的方式,就完成初步筛选了,挑选出一部分 候选的anchor ,进入下一步的精细化筛选。

 

② 精细化筛选

 

而在精细化筛选中,就用到论文中提到的SimOTA了:

从提升效果上来看,引入SimOTA后,AP值提升了2.3个百分点,还是非常有效的。

 

而SimOAT方法的提出,主要来源于旷视科技,2021年初CVPR上的一篇论文:《Ota: Optimal transport assignment for object detection》。

 

https://arxiv.org/abs/2103.14259

 

我们将SimOTA的前后流程进行拆解,看一下是如何进行精细化筛选的?

 

整个筛选流程,主要分为四个阶段:

 

a.初筛正样本信息提取

 

b.Loss函数计算

 

c.cost成本计算

 

d.SimOTA求解

 

为了便于理解,我们假定图片上有3个目标框,即 3个groundtruth。

 

再假定目前在做的项目是对人脸和人体检测,因此 检测类别是2。

 

上一节中,我们知道有8400个锚框,但是经过初步筛选后,假定有 1000个锚框是正样本锚框。

 

a.初筛正样本信息提取

 

初筛出的1000个正样本锚框的位置,我们是知道的。

 

而 所有锚框的位置 ,和网络最后输出的 85*8400特征向量 是一一对应。

 

所以根据位置,可以将网络预测的 候选检测框位置bboxes_preds 、 前景背景目标分数obj_preds 、 类别分数cls_preds等信息 ,提取出来。

上面的代码位于yolo_head.py的get_assignments函数中。

 

以前面的假定信息为例,代码图片中的 bboxes_preds_per_image 因为是候选检测框的信息,因此维度为 [1000,4] 。

 

obj_preds因为是目标分数,所以维度是 [1000,1] 。

 

cls_preds因为是类别分数,所以维度是 [1000,2] 。

 

b.Loss函数计算

 

针对筛选出的 1000个候选检测框 ,和 3个groundtruth 计算Loss函数。

 

计算的代码,也在yolo_head.py的get_assignments函数中。

 

首先是位置信息的loss值:pair_wise_ious_loss

通过第一行代码,可以计算出 3个目标框 ,和 1000个候选框 ,每个框相互之间的iou信息 pair_wise_ious ,因为向量维度为[3,1000]。

 

再通过-torch.log计算,得到 位置损失 ,即代码中的 pair_wise_iou_loss。

 

然后是综合类别信息和目标信息的loss值:pair_wise_cls_loss

通过第一行代码,将类别的条件概率和目标的先验概率做乘积,得到目标的类别分数。

 

再通过第二行代码,F.binary_cross_entroy的处理,得到3个目标框和1000个候选框的综合loss值,即 pair_wise_cls_loss, 向量维度为[3,1000]。

 

c.cost成本计算

 

有了reg_loss和cls_loss,就可以将两个损失函数加权相加,计算 cost成本函数 了。

 

这里涉及到论文中提到的一个公式:

相应的,对应于yolo_head.py的get_assignments函数中的代码:

可以看出,公式中的加权系数,即 代码中的3。

 

d.SimOTA

 

有了上面的一系列信息,标签分配问题,就转换为了标准的OTA问题。

 

但是经典的Sinkhorn-Knopp算法,需要多次迭代求得最优解。

 

作者也提到,该算法会导致25%额外训练时间,所以采用一种简化版的 SimOTA方法 ,求解近似最优解。这里对应的函数,是get_assignments函数中的self.dynamic_k_matching:

 

其中的流程如下:

 

第一步:设置候选框数量

 

首先按照cost值的大小,新建一个全0变量matching_matrix,这里是[3,1000]。

通过上面第二行代码,设置候选框数量为10。

 

再通过第三行代码,从前面的pair_wise_ious中,给每个目标框,挑选 10个iou最大的候选框。

 

因为前面假定有3个目标,因此这里topk_ious的维度为[3,10]。

 

第二步:通过cost挑选候选框

 

下面再通过topk_ious的信息,动态选择候选框, 这里是个关键。

 

代码如dynamic_k_matching函数中,下图所示:

为了便于大家理解,大白先把第一行制作成图示效果。

 

这里的topk_ious,是3个目标框和预测框中,最大iou的10个候选框:

经过torch.clamp函数,得到最终右面的dynamic_ks值。

 

我们就知道,目标框1和3,给他分配3个候选框,而目标框2,给它分配4个候选框。

 

那幺基于什幺标准分配呢?

 

这时就要利用前面计算的cost值,即[3,1000]的损失函数加权信息。

 

在for循环中,针对每个目标框挑选,相应的 cost值最低的一些候选框。

比如右面的matching_matrix中,cost值最低的一些位置,数值为1,其余位置都为0。

 

因为目标框1和3,dynamic_ks值都为3,因此matching_matrix的第一行和第三行,有3个1。

 

而目标框2,dynamic_ks值为4,因此matching_matrix的第二行,有4个1。

 

第三步:过滤共用的候选框

 

不过在分析matching_matrix时,我们发现,第5列有两个1。

 

这也就说明,第五列所对应的候选框,被目标检测框1和2,都进行关联。

 

因此对这两个位置,还要使用cost值进行对比, 选择较小的值 ,再进一步筛选。

这里为了便于理解,还是采用图示的方式:

 

首先第一行代码,将matching_matrix,对每一列进行相加。

这时anchor_matching_gt中,只要有大于1的, 说明有共用的情况。

 

上图案例中,表明 第5列存在共用的情况。

 

再利用第三行代码,将cost中,第5列的值取出,并进行比较,计算最小值所对应的行数,以及分数。

 

我们将第5列两个位置,假设为0.4和0.3。

经过第三行代码,可以找到最小的值是0.3,即cost_min为0.3,所对应的行数,cost_argmin为2。

经过第四行代码,将matching_matrix第5列都置0。

 

再利用第五行代码,将matching_matrix第2行,第5列的位置变为1。

 

最终我们可以得到3个目标框,最合适的一些候选框,即matching_matrix中, 所有1所对应的位置。

 

(4)Loss计算

 

经过第三部分的标签分配,就可以将目标框和正样本预测框对应起来了。

 

下面就可以计算两者的误差,即Loss函数。

 

计算的代码,位于yolo_head.py的get_losses函数中。

 

我们可以看到:

 

检测框位置的iou_loss,Yolox中使用传统的iou_loss,和giou_loss两种,可以进行选择。

 

而obj_loss和cls_loss,都是采用BCE_loss的方式。

 

当然除此之外,还有 两点需要注意 :

 

a.在前面精细化筛选中,使用了reg_loss和cls_loss,筛选出和目标框所对应的预测框。

 

因此这里的iou_loss和cls_loss,只针对目标框和筛选出的正样本预测框进行计算。

 

而obj_loss,则还是针对8400个预测框。

 

b.在Decoupled Head中, cls_output 和 obj_output 使用了sigmoid函数进行归一化,

 

但是在训练时,并没有使用sigmoid函数,原因是训练时用的 nn.BCEWithLogitsLoss函数 ,已经包含了sigmoid操作。

 

而在推理过程中,是使用Sigmoid函数的。

 

PS:不同的实验数据对比

 

因为想测试Yolox不同trick的性能,和好友 潘大强 在使用自有数据,对多种trick进行对比测试时发现:

 

① 方案一:Yolox-s+数据增强+(obj_output的Loss函数,用BCELoss)

② 方案二:Yolox-s+数据增强+(obj_output的Loss函数,改为FocalLoss)

对比发现:在使用自有数据集训练时,如果将obj_loss的 BCE_Loss ,修改为 Focal_Loss ,发现效果很明显,涨点也很多。而且iou_loss收敛的更好了,不知道是否有朋友也试过?可以在评论区讨论。

 

2.2.3 Yolox-s、l、m、x系列

 

在对Yolov3 baseline进行不断优化,获得不错效果的基础上。

 

作者又对Yolov5系列,比如Yolov5s、Yolov5m、Yolov5l、Yolov5x四个网络结构,也使用一系列trick进行改进。

 

先来看一下,改进了哪些地方?

 

我们主要对Yolov5s进行对比,下图是Yolov5s的网络结构图:

我们再看一下Yolox-s的网络结构:

由上面两张图的对比,及前面的内容可以看出, Yolov5s和Yolox-s主要区别 在于:

 

(1)输入端:在Mosa数据增强的基础上,增加了Mixup数据增强效果;

 

(2)Backbone:激活函数采用SiLU函数;

 

(3)Neck:激活函数采用SiLU函数;

 

(4)输出端:检测头改为Decoupled Head、采用anchor free、multi positives、SimOTA的方式。

 

在前面Yolov3 baseline的基础上,以上的tricks,取得了很不错的涨点。

 

在Yolov5一系列框架中呢?

 

下图是对Yolov5s、Yolov5m、Yolov5l、Yolov5x四个网络的改进效果对比图:

可以看出,在速度增加1ms左右的情况下,AP精度实现了 0.8~2.9的涨点。

 

且网络结构越轻,比如Yolox-s的时候,涨点最多,达到 2.9的涨点。

 

随着网络深度和宽度的加深,涨点慢慢降低,最终Yolox-x有 0.8的涨点。

 

2.2.4 轻量级网络研究

 

在对Yolov3、Yolov5系列进行改进后,作者又设计了两个轻量级网络,与Yolov4-Tiny、和Yolox-Nano进行对比。

 

在研究过程中,作者有两个方面的发现,主要从轻量级网络,和数据增强的优缺点,两个角度来进行描述。

 

2.2.4.1 轻量级网络

 

因为实际场景的需要,很多同学想将Yolo移植到边缘设备中。

 

因此作者针对Yolov4-Tiny,构建了 Yolox-Tiny网络结构。

 

针对FCOS 风格的NanoDet,构建了 Yolox-Nano网络结构。

从上表可以看出:

 

(1)和Yolov4-Tiny相比,Yolox-Tiny在参数量下降1M的情况下,AP值实现了 9个点的涨点。

 

(2)和NanoDet相比,Yolox-Nano在参数量下降,仅有0.91M的情况下,实现了 1.8个点 的涨点。

 

(3)因此可以看出,Yolox的整体设计,在轻量级模型方面,依然有很不错的改进点。

 

2.2.4.2 数据增强的优缺点

 

在Yolox的很多对比测试中,都使用了数据增强的方式。

 

但是不同的网络结构,有的深有的浅,网络的学习能力不同,那幺 无节制的数据增强是否真的更好呢?

 

作者团队,对这个问题也进行了对比测试。

通过以上的表格有以下发现:

 

① Mosaic和Mixup混合策略

 

(1)对于轻量级网络,Yolox-nano来说,当在Mosaic基础上,增加了Mixup数据增强的方式,AP值不增反而降,从 25.3降到24。

 

(2)而对于深一些的网络,Yolox-L来说,在Mosaic基础上,增加了Mixup数据增强的方式,AP值反而有所上升,从 48.6增加到49.5。

 

(3)因此不同的网络结构,采用数据增强的策略也不同,比如Yolox-s、Yolox-m,或者Yolov4、Yolov5系列,都可以使用不同的数据增强策略进行尝试。

 

② Scale 增强策略

 

在Mosaic数据增强中,代码Yolox/data/data_augment.py中的random_perspective函数,生成仿射变换矩阵时,对于图片的缩放系数,会生成一个随机值。

(1)对于Yolox-l来说,随机范围scale设置在[0.1,2]之间,即文章中设置的默认参数。

 

(2)而当使用轻量级模型,比如YoloNano时,一方面只使用Mosaic数据增强,另一方面随机范围scale,设置在[0.5,1.5]之间,弱化Mosaic增广的性能。

 

2.3 Yolox的实现成果

 

2.3.1 精度速度对比

 

前面我们了解了Yolox的各种trick改进的原因以及原理,下面我们再整体看一下各种模型精度速度方面的对比:

左面的图片是相对比较 标准的 ,网络结构的对比效果,主要从 速度和精度 方面,进行对比。

 

而右面的图片,则是 轻量级网络 的对比效果,主要对比的是 参数量和精度。

 

从左面的图片可以得出:

 

(1)和与Yolov4-CSP相当的Yolov5-l进行对比,Yolo-l在COCO数据集上,实现AP50%的指标,在几乎相同的速度下超过Yolov5-l 1.8个百分点。

 

(2)而 Yolox-Darknet53 和Yolov5-Darknet53相比,实现AP47.3%的指标,在几乎同等速度下,高出3个百分点。

 

而从右面的图片可以得出:

 

(1)和Nano相比, Yolox-Nano 参数量和GFLOPS都有减少,参数量为0.91M,GFLOPS为1.08,但是精度可达到25.3%,超过Nano1.8个百分点。

 

(2)而 Yolox-Tiny 和Yolov4-Tiny相比,参数量和GFLOPS都减少的情况下,精度远超Yolov4-Tiny 9个百分点。

 

2.3.2 Autonomous Driving竞赛

 

在CVPR2021自动驾驶竞赛的, Streaming Perception Challenge赛道 中,挑战的主要关注点之一,是自动驾驶场景下的实时视频流 2D目标检测 问题。

 

由一个服务器收发图片和检测结果,来模拟视频流30FPS的视频,客户端接收到图片后进行实时推断。

 

竞赛地址: https://eval.ai/web/challenges/challenge-page/800/overview

在竞赛中旷视科技采用 Yolox-l作为参赛模型 ,同时使用TensorRT进行推理加速,最终获得了full-track和detection-only track,两个赛道比赛的第一。

 

因此Yolox的各种改进方式还是挺不错,值得好好学习,深入研究一下。

3 深入浅出Yolox之自有数据集训练

 

因为 Yolox 的代码,和之前的 Yolov3、Yolov4、Yolov5版本 还是有很多不同的地方。

 

很多同学可能对于如何利用自有数据集训练?还是有些疑惑。

 

因此大白另外也写了一篇《深入浅出Yolox之自有数据集训练》的文章。

 

利用 教室场景中,人头部标注的数据集 ,和大家一起一步步训练。

 

《深入浅出Yolox之自有数据集训练》

 

https://zhuanlan.zhihu.com/p/397499216

 

4 不同的落地模型部署方式

 

当模型训练好,需要在 项目中进行部署时。

 

作者在代码中,还贴心的整理了各种版本的部署方式:

比如以上5种方式:

 

(1)MegEngine:基于旷视科技的深度学习框架,MegEngine的部署方式。也是Brain++的核心组件,主要有C++和Python两种方式。

 

(2)ONNX和Tensorrt两种方式:英伟达的两种方式都有支持,主要有C++和Python两个方式,常常用在GPU服务器推理中。

 

(3)NCNN:腾讯优图开源的手机端推理框架,主要有C++和Java版本。

 

(4)OpenViNO:Intel公司开源的深度学习应用套件,主要有C++和Python版本。

 

一般情况下,可以选择 Yolox-Nano、Yolox-Tiny、Yolox-s用于移动端部署 。

 

Yolox-m、Yolox-l、Yolox-x用于GPU服务器部署。

 

大家也可以根据自己项目的需求,选择不同的部署方式。

 

5 相关推荐:数据集分类下载

 

当然除了训练中使用到的人头数据集

大家也可以根据自己的需要,选择不同的数据集,进行下载尝试。

 

数百种数据集汇总链接: https://www.jiangdabai.com/dcat/%e6%95%b0%e6%8d%ae%e9%9b%86%e4%b8%8b%e8%bd%bd

 

相关文章链接:

 

 

深入浅出Yolo系列之Yolov3&Yolov4&Yolov5&Yolox核心基础知识完整讲解(https://zhuanlan.zhihu.com/p/143747206)

 

深入浅出Yolo系列之Yolov5核心基础知识完整讲解(https://zhuanlan.zhihu.com/p/172121380)

 

深入浅出Yolox之自有数据集训练超详细教程(https://zhuanlan.zhihu.com/p/397499216)

 

大白智能:https://www.jiangdabai.com/

 

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注