Press "Enter" to skip to content

目标检测算法之Fast R-CNN和Faster R-CNN原理

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

一、Fast R-CNN原理

 

在SPPNet中,实际上特征提取和区域分类两个步骤还是分离的。只是使用ROI池化层提取了每个区域的特征,在对这些区域分类时,还是使用传统的SVM作为分类器。Fast R-CNN相比SPPNet更进一步,不再使用SVM作为分类器,而是使用 神经网络进行分类 ,这样就可以同时训练特征提取网络和分类网络,从而取得比SPPNet更高的准确度。Fast R-CNN的网络结构如下图所示

 

 

对于原始图片中的候选框区域,和SPPNet中的做法一样,都是将它映射到卷积特征的对应区域,即上图中的ROI projection,然后使用ROI池化层对该区域提取特征。在这之后,SPPNet是使用SVM对特征进行分类,而Fast R-CNN则是 直接使用全连接层 。全连接层有两个输出,一个输出负责分类,即上图中的softmax,另一个输出负责框回归,即上图中的bbox regressor。

 

先说分类,假设要在图像上检测K类物体,那幺最终的输出应该是K+1个数,每个数都代表该区域为某个类别的概率。之所以是K+1个输出而不是K个输出,是因为还需要一类“背景类”,针对该区域无目标物体的情况。

 

再说框回归,框回归实际上要做的是对原始的检测框进行某种程度的“校准”。因为使用Selective Search获得的框有时存在一定偏差。设通过Selective Search得到的框的四个参数为(x,y,w,h),其中(x,y)表示框左上角的位置,而(w,h)表示框的宽度和高度。而真正的框的位置用(x’,y’,w’,h’)表示,框回归就是要学习参数[(x’-x)/w,(y’-y)/h,ln(w’/w),ln(h’/h)]其中(x’-x)/w,(y’-y)/h两个数表示与尺度无关的平移量,而ln(w’/w), ln(h’/h)两个数表示的是和尺度无关的缩放量。

 

与SPPNet最大的区别就在于,Fast R-CNN不再使用SVM进行分类,而是 使用一个网络同时完成了提取特征,判别类别和框回归 三项任务。

 

二、Faster R-CNN原理

 

Fast R-CNN看似很完美了,但在Fast R-CNN中还存在着一个有点尴尬的问题:它需要先使用Selective Search提取框,这个方法比较慢,同时,检测一张图片,大部分时间不是花在计算神经网络分类上,而是花在Selective Search提取框上!在Fast R-CNN的升级版Faster R-CNN中,用 RPN网络(Region Proposal Network) 取代了Selective Search,不仅速度得到大大提高,而且还获得了更加精确的结果。

 

RPN网络的结构如下图所示

 

 

RPN还是需要先使用一个CNN网络对原始图片提取特征。为了方便读者理解,不妨设这个前置的CNN提取的特征为51x39x256,即高为51、宽为39、通道数为256。对这个卷积特征再进行一次卷积计算,保持宽、高、通道不变,再次得到一个51x39x256的特征。为了方便叙述,先来定义一个“”的概念:对于一个51x39x256的卷积特征,称它一共有51×39个“位置”。让新的卷积特征的每一个“位置”都“负责”原图中对应位置9种尺寸框的检测,检测的目标是判断框中是否存在这样一个物体,因此共有51x39x9个“框”。在Faster R-CNN的原论文中,将这些框都统一称为 “anchor” 。

 

anchor的9种尺寸如下图所示,它们面积分别是128 2 ,256 2 ,512 2 。每个面积又分为3种长宽比,分别2:1、1:2、1:1。 anchor的尺寸实际是属于可调的参数 ,不同任务可以选择不同的尺寸。

 

 

对于这51×39个位置和51x39x9个anchor,下面这张图展示了接下来每个位置的计算步骤。设k为单个位置对应的anchor的个数,此时k=9。首先使用一个3×3的滑动窗口,将每个位置转换为一个统一的256维的特征,这个特征对应了 两部分的输出 。一部分表示该位置的anchor为物体的概率,这部分的总输出长度为2xk(一个anchor对应两个输出:是物体的概率+不是物体的概率)。另一部分为框回归,框回归的含义与Fast R-CNN中一样,一个anchor对应4个框回归参数,因此框回归部分的总输出的长度为4xk。

 

 

Faster R-CNN使用RPN生成候选框后,剩下的网络结构和Fast R-CNN中的结构一模一样。在训练过程中,需要训练两个网络,一个是RPN网络,一个是在得到框之后使用的分类网络。通常的做法是 交替训练 ,即在一个batch内,先训练RPN网络,再训练分类网络一次。

 

R-CNN、Fast R-CNN、Faster R-CNN的对比 如下表所示

 

 

从R-CNN,到Fast R-CNN,再到Faster R-CNN,不仅检测速度越来越快,而且检测的精确度也在不断提升。在出现R-CNN方法前,VOC2007数据集上传统方法所能达到的最高平均精确度(mAP)为40%左右,R-CNN将该值提高到了58.5%,Fast R-CNN在VOC2007上的平均准确度为70%,Faster R-CNN又将该值提高到了78.8%。这几种方法既一脉相承,又不断改进,值得仔细研究。

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注