Press "Enter" to skip to content

图像分割论文 | DRN膨胀残差网络 | CVPR2017

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

文章转自:同作者个人微信公众号【机器学习炼丹术】。欢迎交流沟通,共同进步,作者微信:cyx645016617

论文名称:‘Dilated Residual Networks’
论文链接: https://arxiv.org/pdf/1705.09914.pdf

0 综述

 

 

这篇文章的最大特色自然是提出了DRN,Dilated Residual Networks,在残差网络的基础上加入了膨胀卷积。

 

膨胀卷积,又叫做空洞卷积,是在卷积核参数不变的基础上,增加视野域的一种手段。通过使用膨胀卷积, 可以放大最深层特征图的尺寸并且保持视野域大小不变 ,说白了就是少了几个池化层,然后用膨胀卷积维持同样大小的视野域。比方说,resnet众所周知,包括stem中的下采样和4个layer的下采样,5次下采样,整体的步长为32;但是DRN中,整体步长仅为8。

 

当然文章如果仅仅是把碰撞卷积代替一般卷积,那幺这篇文章就毫无特色了。碰撞卷积会引出一个degridding效应,如何解决这个问题才是文章的核心。

 

再加上一句,虽然模型的参数没有改变,但是因为增加了特征图的尺寸,计算量和内存消耗必然有增加,请大家仁者见仁。

 

1 空洞卷积

 

这个长话短说,直接看图:

dilation是一个参数,如果是1的话,就是上图左图的常规卷积核,如果dilation是2的画,就变成右边的膨胀卷积的样子。dilation表示卷积核中参数相邻的距离。

 

2 结构变化

 

先来看Resnet的结构图:

输入的图片是224×224大小的,第一次下采样在stem中(图中的conv1),随后的下采样在每一层layer的第一个卷积层前面。

 

DRN结构没有了resnet最后的两次下采样,也就是说,特征图在28×28的大小之后就不再变小了。不再减小特征图尺寸,那幺就要增加卷积核的膨胀系数

 

 

上图中展示的是后两次下采样的resnet和DRN的区别,可以看到,DRN没有后两次下采样,因此特征图的尺寸都相同。

但是DRN在本该第四次采样的卷积过程中,将膨胀系数改成2,这样保持相同的视野域;
在本该第五次采样的卷积过程中,将膨胀系数改成4,这样保持相同的视野域。

3 degridding

 

使用膨胀卷积来代替下采样,会产生degriding栅格化问题

 

 

这种情况产生的原因在原文中有这样的一句解释:

 

Gridding artifacts occur when a feature map has higher-frequency content than the sampling rate of the dilated convolution.

 

就是说, 当一某一个特征的重要性超过采样率 。作者给出了这样的一个例子:

 

 

上面图(a)是一个单个像素异常重要的特征图,然后经过一个膨胀卷积,变成(c),变成网格状的输出。可以说 gridding artifiacts 是膨胀卷积性质产生的现象。

 

为了解决这样的问题,作者对DRN作出了改进:

 

    1. DRN-B,DRN-C取消了pooling层,改用stride=2的卷积作为下采样,因为 作者发现pooling会让degridding更加严重

 

    1. 此外,作者在DRN-B和DRN-C的最后加上了膨胀系数为2和1的几层卷积层,来消除degridding现象。其中DRN-C取消了最后几层卷积的跳层结构。 这个非常好理解,毕竟膨胀卷积会产生degridding,那幺我就让最后的输出是用一般的卷积输出就避免了这种结构,然后跳层结构会让degridding直接连入最后的输出结果,所以取消了

 

 

因此在上面的展示图汇中,DRN-C的输出的语义分割效果图,非常丝滑。

 

4 总结

 

 

效果有非常大的提高。这个不降低特征图的尺寸,从而提高了小物体的目标检测的效果。值得尝试。

 

5 如何实现

 

这个也挺好实现的,我们记住:

 

 

    1. 用stride=2的卷积层代替pooling层;

 

    1. 后面两个下采样取消,使用膨胀系数2和4的卷积代替;

 

    1. 最后在加上膨胀系数为2和1的卷积层消除degridding现象。

 

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注