Press "Enter" to skip to content

卷积神经网络的平移等变与平移不变

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

CNN 中的卷积操作具有平移等变性,但池化操作具有局部平移不变性。两者矛盾地统一于 CNN 中。

 

平移等变性

 

对于卷积,参数共享的特殊形式使得神经网络层具有平移等变性(equivariance)。例如,当处理时间序列数据时,这意味着通过卷积可以得到一个由输入中出现不同特征的时刻所组成的时间轴。如果我们把输入中的一个事件向后延时,在输出中仍然会有完全相同的表示,只是时间延后了。也就是说,卷积对输入数据的时刻是敏感的,在输出中有对应的表示。

 

平移不变性

 

不变性

 

不变性意味着即使目标的外观发生了某种变化,但是你依然可以把它识别出来。

 

这对图像分类来说是一种很好的特性,因为我们希望图像中目标无论是被平移,被旋转,还是被缩放,甚至是不同的光照条件、视角,都可以被成功地识别出来。

 

所以上面的描述就对应着各种不变性:

平移不变性:Translation Invariance
旋转/视角不变性:Ratation/Viewpoint Invariance
尺度不变性:Size Invariance
光照不变性:Illumination Invariance

平移不变性/平移同变性

 

平移不变性意味着系统产生完全相同的响应(输出),不管它的输入是如何平移的 。

 

平移同变性(translation equivariance)意味着系统在不同位置的工作原理相同,但它的响应随着目标位置的变化而变化 。

 

比如,实例分割任务,就需要平移同变性,目标如果被平移了,那幺输出的实例掩码也应该相应地变化。最近看的FCIS这篇文章中提到,一个像素在某一个实例中可能是前景,但是在相邻的一个实例中可能就是背景了,也就是说,同一个像素在不同的相对位置,具有不同的语义,对应着不同的响应,这说的也是平移同变性。

 

为什幺卷积神经网络具有平移不变性

 

简单地说,卷积+最大池化约等于平移不变性。即为参数共享(和池化)使卷积神经网络具有一定的平移不变性。

 

无论采用何种池化函数,当输入作出少量平移时,池化能帮助输入的表示近似不变(invariant)。对于平移的不变性是指当我们对输入进行少量平移时,经过池化函数后的大多数输出并不会发生改变。这意味着池化对特征位置不敏感,只有当我们不关心特征具体出现的位置时,池化才是合理的,这正是胶囊网络的动机之一。

 

胶囊网络完全去掉了池化操作,达到了对平移等变性的追求。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。