Press "Enter" to skip to content

卷积神经网络和全连接网络的根本不同之处在哪里

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

解题思路

 

卷积神经网络至少包含一个卷积层,且最后一层通常是全连接层;

 

全连接网络没有卷积层,只使用全连接层(以及非线性层)。

 

所以关键是理解卷积层和全连接层的区别。

 

全连接层

 

全连接,顾名思义,上一层的所有神经元要和下一层的每个神经元都链接,比如上一层有4096个神经元,下一层有10个神经元,那幺计算方式如下:

 

 

 

所以全连接层有三个特点:

 

关注全局信息(每个点都和前后层的所有点链接)

 

参数量巨大,计算耗时

 

输入维度需要匹配(因为是矩阵运算,维度不一致无法计算)

 

卷积层

 

这个卷积和信号系统中的卷积不太一样,其实就是一个简单的乘加运算,比如cs231课程给出这样一个示例:

 

 

黄色区域表示卷积的感受野(3×3大小),黄色区中的红色数字,是该卷积核的参数,黑色数字是图像当前感受野的特征值,那幺卷积运算的结果就是:

 

 

从这个例子中,我们可以看出卷积层的两个特性:

 

局部链接:当前层的神经元只和下一层神经元的局部链接(并不是全连接层的全局链接)

 

权重共享:神经元的参数(如上图的3*3卷积核),在整个特征图上都是共享的,而不是每个滑动窗口都不同

 

 

也正是因为这两个特性,所以卷积层相比于全连接层有如下优点:

 

需要学习的参数更少,从而降低了过度拟合的可能性,因为该模型不如完全连接的网络复杂。

 

只需要考虑中的上下文/共享信息。这个未来在许多应用中非常重要,例如图像、视频、文本和语音处理/挖掘,因为相邻输入(例如像素、帧、单词等)通常携带相关信息。

 

但需要注意的是,无论是全连接层,还是卷积层,都是线性层,只能拟合线性函数,所以都需要通过ReLU等引入非线性,以增加模型的表达能力。比如ReLU函数接受一个输入x,并返回{0, x}的最大值。ReLU(x) = argmax(x, 0)。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。