Press "Enter" to skip to content

【专栏2】激活函数(一)浅谈激活函数以及其发展

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

【专栏2】(一)浅谈激活函数以及其发展

 

激活函数是神经网络的相当重要的一部分,在神经网络的发展史上,各种激活函数也是一个研究的方向。我们在学习中,往往没有思考过——为什幺用这个函数以及它们是从何而来?

 

 

生物神经网络曾给予了人工神经网络相当多的启发。如上图,来自树突信号不断累积,如若信号强度超过一个特定阈值,则向轴突继续传递信号。如若未超过,则该信号被神经元“杀死”,无法继续传播。

 

在人工神经网络之中,激活函数有着异曲同工之妙。试想,当我们学习了一些新的东西之后,一些神经元会产生不同的输出信号,这使得神经元得以连接。

 

sigmoid函数也许是大家初学神经网络时第一个接触到的激活函数,我们知道它有很多良好的特性,诸如能将连续的实值变换为0到1的输出、求导简单,那幺这个函数是怎幺得到的呢?本文从最大熵原理提供一个角度。

 

1 sigmoid函数与softmax函数

 

1.1 最大熵原理与模型

 

最大熵原理是概率模型学习的一个准则[](#refer-anchor)。最大熵原理认为,学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型。

 

假设离散随机变量 的概率分布是 ,则其熵是

 

 

熵满足下列不等式:

 

式中,

的取值个数,当且仅当

的分布是均匀分布时右边的等号成立。这就是说,当

 

 

服从均匀分布时,熵最大。

 

直观而言,此原理认为要选择的概率模型首先必须满足已有的条件,在无更多信息的条件下没其他不确定的部分都是等可能的。

 

假设分类模型是一个条件概率分布 ,给定一个训练集 ,可以确定 的经验分布和边缘分布 的经验分布,分别以 表示。

 

用特征函数(feature function) 描述输入 和 之间的某一个事实,定义为:

 

 

由上述信息,可以假设 关于经验分布 的期望值和关于模型 与经验分布 的期望值相等,即:

 

 

结合条件,该问题等价于约束最优化问题:

 

 

由拉格朗日乘子法,问题转换为求如下式子的最小值

 

 

此时,我们对 求 的导数:

 

 

令其导数值为0,在 的情况下,解得:

 

 

由于 ,得:

 

 

由上面两式可得:

 

 

细心的同学不难发现,这和softmax函数十分相近,定义 ,即可得到softmax函数:

 

 

那幺sigmoid函数呢?其实该函数就是softmax函数的二分类特例:

 

 

说完了推导,就来谈谈这两函数的特点。sigmoid函数的优点前文已提到,但sigmoid在反向传播时容易出现“梯度消失”的现象。

 

 

可以看出,当输入值很大或很小时,其导数接近于0,它会导致梯度过小无法训练。

 

2 ReLU函数族的崛起

 

 

如图所示,ReLU函数很好避免的梯度消失的问题,与Sigmoid/tanh函数相比,ReLU激活函数的优点是:

使用梯度下降(GD)法时,收敛速度更快 。
相比ReLU只需要一个门限值,即可以得到激活值,计算速度更快 。

缺点是:  ReLU的输入值为负的时候,输出始终为0,其一阶导数也始终为0,这样会导致神经元不能更新参数,也就是神经元不学习了,这种现象叫做“Dead Neuron”。

 

为了解决ReLU函数这个缺点,又出现了不少基于ReLU函数的发展,比如Leaky ReLU(带泄漏单元的ReLU)、 RReLU(随机ReLU)等等,也许你有一天也能发现效果更好的ReLU函数呢!

 

引用

 

[1] [李航. 统计学习方法[M]. 清华大学出版社, 2012.]

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注