Press "Enter" to skip to content

动量梯度下降算法

上篇文章介绍了指数加权平均,这篇文章介绍在此基础上介绍一下动量梯度下降算法。

 

所谓动量梯度下降算法,简言之就计算梯度的指数加权平均,然后使用这个梯度来更新权重,下面我们来详细解释这句话。

 

我们在使用梯度下降算法更新权重时,希望损失函数能减小直到最优值。我们可以在一副等高线图中,画出损失函数随着迭代次数增加而减小的路径,即如下图所示:

 

 

图中红点为最优点,蓝线为损失函数的减小路径,从图中左侧出发,逐渐靠近最优点。不过我们可以发现,这条路径看起来十分曲折,虽然整体趋势是向右的,但在竖直方向有太多波动,这直接造成了两个负面影响:

 

 

    1. 增加了梯度下降的次数,增加了训练时间

 

    1. 无法使用较大的学习率

 

 

如果使用了较大的学习率,可能会出现下图中紫线的情况:

 

 

即虽然增大了向右的步伐,同时也增大了上下的步伐,导致损失函数值反而越来越大,因此为了避免振荡过大,我们只能选择较小的学习率。

 

为了使其步伐能在水平方向更大,而在竖直方向更小,可以使用之前提到的指数滑动平均。

 

我们说过,运用了指数滑动平均后,\(v_t\) 相当于粗略计算了前 \(\frac{1}{1 – \beta}\) 个数据的平均值,如果我们对导数进行指数滑动平均操作,就会有以下结果:

竖直方向的振动几乎消失
水平方向的步伐逐渐加大

即如下图红线所示

 

 

这正好是我们想看到的结果,为什幺会这样呢?下面来分析一下。观察上图中的蓝线,我们发现竖直方向的振动大致可以抵消,即每两次上下方向的振动长度大致相等,因此如果对其去平均值,结果就会很接近 0,这就是“竖直方向的振动几乎消失”的原因,而蓝线水平方向的路径都是向右的,对其取平均值不会使其减小,而是随着已经行进的路径增多而变大,这就是“水平方向的步伐逐渐加大”的原因。综上,得到上图中的红线。

 

算法描述如下:

 

第 t 次迭代:
在当前的 mini-batch 上计算 dW, db
v_dW = β * v_dW + (1 - β) * dW
v_db = β * v_db + (1 - β) * db
W -= α * v_dW, b -= α * v_db

 

上面的描述中,\(\alpha\) 和 \(\beta\) 都是需要调整的超参数,\(\beta\) 通常会取 0.9 左右。

 

以上就是对动量梯度下降算法的简单介绍,它几乎总是要优于不适用动量的梯度下降算法,不过除此外,还有一些其他的方法也能加速你的训练速度,接下来几篇文章会谈谈 RMSprop 和 Adam 梯度下降算法以及学习率衰减。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注