神经网络的“刚性”(自恰性):谷歌评估泛化能力新指标,Stiffness

如果训练神经网络可以与人一样,其训练内容的顺序可以精心编排、且有不同的学习曲线和阶段、在不同的领域有不同“天赋”自主学习。总之,训练过程可以足够“复杂”,是否可以诱导出更好的模型? — David 9

 

假设神经网络有一个确切的决策边界,这个决策边界足够复杂可以帮我们分类10000+个类别,想象一下可能是这样复杂的:

但无论如何,归结到一个决策边界,是这样的:

来自:https://arxiv.org/pdf/1901.09491.pdf

对于任意新的训练样本 X1 ,如果要让 X1 的 loss 更小,需要用一个梯度g1更新网络,对决策边界的影响势必导致另一个新样本 X2 的 loss 可能 变小、不变 或 变大 :

来自:https://arxiv.org/pdf/1901.09491.pdf

如果 X2和X1一起变小 ,就认为神经网络的决策边界是 “刚性”>0 ( stiffness>0 )的,以此类推,如果X2 loss不变, “刚性”=0 ( stiffness=0 ),如果 X2的loss反而变大了, “刚性”<0 ( stiffness<0 )。

 

一方面直观上,如果“刚性”处处大于0,这个网络的边界比较鲁棒,边界不容易“变形”;而如果神经网络“刚性”在许多情况小于0,决策边界就不得不在许多地方做类似“变形”的调整。

 

另外David认为“刚性”在一定程度上也体现了网络对 新测试集的“自恰性” 。论文中也指出 “刚性”>0 的情况其实就是两个样本需要更新的梯度 g1和g2的一致性较大 ,而 “刚性”<0 则相反g1和g2梯度相背:

来自:https://arxiv.org/pdf/1901.09491.pdf

文章指出,当 “刚性”<0 即模型“自恰”性变得特别弱的时候(梯度更新非常混乱时),也往往是网络开始 “过拟合” 的时候:

来自:https://arxiv.org/pdf/1901.09491.pdf

如上图,我们看到在垂直黄线处模型开始过拟合(平时是用下表loss来检测过拟合的),而观察到上表stiffness也是在黄线处开始减少的(特别是红色折线同 类别样本之间的stiffness值 )

 

另外还有一些有意思的现象:

 

对于MNIST集的0-9各个类别之间的 “自恰性”(刚性) ,分别在迭代0次,800次,638176次,5627552次时的情况如下(横纵坐标分别代表两个类别):

来自:https://arxiv.org/pdf/1901.09491.pdf

可见在训练初期,单个类别内样本间的“自恰性”(刚性)很大(注意对角线都是红色的高值),很有可能是模型初期决策边界比较宽泛,只是学习各个类别的大致信息,不关注各个类别具体差异(不在对角线上的类别间刚性极小)。

 

对于根本无法训练的随机数据集,模型“刚性”又是如何表现的呢:

来自:https://arxiv.org/pdf/1901.09491.pdf

和直觉一样,网络无法从随机标签的样本中学到类别差异,因此类别之间的“刚性”多数都是非常低的值。

 

另外,文章也发现对于类别较多的cifar-100数据集,决策边界容易把小类别分更大的组,决策边界在同一个组内的“刚性”比较大:

来自:https://arxiv.org/pdf/1901.09491.pdf

如上图注意到有红色的小块(大约5个类别一组),模型对于一些难以区分的类倾向于归为一组。在David看来,这是一个指导 非平衡集 训练的很好启发,如果让那些数据量非常少的类别的分组情况减少(“刚性”一致性减小),是不是可以改善这些少数类别总是分错的尴尬?

 

最后,对于learning rate对网络“刚性”的影响,文章也做的讨论。实验表面,如果learning rate设的比较大,不同类别之间的“刚性”(自恰性)比较大:

来自:https://arxiv.org/pdf/1901.09491.pdf

也就是说,如果你以后 训练类别比较多的模型,可以考虑用较大的learning rate ,去学习类别之间的信息。

 

参考文献:

 

Stiffness: A New Perspective on Generalization in Neural Networks
https://www.intechopen.com/books/brain-computer-interface-systems-recent-progress-and-future-prospects/optimal-fractal-feature-and-neural-network-eeg-based-bci-applications

 

本文采用 署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议 进行许可。着作权属于“David 9的博客”原创,如需转载,请联系微信: david9ml,或邮箱:[email protected]

 

或直接扫二维码:

发表评论

电子邮件地址不会被公开。 必填项已用*标注