Press "Enter" to skip to content

如何评估神经网络的”鲁棒性”?一种通用方法:CLEVER

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

关注公众号,发现CV技术之美

 

 

 

导言:

 

神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向,该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题,并利用极值理论方法进行评估,进而提出了一种度量神经网络鲁棒性的通用方法-CLEVER,该方法可以对不可知的攻击方式进行评估,并且对于大规模的神经网络计算成本较少。该论文涉及到大量的数学推导,需要沉下心来慢慢琢磨。

 

详细信息如下:

 

 

论文链接:https://arxiv.org/abs/1801.10578v1

 

       01       

 

数学符号介绍

 

假定表示的是一个神经网络分类器,其中表示输入空间的维度,表示的是输出空间的维度。表示干净的输入样本,表示对抗样本,表示的是对抗扰动,表示的范数,其中。表示的是最小的对抗扰动。表示的是对抗扰动的上界,表示的是对抗扰动的下界。表示的是Lipschiz常数,表示的是局部Lipschitz常数。表示的以干净样本为中心,半径为的球体。表示的是累积分布函数。

 

       02       

 

分类器鲁棒性的保证分析

 

本文作者对神经网络分类器的鲁棒性给出了严格的数学定理的形式,并且该定理只需要一个很宽泛的假设,即分类器函数是Lipschitz连续的。

 

(扰动样本和对抗样本): 给定一个输入向量,该样本对应的类别为类,分类函数为,预测类别为。假设是一个干净样本的一个扰动样本 ,则存在扰动,有,其中。对抗样本则是能够使得分类器预测标签出错的扰动样本。无目标攻击特指找到一个对抗样本,且有。有目标攻击特指找到一个对抗样本使得分类器预测的标签为,其中。

 

(最小对抗扰动) :给定一个输入向量和分类器,的最小的对抗扰动表示为。

 

( 下界): 假定为样本的最小对抗扰动,则下界表示为,其中,如果对于任意样本的扰动样本有,则该扰动样本不是对抗样本。

 

( 上界): *假定为样本的最小对抗扰动,则上界表示为,其中,进而存在一个样本的对抗样本有。

 

对于任何对抗攻击其最小对抗扰动的上界是很容易被发现的,但是下界却不容易找到。保证了对于任意的扰动神经网络分类器都是鲁棒的。

 

(Lipschitz连续和梯度范数关系): 令是一个凸有界闭集,并且令是一个在包含区域的开集中连续可微函数。如果是一个有Lipschitz常数的Lipschitz函数,则对于任意,以下不等式成立

 

其中,是的梯度,并且有,。

 

证明: 对于给定任意的和,令表示的是指向的单位向量,其中有。定义一个一元函数,并且有,,可知和分别表示的是的右导数和左导数,进而则有

 

对于ReLU网络,至少有有限个点使得。这是因为每个不连续的都是由某些ReLU激活引起的,并且只有有限个组合,令这些点为

 

,在每个区间上分别使用微积分的基本定理,则对于每个,存在

 

(无目标攻击下界 ): 令,是一个多分类器,其中是连续可微的,令表示的是分类器预测样本的类别。对于所有,则有

 

其中,且有,。是函数在范数的Lipschiz常数。换言之,是最小的扰动下界。

 

证明: 根据引理1可知,假定是一个有Lipschitz常数的Lipschitz连续的函数,则有

 

令和,可以得到

 

其中可以将上面公式化简为以下形式

 

当时,此时对抗样本被发现。根据上公式,的下界为。如果是足够的小以至于,则此时没有对抗样本生成

 

为了能够达到,取在上,取上界的最小值,则有

 

定理1的一维情况的直观图如下所示,函数在附近的值位于由两条线通过形成的双圆锥内,斜率等于,其中表示的是函数在点附近的Lipschitz常数。换句话说,在附近的函数值,即可以由、和Lipschitz常数所限定。当减小到时,则此时会发现一个对抗样本,的最小变化为。

 

 

注意:是包含交叉项函数的Lipschitz常数,进而可以称为交叉Lipschitz常数。

 

无目标攻击的形式化保证):令是函数在点处的局部Lipschtiz常数,的取值范围为且。由定理1可知,可以得到

 

(有目标攻击 的形式化保证): 令是函数在点处的局部Lipschtiz常数,的取值范围为且。对于给定的目标类别,则有

 

进一步可以将定理1扩展成不可微的函数的特例,比如ReLU激活函数。在这种情况下,引理1中使用的Lipchitz常数可以是替换为方向导数的最大范数。

 

(ReLU网络 的形式保证): 令是一个层ReLU神经网络,第层的权重为,其中忽视偏差项

 

其中。令是一个凸闭包集合,如果是Lipschitz连续,则以下等式成立

 

其中是单向导数,则此时定理1,推论1,推论2都成 立。

 

       03       

 

基于 极值理论估计

 

(Fisher-Tippett-Gnedenko):如果存在一序列实数对使得,,其中是一个非退化分布函数,则由如下公式成立

 

其中,,分别是位置,尺寸和形状参
数。

定理2意味着样本的最大值遵循以上三个分布族中的一个。如果 有一个有界的Lipschitz常数, 是有界的,那幺它的极限分布一定有一个有限的右端点。论文作者主要reverse Weibull class感兴趣,因为它的累积概率分布有一个有限的右端点 。

 

右端点显示了分布的上极限,或被成为极值。这个极值就是局部交叉Lipschitz常数 ,在该论文中,作者主要是要去估计这个常数。首先在分布 中生成 个 的样本,每一个批次中均匀且独立,共有 个批次数据量。

 

然后去计算 ,在集合 中保存保存下每个批次的最大值。接下来,作者对反向威布尔分布参数进行了极大似然估计,并且位置估计 被用作去估计 。

 

(单隐层 神经网络 ):考虑一个神经网络 ,其中输入为 ,隐层有 个神经元且激活函数为ReLU激活函数。如果从球 中进行均匀采样,则梯度 的累积分布函数记作 ,并且该分布函数是分段线性的,共有 段。给定 和 ,则有 ,其中 ,

 

证明: 单隐层第个神经元的输出可以表示为

 

其中是ReLU激活函数,和分别表示的是第一层和第二层的权重矩阵,表示的矩阵的第行,则可以计算和表示为

 

并且则有

 

其中表示的是一个一元指示函数

 

 

如上图所示,超平面 将 维空间 划分为不同的区域,每一个区域内满足不同的不等式约束,比如 和 。给定 ,对于任意 可以通过查看 从而来判断它属于哪一个区域。

 

同一个区域的所有的点的梯度范数是相同的,即比如对于任意的 和 满足 ,则可以推知 。因为对于一个有 个超平面的 维空间中会存在最多 个区域,梯度函数 最多可以取 个不同的值。

 

如果以 为中心, 为半径的球 中均匀采样的,并且记 为随机变量 ,当 随机变量的分布是离散的时候,则它的分布函数是至少有 段。不失一般性,假定对于 有 个不同的数值,令 是升序排列, 的概率分布函数 可以被定义为如下所示

 

其中 , 且有


表示的是在
维空间中

的容量。

 

给定一个样本 ,分类器函数为 ,目标类别为 。分类器鲁棒性的有目标攻击的CLEVER分数能通过 和 ,同理无目标攻击的CLEVER也可以被计算出来,具体的算法流程图如下所示

 

 

 

       04       

 

实验结果

 

如下图所示绘制了来自不同数据集和网络结构的图像的交叉Lipschitz常数样本的概率分布函数和拟合的反向威布尔分布。还显示了估计的最大似人估计的参数、p值和K-S检验统计量D。

 

 

如下图所示,如果p值大于0.05,则不能拒绝零假设,这意味着基础数据样本很好地符合反向威布尔分布。可以发现,所有数字都接近100%,从经验上验证了可以使用反向威布尔分布作为 梯度范数。因此,反向威布尔分布(即极值)的拟合位置参数 可以是用于计算CLEVER分数的局部交叉Lipschitz 常数的良好估计。

 

 

下面两个表格分别表示了在 和 范数下,CLEVE分数与CW、I-FSGM以及SLOPE这四种评估方法在不同条件设置下的实验结果,对比实验结果可以发现,针对不同的神经网络模型CLEVER分数更好的体现出不同扰动的攻击程度,对于有防御机制的深度学习模型,CLEVER的分数也有显着的提高,说明该模型的鲁棒性能更好。

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。