Press "Enter" to skip to content

人工智能可信安全与评测

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文为西安交通大学教授/博士生导师,网络空间安全学院副院长沈超于「驱动未来的AI技术」系列主题,「可信AI」专场的分享内容节选。点击进入 「机器之心Pro」 ,查看更多优质内容。

 

人工智能可信安全与评测

 

沈超表示,纵观AI发展的历史过程,可以看到AI存在着一定的安全风险。目前数据安全已经遭受到了比较严重的风险问题,因此如何将AI可持续的、可信地进行应用是比较重要的一个研究点。沈超教授从下图所示几个角度切入,介绍AI存在的安全风险。

 

 

首先,在输入环节中,典型的风险是传感器欺骗。以无人系统为例,无人系统是通过各种传感器去感知环境,但所有传感器都是电子元器键,如果传感器能够被诱骗或者干扰,那幺输入环节就会存在很大的隐患。所以在输入环节中,可以通过一些定向的信号源来干扰传感器,从而影响下一级的决策环节等,随之产生安全风险。

 

此外,沈超教授还提及了有关机器学习与公平性的问题。由于机器学习越来越多的参与到决策环境中,其公平性也备受用户关注。众所周知,任何一个简历筛选的系统或者信用评估的体系中,都存在一些机器学习算法。沈超教授举了一个简单的例子,比如一个男性和一个女性,二者背景很相似,但两个人贷款金额不同。因为在很多情况下,数据分布是不平衡的。数据集可能有100万男性数据,60万女性数据,这时候通常会使用数据增强方法来产生新的数据集,但是产生新的数据的分布和原来数据分布还是无法弥补100万和60万之间数据分布上的差异。在这种驱动之下,机器学习是不公平的。同样地,在数据收集、数据标注、模型方面,都可能会引入一些错误的偏见。

 

 

在数据环节,沈超教授表明,如果能够对数据环节进行定向的攻击或推理,就可以对原始的数据做相应的事情。也就是说,在数据的预处理环节,可能会存在一些安全的风险,因为有大量的数据被压缩掉,这个过程中可以做很多攻击样本插入,称为降维攻击。

 

当然,语音环节也面临这样的风险。但是语音处理环节会稍微复杂一点,因为中间包含了很多线性的或者非信息的变换。尽管如此,仍可以面向不稳定因素,做一些预处理环节的攻击。

 

在模型环节,沈超教授表示现在关注的比较多的在于后门。现在后门的植入,已经变成了一个非常简单的事情。而且在很多应用的过程之中,一些公开的模型可能存在后门。但对于后门的检测,就像大海捞针一样。

 

在应用环节,现在很多的框架或者依赖库都是被调用的,很少有人能去关注框架或依赖库的安全。但沈超教授指出,只要是人写的代码,一定会存在着不确定性或者存在一定的安全的隐患。测试也表明,很多的调用包存在着安全的危机和隐患,会导致系统拒绝过服务、堆栈溢出、crash等问题。框架层面也可能导致系统崩溃、分类错误性等。

 

 

最后,沈超教授介绍了在AI测试和自动化修复空间的工作。比如开发针对梯度消失、梯度爆炸、Dying ReLU、不稳定收敛、缓慢收敛等5种深度学习训练问题自动检测与修复工作等。

 

沈超教授总结道,通过使用数据和机器学习结合的系统攻防和测试的能力,从AI系统数据层、框架层和模型层三个层面,以及安全性测试形成全链路AI系统攻防平台、测试修复平台,才能驱动AI更加可信、可持续发展。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注