Press "Enter" to skip to content

加利福尼亚大学(尔湾)等提出 Nasty Teacher,避免模型“被蒸馏”,加强知识产权保护(ICLR 2021)

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文分享ICLR 2021论文 『Undistillable: Making A Nasty Teacher That CANNOT teach students』 ,提出一种防止模型被蒸馏窃取的Nasty Teacher,为知识产权的保护提供了一种新思路。

 

详细信息如下:

 

论文链接:https://openreview.net/forum?id=0zvfm-nZqQs

 

项目链接:https://github.com/VITA-Group/Nasty-Teacher

 

       01       

 

Introduction

 

知识蒸馏是一种模型压缩的常用手段,其通过将预训练好的教师模型的知识迁移到更轻量级的学生模型上,使学生模型能达到甚至超越老师模型的性能,从而达到无损模型压缩的效果。

 

然而该技术一旦被居心不良者使用,可以轻易盗取研究者花很多时间、精力和设备训练好的模型被轻易复刻,从而导致知识产权(Intellectual Properties)被侵犯。

 

因此本文设计了一种Nasty Teacher,使其正常使用时性能保持不变,而在被知识蒸馏时得到的学生模型性能很差,从而做到保护模型所有者知识产权的作用。

 

       02       

 

Contributions

 

引入了Nasty Teacher,在不牺牲性能的情况下,防止通过知识蒸馏的方式导致的知识泄漏和未经授权的模型克隆。作者认为这是迈向机器学习知识产权和隐私保护的第一步。

 

作者提出了一个简单而高效的算法,叫做self-undermining knowledge distillation,模型通过最大化Nasty Teacher和正常训练的对手之间的差异来优化。

 

我们在标准的知识蒸馏和 data-free的知识蒸馏方法上进行了广泛的实验,证明Nasty Teacher可以达到几乎相同的准确性(不到1%的准确性差距),而从Nasty Teacher学习的学生模型将降低准确度高达10%以上,甚至在训练过程中出现分歧。

 

       03       

 

Methodology

 

Revisiting Knowledge Distillation

 

Knowledge Distillation是由Hinhon等人提出的,被广泛应用的一种模型压缩手段。其训练的优化目标如下:

 

其中和分别是KL散度和交叉熵损失,和分别表示老师和学生模型,该式旨在让学生模型学习老师模型的logit和ground true labels。并使用了softmax temperature。logit是老师模型输出的对于各个类别的概率预测值。

 

学习logit的一个非常感性的认知是:除了正例GroundTruth之外,负例也携带了很多有价值的信息。比如说:我们针对MNIST分类中,0~9的数字中,7和1写起来很像,但是7和5就很不像,GroundTruth只告诉了我们,这个图片是7,但是logit还告诉了我们:这个图片大概率是7,小概率是1,几乎不太像其他数字。这其中携带了的信息量,也就是我们希望学生模型通过知识蒸馏学到的。

 

Nasty Teacher

 

这里将介绍Nasty Teacher的优化函数设计,其旨在保证模型精度的条件下最大化对抗网络(攻击者使用的学生模型)和Nasty Teacher的KL散度,那幺下式就很容易理解了:

 

       04       

 

Experiments

 

 

上表展示了正常老师模型和Nasty Teacher在CIFAR10上的性能比较,可以发现老师模型精度相差较少而根据Nasty Teacher得到的学生模型精度明显比正常老师模型蒸馏出来的精度低。

 

 

相同的现象也出现在CIFAR100数据集上,在MobilenetV2上模仿Nasty Teacher的学生模型甚至不能训练。

 

 

相同的现象也出现在Tiny-ImageNet数据集上,可以发现在MobilenetV2上模仿Nasty Teacher的学生模型也不能训练。

 

 

上图展示了在CIFAR10数据集上,正常老师和Nasty Teacher得到的概率分布的差异,可以看出Nasty Teacher的预测分布有了很大的改变。

 

 

上图显示了用ResNet18在CIFAR10数据集上的t-SNE可视化结果,可以看出正常老师和Nasty Teacher的可视化效果差不多,这也说明了为什幺Nasty Teacher的精度和正常的差不多。

 

 

上表展示了攻击者和Nasty Teacher采用不同的模型结构的性能。

 

 

由于攻击者可能无法拥有老师模型的结构信息,所以有学生模型结构比老师模型复杂的情况出现,上表就针对这种情况进行了对应实验。

 

 

上图展示了Nasty Teacher优化目标中 对模型精度的影响曲线。

 

 

上图展示了温度 对模型精度的影响。

 

 

上图a探索了攻击者训练学生模型使用不同 的效果,可以发现不管 如何选择,Nasty Teacher都能有效的防止攻击者蒸馏,相较于较大的 ,较小的 可以相对好的实现对Nasty Teacher的蒸馏窃取。上图b则模拟真实情况下攻击者无法获取全部的训练数据,在此情况下,Nasty Teacher也能有效的防蒸馏窃取。

 

 

上表反映了data-free的知识蒸馏的结果,可以发现Nasty Teacher同样有较好的抵御蒸馏的效果。

 

 

最后作者还可视化了基于DeepInversion(一种data-free的知识蒸馏)逆向工程还原出的图片,可以普通ResNet-34生成的图像具有高的视觉保真度,而从Nasty ResNet-34生成的图片中包含了扭曲的噪音,甚至虚假的分类特征。

 

       05       

 

Conclusion

 

本文提出了一种防止模型被蒸馏窃取的Nasty Teacher,为模型部署中知识产权的保护提供了一种新思路。

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。