Press "Enter" to skip to content

帮BERT瘦身!我们替你总结了BERT模型压缩的所有方法

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

大数据文摘出品

 

来源: mitchgordon

 

编译: 大萌、楚阳、钱天培

 

2018年10月,Google AI团队推出了Bert,可以说 Bert 一出生就自带光环。

 

在斯坦福大学机器阅读理解水平测试SQuAD1.1中,Bert在全部两个衡量指标上,全面超越人类表现。并且在另外11种不同NLP测试中均创造了历史以来最好成绩,将GLUE基准提升7.6%,将MultiNLI的准确率提提升5.6%。

 

然而目前最大的BERT模型具备3.4亿个参数,这个拥有12层神经网络的“多头怪”(这里指 BERT-Base,BERT-Large有24层 ),在 4个 Cloud TPU 上需要训练 4 天( BERT-Large需要16个Cloud TPU ),如此高的训练成本让许多想尝试的同学望而却步,并且 很难和现在的智能手机兼容。

 

于是,BERT压缩模型的研究就显得很有前瞻性。

 

本文将介绍目前有关BERT模型压缩的六大有效方法,以及相关论文。

 

BERT六大瘦身大法

 

网络剪枝: 包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵,或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝,还有一些模型通过正则化方法实现剪枝。

 

低秩分解: 即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存,也可以用到前馈层或自注意力层的参数矩阵中以加快模型训练速度。

 

知识蒸馏: 通过引入教师网络用以诱导学生网络的训练,实现知识迁移。教师网络拥有复杂的结构用以训练出推理性能优越的概率分布,是把概率分布这部分精华从复杂结构中“”出来,再用其指导精简的学生网络的训练,从而实现模型压缩,即所谓知识蒸馏。另外,从BERT模型中蒸馏出不同的网络结构如LSTMs等,以及对教师网络结构的进一步挖掘都有望实现知识蒸馏这一方法的不断优化。

 

参数共享: ALBERT是谷歌提出的BERT改进版,其改进之一就是参数共享。全连接层与自注意力层都实现参数共享,即共享了编码器中的所有参数,这样一来,不仅减少了参数量还提升了训练速度。

 

量化: 即通过减少每个参数所需的比特数来压缩原始网络,可以显着降低内存。

 

预训练和Downstream: 模型压缩可以在模型训练时进行也可以在模型训练好之后进行。后期压缩使得训练更快,通常不需要训练数据,而训练期间压缩可以保持更高的准确性并导致更高的压缩率。

 

论文列表和结果对比

 

还有针对论文的贴心分类,下图拿好不谢:point_down:

 

 

对比所有论文内容后,我们也对以下指标进行了对比: 参数减少,推理加速和准确性。

 

对比后很容易得出赢家: 我会选择ALBERT,DistilBERT,MobileBERT,Q-BERT,LayerDrop,RPP。

 

 

相关论文下载链接如下:

 

Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning

 

https://openreview.net/forum?id=SJlPOCEKvH

 

Are Sixteen Heads Really Better than One?

 

http://arxiv.org/abs/1905.10650

 

Pruning a BERT-based Question Answering Model

 

http://arxiv.org/abs/1910.06360

 

Reducing Transformer Depth on Demand with Structured Dropout

 

https://openreview.net/forum?id=SylO2yStDr

 

Reweighted Proximal Pruning for Large-Scale Language Representation

 

https://openreview.net/forum?id=r1gBOxSFwr&noteId=r1gBOxSFwr

 

Structured Pruning of Large Language Models

 

http://arxiv.org/abs/1910.04732

 

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

 

https://openreview.net/forum?id=H1eA7AEtvS

 

Extreme Language Model Compression with Optimal Subwords and Shared Projections

 

https://openreview.net/forum?id=S1x6ueSKPr

 

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

 

http://arxiv.org/abs/1910.01108

 

Distilling Transformers into Simple Neural Networks with Unlabeled Transfer Data

 

http://arxiv.org/abs/1910.01769

 

Patient Knowledge Distillation for BERT Model Compression

 

http://arxiv.org/abs/1908.09355

 

TinyBERT: Distilling BERT for Natural Language Understanding

 

https://openreview.net/forum?id=SJxjVaNKwB

 

MobileBERT: Task-Agnostic Compression of BERT by Progressive Knowledge Transfer

 

https://openreview.net/forum?id=SJxjVaNKwB

 

Q8BERT: Quantized 8Bit BERT

 

http://arxiv.org/abs/1910.06188

 

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT

 

http://arxiv.org/abs/1909.05840

 

其他相关论文

 

最后,如果你想了解更多关于BERT压缩的内容,还可以阅读以下论文:point_down:

 

Sparse Transformer: Concentrated Attention Through Explicit Selection

 

https://openreview.net/forum?id=Hye87grYDH

 

Lightweight and Efficient Neural Natural Language Processing with Quaternion Networks  Adaptively Sparse Transformers

 

https://openreview.net/forum?id=Hye87grYDH

 

相关报道:

 

http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html?nsukey=ybC4S8MVLPKNU7DM4%2B%2FxCchosNb%2FkQMH1xRWEJPoH2FK3VqSg%2FErKkMaFO%2FrSEv6t%2BTJL%2BIGp7nGgoxN2awoKnsnE3%2FtXq4DRRnwFfOKNVUZHwTV1mT5SBMAAxEN7xJpfHBI5PGIY0Kteb%2Fq%2BUbhQQ%3D%3D

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注