Press "Enter" to skip to content

BERT 之后的故事

 

作者 | 一轩明月

 

整理 | NewBeeNLP

 

 

 

BERT 通过改变 NLP 模型的训练方式迎来了 NLP 领域的 ImageNet 时刻。自此之后的预训练模型分别尝试从 mask 范围,多语言,下文预测,模型轻量化,预训练方式,模型大小,多任务等方向 谋求新突破,有的效果明显,有的只是大成本小收益。

 

自 2018 年 BERT 提出之后,各种预训练模型层出不穷,模型背后的着眼点也各有不同,难免让人迷糊。本文旨在从以下几个方面探讨系列 Transformers 研究方向:

 

扩大遮罩范围(MaskedLM)

 

下文预测(NextSentencePrediction)

 

其他预训练方式

 

轻量化

 

多语言

 

越大越好?

 

多任务

 

要说 BERT 为什幺性能卓越,主要是它改变了 NLP 模型的训练方式。先在大规模语料上训练出一个语言模型,然后将这个模型用在阅读理解/情感分析/命名实体识别等下游任务上

 

 

Yann LeCun 将 BERT 的学习方式称为“自监督学习”,强调模型从输入内容中学习,又对其中部分内容进行预测的特点。而 BERT 本身实际算是是基于 Transformer 编码器部分改进而来的多任务模型,会同时执行遮罩语言模型学习以及下文预测任务,以此习得潜藏语义。

 

扩大遮罩范围改进 MaskedLM

 

遮罩语言模型里的“遮罩”,通常是分词后一小段连续的 MASK 标记

 

 

相比于从上下文中猜整个词,给出 ##eni##zation 猜到 tok 显然更容易些。

 

也正因单词自身标识间的联系和词与词间的联系不同,所以 BERT 可能学不到词语词间的相关关系。而只是预测出词的一部分也没什幺意义,预测出整个词才能学到更多语义内容。所以拓展遮罩范围就显得十分重要了:

 

字词级遮罩——WWM

 

短语级遮罩——ERNIE

 

缩放到特定长度——N-gram 遮罩/ Span 遮罩

 

短语级遮罩使用时得额外提供短语列表,但加上这样的人工信息可能会干扰模型导致偏差。T5 尝试了不同跨度的遮罩,似乎长一些的会好点

 

 

可以看到初期扩大跨度是有效的,但不是越长越好。SpanBERT 有一个更好的解决方案,通过概率采样降低对过长遮罩的采纳数量。

 

 

从 SpanBERT 的实验结果来看随机跨度效果不错

 

 

此外,也有模型尝试改进遮罩比例。Google 的 T5 尝试了不同的遮罩比例,意外的是替代项都不如原始设置表现好

 

 

下文预测

 

准确地讲应该是下一句预测(NextSentencePrediction,NSP),通过判断两个句子间是否是上下文相关的来学习句子级知识。从实验结果来看,BERT 并没有带来明显改进

 

 

BERT 的欠佳表现给了后来者机会,几乎成了兵家必争之地。XLNET / RoBERTa / ALBERT 等模型都在这方面进行了尝试

 

RoBERTa

 

 

ALBERT

 

 

XLNet

 

 

可以看出 NSP 带来的更多的是消极影响。这可能是 NSP 任务设计不合理导致的——负样本是从容易辨析的其他文档中抽出来的,这导致不仅没学到知识反而引入了噪声。同时,NSP 将输入分成两个不同的句子,缺少长语句样本则导致 BERT 在长句子上表现不好。

 

其他预训练方式

 

NSP 表现不够好,是不是有更好的预训练方式呢?各家都进行了各种各样的尝试,私以为对多种预训练任务总结的最好的是 Google 的 T5 和 FaceBook 的 BART

 

T5 的尝试

 

 

 

BART 的尝试

 

 

各家一般都选语言模型作为基线,而主要的尝试方向有

 

挡住部分标识,预测遮挡内容

 

打乱句子顺序,预测正确顺序

 

删掉部分标识,预测哪里被删除了

 

随机挑选些标识,之后将所有内容前置,预测哪里是正确的开头

 

加上一些标识,预测哪里要删

 

替换掉一些标识,预测哪里是被替换过的

 

试验结果如下

 

 

 

实验表明遮罩模型就是最好的预训练方法。要想效果更好点,更长的遮罩和更长的输入语句似乎是个不错的选择。而为了避免泄露具体挡住了多少个词,每次只能标记一个遮罩,对一个或多个词做预测

 

轻量化

 

BERT 模型本身非常大,所以为了运行更快,模型轻量化也是一大研究方向。一网打尽所有 BERT 压缩方法 [1] 对此有细致描述,主要分几个方向:

 

修剪——删除部分模型,删掉一些层 / heads 等

 

 

矩阵分解——对词表 / 参数矩阵进行分解

 

 

知识蒸馏——师生结构,在其他小模型上学习

 

 

参数共享——层与层间共享权重

 

 

数据集在不同语言间分布的非常不均匀,通常是英语数据集很多,其他语言的相对少些,繁体中文的话问题就更严重了。而 BERT 的预训练方法并没有语言限制,所以就有许多研究试图喂给预训练模型更多语言数据,期望能在下游任务上取得更好的成绩。

 

谷歌的 BERT-Multilingual 就是一例,在不添加中文数据的情况下,该模型在下游任务上的表现已经接近中文模型

 

 

有研究 [2] 对多语言版 BERT 在 SQuAD(英语阅读理解任务)和 DRCD(中文阅读理解任务)上进行了测试。最终证明可以取得接近 QANet 的效果,同时多语言模型不用将数据翻译成统一语言,这当然要比多一步翻译过程的版本要好。

 

从上面的结果可以看出无论是用 Embedding 还是 Transformer 编码器,BERT 都学到了不同语言间的内在联系。另有研究 [3] 专门针对 BERT 联通不同语言的方式进行了分析。

 

首先,在相同的 TLM 预训练模型中对不同语言建立关联

 

 

然后,通过控制是否共享组件来分析哪个部分对结果影响最大

 

结果是模型间共享参数是关键

 

这是因为 BERT 是在学习词和相应上下文环境的分布,不同语言间含义相同的词,其上下文分布应该很接近

 

而 BERT 的参数就是在学习期间的分布,所以也就不难理解模型在多语言间迁移时的惊人表现了

 

越大越好?

 

尽管 BERT 采用了大模型,但直觉上数据越多,模型越大,效果也就应该更好。所以很多模型以此为改进方向

 

 

T5 更是凭借 TPU 和金钱的魔力攀上顶峰

 

 

然而更大的模型似乎并没有带来太多的回报

 

 

所以,简单增大模型规模并不是最高效的方法。

 

此外,选用不同的训练方法和目标也是一条出路。比如,ELECTRA 采用新型训练方法保证每个词都能参与其中,从而使得模型能更有效地学习表示(representation)

 

 

 

ALBERT 使用参数共享降低参数量,但对性能没有显着影响

 

 

 

BERT 是在预训练时使用多任务,我们同样可以在微调时使用多任务。微软的用于自然语言理解的多任务深度神经网络 [4] (MTDNN)就是这幺做的

 

 

相交于 MTDNN,GPT-2 更加激进:不经微调直接用模型学习一切,只用给一个任务标识,其余的交给模型。效果出众但仍称不上成功

 

T5 对此做了平衡

 

 

谷歌的 T5 类似于 GPT-2,训练一个生成模型来回答一切问题。同时又有点像 MTDNN,训练时模型知道它是在同时解决不同问题,它是一个训练/微调模型

 

同时,大体量预训练模型都面临相同的两个难题:数据不均衡和训练策略选定

 

不均衡数据

 

不同任务可供使用的数据量是不一致的,这导致数据量小的任务表现会很差。数据多的少采样,数据少的多采样是一种解决思路。BERT 对多语言训练采用的做法就是一例

 

为平衡这两个因素,训练数据生成(以及 WordPiece 词表生成)过程中,对数据进行指数平滑加权。换句话说,假如一门语言的概率是

,比如意味着在混合了所有维基百科数据后, 21% 的数据是英文的。我们通过因子 S 对每个概率进行指数运算并重新归一化,之后从中采样。我们的实验中,

,所以像英语这样的富文本语言会被降采样,而冰岛语这样的贫文本语言会过采样。比如,原始分布中英语可能是冰岛语的 1000 倍,平滑处理后只有 100 倍

 

训练策略

 

 

无监督预训练+微调:在 T5 预训练后对各任务进行微调

 

多任务训练:所有任务和 T5 预训练一同训练学习,并直接在各任务上验证结果

 

多任务预训练+微调:所有任务和 T5 预训练一同训练学习,然后对各任务微调训练数据,再验证结果

 

留一法多任务训练:T5 预训练和目标任务外的所有任务一同进行多任务学习,然后微调目标任务数据集,再验证结果

 

有监督多任务预训练:在全量数据上进行多任务训练,然后对各任务微调结果

 

可以看到先在海量数据上进行训练,然后对特定任务数据进行微调可以缓解数据不平衡问题。

 

 

本文参考资料

[1]

一网打尽所有 BERT 压缩方法: http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html

[2]

研究: https://arxiv.org/pdf/1909.09587

[3]

研究: https://arxiv.org/pdf/1911.01464

[4]

用于自然语言理解的多任务深度神经网络: https://arxiv.org/pdf/1901.11504

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注