Press "Enter" to skip to content

中文NER任务实验小结:BERT-MRC的再优化

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

©作者 | 邱震宇

 

单位 | 华泰证券算法工程师

 

研究方向 | NLP方向

 

 

前言

 

熟悉我的读者,应该看过我之前写过的一篇关于中文 NER 任务实践的文章(邱震宇:中文 NER 任务实验小结报告——深入模型实现细节 [1] ,在那篇文章中,我介绍了一个做 NER 任务的新范式:将实体抽取任务转化为抽取式阅读理解任务。

 

其核心思想就是将待抽取的实体标签描述作为 query 与原始的文本进行拼接,然后基于 BERT 做对应 span 的抽取。通过这种方式能够让模型学习到实体标签本身的语义信息,引入先验知识,从而提升模型的能力。在我之后的实现中,也进一步验证了这个方法的有效性。但我尝试将这个方法应用到实际场景任务时,却遇到了很多限制。

 

其中,影响最大的就是在线预测的效率。在实际场景中,我们的实体或者其他序列标注要素的标签类型通常会有很多(假定有 |C| 个),这意味着我们要将每个待预测的文本与 |C| 个标签 query 模板进行拼接得到模型输入,并需要调用 |C| 次模型的前向计算才能完成一个样本的抽取。假设 query 的最长文本长度为 n,原始文本的文本长度为 m,由于进行了 self-attention 的计算,整个计算的复杂度为,这样的在线预测效率是无法满足线上的需求的。

 

针对这个问题,我尝试了一些优化方法,但是都不太理想,最近终于在一篇  EMNLP2021 的论文中找到了比较好的方案,论文如下:Enhanced Language Representation with Label Knowledge forSpan Extraction [2] 。这篇论文提出了一个  LEAR(Label knowledge EnhAnced Representation) 模型架构,尝试优化 BERT-MRC 的一些缺陷,下面我将详细给大家描述这个方法,并对其进行有效性的验证。

 

本文涉及源码:

 

https://github.com/qiufengyuyi/lear_ner_extraction

 

 

LEAR原理

 

2.1 BERT-MRC的缺陷

 

首先,论文提到了之前使用 BERT-MRC 的方式做序列标注问题,虽然相比传统的 BERT-CRF 方法有一定的效果提升,但是仍然有两个缺陷。其中一个就是前言中提到的 效率问题 。另外一个则是 BERT-MRC 并没有充 分利用标签的知识信息 。前言中提到,BERT-MRC 引入了标签的先验知识,然而 LEAR 论文中通过对 attention 部分进行可视化分析,发现模型可能没怎幺用到 query 的信息。如图 1 所示,实体 judge 对应的高分 attention 并非如预期一样集中在问题的核心部分,而是分散在了一些无关的信息中(如 [CLS] 等 token)。

 

▲  图1 attention 可视化

 

通过上述分析,可以发现 BERT-MRC 对于先验知识的利用率并不如预期。因此,LEAR 设计了一种新的标签知识整合方式,让模型高效利用标签先验知识,同时解决 BERT-MRC 的效率和知识利用率问题。

 

2.2 LEAR模型架构

 

LEAR 的模型架构如图 2 所示。

 

▲   图2 LEAR 模型

 

其中,模型的输入分为两部分:原始的待抽取文本以及所有标签对应的描述文本(先验知识)。与 BERT-MRC 不同,我们不会将标签描述文本与原始文本进行拼接,而是使用 BERT 的编码器分别进行编码得到不同的文本表示。

 

值得注意的是,为了提升训练效率和减小模型的尺寸,原始文本和标签描述文本 共享 BERT 的编码器权重 ;之后我们引入一个标签知识融合模块,将所有标签描述文本的表示融合到原始文本中;最后我们使用引入分类器来识别待抽取 span 的 start 和 end 位置的概率分布,并使用一些 decoding 策略来抽取实体。下面,我将详细描述融合模块和分类模块的具体内容。

 

标签信息融合模块

 

假设我们通过 BERT 编码器得到了原始文本的表示以及所有标签的描述文本表示,其中 n 表示原始文本的长度,m 为标签文本的统一长度(经过 padding 之后),|C| 表示标签类别数量,d 表示 hidden_size。标签信息融合模块本质上是一个注意力机制模块,其目的就是要让模型学习到原始文本中的各个 token 会关注到标签描述文本中的哪些内容。

 

对每个标签 c,我们将视作 attention 计算中的 key 和 value 元素,将作为 attention 中的 query 元素(关于 attention 中的Q、K、V 可以参考我以前的 attention 文章介绍 Attention 机制简单总结 [3] ,进行点乘模式的 attention 计算并得到 attention 分数。在做点乘计算之前,我们参考 attention 典型的做法分别对原始文本表示和标签描述文本表示进行线性映射:

 

 

然后我们对其进行 attention 计算:

 

 

接下来就是对 value 元素应用所得到的 attention 分数进行加权求和操作,得到原始文本某个 token的 context 信息(这里在实现时要使用标签描述文本的 mask 信息,把 padding 位置的值 mask 掉):

 

 

我们接下来要做的就是将 context 信息融合到原始文本向量表示中。论文使用的方式是直接用 ADD 操作,将与 context 相加:

 

我尝试过 concat 拼接融合,最后发现效果并不如直接 add。在此架构下,add 操作的融合有更高的信息利用率。

 

之后,我们引入一个 dense layer,将最终的文本表达输出,其中激活函数使用了 tanh,相比 sigmoid,其值域更广,而且防止向量表示的绝对值过大:

 

 

最后,我们对每个文本 token、标签类别都进行上述流程,最终得到完整的融合向量表示:。

 

在模型实现时,所有标签类别和所有 token 的计算可以在一次矩阵的计算中完成。

 

span抽取分类模块

 

与 BERT-MRC 类似,LEAR 最后也是预测某个 span 的 start 和 end 的位置 token。但由于 LEAR 中将所有标签类别的预测都放在的一次前向计算中,因此最后的分类层与传统的方式有所不同。对于某个原文文本的 token,我们计算其作为某类实体的 start 概率分布:

 

 

其中,和分别是可训练的权重,而  表示 element-wise的矩阵乘法,而表示对输入矩阵中的 hidden_size 所在维度进行求和,最终得到一个 |C| 维的向量。

 

虽然上面的公式看起来还是有点绕,但实现起来也不是很复杂,在 TensorFlow 的框架下,可以这幺实现:

 

def classifier_layers(self,input_features,type="start"):
        #input features
        # batch_size,input_seq_len,num_labels,hidden_size
        # input_shape = modeling.get_shape_list(input_features)
        # batch_size = input_shape[0]
        # seq_length = input_shape[1]
        classifer_weight = tf.get_variable(
        name="classifier_weight"+"_"+type,
        shape=[self.num_labels, self.attention_size],
        initializer=modeling.create_initializer(self.bert_config.initializer_range))
        classifer_bias = tf.get_variable(name="classifier_bias"+"_"+type,shape=[self.attention_size],initializer=tf.constant_initializer(0))
        output = tf.multiply(input_features,classifer_weight)
        output += classifer_bias
        #[batch_size, input_seq_len, num_labels]
        output = tf.reduce_sum(output,axis=-1)
        return output

 

其中 tf.multiply 是一个 element-wise 矩阵乘法,且支持 broadcasting 机制。

 

2.3 span decoding

 

对于某类实体的 end 概率计算,与 start 的流程是一样的。最后每个样本将得到两个概率输出:,。根据这两个输出与预先设计的概率阈值(一般是 0.5),我们就能一次性得到所有标签类别的起始位置列表,但是要得到具体的 span 实体,还需要设计一些 decoding 策略。

 

论文中提出了两种 decoding 策略,分别为 最近距离策略 和 启发式策略 。最近距离策略就是先定位所有的 start 位置,然后找距离 start 位置最近的 token 作为 end。而启发式策略则稍微复杂一些,若定位到一个 start1 位置,不会马上决定它作为一个 span 的起始位置,若后面的 token 如果也是一个候选的 start2,且其概率还要大于 start1,则会选择新的 start2 作为 start 候选。具体大家可以参考论文后面的附录,有详细的算法流程。

 

说实话,我感觉论文中附录的算法伪代码有些问题,对于 end 位置的判断应该不需要像 start 一样选择概率最高的。另外,我自己的训练数据预处理时,对于单字成实体的情况,我的 end 位置是置为 0 的,而论文和开源代码中的设置却不同,因此不好做直接对比。

 

我自己实现时,使用的是变种的最近距离策略。因为选择与 start 最近的 end 时,有可能会越过下一个新的 start 位置,这有可能是算法本身预测有问题,或者有实体嵌套的情况(目前还未考虑嵌套实体的 case),如图 3 所示。

 

▲ 图3 最近距离decoding策略

 

我这边采取了比较简单的策略,就是在 start1 和 start2 的区间中,来定位与 start1 最近的 end 位置。那幺上图中的情况下,就不会选择 s1-e1 作为结果,而是只选择 s1 位置处的单个 token 作为结果输出:

 

 

▲ 图4 自定义的最近距离decoding策略

 

大家可以自行尝试不同的 decoding 策略,我感觉每种策略的适用场景都不一样,需要根据实际情况来判断。

 

2.4 LEAR的效率

 

LEAR 相对于 BERT-MRC 的最大优势在于其较高的 inference 效率。由于 LEAR 不需要为每个原始文本构造 |C| 个新样本,理论上 LEAR 的计算复杂度为。可以看到,这个复杂度是远小于 BERT-MRC 的,在后面的验证中,我也得到了预期的效果。

 

 

LEAR实现

 

我最近分享的一些方法大部分都经过实验并验证有效的,这次介绍的 LEAR 也不例外。论文有放出 pytorch 的源码: https://github.com/ Akeepers/LEAR 。我照例还是使用 tensorflow 来实现,最近重新看了下之前的 NER 框架代码,感觉有很多地方写的不太合理,因此我又重新开了个 repo。LEAR 的实现也不是太复杂,需要注意的地方主要有以下几个方面:

 

1. 构造模型输入时,要专门针对实体标签的描述文本进行预处理。在做 input_fn 的时候,使用 tf.data.Dataset.from_generator 来进行 batch 数据流的构建,但是我们的标签文本本来是没有 batch 概念的,所有训练样本都只用一份标签文本,因此在 model 方法定义中,要人为将 tf 添加的 batch 维度去掉:

 

if label_token_ids.shape.ndims == 3:
            label_token_ids = label_token_ids[0,:,:]
            label_token_type_ids = label_token_type_ids[0,:,:]
            label_token_masks = label_token_masks[0,:,:]
            label_token_length = label_token_length[0,:]
            label_lexicons = label_lexicons[0,:,:,:]

 

2. 原始文本和标签文本共享 encoder 参数,这里要对 google原始的 BERT 的 modeling.py 进行修改,在模型定义的时候,添加 auto_reuse 配置,同时在调用 bert 的时候,传入 scope=”bert”:

 

with tf.variable_scope(scope, default_name="bert",reuse=tf.AUTO_REUSE):

 

3. 论文和官方开源的代码都没有对 attention 计算后的分数进行 scaling。我觉得可能的原因是融合模块中的 attention 操作只有一层, 且注意力的分数并没有直接用于词 softmax 的计算,而是融合到了原始文本的向量表示中,另外在最后输出的时候使用了 tanh 进行了激活,输出的值不会太大,因此即使不做 scale,也不会产生很严重的梯度消失问题,并影响后面的分类器的计算。我这边也验证了,加入了 scaling 之后,效果相差不多。

 

最后,我将 LEAR 在中文的 MSRA 的 NER 数据集上进行了验证,同时与之前已经实现过的 BERT-MRC 进行了对比。验证指标则是考虑了实体类型后的 micro-level 的 f1 分数,具体来说我会将实体类型字符串与实体内容拼接,做去重后,进行 exact match 匹配。最终,得到的结果大体如下:

 

 

可以看到,LEAR 的效果相比 BERT-MRC 来说有一定提升,但是不够明显,但是 inference 的效率却是显着提升了,这也是我最关注的地方,这意味着这个方法可以应用在实际的业务场景中!

 

 

彩蛋!

 

因为很长时间没写文章了,所以写一次就尽量多包含点内容。为了奖励读到这边的同学,我再奉送一段额外的 NER 优化技巧。

 

读过我上一篇中文 NER 总结的同学应该记得我在那篇文章中提到尝试在 BERT 中引入词汇信息,当时尝试的办法很依赖分词的质量,且融合词汇信息的方式也比较简单。因此,这次我参考了最近比较火的一篇论文来做词汇增强:Simplify the Usage of Lexicon in Chinese NER [4] 。

 

这篇论文解读我就不做了,大家可以参考这篇:JayJay:中文 NER 的正确打开方式: 词汇增强方法总结(从 Lattice LSTM 到 FLAT) [5] 。这个方法的核心思想是先准备一份词向量和词表,然后对当前所有语料中的文本字符统计其分别属于 BMES 的信息,B 代表词的开头,M 代表词的中间,E 代表词的结束,S 代表单独成词。

 

假设对于某个 token x,若某个样本 A 中存在片段 span,其开头为 x,则将 span 对应的词向量添加到 B 对应的列表中,其他类型同样操作。最后,我们将每个类型中的词向量做加权平均,得到增加的词汇信息与原始的 token 向量表示拼接。

 

 

▲ 图5 词汇增强方法

 

这个方法实现的最大难点在于如何快速找到包含某个字符,且符合特定位置关系的 span 词。原论文开放了代码:

 

https://github.com/v-mipeng/LexiconAugmentedNER

 

其使用了 trie 数来构建词典树,这也是海量字符串匹配场景中会使用的一种方法。我在实现的时候,没有用这种方式,为了快速得到效果,使用了一种比较基础的方式,就是在数据预处理的时候,将每个字符对应的 BMES 的词列表信息都预先存储起来,在模型输入的时候直接读取信息,这样做速度不慢,但是对内存的要求就比价高了,类似于空间换时间。

 

另外,在使用 tensorflow 实现完整的功能时,我发现坑有点多。因为静态图中,你要将每个字符的 BMES 词表序列作为输入传到模型图中,然后用 embedding_lookup 分别找到词对应的词向量,再做加权平均,而每个字符实际的 BMES 词表 size 都不一样,这意味着更多 padding 和 mask 的处理,想想都头大。。。所以我偷了个懒, 不让词汇增强部分参与训练 , 而是将其作为固定的向量表示与原始 token 向量拼接 ,看其是否仍有增益的效果,结果居然也有一定的增益,结合 LEAR 架构,我得到了如下的结果:

 

 

TIPS:我在构建词表的时候,为了提高速度,将出现频率小于 5 的词都过滤掉了。

 

可以看到增加了词汇增强信息后,LEAR 的效果有一定的提升。如果对这个方法感兴趣,可以尝试实现完整功能的增强,让增强信息也参与到模型学习中,最后应该会有很大的提升。

 

 

小结

 

本文主要介绍了一种优化 BERT-MRC 的方法,针对其预测效率低、没有充分利用标签信息的两个缺陷,设计了一种专门针对标签文本的注意力机制融合方法,在提升模型效果的同时,大大提升了基于 MRC 做 NER 的效率,使其能够应用在实际的业务场景中。另外,本文也额外介绍了一种不依赖于分词工具的词汇增强方法,经过验证,证明其与其他 BERT 类的方法结合能够提升模型的抽取效果。

 

 

参考文献

 

 

[1] https://zhuanlan.zhihu.com/p/103779616

 

[2] https://aclanthology.org/2021.emnlp-main.379.pdf

 

[3]  https://zhuanlan.zhihu.com/p/46313756

 

[4] https://aclanthology.org/2020.acl-main.528.pdf

 

[5] https://zhuanlan.zhihu.com/p/142615620

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注