Press "Enter" to skip to content

论文浅尝 | 融合多粒度信息和外部语言知识的中文关系抽取

论文笔记整理:吴涵,天津大学硕士,研究方向:自然语言处理

 

 

Paper: https://www.aclweb.org/anthology/P19-1430/

 

Code:https://github.com/thunlp/Chinese_NRE

 

引入

 

中文 NER 问题在很大程度上取决于分词的效果,所以在中文 NER 问题中,学者们通常先对文本进行分词然后再预测序列中单词的类别。这样一来会导致一个问题,即在分词中造成的错误会影响到 NER 的结果。

 

如果单纯采用字向量的话会导致拆开了很多并不应该拆开的词语,从而丢失了它们本身的内在信息(比如“人生”这个词如果拆成字向量就成了“人”和“生”,这两个字的单独含义明显与它们组合起来的词的含义大相径庭)。为了解决这个问题,该论文使用了一种新型的格子结构( latticestructure ),它能够将单词本身的含义加入基于字向量的模型中,并引入义原作为外部知识。

 

文章摘要

 

本文在 ACL2018 的一篇论文《 ChineseNER Using Lattice LSTM 》上加以改进,加入了义原作为外部知识,可以更好地理解语义信息。

 

 

由于同时考虑了词格作为一个 cell ,自然网络中路径就变多,所以要对于基本的 LSTM 网络的计算公式加以修改:

 

 

对词格结尾的字符(如图中的“市”)进行计算时,会有一点不同:由于向“市”的 cell 有两个信息流的输入,故需要再加一个 inputgate ,两个门同时通过不同的信息流,需要设置权重:

 

 

本文模型:引入义原作为外部知识

 

 

加入义原后,计算时,在词格 cell 状态的计算上考虑不同义项带来的影响,并为不同的义项设置不同的权重:

 

 

实验结果 :

 

 

通过与基于词粒度和字符粒度模型进行比较,可以得出,加入义原的多粒度模型可以获得更好的效果,同时,词格模型也是性能提升的重要原因。

 

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注