Press "Enter" to skip to content

论文浅尝 | GNN with Generated Parameters for Relation Extraction

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

论文笔记整理:申时荣,东南大学博士生。

 

 

地址: https://arxiv.org/pdf/1902.00756.pdf

 

来源: ACL2019

 

在许多自然语言处理任务(例如关系提取)中,多跳关系推理是必不可少的,而图神经网络(GNN)是进行多跳关系推理的最有效方法之一。

 

 

但是,大多数现有的GNN只能在预定义图上处理多跳关系推理,而不能直接应用于自然语言关系推理中。也就是说,如果对于图中的节点和边无法提前定义的话,传统的图模型方法就不适用。于是本文提出了一种通过自然语言来生成图模型中边的参数的方法,来定义新的图模型结构。本质上是通过无结构数据构建实体间信息传递的参数矩阵,不局限于预定义的图结构。其整体框架如下图所示:

 

 

Graph Neural Network with Generated Parameters (GP-GNNs)实现细节:

 

1. 定义全连接的图

 

 

其中节点对应所有的entities,边对应语料中提取的特定的自然语言序列。

 

2. 编码模块,通过对边对应的自然语言序列进行编码(特征提取),将非结构化数据映射到一个转移矩阵。其中自然语言的编码过程和传统方法一致,通过嵌入层和LSTM,GRU或CNN进行编码。

 

 

在文章里使用了BiLSTM对句子进行编码,之后使用带有非线性激活函数的多层感知机将BiLSTM的输出转换成一高维向量,并将词向量reshape 成为一个矩阵用来传递节点信息。

 

 

3. 传递模块,这个模块做的事情和传统的GNN一致,输入是节点(entities)的初始化嵌入,通过GNN的迭代,输出经过再次编码的节点嵌入,当然,这里用的传递矩阵不是可训练的参数,而是来自编码模块输出的矩阵。

 

 

4. 分类器,这里的分类器也和传统分类器一致,输入为label(relation)的表示向量,所有节点的嵌入,输出每个类别的概率。

 

本文中,用于两个节点之间的关系推理使用了这两个节点在每一层GNN的输出信息构建了特征向量,使用多层感知机+softmax输出分类概率,

 

 

 

5. 实验及结果,

 

参数设置:

 

 

数据集:

 

Distantly labeled set Sorokin and Gurevych (2017)

 

Human annotated test set (Sorokin and Gurevych, 2017)

 

Dense distantly labeled testset
结果:

 

 

 

 

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注