Press "Enter" to skip to content

论文浅尝 – ACL2021 | 探讨跨句事件联合抽取问题

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

转 载公众号 |  浙大 KG

 

论文题目: MLBiNet: A Cross-Sentence Collective Event Detection Network

 

本文作者: 娄东方、廖智霖、邓淑敏、张宁豫、陈华钧 ( 浙 江大 学)

 

接收会议: ACL 2021

 

论文链接: https://arxiv.org/pdf/2105.09458.pdf

 

开源代码: https://github.com/zjunlp/DocED

 

欢迎转载,转载请注明出处

 

 

引言

 

跨句事件抽取旨在研究如何同时识别篇章内多个事件。我们提出多层双向网络MLBiNet(Multi-Layer Bidirectional Network)融合跨句语义和关联事件信息,从而增强内各事件提及的判别。首先,为建模句子内部事件关系,我们提出双向解码器用于同时捕捉前向和后向事件依赖;然后,我们利用信息聚合器汇总句子语义和事件提及信息;最后,通过迭代多个由双向解码器和信息聚合器构造的单元,并在每一层传递邻近句子的汇总信息,最终感知到整个文档的语义和事件提及信息。实验表明,跨句语义信息和事件依赖关系对事件抽取有效,我们的方法在ACE05数据集上取得最优表现。

 

一、前言

 

事件抽取包括事件触发词检测( 识别事件触发词,并明确所触发事件的类型 )和属性抽取( 识别触发事件的属性,并标注各属性对应角色 )两个子任务。例如,“He died in hospital”中“died”作为一个Die类型事件的触发词,该事件中,属性“He”的角色为Person, “hospital”的角色为Place. 本文主要探讨事件触发词检测任务中的跨句触发词联合抽取问题。

 

 

图1  ACE05样例

 

当下,事件触发词检测任务面临的挑战主要包括:(1) 句子上下文表示及篇章级信息整合 [1],[2]。候选触发词类型的判定一般需要结合上下文信息,包括关联实体信息(类型等)、其他候选触发词等。例如,图1中句子3中的“firing”可能是开枪(触发Attack事件)或离职(触发End_Position事件),Attack事件的确立需要融合句子2,4等的信息。(2) 句内和句间事件关联性建模 [1],[3]。句4包含事件触发词fight和death,ACE05数据集中超过40%触发词如此共现;类似句2、句3和句4中的连续关联事件同样普遍。因此,建模事件之间依赖对于同时抽取句子、跨句多事件尤为重要。

 

现有方法主要专注于句子级事件抽取,忽略了存在于其他句子中的信息。通过对事件抽取benchmark数据集ACE05的分析,我们得出如下结论。(1)可将事件触发词检测任务视为一个Seq2Seq任务,其中,source序列为文本篇章或句子,target序列是事件标签序列。对应基于RNN的encoder-decoder框架能有效处理该类问题,其中encoder建模丰富的上下文语义信息,decoder在解码过程中捕捉标签的依赖性。(2)对于当前句子,与之关联最密切的信息主要存在于邻近句子,相距较远的文本影响较小。

 

基于上述现象和结论,我们提出基于encoder-decoder框架的多层双向网络MLBiNet,尝试融合跨句语义和事件信息以提升事件触发词检测效果。

 

二、方法

 

 

模型包括四部分:语义编码器、双向解码器、信息整合层、多层双向打标器等。其中,语义编码层由BiLSTM和自注意力机制构成;双向解码层融合前向解码和后向解码,有助于捕捉双向事件依赖关系;信息整合层基于简单LSTM结构整合句子内部事件标签信息和语义信息;多层双向打标器则逐层传递邻近句子信息,最终捕捉更大邻域范围内的语义和事件信息,进而实现跨句事件联合抽取。

 

具体而言,双向解码器(给定输入文本,target序列的长度已知,它与输入文本等长)表达如下:

 

 

其中,编码器和解码器定义为

 

 

对于多层双向打标器,它的结构主要约束包括:(1)信息传递只发生在相邻句子间;(2)当前句子中的所有token可见跨句信息是相同的;(3)随着层数增加,较远距离的句子信息可被当前句子获取到;(4)每层的双向打标器都由一个双向解码器和一个信息整合层构成。对于第k层事件标签向量信息计算方法为:

 

 

其中,

 

表示邻近句子在上一层中整合得到的信息。最终事件标签向量

 

.

 

三、实验

 

我们在ACE05数据集上进行了试验,如下两个表所示,我们的方法在不同维度都能取得较好的效果。双向解码器有效,它在1层时较之于HBTNGMA更优;跨句信息整合有意义,多层网络下,我们的方法在单事件句子和多事件句子的抽取效果都得到提升。

 

 

 

模块剖析进一步了验证双向解码器和信息整合层的作用。具体而言,双向解码器较之于单向方法显着更优;层数增加情况下,不同解码机制下的效果都能得到提升;不同信息整合机制也能引起一定表现变动。

 

 

 

四、总结与展望

 

在本文中,我们提出了一种跨句事件触发词联合识别方法MLBiNet,它能同时实现篇章信息整合和跨句事件依赖建模,最终实验证明该方法能有效提升事件触发词识别效果。接下来,我们可尝试将该方法的推广到其他篇章级信息抽取任务(Docred, NER等),整合跨句语义信息,并建模标签关系。

 

[1] Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. EMNLP2018

 

[2] Document embedding enhanced event detection with hierarchical and supervised attention. ACL2018

 

[3] Jointly multiple events extraction via attention-based graph information aggregation. EMNLP2018

 

[4] Event extraction via dynamic multi-pooling convolutional neural networks. ACL2015

 

[5] Edge-enhanced graph networks for event detection with syntactic relation. EMNLP2020

 

[6] Meta-learning with dynamic-memory-based prototypical network for few-shot event detection. WSDM2020

 

[7] Event extraction as multi-turn question answering. EMNLP2020

 

[8] A joint neural model for information extraction with global features. ACL2020

 

[9] Exploiting the ground-truth: An adversarial imitation based knowledge distillation approach for event detection. AAAI2019

 

[10] Exploiting argument information to improve event detection via supervised attention mechanisms. ACL2017

 

[11] Graph convolutional networks with argument-aware pooling for event detection. AAAI2018

 

[12] Event detection with multi-order graph convolution and aggregated attention. EMNLP2019

 

[13] Ontoed: Low-resource event detection with ontology embedding. ACL2021

 

[14] Docred: A large-scale document-level relation extraction dataset. ACL2019

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注