Press "Enter" to skip to content

《Improving OIE via Iterative Rank-Aware Learning》

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

来源:ACL2019

Improving Open Information Extraction via Iterative Rank-Aware Learning ​ arxiv.org

Abstract

 

开放信息抽取(IE)是从自然语言句子中抽取开放域内容信息的任务。开放式IE中的一个关键步骤是置信度建模,根据提取的估计分数对提取进行排序,以调整提取的内容信息的精度和召回率。本文发现,在比较从不同句子中提取的信息内容的质量时,抽取似然概率——当前有监督的开放式IE系统一种置信度量——并没有得到很好的校正。我们提出了一个额外的二元分类损失来校准可能性,使其更具全局可比性,并提出了一个迭代学习过程,其中由开放式IE模型生成的抽取内容增量地包含为训练样本,以帮助模型从试错中学习。本文在OIE2016上的实验上证明了的方法的有效性。

 

Introduction

 

Task:

 

(e.g., Barack Obama was born in Hawaii ). =>(e.g., was born in; Barack Obama; Hawaii )

 

问题:

 

对于有监督的开放式IE系统,抽取记过的置信度通常是基于模型给出的抽取似然概率来计算的,通常会产生次优排序结果,其中一个句子的错误抽取结果比另一个句子的正确抽取具有更高的可能性(分数)。本文假设这是由于训练和测试时间目标之间的脱节——模型只是在训练集上达到最优,而没有办法得到测试过程中错误结果的反馈。

 

解决方法:

以该模型产生的抽取结果作为训练样本,使用二分类损失来显式地增加正确提取的可信度,并减少错误提取的可信度。

 

Neural Models for Open IE

 

Problem Formulation

 

本文将任务转化为序列标记任务

 

s = (w1 , w2 , …, wn ):给定句子

 

r = (p, a1, a2, …, am):抽取三元组,包含一个谓语和m个参数组成的。

 

通常,r中的这些组成不需要是连续的,但是为了简化这个问题,本文假设它们是s中单词的连续跨距,并且它们之间没有重叠。

 

使用BIO标记结果,p中的单词用Bp/Ip 表示,ai中的单词用Bai /Iai 表示。

 

预测的标签yˆ 是模型根据句子-谓语对(s, v)来判断的,测试的时候,使用句子中的动词作为谓语。

 

Model Architecture and Decoding

 

本文的方法适用于任何一种根据概率来进行抽取的模型,在此,将其实例化为RnnOIE(BiLSTM堆叠的模型)。

 

Input :单词嵌入和指示此单词是否为谓词的另一个嵌入

使用softmax函数独立计算每个位置的标签概率:

置信度

利用黄金提取的最大似然估计(MLE)训练概率,缺乏明确的跨句比较概念,因此,一个句子的错误抽取结果可能比另一个句子的正确抽取结果具有更高的可信度。

 

Iterative Rank-Aware Learning

 

Binary Classification Loss

 

解决问题:跨句比较

 

给定模型θ′ ,MLE训练,执行beam搜索以生成每个谓词概率最高的结果。抽取结果会根据是否判断正确被标记为正样本或者负样本,然后作为训练样本来最小化hinge loss:

D是训练句子的集合,gθ′ 表示候选生成过程,t ∈ {1, −1}是二分的标记,cθ (s, v, yˆ) 是由标签序列的平均对数概率计算的置信度得分。

 

Iterative Learning

 

此方法的一个优势在于最初训练的模型不会改变,二分类损失只是提供额外的监督训练。

Experiments

Result

Pos:只使用正样本。

 

1、观察到在前6次迭代中,重排序和生成的AUC和F1同时增加,之后收敛,这证明了迭代训练的有效性。

 

2、使用正样本和负样本始终优于仅使用正样本,这表明提供系统所犯错误的必要性。

 

Case Study

可以看到重新排序后的顺序与标记一致,显示了附加损失函数在校准置信度方面的效果;并看到了对长抽取内容的有效性。

迭代训练后发现的正确抽取(第一个示例),以及消失的错误抽取(第二个示例)。

 

Error Analysis

1、“Overgenerated predicate”是指谓词被过度生成,所有动词都用作候选谓词。

 

2、“Wrong argument” 主要是由于将事实中的多个抽取结果合并为一个造成的。

 

3、“Missing argument”模型没有抽取出结果。

 

2、3的两种错误通常发生在句子结构复杂、涉及共指的情况下。

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注