Press "Enter" to skip to content

论文浅尝 | 知识库问答中关系检测的学习表示映射

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

论文笔记整理:吴涵,天津大学硕士,研究方向:自然语言处理。

 

 

链接:

 

Paper: https://arxiv.org/pdf/1907.07328v1.pdf

 

Code: https://github.com/wudapeng268/KBQA-Adapter

 

引入

 

在关系检测任务中,对于训练数据中已出现的关系,往往可以得到很好的准确度。但是对于未出现的关系,检测性能将会大幅衰减。主要原因是我们没有去表示这些未出现的关系。

 

文章摘要

 

关系检测是包括知识库问答在内的许多自然语言过程应用的核心步骤。目前能得到较高的准确度,是因为关系已在训练数据中。当应对未出现过的关系时,性能将迅速下降。造成这一问题的主要原因是未出现关系的表示形式缺失。为此,本文提出了一种简单的映射方法——表示适配器 (representation adapter) ,该方法基于先前学习的关系嵌入来学习已出现和未出现关系的表示映射。利用对偶目标和重构目标来提高映射性能。重新组织了 SimpleQuestion 数据集来揭示和评估未出现关系的检测问题。实验表明,本文方法要优于当前的一些方法。

 

本文主要看点

 

1 、不从训练数据中学习该关系表示,而是使用方法来从整个知识图谱中学习具有更广泛覆盖范围的表示。

 

2 、提出了一种映射机制,称为表示适配器,或者简称为适配器,用以将学习到的表示合并到关系检测模型中。从适配器非平凡训练的简单均方误差损失入手,提出将对抗性和重构目标结合起来,以改进训练过程。

 

3 、将 SimpleQuestion 数据集重新组织为 SimpleQuestion-Balance ,以分别评估已出现和未出现关系的性能。

 

4 、实验表明,该论文提出的方法在检测未出现关系方面取得了很大的进步。

 

Representation Adapter 介绍

 

Representation Adapter 架构图如下:

 

 

其中,左边是基本适配器 ; 中间是对抗性适配器 ; 右边是带重构损耗的适配器。

 

应用

 

将适配器集成到最先进的关系检测框架中 (Yu et al. , 2017, hierarchy Residual BiLSTM (HR-BiLSTM)) 。

 

该框架使用问题网络将问题句编码为矢量 qf ,使用关系网络将关系编码为矢量 rf 。这两个网络都是基于 Bi-LSTM 和最大池化操作。然后引入余弦相似度来计算 qf 与 rf 之间的距离,从而确定检测结果。论文提出的适配器是关系网络中用来增强该框架的一个附加模块,如下图所示:

 

与以往的方法不同,该论文在关系表示中使用了所提出的适配器 G( · ) 来解决未出现关系检测的问题。共享的 Bi-LSTM 用相同的颜色标记。适配器映射依赖于特定任务的关系,而特定任务又依赖于相应的网络。

 

线性映射:表示相似语言的表示空间可以通过线性映射传递。

 

 

G( · ) 在 GaN 中充当生成器。对于从训练集取样的任何关系,鉴别器的损耗 loss D和生成器损耗 loss G的目标函数是:

 

 

这里对于 D( · ) ,使用了一个前馈神经网络,没有最后一层的 Sigmoid 函数。

 

通常,适配器只能通过已出现关系的表示来学习映射,而忽略了潜在的大量未出现的关系。在这里,该论文使用额外的重构损失来增强适配器。更具体地说,采用了反向适配器 G ’ ( · ) ,将 G ( e ) 映射回 e 。

 

引入反向训练的好处是双重的。一方面,反向适配器可以通过所有的关系表示进行训练,无论是已出现的还是未出现的。另一方面,反向映射也可能成为规范正向映射的额外约束。

 

对于反向适配器 G ’ ( · ) ,只使用类似于 G( · ) 的线性映射函数,并使用均方误差损失来训练它:

 

 

关系检测模型由 hinge 损失训练,该方法试图将每一个负样本关系与正样本关系的分数使用差值分隔开:

 

 

其中γ是试图将每一个负关系从正关系中分离出来的范围, rf +是标注训练数据的正关系, rf -是从其余关系中抽取的负关系, s( ·,· ) 是 qf 与 rf 之间的余弦距离。

 

数据集

 

SimpleQuestion 是一个大规模的 KBQA 数据集。在 SQ 中的每个样本包括一个人工注释的问题和相应的知识三元组。但是,测试集中的关系是不平衡的,测试集中的大部分关系都在训练数据中得到了体现。为了更好地评估未出现关系的检测性能,该论文重新组织了 SQ 数据集,以平衡开发和测试集中已出现和未出现的关系的数量,新的数据集表示为 SimpleQuestion-Balance(SQB) 。

 

实验结果

 

1 、关系检测在 SQB 数据集上的微观平均精度和宏观平均精度。

 

 

2 、采用不同的关系检测模型对整个 KBQA 系统的微观平均精度进行了测试。

 

 

3 、在测试未出现关系的集合中,计算了该预测率的宏观平均精度。

 

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注