Press "Enter" to skip to content

论文浅尝 – ACL2020 | Segmented Embedding of Knowledge Graphs

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

来源: ACL2020

 

链接: https://arxiv.org/pdf/2005.00856.pdf

 

摘要

 

知识图谱的嵌入愈发变成AI的热点之一,对许多下游任务至关重要(如个性化推荐、问答等)

 

同时,此模型强调两个关键特性:

 

利用足够多的特征进行交叉计算(分块)

 

同时在计算时,区别对称关系、非对称关系特征

 

本文的贡献有两个:

1.提出了

轻量级框架SEEK

,同时满足模型低复杂性、高表达力

2.提出了新的

打分函数
,同时完成特征整合、关系留存

1 引言

 

知识图谱 knowledge graph (KG)含有大量的实体和关系,表示为三元组(h, r, t),即(头实体 , , 尾实体)

 

知识图谱嵌入(KGE)是为了,把大量相关的三元组映射到低维空间(保留潜在的语义信息)现有的KGE模型存在的问题:不能很好地平衡 模型复杂性 (模型参数的数量)和 模型表达力 (获取语义信息的能力),如下分为两类:

 

1)模型简单、表达有限
如:TransE、DistMult (简单易用,获取语义信息的能力欠佳)

 

2)模型复杂、表达力强
如:TransH、TransR、Single DistMult、ConvE、InteractE (模型复杂,需要大量向量计算,扩展性差)

 

本文的轻量级KGE框架SEEK有如下特性: 特征有交互 、 保留关系特性 、 高效的打分函数 、

 

特征交互:把嵌入空间分为多块,让各块之间有关联(而不用增加模型参数)

 

关系特性:同时保留对称的、非对称的关系(对称关系:双向关系;非对称关系:单向关系)

 

打分函数:结合上述两种特征,计算得分(来自于3个模型的打分函数:DistMult、HoIE、ComplEx)

 

2 SEEK的框架

 

各种打分函数是KGE(knowledge graph embedding )的基础,基于此我们建立了SEEK本文提出的SEEK模型的参数和TransE、DistMult一样少,却能更好地表达图谱。

 

2.1 得分函数的Design

 

SEEK 在得分函数的设计中,迭代了四个版本,逐一看下。

 

f 1 : Multi-linear Dot Product:

 

下图是公式,具体是计算头实体 h,尾实体 t,关系 r 之间的点乘。这个是以下公式的基础。

 

 

f 2 : Multi-linear Dot Product Among Segments:

 

将嵌入维度划分为多段,考虑段与段之间的信息交互。其中 k 是段的个数,d是维度,x 代表关系向量 r 切分后的第 x 段,y 代表头实体向量 h 切分后的第 y 段,w 代表尾实体向量 t 切分后的第 w 段。

 

例如,我们可以将关系向量嵌入表示为:

 

 

 

f 3 : Modeling both Symmetric and Antisymmetric Relations:

 

我们需要考虑关系的对称性和反对称性。

 

对于 f 2 模型来说,当给一个具有对称性的关系 r 和一个三元组 (h, r, t),存在f 2 (h, r, t) = f 2 (t, r, h),但是对于给定一个反对称关系 r ,仍然存在f 2 (h, r, t) = f 2 (t, r, h) ,这就是不对的,因为此时的 f 2 (t, r, h) 是一个错的三元组。

 

为了考虑关系的对称性和反对称性,将关系向量 r 的切割分为奇数和偶数两部分,并引入变量 S x,y ,偶数部分能够捕捉对称性,并且奇数部分能够捕捉反对称性。

 

 

 

其中 S x,y 控制了关系向量的切割点为奇数与偶数时三元组的正负关系。 下面是分成 2 段的一个例子

 

 

f 4 : Reducing Computing Overheads

 

优化计算复杂度。

 

f3 算法的时间复杂度是 O(n 2 ) 级别的,还是较高,f4优化了其复杂度,降至 O(n 2 ) 。

 

对尾实体 t 引入变量W x,y ,具体的计算公式如下,也是分为奇数偶数部分, k 为分割段数,S x,y 计算和f 3 一样。

 

 

 

其中由于 W x,y 的计算只与x和y存在关系,因此时间复杂度降为了O(n2),下面是分成 4 段的一个例子

 

r 的下标为偶数的情况下,考虑了对称性,S x,y 计算和f 3 一样,都是正(+),偶数的情况下 t 也没有变化。

 

r 的下标为奇数的情况下,考虑了反对称性,Sxy 计算和 f 3 一样,x + y 大于等于 4 的时候为负,其余为正,t 的计算是 (x + y) % k 取余,替换尾实体,段之间的特征交互随着k的增大而增多。

 

 

2.2 模型训练

 

损失函数为-log函数,L 2 正则化,激活函数sigmoid

 

 

Θ:向量嵌入时的参数

Ω:图谱中本来的三元组、生成的负样本三元组

梯度的计算公式:

 

 

L目标函数,Θ参数,对f 4 求导时:

 

 

 

3 实验效果

 

验证效果采用的数据集是 FB15K,DB100K 和 YAGO37,FB15K 是 Freebase 的子集,DB100K来自DBpedia,YAGO37 来自 YAGO3,具体数据如下:

 

 

采用的评测任务是链接预测,在三个数据集上面的效果如下图,其中k和d 的设置在三个数据集上面都不一致,是采用网格搜索找到的最优超参数。

 

评测指标,MRR:所有正确实例排名的倒数的平均值;[email protected]:正确实例的排名中不大于 N 的比例。

 

 

4 总结

 

本文提出一个轻量级框架SEEK,利用打分函数,在不增加模型参数的情况下,提高了模型对知识图谱的嵌入表示效果。主要原理是:1.分块并利用不同块之间的特征交叉计算 2.区分并保留多种关系 。同时SEEK是一个普适性更强的模型,DistMult, ComplEx, HolE可作为SEEK的特例。本文从效率、效果、鲁棒性方面阐述了SEEK的性能。

 

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注