Press "Enter" to skip to content

论文浅尝 | Rot-Pro:通过知识图谱嵌入中的投影建模关系的传递性

 

笔记整理:陈湘楠,浙江大学硕士在读。

 

研究背景

 

知识图嵌入模型学习知识图谱中实体和关系的表示,以预测实体之间的缺失链接(关系)。它们的有效性深受建模和推断不同关系模式(如对称、不对称、逆向、组合和传递性)的能力的影响。已经有许多工作尝试找到一种方法来统一建模这些不同的关系模式。如:TransE可以建模逆向和组成的关系模式;DistMult可以处理对称关系;以及最近提出的模型RotatE通过将关系看作在复数空间中的旋转因子,可以同时处理对称、非对称、逆向、组合这四种关系模式。

 

研究动机

 

尽管已有很多工作可以对不同的关系模式进行建模,但是针对传递性这一关系模式,目前还没有模型可以处理。由此,这篇论文首先通过理论证明关系的传递性可以利用投影变换来建模,并且提出了一种将投影和关系旋转相结合的模型Rot-Pro,在多个数据集上验证了其有效性。

 

研究方法

 

假设关系r是一种转换方式Tr,那幺对于任何一个三元组(h, r, t)。都需满足等式

 

那幺对于一个传递链(e1, r, e2), …, (em-1, r, em)。都须满足

 

这表示一个实体表示经过多次的转换等价于对其进行一次转换。由此作者试图用投影的方式建模关系的传递模式。并定义第k维的投影矩阵
.

 

 

其中

 

 

于是第k维分量在旋转后的新坐标下的投影为

 

 

这表示在传递链上的实体e1, …, em。模型只要求它们的表示在投影矩阵
下相同,原来的表示可以不同。Rot-Pro的打分函数为:

 

 

 

并使用联合损失L进行训练,其中Lw为自对抗的负采样损失,Lp为对投影矩阵的正则化项。

 

 

 

 

理论证明

 

对于每个三元组(h, r, t),Rot-Pro模型要求

 

 

于是

 

上式要想成立当且仅当

 

此式表明对于在传递链路上的所有实体,都会在复数空间中被投影到同一条直线上,即

 

 

其中
是一个常数,形象化表达如下图。

 

 

实验结果

 

作者在4个数据集上进行了实验。表3表示Rot-Pro在大部分指标上要好于baseline,与RotatE模型效果差异不大的原因在于FB15K237和WN18RR两个数据集没有充足的传递性的关系。表4表示在YAGO3-10和Countries两个含有传递性关系的数据集上,模型相较RotatE有了更明显的提升。

 

 

 

总结

 

论文理论证明了传递性的关系可以使用投影变换来建模,并提出了模型Rot-Pro同时使用旋转和投影变换,从而可以有效推理对称,非对称,逆向,组成,以及传递这些关系模式。并且论文在4个数据集上进行了实验,以此证明该模型可以有效地建模具有传递模式的关系。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注