Press "Enter" to skip to content

论文浅尝 | 图解耦表示学习

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文作者:耿玉霞,浙江大学在读博士,主要研究方向为知识图谱、知识驱动的零样本学习及可解释性。

 

前言

 

近年来,解耦表示学习在图像、文本、推荐系统等领域引起了广泛的研究兴趣,而针对图这类非欧式空间的数据,其解耦表示学习存在与以往不同的挑战。本次论文浅尝中,我们针对图解耦表示学习的相关工作做了简单的介绍,希望能促进相关研究的发展。所列举的相关工作中,主要可分为两部分,一部分主要针对图中关系类型相对单一的同构图进行解耦表示学习,另一部分则面向图中关系类型更丰富的知识图谱。

 

单关系同构图

 

1. Disentangled Graph Convolutional Networks (DisenGCN)

 

• 发表会议:ICML 2019 • 论文链接:http://pengcui.thumedialab.com/papers/DisenGCN.pdf

 

这篇论文基于图神经网络尤其是图卷积神经网络提出了一种邻居路由的解耦表示学习策略。即,在每个节点的表示由其周围邻居节点表示聚合而来的情况下,希望能动态地识别当前中心节点与其某邻居节点之间潜在关联因子,从而将周围邻居节点分配至关联因子特定的通道中,通过在每个通道中进行特征的抽取和卷积,从而为每个中心节点学习解耦表示。即节点每个解耦之后的模块表示由某一关联因子所连接的邻居子集决定。为此,作者提出了一个多通道解耦卷积层,在该层中,利用attention机制识别因某关联因子k而与中心节点u连接的邻居子集,从而更准确地描述节点u的第k个解耦语义表示。

 

具体地,对于中心节点u,模型首先通过不同的全连接层将其表示x_u映射到不同的子空间中(公式1),在子空间k中,通过计算中心节点和某一邻居节点v表示的相似度评估节点u和v在第k个空间中(即第k个语义层面)的关联程度,通过在k维度进行softmax,获得相关性系数(公式2),随后,在子空间中,根据计算的相关性系数聚合节点u的周围邻居,最终得到节点u的第k个解耦语义表示c_k(公式3),最终,对所有子空间中得到的表示进行拼接,得到节点u完整的解耦表示(公式4)。该解耦卷积层整体计算过程如下图所示。

 

公式1

 

公式2

 

公式3

 

公式4

 

 

多通道解耦卷积层

 

通过堆叠多层多通道解耦卷积层,可得到节点的解耦表示,同时,通过控制不同层的解耦程度,即关联因子的个数K,可实现层次化的节点解耦表示。作者在图节点分类数据集上验证了图解耦表示学习的性能,包括3个单标签节点分类数据集Cora等,以及3个多标签节点分类数据集PPI等。该工作是第一篇在图上进行解耦表示学习的工作,相比于以往的图神经网络方法,取得了SOTA结果。在Cora等数据集上的结果如下图所示。

 

 

在Cora等数据集上的实验结果

 

2. Independence Promoted Graph Disentangled Networks (IPGDN)

 

• 发表会议:AAAI 2020 • 论文链接:https://ojs.aaai.org/index.php/AAAI/article/view/5929

 

这篇论文的主要贡献是在DisenGCN的基础上增加了独立性约束。即,通过最小化Hilbert Schmidt Independence Criterion (HSIC),使得解耦之后不同模块的表示尽可能独立,即每个模块尽可能表达独立的语义。独立性约束的损失函数,添加在多层卷积之后,独立性约束的增加,有效地提升了DisenGCN的性能。在Cora等数据集上的结果如下图所示。

 

 

在Cora等数据集上的实验结果

 

3. Factorizable Graph Convolutional Networks (FactorGCN)

 

• 发表会议:NeurIPS 2020 • 论文链接:https://proceedings.neurips.cc/paper/2020/file/ea3502c3594588f0e9d5142f99c66627-Paper.pdf

 

相比上述两篇论文从切分/分配邻居节点的角度对图中的节点进行解耦表示学习,FactorGCN考虑节点间边蕴含的多重语义,通过解耦边上的多重语义,学习节点的解耦表示。总的来说,FactorGCN在输入某个图的情况下,希望将其解耦为多个由不同语义决定的factor子图,每个factor子图代表了节点在该语义下的关联关系。随后,通过在不同factor子图内执行卷积操作得到节点的解耦表示。模型整体框架图如下图所示。因此,模型的要点在于如何重构/生成这些语义特定的子图。

 

 

FactorGCN模型框架图

 

具体地,模型通过设计不同的语义特定的函数,生成节点之间语义特定的连接边,该函数通常为多层感知机,以两个节点的表示作为输入,输出一个权重值作为输入节点在该语义下的权重边(公式1),随后,在重新构建的factor子图上进行加权卷积得到节点在该语义下的解耦表示(公式2)。此外,为增强解耦表示的独立性,即不同的factor子图尽量表达不同的语义,作者对生成后的factor子图以图分类的方式进行独立性约束。具体地,作者使用一个3层的图自编码器生成和readout函数生成整张图的表示,随后,为每个factor子图指定一个类型标签进行分类(公式3)。最终,该分类损失函数与原始的下游任务损失函数共同约束模型的训练。

 

 

作者在一个包含ground-truth factor graph的仿真数据集上进行了实验,并针对模型生成的factor graph进行了定量和定性的分析。此外,在ZINC、MUTAG等数据集上也进行了实验,实验结果说明,本文提出的FactorGCN相比DisenGCN等有更好的效果。

 

多关系知识图谱

 

面向图中关系类型更丰富的知识图谱,也有一些工作考虑在解耦表示学习的过程中利用关系的信息,如根据关系的语义指导实体节点的解耦表示。

 

 

知识图谱中的图解耦表示学习,一个实体通常因为不同类型的关系与其他实体存在不同类型的语义关联

 

1. Knowledge Router: Learning Disentangled Representations for Knowledge Graphs

 

• 发表会议:NAACL 2021 • 论文链接:https://aclanthology.org/2021.naacl-main.1/

 

本文主要借鉴了DisenGCN的做法在知识图谱中进行实体的解耦表示学习。方法上大致与DisenGCN相同,且忽略了图中不同类型的关系边信息。模型框架图如下图所示。

 

 

模型框架图

 

作者在FB15k-237及WikiData等数据集上进行了实验,并针对解耦之后的实体表示进行了可视化分析。如下图所示。

 

 

2. DisenE: Disentangling Knowledge Graph Embeddings

 

• 发表会议:COLING 2020 • 论文链接:https://arxiv.org/pdf/2010.14730v1.pdf

 

考虑到图谱中关系对于实体语义的影响,作者提出使用attention机制根据三元组中的关系抽取实体中与当前语义相关的模块表示。模型框架图如下图所示。具体地,作者首先将实体的表示切分为K部分独立的模块表示component embedding,随后,根据当前三元组中给定的关系,计算关系和不同components之间的相关性系数,如公式1。随后,基于不同的components,作者应用KGE的score计算函数如TransE、ConvE等计算三元组在不同component下的score(公式2),最后,利用前面得到的相关性系数,加权融合不同的score得到最终的三元组score(公式3),并进行损失函数的计算。

 

 

模型框架图

 

 

作者在WN18RR和FB15k-237上分别进行了实验,相比于非disentangle的表示学习方法,作者提出的DisenE模型具有更好的表现,同时,通过不同的case分析, 解耦后的实体表示代表了由不同类型关系反映的不同维度的语义。

 

3. DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention Network

 

• 论文出处:CIKM 2021 • 论文链接:https://arxiv.org/pdf/2108.09628.pdf

 

作者提出了3个模块实现实体的解耦表示学习:micro-disentanglement、macro-disentanglement和adaptive scoring。

 

其中,micro-disentanglement主要通过在实体的解耦模块表示层面(即component-level)进行邻居信息的聚合,并且考虑连接邻居实体的关系的信息。

 

 

 

Macro-disentanglement则基于互信息实现不同component间表示的独立性约束。

 

 

Adaptive Scoring,首先进行component-level的三元组score计算(本文中使用ConvE),随后使用attention机制计算不同components与当前预测三元组中的关系的相关程度,并基于不同的相关性系数对不同的score进行融合,得到该三元组的最终score。

 

 

同样地,作者在FB15k-237和WN18RR上进行了实验,相比baseline,实体的解耦表示对于模型链接预测的性能有一定的增益。此外,作者通过丰富的案例说明了模型的解耦能力。更多实验结果参见原文。

 

以上就是我们本次论文浅尝涉及的图解耦表示学习的相关工作,主要涉及同构图和知识图谱,可见的是,解耦表示学习为图谱带来了更强的表示能力和泛化能力,而不同的解耦角度则决定了解耦的具体方法。未来,基于这些工作,希望在图解耦表示学习方法能有更深入、更具有突破性的方法。此外,在异构图及推荐系统等应用所利用的图谱中也有一些解耦表示学习的相关工作,感兴趣的同学可以进一步阅读。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。