Press "Enter" to skip to content

论文浅尝 – SWJ | 基于知识图谱和注意力图卷积神经网络的可解释零样本学习

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

论文题目 :Explainable Zero-shot Learning via Attentive Graph Convolutional Network and Knowledge Graphs

 

本文作者 :耿玉霞,浙江大学在读博士,研究方向为知识图谱、零样本学习、可解释性

 

发表期刊 :Semantic Web Journal (IF=3.524)

 

论文链接 :http://www.semantic-web-journal.net/content/explainable-zero-shot-learning-attentive-graph-convolutional-network-and-knowledge-graphs-1

 

 

 

零样本学习( Zero-shot Learning, ZSL ) 近年来引起了广泛关注,它可以将训练类别( Seen Classes )学习到的样本特征迁移到未出现在训练集中的新类别( Unseen Classes )上,有效减少了机器学习模型尤其是深度学习模型对标记数据的依赖。然而,目前大部分的 ZSL 方法是缺乏可解释性的,其模型预测的结果很容易被人质疑。因此,本文基于知识图谱和注意力图卷积神经网络提出了一个 ZSL 的可解释性框架,解释 ZSL 场景中样本特征的可迁移性,以此提升模型的可信赖度。

 

 

图 1 KG-based ZSL 可解释性框架说明图

 

本文提出了一个基于知识图谱的 ZSL 可解释框架,在使用知识图谱帮助 ZSL 特征迁移的同时,利用知识图谱中丰富的类别知识,对特征的可迁移性作出解释。框架如图 1 所示,主要包括两部分:注意力 ZSL 学习器 ( Attentive ZSL Learner )和解释生成器 ( Explanation Generator )。其中:

 

(1) 注意力 ZSL 学习器( Attentive ZSL Learner )主要负责 ZSL 中的特征迁移并为后续可解释性奠定基础。具体地,学习器首先利用知识图谱如 WordNet 建立 seen classes 和 unseen classes 之间的语义关系,随后借助注意力图卷积神经网络( Attentive Graph Convolutional Network, AGCN )中的图卷积层( Graph Convolutional Layer )和注意力层( Attention Layer )将图结构的语义关系编码映射到样本空间并与类别对应的样本特征(即 classifier )进行对齐。在训练阶段,学习器以 seen classes 的 classifiers 作监督,同时在图卷积层的聚合操作下进行特征迁移为 unseen classes 学习 classifiers 。其中,注意力层为不同的类别尤其是 seen classes 学习不同的权重,最终,为每一个 unseen class 学习到在特征迁移过程中最有贡献的一些 seen classes (即 impressive seen classes, IMSCs ),学习器的模型结构图如图 2 所示。

 

 

图 2 注意力 ZSL 学习器模型结构图

 

(2) 给定 unseen class 和它学习到的 IMSCs ,解释生成器( Explanation Generator )将它们分别对齐到外部知识图谱如 Attribute Graph 和 DBpedia 中抽取类别间的共有知识,并生成自然语言的解释,以此验证 IMSCs 的特征迁移到该 unseen class 的合理性,对类别间特征的可迁移性作出解释。其中,考虑到不同知识图谱中知识类型的不同,本文设计了三种知识抽取的算法,如基于关联规则挖掘的属性抽取算法、基于三元组模式和 SPARQL 查询语句的三元组抽取算法、以及基于 TextRank 的关键词抽取算法分别抽取类别间共有的属性、三元组及关键词。对应地,本文为抽取到的不同类型的知识,设计了不同的模版,以自然语言句子的形式组织这些知识,最终生成人可以理解的解释,生成器的模型结构图如图 3 所示。

 

 

图 3 解释生成器模型结构图

 

最终,本文在 AwA 和 ImageNet 两个数据集以及更稠密的 ImageNet *数据集上验证了 ZSL 学习器的效果,同时邀请志愿者对生成的解释在可信度和可读性两方面进行了评估,并给出了一些案例。基于生成的解释,本文对 ZSL 模型中特征迁移的情况进行了更深入的讨论。评估结果分别如下:

 

 

图 4 注意力 ZSL 学习器实验结果

 

 

图 5 注意力层权重学习可视化结果

 

 

图 6 可迁移性解释案例,包括:类别对应的图片、 DBpedia 实体,从不同的知识图谱中抽取的知识,以及最终生成的解释和人工评分结果

 

总而言之,这篇文章研究工作的主要贡献是:

 

(1) 首次提出了基于知识图谱的 ZSL 可解释框架,用于解释 ZSL 中特征的可迁移性;

 

(2) 提出了一个新的、基于知识图谱和注意力图卷积神经网络的 ZSL 算法,它利用知识图谱建模类别间的语义关系,并且将样本特征由 seen classes 迁移到 unseen classes ,在标准数据集上提升 ZSL 模型效果的同时,为后面的可解释工作提供了基础;

 

(3) 提出了一个可解释生成器,包含多个知识抽取算法抽取外部知识图谱如领域特定的 Attribute Graph 和通用域的 DBpedia 中丰富的类别知识;本文同时设计了一系列模板用于将从外部知识图谱中抽取的知识组织为自然语言句子,增加生成解释的可阅读性。

 

(4) 实验表明,基于知识图谱和注意力图卷积神经网络的 ZSL 可解释性框架可有效地对 ZSL 模型中特征的可迁移性作出解释,同时一定程度上保证 ZSL 算法本身的预测能力。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注