Press "Enter" to skip to content

【图神经网络】GCN-1(谱图卷积)

一、Address

 

Spectral Networks and Deep Locally Connected Networks on Graphs

地址:https://arxiv.org/pdf/1312.6203.pdf

 

二、Introduction

 

作者提出了两种结构,一种是基于时域的层次聚类,并使用它们定义“局部”连接和池化

 

另一种是谱结构,利用了卷积在傅里叶域中的性质,通过找到相应的“傅里叶”基,可以将卷积扩展到一般的图。

 

作者通过实验证明,对于低维图,我们可以学习到独立于输入大小的卷积层参数,从而得到有效的深层结构。

 

三、Model

 

3.1 Spatial Construction

 

局部性

 

加权图G=(Ω,W),其中Ω是大小为m的离散集,W是m×m对称非负矩阵。

 

利用图的权重定义局部性:例如,在W上定义邻域的一种简单方法是设置一个阈值δ>0,然后取邻域

 

深度局部连接网络

 

k代表第k个卷积层,表示第k层的输入节点数目,为第k层的聚类类数

 

代表第k-1层的滤波器数目以及第k层中每个节点的特征维数。代表输入数据,的shape为()。表示第k层第j个滤波器的第i个值,h为激活函数,L为pooling操作

 

对于当前节点,按照如下方法取邻居:

 

这里体现了局部性(只取每个节点前k个邻居)(supp是支撑集,如果x和y节点不是邻域关系,的值为0)

 

连接体现在层与层之间的神经元数目是通过聚类得到的,上一层的聚类对应为下一层的神经元

第k层需要学习的参数个数为:

 

为 average support of the neighborhoods

 

3.2 Spectral Construction

 

F为权重的对角矩阵,V是拉普拉斯矩阵的特征向量矩阵,h为激活函数。是第K层上所有节点的第i个特征拼接形成的向量,是滤波器。

 

推导过程

 

离散卷积 :

 

离散傅里叶变换 :

 

离散傅里叶逆变换 :

 

step 1

 

(上述推导来源于知乎回答:https://www.zhihu.com/question/47883434/answer/286401230)

 

(此处符号略不同,简单对比一下就可以理解了)

 

最后可得结论:f和g的卷积(时域)等于 f和g的频域乘积

 

step 2

 

根据亥姆霍兹方程有

 

其中是拉普拉斯算子

 

根据拉普拉斯的谱分解可得为拉普拉斯矩阵的特征值

 

代表时域信号,代表频域信号,有:

 

step 3

 

将step 2代入卷积公式:

 

 

 

四、Experiments

 

FCN为全连接层(with N outputs),LRF为局部连接  , MP 为max-pooling layer, SP为spectral层

五、Conclusion

 

 

谱结构是所有顶点都参与运算,没有实现局部卷积和参数共享。

 

每一次前向传播都要计算,的矩阵乘积,运算量大

 

参数量大,卷积核参数量为n个

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注