代码

如果想直接看代码部分,请移步https://github.com/Alienge/Graph-Network.

背景

? ? ? 最近各种顶会上都可以看到

$GCN$

GCN和

$GAT$

GAT，虽然这两篇论文都差不多在18年左右出来的，但是现有论文的网络结构都或多或少的有

$GCN$

GCN和

$GAT$

GAT的影子，那么为什么有这么多人去研究图网络呢？或者换句话说使用图网络能解决什么问题？要回答这个问题很容易，因为图结构更符合我们现实生活中的逻辑关系，那么自然而然的就可以去解决很多问题了。比如，个性化推荐，社交网络，特征工程等。

本文会尽量弱化数学公式的影响。

基础知识

? ? ? 在介绍图网络之前我们需要了解一部分图论的基础知识。图是由若干个结点(Node)及连接两个结点的边(edge)所构成的图形，用于刻画不同结点之间的关系。如图1表示了一张图。

图1 non-Euclidean space

? ? ? 那么可以用两个集合量化该图，这两个集合分别是顶点集合和边的集合，分别用

$V$

V和

$E$

E表示。按照图论的定义，可以用一个这个二元组来定义这个图。即

$G=\{V,E\}$

G={V,E} 其中

$V$

V是顶点的集合，

$E$

E是边的集合。

拓展一下把这个用到

$GCN$

GCN或者

$GAN$

GAN中，对于每一个顶点，都有一个特征，所有顶点的特征聚集在一起可以用一个矩阵来表示，假设顶点有

$\mathrm{\mid }V\mathrm{\mid }=N$

∣V∣=N个，特征的维度为

$F_{}$

F? 图中顶点的特征也叫图的embedding 。那么就可以用一个矩阵

$h$

h来表示，其维度

$size=[N,F]$

size=[N,F]. 而边的关系用矩阵e来表示，其

$e_{ij}$

eij?表示顶点

$v_i$

vi?和顶点

$v_{ij}$

vij?是否有边相连。维度

$size=[N,N]$

size=[N,N].

$e_{ij}=\{\begin{array}{ll}0& \text{如果}{v}_i\text{与}{v}_j\text{有边相连}\\ 1& otherwise\end{array}$
\begin{cases}
0& \text{如果$v_{i}$与$v_{j}$有边相连}\\
1& \text{$otherwise$}
\end{cases}

eij?={01?如果vi?与vj?有边相连otherwise?
另外图还有一个度矩阵

$D$

D，其维度

$size=[N,N]$

size=[N,N],

$D_{ii}$

Dii?表示顶点

$v_i$

vi?的度。

例子 ：

? ? ?下面就以

$\mathrm{图}1$

图1作为例来表示特征矩阵

$f=h$

f=h, 边矩阵

$A=e$

A=e和度矩阵

$D$

D。由于只是演示作用，不妨设置特征矩阵的维度为

$1$

1维。即

$f=h=[4,2,4,?3{]}^T$

f=h=[4,2,4,?3]T

图的拓扑结构	度矩阵(D)	边矩阵(A=e)	特征矩阵(f=h)
	?????2000?0300?0020?0001??????	?????0110?1001?1110?0100??????	$\left[\begin{array}{c}4\\ 2\\ 4\\ ?3\end{array}\right]$ ?????424?3??????

空域卷积和频域卷积

空域卷积(Spatial Convolution)。从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。如图1中顶点

$v_1$

v1?的空域卷积结果为

$\begin{array}{cccc}& f(v_1{)}^{l+1}=\frac{f(v_0{)}^l+f(v_1{)}^l+f(v_2{)}^l+f(v_3{)}^l}{4}& & \text{(1)}\end{array}$

f(v1?)l+1=4f(v0?)l+f(v1?)l+f(v2?)l+f(v3?)l?(1)其中

$f$

f表示是顶点到特征的映射。其中以

$GAT$

GAT为代表。在下面的说明中, 这种卷积时发生在

$vertexdomain$

vertex domain也称

$spatialdomain$

spatial domain。

频域卷积(Spectral Convolution)。相比于空域卷积而言，它主要利用的是图傅里叶变换(Graph Fourier Transform)实现卷积。简单来讲，它利用图的拉普拉斯矩阵(Laplacian matrix)导出其频域上的的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。虽然公式的形式与空域卷积非常相似，但频域卷积的推导过程却有些艰深晦涩。其中以

$GCN$

GCN为代表。在下面的说明中，此类卷积是发生在

$spectraldomain$

spectral domain。

空域卷积相比频域卷积非常直观地借鉴了图像里的卷积操作，频域卷积相比空域卷积更加有理论依据。

GAT

? ? ?在上一节提到的空域卷积的公式

$(1)$

(1)中，计算

$l+1$

l+1层的顶点

$v_1$

v1?的特征时，

$l$

l层的顶点

$v_0,v_1,v_2,v_3$

v0?,v1?,v2?,v3?对

$l+1$

l+1层的

$v_1$

v1?的权重是一样的，显然这是不合理的。因此

$GAT$

GAT提出就是解决此问题的一种解决方案。
? ? ?

$GraphAttentionNetwork(GAT)$

GraphAttentionNetwork(GAT)提出了用注意力机制对邻近节点特征加权求和。 邻近节点特征的权重完全取决于节点特征，独立于图结构。那么

$GAT$

GAT解决了那些问题呢。

• $GAT$

  GAT中,图中每个顶点可以根据邻接的顶点确定特征，不由我们指定，权重设置成参数，最终结果由梯度下降得到，免去了人工指定的麻烦。

• $GAT$

  GAT的设置，只与相邻节点有关，无需得到整张图的信息。

GAT的理论依据

? ? ?现有给定如下已知条件：顶点之间的边矩阵为

$A\in R^{N\times N}$

A∈RN×N, 第

$l$

l层的顶点的特征向量集:

$h^l=[h_1,h_2,???,h_N{]}^T$

hl=[h1?,h2?,???,hN?]T, 其中

$h_i\in R^F$

hi?∈RF,

$N$

N为图中顶点的个数, 显然可以知道

$h\in R^{N\times F}$

h∈RN×F。得到下一层

$l+1$

l+1的特征向量势必需要一个权重矩阵，假设下一层的特征向量的维度为

$F^{\mathrm{\prime }}$

F′， 即

$h_i^{l+1}\in R^{F^{\mathrm{\prime }}}$

hil+1?∈RF′, 那么需要的权重矩阵

$W\in R^{F\times F^{\mathrm{\prime }}}$

W∈RF×F′。可以得到的

$l+1$

l+1层的特征向量集:

$h^{l+1}=[h_1^{{}^{\mathrm{\prime }}},h_2^{{}^{\mathrm{\prime }}},???,h_N^{{}^{\mathrm{\prime }}}{]}^T$

hl+1=[h1′?,h2′?,???,hN′?]T
显然可以知道

$h^{l+1}\in R^{N\times F^{\mathrm{\prime }}}$

hl+1∈RN×F′。
? ? ?有了这些就可以计算注意力了，针对每个节点可以得到对应的注意力系数, 注意力系数为：

$\begin{array}{cccc}& e_{ij}=a(W^T{h}_i,W^T{h}_j)& & \text{(2)}\end{array}$

eij?=a(WThi?,WThj?)(2)
注意一下

$(W^T{h}_i,W^T{h}_j)$

(WThi?,WThj?)是一个

$concat$

concat操作, 可以知道

$(W^T{h}_i,W^T{h}_j)\in R^{2F^{\mathrm{\prime }}\times 1}$

(WThi?,WThj?)∈R2F′×1, 而

$a\in R^{1\times 2F^{\mathrm{\prime }}}$

a∈R1×2F′
? ? ?那么以这种方式就可以计算出所有的注意力系数，作者通过

$MaskAttention$

MaskAttention将这个注意力机制引入图结构中，

$MaskAttention$

MaskAttention的含义是：仅将注意力分配到顶点

$i$

i的邻居节点集

$j\in N_i$

j∈Ni? 为了使得注意力系数更容易计算和便于比较，我们引入了

$softmax$

softmax对所有的

$i$

i的相邻节点

$j\in N_i$

j∈Ni?进行正则化:

$\begin{array}{cccc}& a_{ij}=softmax(e_{ij})=\frac{exp(e_{ij})}{\sum _{k\in N_i}exp(e_{ik})}& & \text{(3)}\end{array}$

aij?=softmax(eij?)=∑k∈Ni??exp(eik?)exp(eij?)?(3)
更直观一点解释就是行归一化，只不过是特殊的行归一化而已。

? ? ?作者在这里在进行行归一化之前加了一个非线性函数

$LeakyRelu$

LeakyRelu。有了

$(2)$

(2),

$(3)$

(3)和非线性关系

$LeakRelu$

LeakRelu,那么我们就可以轻松得到最后的注意力系数：

$\begin{array}{cccc}& a_{ij}=softmax(LeakyRelu(e_{ij}))=\frac{exp(LeakyRelu(a[W{h}_i,W{h}_j]))}{\sum _{k\in N_i}exp(LeakyRelu(a[W{h}_i,W{h}_k]))}& & \text{(4)}\end{array}$

aij?=softmax(LeakyRelu(eij?))=∑k∈Ni??exp(LeakyRelu(a[Whi?,Whk?]))exp(LeakyRelu(a[Whi?,Whj?]))?(4)
? ? ?注意一下哈，我在参考其他代码的时候发现系数

$a$

a在每一次计算

$eij$

eij的过程中是不变的。
? ? ?那么上面这公式(2), (3)和(4) 时组成GAT的核心部分。最后一步得到最终的

$attention$

attention就需要把边的矩阵

$A$

A结合起来, 即最后的

$mask$

mask部分。
即

$\begin{array}{cccc}& attentio{n}_{ij}=\{\begin{array}{ll}{a}_{ij}& \text{如果}{v}_i\text{与}{v}_j\text{有直接边相连}\\ infinite& otherwise\end{array}& & \text{(5)}\end{array}$
\begin{cases}
a_{ij}& \text{如果$v_{i}$与$v_{j}$有直接边相连}\\
infinite& \text{$otherwise$}
\end{cases} \tag{5}

attentionij?={aij?infinite?如果vi?与vj?有直接边相连otherwise?(5)
其中

$attention\in R^{N\times N}$

attention∈RN×N。
? ? ?有了这个最终

$l+1$

l+1层的输出为:

$h^{l+1}=\sigma (attention\times h_{l}W)$

hl+1=σ(attention×hl?W)
最终得到

$h^{l+1}\in R^{N\times F^{\mathrm{\prime }}}$

hl+1∈RN×F′

? ? ?自此，

$GAT$

GAT的理论部分基本全部完成，其最终的目的时训练出注意力系数。以这个目的进行了一系列操作，本质上就是这个。

下面是重新整理公式与代码部分的相关的公式, 如果你不想看，可直接跳过.


? ? ?为了写代码的方便，这里我们把计算

$attention$

attention的部分用矩阵写出来
? ? ?已知

$h^l\in R^{N\times F}$

hl∈RN×F ,

$W\in R^{F\times F^{\mathrm{\prime }}}$

W∈RF×F′, 参数

$a\in R^{1\times 2F^{\mathrm{\prime }}}$

a∈R1×2F′， 这里可以解释一下

$a$

a这里的作用，我们可以把

$a$

a分成两部分，一个是自注意力系数，一个是邻居节点的注意力系数，即

$a=[a_{self},a_{neibor}]$

a=[aself?,aneibor?]

$\begin{array}{cccc}& h^{l+1}=h^{l}W& & \text{(6)}\end{array}$

hl+1=hlW(6)

$\begin{array}{cccc}& attentio{n}_{self}=h^{l+1}{a}_{self}^T& & \text{(7)}\end{array}$

attentionself?=hl+1aselfT?(7)

$\begin{array}{cccc}& attentio{n}_{neibor}=h^{l+1}{a}_{neibor}^T& & \text{(8)}\end{array}$

attentionneibor?=hl+1aneiborT?(8)

$\begin{array}{cccc}& attention=attentio{n}_{self}+attentio{n}_{neibor}^T& & \text{(9)}\end{array}$

attention=attentionself?+attentionneiborT?(9)

$\begin{array}{cccc}& attention=LeakRelu(attention)& & \text{(10)}\end{array}$

attention=LeakRelu(attention)(10)

$\begin{array}{cccc}& attentio{n}_{ij}=\{\begin{array}{ll}attentio{n}_{ij}& \text{如果}{v}_i\text{与}{v}_j\text{有直接边相连}\\ infinite& otherwise\end{array}& & \text{(11)}\end{array}$
\begin{cases}
attention_{ij}& \text{如果$v_{i}$与$v_{j}$有直接边相连}\\
infinite& \text{$otherwise$}
\end{cases} \tag{11}

attentionij?={attentionij?infinite?如果vi?与vj?有直接边相连otherwise?(11)

$\begin{array}{cccc}& attention=softmax(attetion)& & \text{(12)}\end{array}$

attention=softmax(attetion)(12)

$\begin{array}{cccc}& h^{l+1}=\sigma (attention\times h^{l+1})& & \text{(13)}\end{array}$

hl+1=σ(attention×hl+1)(13)

? ? ?有了公式

$(6)?(13)$

(6)?(13), 我们可以很容易的实现

$GAT$

GAT的代码, 具体代码参考GAT的pytorch代码. 这个代码的实现只是我自己参考别人的代码实现，有些地方作了改动。当然也有star很多的代码pytorch星比较多的代码

GCN

? ? ?深度学习中,

$CNN$

CNN中的卷积本质上是一个共享参数的特征提取, 通过计算中心像素点以及相邻像素点的加权和来构成

$featuremap$

featuremap, 实现空间特征的提取。但是这种理论只适用于

$EuclideanStructure$

EuclideanStructure, 对于

$Graph$

Graph这种

$NonEuclideanStructure$

NonEuclideanStructure并不是很适用。那么如何将

$CNN$

CNN中的思想引入到

$Graph$

Graph中，成为一个很大的问题。这里为什么要研究GCN的原因，参考的知乎请移步这里。

? ? ?

$spectraldomain$

spectral domain是GCN的理论基础, 主要借助图的

$Laplacianmatrix$

Laplacian matrix的特征值和特征向量来研究图的性质。

GCN的理论依据

? ? ?现有给定如下已知条件：顶点之间的边矩阵为

$A\in R^{N\times N}$

A∈RN×N,

$N$

N为图中顶点的个数, 显然可以知道

$h\in R^{N\times F}$

h∈RN×F 和和度矩阵

$D\in R^{N\times N}$

D∈RN×N。

$Laplacianmatrix$

Laplacian matrix定义为

$\begin{array}{cccc}& L=D?A& & \text{(14)}\end{array}$

L=D?A(14)

图的拓扑结构	度矩阵(D)	边矩阵(A=e)	特征矩阵(f=h)	Laplacian matrix
	?????2000?0300?0020?0001??????	?????0110?1001?1110?0100??????	$\left[\begin{array}{c}4\\ 2\\ 4\\ ?3\end{array}\right]$ ?????424?3??????	?????2?1?10??130?1??1?110?0?101??????

? ? ?这里不过多的介绍傅里叶分析里面的东西, 这里只需要记得

$Laplacian$

Laplacian变换可以将上面的

$vertexdomain$

vertexdomain变换到

$spectraldomain$

spectraldomain, 或者简单的把

$Laplacian$

Laplacian变换是操作在

$Graph$

Graph中的一个算子即可。这里并不影响你理解

$GCN$

GCN。这里简单说一下

$Laplacianmatrix$

Laplacian matrix的几个好的性质:

• $Laplacianmatrix$

  Laplacian matrix是一个对称矩阵, 那么就可以进行特征分解, 也就是谱分解

• $Laplacianmatrix$

  Laplacian matrix是一个半正定的矩阵，也就是其特征值

  ${\lambda }_i\ge 0$

  λi?≥0

知道了这些，就可以对这些就可以对

$L$

L进行特征分解，在线性代数中，有

$\begin{array}{cccc}& L=U\mathrm{\Lambda }{U}^T& & \text{(15)}\end{array}$

L=UΛUT(15) 其中

$\mathrm{\Lambda }=\left[\begin{array}{cccc}{\lambda }_1& 0& ?& 0\\ 0& {\lambda }_2& ?& 0\\ \mathrm{?}& \mathrm{?}& ?& \mathrm{?}\\ 0& 0& ?& {\lambda }_N\end{array}\right]$
\left[
\begin{matrix}
\lambda_{1} & 0 & \cdots & 0 \\
0 & \lambda_{2} & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \lambda_{N} \\
\end{matrix}
\right]

Λ=??????λ1?0?0?0λ2??0??????00?λN????????

$U=[u_1,u_2,\dots ,u_N]\in R^{N\times N}$

U=[u1?,u2?,…,uN?]∈RN×N 。
那么这个

$U$

U就是一组标准的正交基向量, 显然有

$\begin{array}{cccc}& U{U}^T=I& & \text{(16)}\end{array}$

UUT=I(16)
这组标准正交基可以将

$Vertexdomain$

Vertex domain 转化到

$Spectraldoamin$

Spectral doamin中。现假设输入的矩阵为

$x\in R^{N\times F}$

x∈RN×F， 那么转化到

$Spectraldoamin$

Spectral doamin中变成:

$\begin{array}{cccc}& \widehat{x}=U^{T}x& & \text{(17)}\end{array}$

x^=UTx(17)
所有的特征都转化到

$Spectraldoamin$

Spectral doamin中了，那么自然而然的联想到是否有有在

$Vertexdomain$

Vertex domain中的普通神经网络中的

$y=Wx$

y=Wx
答案是肯定的，但是这个和在

$Spectraldoamin$

Spectral doamin中有稍稍的不同, 我们以图1中的顶点的例子进行简单的解释, 应该是怎么样的一种

$W$

W的形式。
在图2中，输入特征矩阵

$f=x$

f=x, 把

$\widehat{x}$

x^用一个图3表示出来，简单的想象成是一块波形的3维侧面，就是这个样子.或者想象一下从

$\lambda$

λ轴向原点看, 你将会看到一串波形. 就像图2一样。

图2 在不同空间的图解




图3 x在spectral domain上的显示(f=x)

解释一下这个是什么意思，

$[{\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4]$

[λ1?,λ2?,λ3?,λ4?]是在

$spectraldomain$

spectral domain的频率大小。而

$[u_{1}f,u_{2}f,u_{3}f,u_{4}f]$

[u1?f,u2?f,u3?f,u4?f]是每个频率上的数值大小。说白了就是

$f$

f在基向量

$u1$

u1上的投影大小。现在只需要在每个频率上加一个参数就可以实现

$CNN$

CNN上的

$y=wx$

y=wx了。即

图4 参数

那么就有

$\left[\begin{array}{c}{\widehat{y}}_1\\ {\widehat{y}}_2\\ {\widehat{y}}_3\\ {\widehat{y}}_4\end{array}\right]=\left[\begin{array}{cccc}{\theta }_1& 0& 0& 0\\ 0& {\theta }_2& 0& 0\\ 0& 0& {\theta }_3& 0\\ 0& 0& 0& {\theta }_4\end{array}\right]\left[\begin{array}{c}{\widehat{x}}_1\\ {\widehat{x}}_2\\ {\widehat{x}}_3\\ {\widehat{x}}_4\end{array}\right]$
\left[ \begin{matrix} \hat{y}_{1} \\ \hat{y}_{2} \\ \hat{y}_{3} \\ \hat{y}_{4} \end{matrix} \right] = \left[ \begin{matrix} \theta_{1}& 0 & 0 & 0 \\ 0 & \theta_{2} & 0 & 0 \\ 0 & 0 & \theta_{3} & 0 \\ 0 & 0 & 0 &\theta_{4} \end{matrix} \right] \left[ \begin{matrix} \hat{x}_{1} \\ \hat{x}_{2} \\ \hat{x}_{3} \\ \hat{x}_{4} \end{matrix} \right]

?????y^?1?y^?2?y^?3?y^?4???????=?????θ1?000?0θ2?00?00θ3?0?000θ4????????????x^1?x^2?x^3?x^4???????
显然这个参数与

$\mathrm{\Lambda }$

Λ和

$\theta$

θ有关，不妨将其记录为

$g_{\theta }(\mathrm{\Lambda })$

gθ?(Λ)。那么就有关系：

$\begin{array}{cccc}& \widehat{y}=g_{\theta }(\mathrm{\Lambda })\widehat{x}& & \text{(18)}\end{array}$

y^?=gθ?(Λ)x^(18)
由公式(17)可知，(18)式可以变成

$\begin{array}{cccc}& \widehat{y}=g_{\theta }(\mathrm{\Lambda })U^{T}x& & \text{(19)}\end{array}$

y^?=gθ?(Λ)UTx(19)
现在只需要把

$\widehat{y}$

y^?反傅里叶变化成

$Vertexdomain$

Vertex domain中就可以。即

$\begin{array}{cccc}& \widehat{y}=U^{T}y=g_{\theta }(\mathrm{\Lambda })U^{T}x& & \text{(20)}\end{array}$

y^?=UTy=gθ?(Λ)UTx(20)
根据正交矩阵的性质, 也即公式(16), 就可以得到

$\begin{array}{cccc}& y=U{g}_{\theta }(\mathrm{\Lambda })U^{T}x& & \text{(21)}\end{array}$

y=Ugθ?(Λ)UTx(21)
又因为

$g_{\theta }(\mathrm{\Lambda })$

gθ?(Λ)是关于

$\mathrm{\Lambda }$

Λ的函数, 就可以变成

$\begin{array}{cccc}& y=g_{\theta }(L)x& & \text{(22)}\end{array}$

y=gθ?(L)x(22)

然而公式(22)是所有一切以

$GCN$

GCN罪恶的开始, 其他的所有都只是在做怎么估计这个

$g_{\theta }(L)$

gθ?(L)。

广受欢迎的

$GCN$

GCN是以

$chebyshevpolynomial$

chebyshev polynomial为基础进行估计

$g_{\theta }(L)$

gθ?(L),

$chebyshevpolynomial$

chebyshev polynomial为：

$\begin{array}{cccc}& T_0(\tilde{\mathrm{\Lambda }})=I{T}_1(\tilde{\mathrm{\Lambda }})=\tilde{\mathrm{\Lambda }}{T}_i(\tilde{\mathrm{\Lambda }})=2\tilde{\mathrm{\Lambda }}{T}_{i?1}(\tilde{\mathrm{\Lambda }})?T_{i?2}(\tilde{\mathrm{\Lambda }})& & \text{(23)}\end{array}$

T0?(Λ

其中要满足两个关系式

$\tilde{\mathrm{\Lambda }}=\frac{2\mathrm{\Lambda }}{{\lambda }_{max}}?I$

Λ

$\tilde{\mathrm{\Lambda }}\in [?1,1]$

Λ
有了上面的

$chebyshevpolynomial$

chebyshev polynomial递推关系式(23)，不妨设：

$g_{\theta }(\mathrm{\Lambda })=\sum _{k=0}^n{\theta }_k{\mathrm{\Lambda }}^k$

gθ?(Λ)=k=0∑n?θk?Λk
在

$chebyshevpolynomial$

chebyshev polynomial中，取值

$n=1,{\lambda }_{max}=2$

n=1,λmax?=2，公式(22)就可以变成:

$\begin{array}{cccc}& y={\theta }_{0}x+{\theta }_1(L?I)x& & \text{(24)}\end{array}$

y=θ0?x+θ1?(L?I)x(24)
取

$L=I?D^{\frac{?1}{2}}A{D}^{\frac{1}{2}}$

L=I?D2?1?AD21?，这一步在原论文中成为正则化的结果.另外为了防止参数过多,令

$\theta ={\theta }_0=?{\theta }_1$

θ=θ0?=?θ1?，那么式(24)可以变成

$\begin{array}{cccc}& y=\theta (I+D^{\frac{?1}{2}}A{D}^{\frac{1}{2}})x& & \text{(25)}\end{array}$

y=θ(I+D2?1?AD21?)x(25).
又令

$I+D^{\frac{?1}{2}}A{D}^{\frac{1}{2}}=I+{\tilde{D}}^{\frac{?1}{2}}A{\tilde{D}}^{\frac{1}{2}}$

I+D2?1?AD21?=I+D

$\begin{array}{cccc}& y=\theta ({\tilde{D}}^{\frac{?1}{2}}A{\tilde{D}}^{\frac{1}{2}})x& & \text{(26)}\end{array}$

y=θ(D
式(26）再加上一个非线性变化也就是

$GCN$

GCN的最终形式

$\begin{array}{cccc}& y=\sigma (\theta ({\tilde{D}}^{\frac{?1}{2}}A{\tilde{D}}^{\frac{1}{2}})x)& & \text{(26)}\end{array}$

y=σ(θ(D

代码部分也是参考式(26)的矩阵变形形式所写

$\begin{array}{cccc}& y=\sigma (({\tilde{D}}^{\frac{?1}{2}}A{\tilde{D}}^{\frac{1}{2}})x\theta )& & \text{(27)}\end{array}$

y=σ((D

有了公式

$(27)$

(27), 我们可以很容易的实现

$GCN$

GCN的代码, 具体代码参考GCN的pytorch代码. 这个代码的实现只是我自己参考别人的代码实现，有些地方作了改动。当然也有star很多的代码星比较多的代码

结语

至此，GAT和GCN都基本讲完了, 在这个过程也学了很多东西，才怪.

参考文献

[1] https://arxiv.org/abs/1710.10903.
[2] https://blog.csdn.net/weixin_36474809/article/details/89401552.
[3]http://webia.lip6.fr/~durandt/pdfs/2017_CVPR/Durand_WILDCAT_CVPR_2017.pdf.
[4] https://www.zhihu.com/question/54504471?sort=created.
[5]https://www.bilibili.com/video/BV1G54y1971Sfrom=search&seid=3673449636835487631.
[6] https://blog.csdn.net/weixin_40013463/article/details/81089223.
[7] https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html.