Convolutional neural networks on graphs with fast localized spectral filtering,NIPS 2016-通过使用切比雪夫多项式近似消除了拉普拉斯矩阵分解带来的巨大的计算开销,定义了图卷积 Semi-supervised classification with graph convolutional networks,ICLR 2017-通过使用预先定义的传播矩阵S SS进行一阶切比雪夫近似,极大的降低了...
随后一些学者对过平滑问题进行了研究,例如:JK-Net,DropEdge、APPNP、GDC等,但是对于半监督的节点分类任务而言,浅层模型的性能依旧是最优的。 因此,设计一个有效防止过平滑的模型仍旧是一个值得探讨的问题,本文通过对GCN的扩展,设计了 Graph Convolutional Network viaInitial residual and Identity mapping(GCNII)模型。...
典型图卷积网络(GCN)进一步应用非线性激活函数,通常为ReLU,并将结果作为特定层的节点特征输出。 为减少计算工作量,“Simplifying graph convolutional networks”一文提出SGC:将GCN操作线性化。SGC在几个节点分类任务中的表现与其他baseline相当。SGC去除GCN中的非线性激活函数,并用: S表示计算预测值的自循环归一化邻接矩...
本文作者提出了 Graph Convolutional Network via Initial residual and Identity mapping (GCNII),是一个可以解决过平滑问题的深层模型。.在每一层,都会构造一个跳层连接将初始特征与输入连接,而单位映射将单位矩阵添加到权重矩阵。实验表明,这两种简单技术可以防止过度平滑,并在增加网络深度的同时持续改善 GCNII的性能。
论文信息 论文标题:Simple and Deep Graph Convolutional Networks论文作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li论文来源:2020,PMLR论文地址:download 论文
The methodological approach applies the simple graph convolutional neural network in a novel setting. Primarily that it can be used not only for label classification, but also for modeling the spread of the influence of nodes in the neighborhoods based on the length of the walks considered. This...
convolutional networks for semi-supervised learning & Simplifying graph convolutional networks),拉普拉斯滤波器(Laplacian filter)可以实现和图卷积类似的效果。受其启发,本文引入低通去噪操作来进行近邻信息的聚合,该过程是独立于后续模块的独立操作。使用的滤波器公式如下: ...
[5] Adaptive graph encoder for attributed graph embedding [11] Contrastive multi-view representation learning on graphs [15] Variational graph auto-encoders [17] Augmentation-Free Self-Supervised Learning on Graphs [18] Deeper insights into graph convolutional networks for semi-supervised learning ...
Node ClassificationCiteSeer with Public Split: fixed 20 nodes per classSSGCAccuracy73.6# 12 Compare Node ClusteringCoraSSGCAccuracy69.6# 9 Compare NMI54.71# 6 Compare F165.83# 5 Compare Node ClassificationCora: fixed 20 node per classSSGCAccuracy83.0# 6 ...
初始残差链接:为了模拟残差网络中的跳跃连接,kipf等人提出了在GCN中使用残差连接,其思想在于将过平滑的表示{\mathbf{P}} \mathbf{H}^{(\ell)}和\mathbf{H}^{(\ell)}结合起来,但是实验结果表明这种做法只能减轻过平滑问题,堆叠多层模型后,模型的整体性能依旧会退化。