2.4 Multiplying Adjacency Matrix is Low Pass Filtering 在大多数图神经网络模型中,信息传播是通过特征矩阵与(增广)邻接矩阵相乘进行的,本节中证明了这种操作对应的正是低通滤波器。 归一化的拉普拉斯矩阵的特征值在[0,2]之间,我们可以增加自环(使用增广邻接矩阵)来增强低通滤波的效果。 定理3:是广义特征值(\tilde...
具有较小广义特征值的广义特征向量就变化而言更平滑。因此,广义特征值被称为图的频率 frequency of the graph。 傅里叶部分先跳过,因为还没看懂,反正傅里叶变换就是把特征x(i)经过了某种变换成新的向量,把一个函数变换成一系列正交函数的组合(sin,cos)叠加。 在一个图的机器学习问题中,每个顶点i∈V都有一个d...
图(graph),作为句子sentence(可以看做是链式图chain)和图像image(可以看做是2D mesh graph)的推广,更有一般性。也就是说,图上的节点可能有locality(同配,我个人的最初理解是周围节点的features对中心节点的label有很强的互信息),也有可能没有这种locality(异配,就是节点的label和该节点周围节点的feature相互独立)...
图神经网络(GNN)通过使用基于关系归纳偏差(同质性假设)的图结构来扩展神经网络(Neural Network,NN)。虽然人们普遍认为GNN在实际任务中优于NN,但最近的工作发现了一组非平凡的数据集(异质图数据集),与NN相比,GNN的性能并不令人满意。异质性被认为是GNN性能不好的主要原因,并提出了许多工作来解决这一问题。在本文中...
Revisiting Graph Neural Networks: All We Have is Low-Pass Filters--arixv-2019--论文笔记,程序员大本营,技术文章内容聚合第一站。
Graph neural networks have become one of the most important techniques to solve machine learning problems on graph-structured data. Recent work on vertex classification proposed deep and distributed learning models to achieve high performance and scalability. However, we find that the feature vectors of...
However, we argue that it breaks the prerequisite for a GNN model to obtain the maximum expressive power of distinguishing different graph structures. This paper performs theoretical analyses of attention-based GNN models' expressive power on graphs with both node and edge features. We propose an ...
Revisiting heterophily for graph neural networks. NIPS, 2022.概介绍了一种新的 graph homophily metrics.符号说明G=(V,E,A)G=(V,E,A), graph; |V|=N|V|=N; A∈RN×NA∈RN×N, adjacency matrix; Ni={j:eij∈E}Ni={j:eij∈E}, neighborhood set; X∈RN×FX∈RN×F, feature matrix; Z...
Revisiting Heterophily For Graph Neural Networks Sitao Luan, Chenqing Hua, Qincheng Lu, Jiaqi Zhu, Mingde Zhao, Shuyuan Zhang, Xiaoming Chang, Doina Precup 2022 Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification? Sitao Luan, Chenqing...
近几年异质图GNN(Heterogeneous graph neural networks (HGNNs))颇受关注,但是由于每个工作的数据预处理方式和评估设置都不同,因此很难对新模型具体的进步程度做全面理解。 本文使用12个异质图GNN模型的官方代码、数据集、实验设置和超参,证明了它们毫无进展(也不完全,只能说基本没有)。