GNN的各种模型在近两年来非常火热,在各个会议、期刊上新的模型层出不穷,他们有的做了理论创新,有的对前人的工作提出了改进,在这篇博文中,我想要带大家回顾GNN在近两年来的一些模型的异同,着重体现在他们的数学表达式上的差异。 这篇博文主要遵循 DGL 框架和PyTorch geometric的梳理脉络,加上一些对公式以及背后思想...
k,l-WL框架统一了关系池化、原始k-WL和许多子图GNN。当l=0时,k,l-WL等价于k-WL;当k=1时,k,l-WL包含l-OSAN等算法;1,1-WL等价于一种子图WL方法,因此涵盖众多子图GNN。k,l-WL也包含一些超出子图WL范围的子图GNN,如I2-GNN。总之,k,l-WL建立了一个更完备的表达能力层次结构。 5. 实验发现 论文在...
(ICLR 2019 oral),这是一篇比较有名的文章,作者是来自MIT的xukeyulu,这篇论文算是比较早的想要从理论上分析GNN模型的表达能力的文章,在我们的博文中有详细的介绍,文章想要研究GNN在图同构测试中能力,通过和Weisfeiler-Leman对比,得到一个具有和Weisfeiler-Leman想当能力的图神经网络模型: 这篇论文主要做了两点创新,...
ENADPool 是一种基于聚类的分层池化方法,它将节点分配给唯一的聚类,使用注意力机制计算节点重要性,并压缩节点特征和边连通性以供后续层使用。它涉及三个步骤:硬节点分配、基于节点的注意力和基于边的注意力,从而产生加权压缩的节点特征和邻接矩阵。MD-GNN 模型通过聚合来自不同距离的节点信息并重建图拓扑来捕获全面的...
1、针对现有的事件关系抽取方法由于句中繁杂的语言表达模式,导致模型难以从复杂语义交互中提取丰富的关系特征的问题,本发明提供了一种基于多模双线性池化融合gnn的事件关系抽取方法,同时考虑句法特征和语义特征,达到对句子的全局理解。 2、为实现上述目的,本发明是通过以下技术方案实现的: ...
5.PointConv来自论文 PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 这是较早得将GNN应用在点云上的文章:其中和都表示多层感知机层, 表示每个点的坐标向量。6.EdgeConv来自论文 Dynamic Graph CNN for Learning on Point Clouds (TOG 2019) 第一作者是MIT的博士Yue Wang, 这是另...
4.GATConv来自论文 Graph Attention Network (ICLR 2018) 也是GNN各种模型中一个比较知名的模型,在我们之前的博文中介绍过,一作是剑桥大学的Petar Velickovic,这篇文章是在Yoshua Bengio的指导下完成的。论文的核心思想是对邻居的重要性进行学习,利用学习到的重要性权重进行加权求和再对自身Embedding更新:其中 是邻居对...
可以看到,和之前介绍的GNN模型不同,邻居节点汇聚后Embedding不再直接加到自身Embedding上(GCN),也不再直接concat到自身Embedding上(GraphSAGE),而是采用GRU的方式汇聚,以保持对长依赖的建模。 12.GMMConv来自论文 Geometric Deep Learning on Graphs and Manifolds using Mixture Model CNNs (CVPR 2017) ,论文提出了一...
可以看到,和之前介绍的GNN模型不同,邻居节点汇聚后Embedding不再直接加到自身Embedding上(GCN),也不再直接concat到自身Embedding上(GraphSAGE),而是采用GRU的方式汇聚,以保持对长依赖的建模。 12.GMMConv来自论文 Geometric Deep Learning on Graphs and Manifolds using Mixture Model CNNs (CVPR 2017) ,论文提出了一...