GNN的各种模型在近两年来非常火热,在各个会议、期刊上新的模型层出不穷,他们有的做了理论创新,有的对前人的工作提出了改进,在这篇博文中,我想要带大家回顾GNN在近两年来的一些模型的异同,着重体现在他们的数学表达式上的差异。 这篇博文主要遵循 DGL 框架和PyTorch geometric的梳理脉络,加上一些对公式以及背后思想...
k,l-WL框架不仅统一了关系池化和许多子图GNN方法,而且拥有比k-WL层次更强的表达能力。文章还讨论了如何构建实用的k,l-GNN模型,并在合成和真实数据集上验证了该框架能够普适地提升任意基础GNN模型的表达能力和性能。 本文的主要贡献有: 提出了ID-MPNN模型,改进了关系池化方法。 在ID-MPNN的基础上,提出通用的k,l...
(ICLR 2019 oral),这是一篇比较有名的文章,作者是来自MIT的xukeyulu,这篇论文算是比较早的想要从理论上分析GNN模型的表达能力的文章,在我们的博文中有详细的介绍,文章想要研究GNN在图同构测试中能力,通过和Weisfeiler-Leman对比,得到一个具有和Weisfeiler-Leman想当能力的图神经网络模型: 这篇论文主要做了两点创新,...
ENADPool 是一种基于聚类的分层池化方法,它将节点分配给唯一的聚类,使用注意力机制计算节点重要性,并压缩节点特征和边连通性以供后续层使用。它涉及三个步骤:硬节点分配、基于节点的注意力和基于边的注意力,从而产生加权压缩的节点特征和邻接矩阵。MD-GNN 模型通过聚合来自不同距离的节点信息并重建图拓扑来捕获全面的...
1、针对现有的事件关系抽取方法由于句中繁杂的语言表达模式,导致模型难以从复杂语义交互中提取丰富的关系特征的问题,本发明提供了一种基于多模双线性池化融合gnn的事件关系抽取方法,同时考虑句法特征和语义特征,达到对句子的全局理解。 2、为实现上述目的,本发明是通过以下技术方案实现的: ...
4.GATConv来自论文 Graph Attention Network (ICLR 2018) 也是GNN各种模型中一个比较知名的模型,在我们之前的博文中介绍过,一作是剑桥大学的Petar Velickovic,这篇文章是在Yoshua Bengio的指导下完成的。论文的核心思想是对邻居的重要性进行学习,利用学习到的重要性权重进行加权求和再对自身Embedding更新:其中 是邻居对...
这篇论文主要做了两点创新,第一,公式中的aggregate采用add而非大部分GNN模型中的mean pooling,第二,给节点自身的Embedding加了少许扰动。后来的很多GNN模型都采用了该论文提出的方法作为子模块。 11.GatedGraphConv来自论文 Gated Graph Sequence Neural Networks,这篇论文是一篇早期的探索图神经网络中的长依赖的论文,一...
4.GATConv来自论文 Graph Attention Network (ICLR 2018) 也是GNN各种模型中一个比较知名的模型,在我们之前的博文中介绍过,一作是剑桥大学的Petar Velickovic,这篇文章是在Yoshua Bengio的指导下完成的。论文的核心思想是对邻居的重要性进行学习,利用学习到的重要性权重进行加权求和再对自身Embedding更新:其中 是邻居对...
这篇论文主要做了两点创新,第一,公式中的aggregate采用add而非大部分GNN模型中的mean pooling,第二,给节点自身的Embedding加了少许扰动。后来的很多GNN模型都采用了该论文提出的方法作为子模块。 11.GatedGraphConv来自论文 Gated Graph Sequence Neural Networks,这篇论文是一篇早期的探索图神经网络中的长依赖的论文,一...