论文地址:Kipf T N, Welling M. Variational graph auto-encoders[J]. NIPS, 2016. 代码地址:github.com/tkipf/gae 图神经网络可以细分为五类:图卷积网络、图注意力网络、图时空网络、图生成网络和图自编码器。其中图卷积和图注意力网络资料较多,本文就不再赘述,这里解读一篇发表在NIPS2016上的经典图自编码器...
在这个工作中,我们探索了图(graph)的生成性自监督学习(generative self-supervised learning),并确定了图自动编码器(graph autoencoders)所面临的常见问题。因而,我们提出了GraphMAE——一个简单的遮蔽图自动编码器(masked graph autoencoder),从重建目标、学习过程、损失函数和模型框架的角度来解决这些问题。在GraphMAE...
事实上,采用mask作为破坏方式的masked autoencoder方法在CV和NLP领域早有广泛应用,受此启发,GraphMAE采用masked autoencoder作为大体的框架。 形式化地来讲,我们采样一个节点子集 ,并且使用一个mask token [MASK]来mask其特征,这是一个可学习的向量 。因此,对于masked特征矩阵 中 的节点特征 ,可以定义为: GraphMAE...
本文提出的 新框架为 Neighborhood Wasserstein Reconstruction Graph Auto-Encoder (NWR-GAE),将重构损失分解为三个部分,即 节点度、邻居表示分布和节点特征。 其中最重要的是重建邻居分布,由于在消息传递后,在节点的表示中编码的信息来源本质上来自于的邻域(Fig.2)。因此,节点的良好表示应该捕获其跳邻域中所有节点的...
Hou Z, Liu X, Dong Y, et al. GraphMAE: Self-Supervised Masked Graph Autoencoders[C]. KDD, 2022. 原文链接 原代码地址 原作者博客 大佬阅读博客 作者首先以对比学习和图自编码的对比讲述了在当前阶段,图自编码的特征学习能力远不及对比学习的相关方法。因此,引入了BERT中的生成思路,通过学习[MASK]的信...
图神经网络最初由 Franco Scarselli 和 Marco Gori 等人提出,在之后的十几年里被不断扩展,先后发展出了图卷积网络(Graph Convolution Networks,GCN)、 图注意力网络(Graph Attention Networks)、图自编码器( Graph Autoencoders)、图生成网络( Graph Generative Networks) 和图时空网络(Graph Spatial-temporal Networks...
为了填补这一空缺,我们提出了一个基于图形自动编码器的多媒体推荐模型(Content-aware Multimedia Recommendation Model with Graph Autoencoder (GraphCAR)),把信息丰富的多媒体内容和用户-项目交互结合起来。具体来说,用户项目交互、用户属性和多媒体内容(图形、视频、音频等),作为自动编码器的输入,为每个用户生成项目偏...
图自动编码器(Graph Autoencoders) Graph Autoencoder (GAE)和Adversarially Regularized Graph Autoencoder (ARGA) 图自编码器的其它变体有: 具有反向正则化自动编码器的网络表示Network Representations with Adversarially Regularized Autoencoders (NetRA)
前几天的文章中我们提到MAE在时间序列的应用，本篇文章介绍的论文已经将MAE的方法应用到图中，这是来自[KDD2022]的论文GraphMAE: Self-supervised Masked Graph Autoencoders 生成学习与对比学习 自监督学习从大量的无监督数据中挖掘出自己需要的的监督信息。与监督学习相比，它使用来自数据集本身的信息来构建伪标签。
GraphMAE: Self-Supervised Masked Graph Autoencoders 论文摘要 近年来,人们对自监督学习(SSL)进行了广泛的研究。特别是,生成性SSL已经在自然语言处理和其他领域取得了成功,例如BERT和GPT的广泛采用。尽管如此,对比学习(严重依赖于结构数据增强和复杂的训练策略)一直是图SSL的主要方法,而生成性SSL在图上的进展,特别是...