对比学习,一种在很大程度上依赖于结构数据增强和复杂的训练策略方法,在graph上是主要的SSL。 在本文中,作者研究了对 GAE 发展产生负面影响的关键问题——重建目标、训练鲁棒性、误差指标,然后提出了GraphMAE(masked graph autoencoder),这缓解了生成自监督图预训练的这些问题。作者建议不是重建图结构,而是使用掩蔽策略...
Graph Auto-Encoders for Network Completion Keywords:Graph Auto-Encoders,Network Completion Abstract 图补全意味着从一个部分观察到的网络中推断出缺失的节点和边。人们提出了不同的方法来解决这个问题,但没有一种方法采用图中各部分的模式相似性。在本文中,我们提出了一个基于图自动编码器技术的基于网络观测部分的...
去噪自编码器是一种对输入数据进行破坏的方法,是一种消除平凡解的解决方案。事实上,采用mask作为破坏方式的masked autoencoder方法在CV和NLP领域早有广泛应用,受此启发,GraphMAE采用masked autoencoder作为大体的框架。 形式化地来讲,我们采样一个节点子集 ,并且使用一个mask token [MASK]来mask其特征,这是一个可学...
graph autoencoders based method是一种基于图自动编码器的方法,该方法用于处理图数据。图自动编码器是一种无监督学习方法,可用于图形数据的特征学习和图形生成。在本文中,我们将逐步解释图自动编码器的工作原理、关键思想和应用领域,并讨论一些相关的研究和未来的发展趋势。 首先,让我们了解图自动编码器的基本原理。自...
3. Variational Graph Autoencoders 结构框架 输入是一个邻接矩阵和一个特征矩阵,产生潜变量Z, 最后输出是一个新的邻接矩阵。 第一个gcn层产生一个新的低维得特征矩阵。 第二层GCN产生 将两层合并,得到均值和标准差, 。 然后我们产生Z, 解码是通过潜在变量Z的内积,输出是一个新的邻接矩阵, ...
简单理解Autoencoder(AE)、Variational AutoEncoder(VAE)、Graph Autoencoder(GAE)和VGAE,程序员大本营,技术文章内容聚合第一站。
Hou Z, Liu X, Dong Y, et al. GraphMAE: Self-Supervised Masked Graph Autoencoders[C]. KDD, 2022. 原文链接 原代码地址 原作者博客 大佬阅读博客 作者首先以对比学习和图自编码的对比讲述了在当前阶段,图自编码的特征学习能力远不及对比学习的相关方法。因此,引入了BERT中的生成思路,通过学习[MASK]的信...
GraphMAE: Self-Supervised Masked Graph Autoencoders 论文摘要 近年来,人们对自监督学习(SSL)进行了广泛的研究。特别是,生成性SSL已经在自然语言处理和其他领域取得了成功,例如BERT和GPT的广泛采用。尽管如此,对比学习(严重依赖于结构数据增强和复杂的训练策略)一直是图SSL的主要方法,而生成性SSL在图上的进展,特别是...
前几天的文章中我们提到MAE在时间序列的应用，本篇文章介绍的论文已经将MAE的方法应用到图中，这是来自[KDD2022]的论文GraphMAE: Self-supervised Masked Graph Autoencoders 生成学习与对比学习 自监督学习从大量的无监督数据中挖掘出自己需要的的监督信息。与监督学习相比，它使用来自数据集本身的信息来构建伪标签。
Add a description, image, and links to thegraph-auto-encodertopic page so that developers can more easily learn about it. Add this topic to your repo To associate your repository with thegraph-auto-encodertopic, visit your repo's landing page and select "manage topics." ...