论文标题:GraphMAE: Self-Supervised Masked Graph Autoencoders论文作者:Zhenyu Hou, Xiao Liu, Yukuo Cen, Yuxiao Dong, Hongxia Yang, Chunjie Wang, Jie Tang论文来源:2022, KDD论文地址:download 论文代码:download 1 IntroductionGAE 研究困难之处:...
论文标题:Graph Masked Autoencoders with Transformers 论文作者:Sixiao Zhang, Hongxu Chen, Haoran Yang, Xiangguo Sun, Philip S. Yu, Guandong Xu 论文来源:2022, ArXiv 论文地址:download 论文代码:download 1 Introduction 提出目的: 深层Tramsformer 的困难; ...
对比学习,一种在很大程度上依赖于结构数据增强和复杂的训练策略方法,在graph上是主要的SSL。 在本文中,作者研究了对 GAE 发展产生负面影响的关键问题——重建目标、训练鲁棒性、误差指标,然后提出了GraphMAE(masked graph autoencoder),这缓解了生成自监督图预训练的这些问题。作者建议不是重建图结构,而是使用掩蔽策略...
下图总结了GraphMAE和现有GAE之间的技术差异。 具体来说,encoder和decoder的主干可以是任何类型的GNN,如GCN、GAT或GIN。由于编码器处理具有部分观察到的节点特征\widetilde{X}的整个图A,GraphMAE在不同任务的特征上更倾向具表达性的GNN编码器。例如,GAT在节点分类方面更具表现力,而GIN为图级应用程序提供了更好的归纳...
Benefiting from the pre-training of the encoder with self-supervised learning, the requirement of labeled nodes is significantly reduced. Through extensive experiments, we showcased that our GMAE2 is more suitable for social bot detection with an extremely low proportion of labeled nodes compared to ...
Preserving Global Information for Graph Clustering with Masked Autoencoders However, this assumption is not always true, as heterophilic graphs are also ubiquitous in the real world, which limits the application of GNNs. Further... R Chen - 《Mathematics》 被引量: 0发表: 2024年 Generalized hete...
Deep Graph Clustering with Unknown Cluster Number YearTitleVenuePaperCode 2024 LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering (LSEnet) ICML Link Link 2024 Masked AutoEncoder for Graph Clustering without Pre-defined Cluster Number k (GCMA) arXiv Link - 2023 Reinforcement...
3 Graph Masked Autoencoder 通过2的策略获得图 后,作者将其输入一个图自动编码器框架,作者利用简化的图卷积网络作为图嵌入的编码器,以及一个跨层MLP作为重构掩蔽路径的解码器。 图编码器公式如下: 式9 为了解决GCNs的过平滑问题,作者使用跨层多层感知器(MLP)作为解码器。对于mask的项目-项目边(𝑣,𝑣‘),在...
: Graph Contrastive Learning with Augmentations (NeurIPS 2020) DropPath from Li et al.: MaskGAE: Masked Graph Modeling Meets Graph Autoencoders (arXiv 2022) ShuffleNode from Veličković et al.: Deep Graph Infomax (ICLR 2019) GraphNorm from Cai et al.: GraphNorm: A Principled Approach ...
(2) 用于数据增强的噪声扰动。 数据噪声问题,如互动行为噪声和流行偏见,通常存在于现实生活中的推荐系统中。经过训练的自监督学习(SSL)模型很容易被虚假的项目序列相关性误导,从而导致次优性能。特别是,噪声信息可以通过项目连接传播,这对对比增强技术的表示学习产生了负面影响。面对数据噪声问题,对比自监督学习者很可能...