Contrastive Self-supervised Learning (CSSL)对比自监督学习(CSSL)遵循一个与 GraphGL 非常相似的框架,不同的只是数据增强的方式。不仅有节点的删除,它还认为节点插入是一种重要的增强策略。具体来说,它随机选择一个强连通的子图 SS,去除 SS 中的所有边,添加一个新的节点 vivi,并在 vivi 和SS 中的每个节点...
论文标题:Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive论文作者:Lirong Wu, Haitao Lin, Cheng Tan,Zhangyang Gao, and Stan.Z.Li论文来源:2022, ArXiv论文地址:download 1介绍图深度学习的发展是由于能够捕获图的结构和节点/边特征。
Introduction 本文引入了masked graph autoencoder (MGAE)框架来对图数据进行学习。 高比率掩蔽输入图结构(70%)有利于下游应用程序。 使用GNN作为编码器,在部分掩码的图上进行边重构,并使用定制的互相关解码器,会起到良好的效果。 Masked Graph Autoencoder MGAE有四个组成部分:Network masking、GNN Encoder、Cross-c...
在Graph learning的领域,Deep Graph InfoMax (DGI)将节点的表示作为局部信息,随机抽取2跳邻居的平均值作为上下文。但是在图上生成负样本比较困难,作者通过随机变化生成负例。InfoGraph目标在于学习一个graph-level的表示而不是node-level的,因此他最大化graph-level representation和不同层次的子结构的互信息。就像CMC对于...
论文题目:Self-Supervised Learning of Graph Neural Networks: A Unified Review 论文地址:https://arxiv.org/abs/2102.10757 1 Introduction 可以将SSL的前置任务分为两类:对比模型和预测模型。 两类的主要区别在于对比模型需要data-data对进行训练,而预测模型需要data-label对,其中label时从数据中自行生成的,如图1...
所以这里 x 是来自一幅图像的全局特征,正样本是该图像的局部特征,而负样本是其他图像的局部特征。这个工作的开创性很强,已经被应用到了其他领域,比如 graph [24]。 CPC CPC 同样是一个基于对比约束的自监督框架,主要是可以应用于能够以有序序列表示的任何形式的数据:文本、语音、视频、甚至图像(图像可以被视为...
Self-supervised learningNeighborhood aggregationNeighborhood aggregation is a key operation in most of the graph neural network-based embedding solutions. Each type of aggregator typically has its best application domain. The single type of aggregator for aggregation adopted by most existing embedding ...
Graph Self-Supervised Learning: A Survey 作者:Philip S. Yu等 主要工作: 对图自监督学习进行归类 总结了已有的图自监督学习的工作 提出了对后续的图自监督学习工作方向的展望 相较于已有的图自监督学习综述,他们的工作对这块分得更科学更细致 Introduction 部分 ...
Laplacian Eigenmaps 这些方法基于图邻接矩阵（graph adjacency matrix）定义一个核，计算其主特征函数，并...
所以self-supervised learning他的目标并不仅仅是学出来的feature 在recognition task上要比imagenet pre-...