Graph Self-Supervised Learning: A Surveyieeexplore.ieee.org/abstract/document/9770382 PDF: https://arxiv.org/pdf/2103.00111.pdfarxiv.org/pdf/2103.00111.pdf 1. 背景与概括 图的深度学习作为一个热门领域引起了广泛的研究兴趣,但是由于当前研究大多集中在半监督或者监督学习上,存在标签依赖严重、泛...
【Arxiv-2021】【IEEE members/fellows】Graph Self-Supervised Learning: A Survey 核心要点 文章旨在对现有图神经网络的方法进行全面的总结和分类,并给出常用的数据集、评估基准、方法间的性能比较和开源代码链接。图的深度学习的热度与日俱增,但大多数工作集中在(半)监督学习上。对比标签的严重依赖导致模型泛化能力...
图上的深度学习最近引起了人们的极大兴趣。然而,大多数工作都集中在(半)监督学习上,导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题,自监督学习 (SSL) 通过精心设计的借口任务提取信息知识,而不依赖于手动标签,已成为图数据的一种有前途和趋势的学习范式。与计算机视觉和自然语言处理等其他领域中...
Cluster-aware graph neural networks for unsupervised graph representation learning. arxiv preprint. Self-supervised graph transformer on large-scale molecular data. NeurIPS, 2020.
3.节点表示容易收到噪声交互的影响。在本文中作者通过在用户-物品图上引入自监督学习来改善GCN在推荐系统上的准确率和鲁棒性,将其称为Self-supervised Graph Learning(SGL),并应用在LightGCN模型上。SGL是模型无关的,并通过辅助自监督任务来补充监督任务中的信息以达成上述目的。
step-1: View generation 我们首先为所有节点提取局部子图, 其中子图可以是r−hopegor−hopego(即每个节点周围的生成子图) 或由从每个节点开始的一组随机游走序列生成的子图. 实际上, 不同的选择不会显著影响结果, 并且RW(随机游走)对于密集图更有效. LetS={S1,S2,...,SN}S={S1,S2,...,SN}是为...
自监督学习(二)《Scaling and Benchmarking Self-Supervised Visual Representation Learning》 任务,也就是说自监督模型在这里只是一个特征提取器。 ScalingSelf-supervisedLearning首先作者实验自监督学习的伸缩性,即通过变化数据集的规模、增加模型的容量以及增加网络...依然是对的。以下是我根据作者的结论和实验,结合自...
论文题目:Self-Supervised Learning of Graph Neural Networks: A Unified Review 论文地址:https://arxiv.org/abs/2102.10757 1 Introduction 可以将SSL的前置任务分为两类:对比模型和预测模型。 两类的主要区别在于对比模型需要data-data对进行训练,而预测模型需要data-label对,其中label时从数据中自行生成的,如图1...
对于时间复杂度的考量，SGL涉及到邻接矩阵的处理、图卷积的运算、BPR Loss的计算以及Self-supervised Loss的集成，每一环节都精细而关键。实验结果显示，当SGL以LightGCN为基础，其性能超越了基础模型，尤其在处理长尾节点时表现出色，甚至超越了当前的最先进水平。总的来说，SGL通过挖掘自监督信号，以图结构...
Self-supervised learning (SSL) seeks to create and utilize specific pretext tasks on unlabeled data to aid in alleviating this fundamental limitation of deep learning models. Although initially applied in the image and text domains, recent interest has been in leveraging SSL in the graph domain to...