进行实验研究,以证明 XSimGCL 是基于图增强的对应数据集的理想替代方案。 对比学习有效性证明,从sgl(Selfsupervised graph learning for recommendation)的变体开始 借鉴了最初的SGL的三种变体:SGL-ND (-ND表示节点丢弃)、SGL-ED (-ED表示边缘丢弃)和SGL-RW (-RW表示随机行走,即多层边缘丢弃)。同时为了创建一个...
Imposing different random noises creates variance between contrastive views, while the learnable invariance is still retained due to the controlled magnitude(这句话比较经典).这种方式和图增强的方式相比较,添加噪音的方式正则化embedding space,向着更均匀的方向正则化,这是很容易实现的而且效率高得多。 The major...
在初始阶段,所有的方法都有高度均匀分布的表示,因为作者使用了Xavier初始化,这是一种特殊的均匀分布。随着训练的进行,均匀性下降(均匀性损失增大),达到峰值后,均匀性提高,直到收敛并保持这种趋势。对于SimGCL,随着𝜖的增加,它倾向于学习更均匀的表示,即使是非常小的𝜖=0.01也会导致更高的均匀性。因此,用户(尤其...
论文标题:Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation论文作者:Junliang Yu, H. Yin, Xin Xia, Tong Chen, Li-zhen Cui, Quoc Viet Hung Nguyen论文来源:SIGIR 2022论文地址:download 论文代码:download 1 Introduction本文是针对图对比学习在推荐系统中的应用而提出的...
LightGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION LightGCL:简单而有效的推荐图对比学习方法 来源:ICLR 2023 摘要:尽管大多数现有的图对比学习方法都很成功,但它们要么对用户-项目交互图执行随机增强(例如,节点/边缘扰动),要么依赖于基于启发式的增强技术(例如,用户聚类)来生成对比视图。作...
例如,GraphCL首先为GCL设计了四种类型的通用增强(节点丢弃、边缘扰动、属性屏蔽和子图)。然而,这些增强并不适用于所有场景,因为图的结构信息和语义在各个领域之间差异很大。例如,GraphCL发现边缘扰动有利于社交网络,但会损害GCL中的一些生物化学分子。更糟糕的是,即使扰动很弱,这些扩充也可能完全改变图的语义。例如,在...
LightGCL Simple Yet Effective Graph Contrastive Learning For Recommendation论文阅读笔记 Abstract 目前的图对比学习方法都存在一些问题,它们要么对用户-项目交互图执行随机增强,要么依赖于基于启发式的增强技术(例如用户聚类)来生成对比视图。这些方法都不能很好的保留内在的语义结构,而且很容易受到噪声扰动的影响。所以...
In recent years, graph contrastive learning (GCL) has been widely used in text representation learning due to its ability to represent and capture complex text information in a self-supervised setting. However, current mainstream graph contrastive learning methods often require the incorporation of ...
Graph contrastive learning (GCL) has emerged as a dominant technique for graph representation learning which maximizes the mutual information between paired graph augmentations that share the same semantics. Unfortunately, it is difficult to preserve semantics well during augmentations in view of the div...
论文信息论文标题:Simple Contrastive Graph Clustering论文作者:Yue Liu, Xihong Yang, Sihang Zhou, Xinwang Liu论文来源:2022,arXiv论文地址:download 论文代码:download1 Introduction 贡献:提出了一种简单的对比深度图聚类方法,称为 SCGCSCGC。SCGCSCGC 不