为此,我们提出了一个信息论指导原则,即鲁棒图信息瓶颈(Robust Graph Information Bottleneck,RGIB),以提取可靠的监督信号并避免表征坍缩。与基本的信息瓶颈GIB[4,5]不同的是,RGIB进一步解耦并平衡了图拓扑、图标签和图表征之间的相互依赖性,为抵抗双边噪声的鲁棒表征构建了新的学习目标。此外,我们探索了两种实例,R...
Graph Information Bottleneck for Subgraph Recognition —— 子图识别的图信息瓶颈 传奇电焊悍匪 华东师范大学 数据科学与工程硕士在读16 人赞同了该文章 目录 收起 本文关注的问题 问题定义 图级表征的获得 优化信息瓶颈目标 子图识别信息瓶颈 图信息瓶颈 IB子图 针对GIB目标的双级优化 子图生成器和连通...
论文:Tailin Wu, Hongyu Ren, Pan Li, Jure Leskovec.Graph Information Bottleneck.In NIPS 2020. 概要:图神经网络(GNNs)是一种融合网络结构和节点特征信息的表示学习方法,容易受到对抗性攻击。本文提出了一个信息论原则——图信息瓶颈(Graph Information Bottleneck,GIB),它能够优化图数据表示的表达能力和鲁棒性之间...
30:55 DG-Mamba: 重新定义鲁棒且高效的动态图结构学习|AAAI'25 23:27 Discrete Curvature Graph Information Bottleneck|AAAI'2025 25:49 Cobra:将Mamba扩展为多模态大语言模型以实现高效推理|AAAI'25 15:10 离线强化学习中是否真的需要具有表现力的模型?|AAAI'25 14:42 【...
为解决预测图标签/属性时识别信息损失最小的压缩子图问题，首先通过GCN（图卷积网络）获得节点嵌入，然后应用自注意力机制，将节点嵌入与标准化的注意分数相乘，得到图级表征。通过优化信息瓶颈目标，以最大化IB，找到紧凑但信息丰富的表示，从而达到压缩数据并保留标签或属性预测信息的目的。通过将信息瓶颈...
Graph Information Bottleneck for Subgraph RecognitionJunchi YuTingyang XuYu RongYatao BianJunzhou HuangRan HeInternational Conference on Learning Representations
Graph Information Bottleneck (GIB) for learning minimal sufficient structural and feature information using GNNs - snap-stanford/GIB
作者引入信息瓶颈 (Information Bottleneck)原则,认为更好的 View 应该是在共同保留图本身的特性这一前提下,彼此之间的互信息最小。即在训练中,学习如何通过增强保留 graph 中的必要信息,并同时减少噪音。基于这一原则,作者设计了 min-max game 的训练模式,并训练神经网络以决定是否在数据增强中删除某条边。
In this work, we propose a novel framework, called Invariant Graph Learning based on Information bottleneck theory (InfoIGL), to extract the invariant features of graphs and enhance models' generalization ability to unseen distributions. Specifically, InfoIGL introduces a redundancy filter to compress ...
那么一个显而易见的选择就是信息瓶颈理论(Information Bottleneck Principle)。通过注入信息瓶颈,GSAT能够天然的控制图中的信息量,从而达到预期的效果。具体而言,图信息瓶颈损失可以写作:minθ,ϕ−I(fθ(GS),Y)+βI(GS;G) s.t. GS∼gϕ(G)minθ,ϕ−I(fθ(GS),Y)+βI(GS;G) s.t. GS...