图论〔Graph Theory〕是数学的一个分支。它以图为研究对象。图论中的图是由若干给定的点及连接两点的线所构成的图形,这种图形通常用来描述某些事物之间的某种特定关系,用点代表事物,用连接两点的线表示相应两个事物间具有这种关系。 图论的基本研究对象——图 图(Graph)是表示物件与物件之间的关系的数学对象,是图论...
图的Mini-batching 因为在图分类数据集中的图通常来说都比较小,这样就不能充分利用GPU,所以一个想法就是就是先batch the graph,然后再把图放到GNN中。 在图像和自然语言处理领域,这个过程通常是通过rescaling或者padding来实现的,就是把每个样本转换成统一大小/形状,然后再把它们放到一起。以图片为例,我把所有图片...
graph特征:对于已生成的node feature,使用READOUT聚合生成graph特征;其中READOUT函数可以是简单的平均,或者也可以采用一些更复杂的图池化函数。 2.1.2 模型训练 模型额外增加了一个discriminator模块,判断patch representation和graph representation是否来自于同一张图。 损失函数—最大化MI的目标,Jensen-Shannon MI estimato...
总体来说,主要有三大类的问题:一个是在图层面(graph-level),一个是在节点层面(node-level),一个是在边层面(edge-level)。 2.1图层面的任务 在图层面的任务中,我们的目标是预测整个图的属性。例如,对于以图形表示的分子,我们可能想要预测分子的气味...
其中, Do Transformers Really Perform Bad for Graph Representation?拿到了OGB Graph-level 预测任务上的第一名。 19ICML P-GNN Position-aware Graph Neural Networks image-20210623000116614 本文来自斯坦福Jure组,算是很早将节点位置信息注入到GNN聚合过程和节点表示中去的工作。对于position-aware,文中给出了清晰的...
2.1.2 Graph-level Processing 图卷积层通过聚合相邻节点的特征来实现节点之间的信息交换。具体来说,图卷积的操作如下: 其中和是聚合和更新操作中的可学习参数。更具体地说,聚合运算是通过聚合邻居节点的特征来计算节点的表示: 其中表示节点邻居集合。为了方便和高效,这里采用 max-relative graph convolution: ...
3. 图层面(Graph Level)的任务 图层面的任务不依赖于某个节点或者某条边的属性,而是从图的整体结构出发,实现分类、表示和生成等任务。目前,图层面的任务主要应用在自然科学研究领域,比如对药物分子的分类、酶的分类等。 参考文献 [1] Zhang G, He H, Katabi D. Circuit-GNN: Graph Neural Networks for Distr...
Node-level 输出与节点回归和分类任务相关,Edge-level 输出与边分类和链接预测任务相关,Graph-level 输出与图分类任务相关。 端到端训练框架。图卷积网络可以以(半)监督或纯无监督的方式在端到端学习框架中训练,依赖于学习任务和可用的标签信息。 节点级分类的半监督学习。给定部分节点被标记的单个网络,图卷积网络...
3. 图层面(Graph Level)的任务 图层面的任务不依赖于某个节点或者某条边的属性,而是从图的整体结构出发,实现分类、表示和生成等任务。目前,图层面的任务主要应用在自然科学研究领域,比如对药物分子的分类、酶的分类等。 参考文献 [1] Zhang G, He H, Katabi D. Circuit-GNN: Graph Neural Networks for Distr...
(1)Graph data augmentation:图的数据增强,上述的四种增强操作 (2)GNN-based encoder:L 抽取出graph-level的表征。 (3)projetction head: y一个非线性的转换函数g(),将图级别的表征转化成一个用于下游对比学习的输入。 (4)constrastive loss function:定义了对比损失函数L(·)来实现正对与负对的一致性最大化...