本周阅读的论文题目是《Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks》,这是一篇在2019年发表在KDD上的一篇经典的文章,文章提出的模型名字叫Cluster-GCN。 …
基于Cluster-GCN的医疗保险欺诈检测研究 摘要:医疗保险欺诈是现阶段医疗保险机构面临的重大挑战,由于保险基金规模的扩张,欺诈导致的基金损失也在增加。随着..
训练两层GCN的VRGCN比Cluster-GCN快,但是却慢于增加一层网络但实现相似准确率的Cluster-GCN 在内存使用方面,VRGCN比Cluster-GCN使用更多的内存(对于三层的情况5倍多)。当训练4层GCN的时候VRGCN将被耗尽,然而Cluster-GCN当增加层数的时候并不需要增加太多的内存,并且Cluster-GCN对于这个数据集训练 4 层的GCN将实现...
VR-GCN 1. memory:BAD 需要存储所有中间的embedding matrices, O(LNF) 需要存储所有中间的feature transformation matrices, O(LF^2) 提出一种存储 N 个节点和 L 层embedding的方法,并且在后续层中重用 2. time:GOOD 3. convergence:GOOD Cluster-GCN 1. memory:GOOD 需要存储当前batch的所有embedding matrice...
2.Cluster-GCN 我们知道,基于 mini-batch 的 SGD 可以在单个 epoch 中更新多次,从而使得其比 full batch 具有更快的收敛速度,但是前者每个 epoch 所花的时间都更长。 出现这种情况主要是 SGD 在训练时引入额外的计算开销,我们简单介绍下。 首先给出 SGD 的计算公式: ...
(论文翻译)Cluster-GCN:一种有效的算法,用于训练深度和大规模图卷积网络,程序员大本营,技术文章内容聚合第一站。
Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks ABSTRACT 问题:训练大规模的GCN仍然具有挑战性,当前基于SGD的算法的计算成本随着GCN层数的增长呈指数增长。 方法:Cluster-GCN算法,利用图的聚类结构,适用于基于奇异值分解的训练。 原理:每次... 查看原文 Cluster-GCN阅读...
GCN网络包含了L层,且每一层的计算可以表示为: 其中 是一个对角degree矩阵。 包含第 层的嵌入。 是一个用来转换嵌入的矩阵,σ是非线性激活函数(在这里使用的是ReLU)。直观地说,这个公式表达了对每个顶点及其相邻顶点的嵌入特征进行加权平均,用 进行变换,然后作为非线性激活函数的输入的过程。这类似于一个典型的CNN...
在本篇论文中,作者从人类认知的角度提出了一个两阶段模型,命名为CluSTeR,用于TKG推理。 CluSTeR模型由基于RL的线索搜索阶段和基于GCN的时序推理阶段组成。 在第一阶段,CluSTeR从历史中找到可靠的线索路径,并通过RL生成直观的候选实体。 第二阶段,以找到的线索路径为输入,将线索路径导出的线索事实重组为一系列图,并对其...
图网络论文ECCV20一种新的图网络正则化方法:DropCluster /papers/eccv_2020/papers_ECCV/papers/123660239.pdf Dropout已被广泛采用,它通过将节点特征向量随机归零来对图卷积网络(GCN)进行正则化,并在各种任务上获得了不错的性能。但是,将(1)不同节点特征向量进行(spatially)传播,(2)每个节点特征向量的不同entries...