本文提出了一种新的训练算法 Cluster-GCN,核心思想在于利用聚类算法将大图划分为多个簇,划分遵循簇间连接少而簇内连接多的原则,这种简单的方法有效的减少了内存和计算资源的消耗,同时也能取得非常好的预测精度。 5.Reference 《Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Net...
Cluster-GCN 1. memory:GOOD 需要存储当前batch的所有embedding matrices, O(LbF) 需要存储所有中间的feature transformation matrices, O(LF^2) 2. time:GOOD 需要计算 L 轮embedding, O(LNF^2) 需要计算其他element-wise operation, O(\|A_{tt}\|_0F) 3. convergence:GOOD Background 1. 给定图结...
cluster gcn的思想非常简单暴力而直接,既然GCN没法一次性处理一个大图,我们就将大图切割为一大堆的小的子图,然后GCN分别在小的子图上训练,这样不仅可以batch training,还可以有效的降低显存的压力,一个子图的大小有限,所谓深层GCN也可以跑起来。 具体的思路如上图,我们以单个节点为例,即上图的红色节点,可以看到随着层...
大规模GCN的训练:目前基于SGD的gcn算法,1)面临随着gcn层数增长,计算复杂度呈指数增长;2)需要保存整个Graph和每个node的embedding,存储量巨大。 本文提出了一种基于Graph聚类结构结构,且基于SGD训练的GCN算法:Cluster-GCN。在每一个步骤中,Cluster-GCN通过graph聚类算法来筛选联系紧密的sub-graph,从而在sub-graph中的一...
训练两层GCN的VRGCN比Cluster-GCN快,但是却慢于增加一层网络但实现相似准确率的Cluster-GCN 在内存使用方面,VRGCN比Cluster-GCN使用更多的内存(对于三层的情况5倍多)。当训练4层GCN的时候VRGCN将被耗尽,然而Cluster-GCN当增加层数的时候并不需要增加太多的内存,并且Cluster-GCN对于这个数据集训练 4 层的GCN将实现...
A PyTorch implementation of "Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks" (KDD 2019). - benedekrozemberczki/ClusterGCN
本发明公开了一种基于改进的ClusterGCN的文本分类方法,包括如下步骤:1)预处理;2)数据集划分;3)初始化;4)训练模型;5)输出.这种方法实现了数据的增强,同时缓解了网络层数加深带来的过平滑问题,减少了邻域扩展的范围避免了大量的邻域搜索,有效减少了内存消耗,提高了计算效率,通过节点聚类的方法,来减少偏远节点对当前...
Graph convolutional network (GCN) has been successfully applied to many graph-based applications; however, training a large-scale GCN remains challenging. Current SGD-based algorithms suffer from either a high computational cost that exponentially grows with number of GCN layers, or a large space req...
This book describes the Oracle Solaris Cluster HA for Samba data service. The book includes an overview of this data service and detailed instructions for how to install and configure the data service.
This appendix presents a complete example of how to install and configure the Samba application and data service in the global and non-global zone. It presents a simple node cluster configuration. If you need to install the application in any other configuration, refer to the general-purpose pro...