为解决这一问题,DDL实验室团队提出了一种名为Capsule的新型核外(Out-of-Core)GNN训练框架,为大规模图神经网络训练提供了高效的解决方案。与现有的核外GNN框架不同,Capsule通过图划分和图裁剪策略,将训练子图的结构及特征完全加载到GPU显存中,从而彻底消除了反向传播过程中CPU与GPU之间的I/O开销,显著提升了系统性能。
在这一节中,为了解决邻居爆炸问题,我们提出了新颖的子图采样方法——本地消息补偿(Local Message Compensation,简称 LMC)。 LMC 首先通过不完全最新值(incomplete up-to-date values)和历史值(historical values)的凸组合来高效地估计 和 ,然后利用方程 (6) 和 (7) 计算小批量梯度。在之后的理论分析中,我们证明...
作者提出一种自适应感知路径的GNN,即自动学习对目标节点贡献大的邻居进行传播(如下图阴影部分选中的邻居): 2.背景 图神经网络是聚合目标节点T跳内的邻居信息 2.1 自适应感知域的重要性 现实中的图a.存在噪声,比如在下图,连接了同IP的账户中即便有很多恶意中账户(红节点),也不能说明绿色账户是恶意的: b.不同...
【新智元导读】图神经网络（GNN）是机器学习的强大工具之一，但在训练数据上往往依赖于特定领域，为了解决由领域转移和数据标记偏差造成的性能下降，谷歌提出了一种新方法。图神经网络（GNN），是在机器学习中利用图形结构数据的强大工具。图是一种灵活的数据结构，可以对许多不同类型的关系进行建模，并已被用于不同的...
L2P-GNN 方法 该研究首先提出了一个自监督 GNN 模型，在模型无关元学习（MAML）设置中学习图结构，然后是节点和图级双重适应，以模拟预训练过程中的微调。 自监督模型 L2P-GNN 的核心是学习预训练 GNN 以缓解预训练与微调过程之间的差距。具体来说，该方法可以表述为 MAML 的形式。为此，该研究将任务定义为从...
[ 导读 ]GNN虽牛,但也避免不了计算复杂性等问题。为此,谷歌大脑与牛津大学、哥伦比亚大学的研究人员提出了一种全新的GNN:GKATs。不仅解决了计算复杂度问题,还被证明优于9种SOTA GNN。 从社交网络到生物信息学,再到机器人学中的导航和规划问题...
为了提升成矿预测模型的可解释性，以及成矿过程中因地质因素导致的空间非平稳性，浙江大学的研究团队提出了一种新的地理空间人工智能方法——地理神经网络加权逻辑回归 (geographically neural network-weighted logistic regression, GNNWLR)。该模型集成了空间模式 (spatial patterns) 和神经网络，结合 Shapley 加性解释...
为了提升成矿预测模型的可解释性,以及成矿过程中因地质因素导致的空间非平稳性,浙江大学的研究团队提出了一种新的地理空间人工智能方法——地理神经网络加权逻辑回归 (geographically neural network-weighted logistic regression, GNNWLR)。 该模型集成了空间模式 (spatial patterns) 和神经网络,结合 Shapley 加性解释理...
首先,研究者展示了如何训练图神经网络(GNN),使之生成可在向量空间中执行高效相似性推理的图嵌入。其次,研究者提出了新型图匹配网络模型(GMN),该模型以一对图作为输入,通过基于跨图注意力的新型匹配机制进行联合推理,从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性,包括极具挑战性的基于...
相反，该研究提出对 GBDT 和 GNN 进行端到端的训练，称为 BGNN（Boost-GNN）。该研究首先应用 GBDT，然后再应用 GNN。但考虑到最终预测的质量，该研究对它们进行了优化，BGNN 的训练如图 1 所示。已经构建好的决策树由于其离散的结构而无法正确调整，因此该研究通过添加新的树来迭代地更新 GBDT 模型，使其近似于...