GROVER由两个模块组成:节点 transformer 和边 transformer。边 transformer 与 节点 transformer有类似的结构。下面主要介绍节点 transformer GNN Transformer 注意力组件需要矢量的输入。然而,图的输入是结构性的数据。因此,设计了一个定的GNNs(dyMPN)来提取向量作为queries, keys和values,然后输入到注意组件。 在由值构造...
将每个节点的相邻子图结构编码为图拓扑感知嵌入,将拓扑位置信息注入到图transformer中,具体来说,SHT采用了两层轻量级的图卷积网络 用于全局关系学习的超图transformer SHT采用超图transformer 通过自适应超图关系学习增强用户协作关系建模,缓解噪声问题 将知识从稠密的用户/商品节点转移到稀疏的用户/商品节点 SHT配置了用于结构...
文献阅读《Self-Supervised Graph Transformer on Large-Scale Molecular Data》,程序员大本营,技术文章内容聚合第一站。
This is a Pytorch implementation of the paper: Self-Supervised Graph Transformer on Large-Scale Molecular Data - tencent-ailab/grover
Molecular Property PredictionClinToxGROVER (large)ROC-AUC76.2# 13 See all Molecules (M)11# 4 See all Molecular Property PredictionClinToxGROVER (base)ROC-AUC81.2# 10 See all Molecules (M)11# 4 See all Molecular Property PredictionFreeSolvGROVER (large)RMSE2.272# 6 ...
Pre-training graph neural networks for generic structural feature extraction. arxiv preprint. Cluster-aware graph neural networks for unsupervised graph representation learning. arxiv preprint. Self-supervised graph transformer on large-scale molecular data. NeurIPS, 2020....
论文解读:Graph Transformer for Graph-to-Sequence Learning 图神经网络在深度学习领域内得到十分广泛的应用,其可以对拓扑结构的数据进行表征。现阶段传统的以GNN及其相关变体在进行表征时普遍做法是将结点多跳范围内的邻居结点通过平均或加权等方式进行聚合,但这类方式存在一些不足之处,本篇文章提出的Graph Tran...
先写两个最近火热我比较看好的方向Transformer和Self-Supervised,我这里举的例子倾向于计算机视觉方向。最后再补充Zero-Shot和多模态两个方向。 1.Transformer 自从去年DETR和ViT出来之后,计算机视觉领域掀起了Transformer狂潮。目前可以做的主要有两个路径,一个是魔改DETR和ViT,另一个是不同task迁移算法。
2, is based on a graph where the nodes are tokens and the edges are similarities between the tokens us- ing features based on the latent variables of the transformer. In the following, we first briefly present vision transformers in Section 3.1.1 and Normal...
https://github.com/LirongWu/awesome-graph-self-supervised-learning 近些年来,图上的深度学习在各种任务上取得了显著的成功,而这种成功在很大程度上依赖于海量的、精心标注的数据。然而,精确的标注通常非常昂贵和耗时。为了解决这个问题,自监督学习(Self-supervised Learning,SSL)正在成为一种全新的范式,通过精心设计的...