图卷积(GCN)顾名思义是在Graph上进行卷积操作。理论通俗介绍见：小虎AI珏爷：谱域图卷积神经网络GCN通...
那么说白了GCN和Self-attention都落在Message Passing(消息传递)框架里。GCN中的Message从节点的邻居节点传播来,Self-attention的Message从Query的Key-Value传播来。如果称所有的Message Passing函数都是GCN的话,那么Self-attention也就是GCN作...
GNN，包括GCN，是一种聚合邻居信息来更新节点表示的神经网络模型。下图取自GraphSAGE，感觉比较好的说明了...
- Electra-fineture(todo) - Albert-fineture - Xlnet-fineture - Bert-fineture - FastText - TextCNN - charCNN - TextRNN - TextRCNN - TextDCNN - TextDPCNN - TextVDCNN - TextCRNN - DeepMoji - SelfAttention - HAN - CapsuleNet - Transformer-encode - SWEM - LEAM - TextGCN(todo) ...
那么说白了GCN和Self-attention都落在Message Passing(消息传递)框架里。GCN中的Message从节点的邻居节点传播来,Self-attention的Message从Query的Key-Value传播来。如果称所有的Message Passing函数都是GCN的话,那么Self-attention也就是GCN作用Query和Key-Value所构成Complete Garph上的一种特例。
- Electra-fineture(todo) - Albert-fineture - Xlnet-fineture - Bert-fineture - FastText - TextCNN - charCNN - TextRNN - TextRCNN - TextDCNN - TextDPCNN - TextVDCNN - TextCRNN - DeepMoji - SelfAttention - HAN - CapsuleNet - Transformer-encode - SWEM - LEAM - TextGCN(todo) ...
GCN和self-attention机制都是深度学习技术，它们都能捕捉和处理样本之间的关系，但是它们之间有很大的不同...
首先结论是大部分GCN和Self-attention都属于Message Passing（消息传递）。GCN中的Message从节点的邻居节点...
它们都是一种传递和更新信息的方式。GCN是在图上进行信息传递和更新，而self-attention则是在序列上进行...
self-attention的每一次是为了轻重有别，这里的D一般是输入的句子；而GCN则更像是堆叠了很多层的Linear ...