对于后者，SE Attention中采用全连接层来生成权重，因此每一个通道的权重计算都包含了所有通道特征的信息...
对于后者，SE Attention中采用全连接层来生成权重，因此每一个通道的权重计算都包含了所有通道特征的信息...
GCN中的Message从节点的邻居节点传播来,Self-attention的Message从Query的Key-Value传播来。如果称所有的Message Passing函数都是GCN的话,那么Self-attention也就是GCN作用Query和Key-Value所构成Complete Garph上的一种特例。也正如乃岩 @Na...
input_dim,hidden_dim,output_dim,task='node'):super(GCNModel,self).__init__()self.task=tasks...
最后总结一下：GCN和self-attention甚至attention都没有必然联系。对邻居加权来学习更好的节点表示是一个...
首先结论是大部分GCN和Self-attention都属于Message Passing（消息传递）。GCN中的Message从节点的邻居节点...
gcn做的是邻居信息汇聚＋MLP self-attention相当于在汇聚的时候给不同邻居进行加权 不同的attention机制...
它们都是一种传递和更新信息的方式。GCN是在图上进行信息传递和更新，而self-attention则是在序列上进行...
GCN的思路是提取特征值，用拉式矩阵替代像素矩阵。说它相似或许是因为都加上了特定的权重从而改变图像...
可以认为self-attention是non-local的一种特殊形式，同时non-local又可以用GCN来formulate。这里自卖自夸一...