从CNN的网络结构来理解就很简单了,拿一个NxNxC的kernel来举例,(1)NxN这两个维度其实就是来mix不同位置像素点的mixer,(2)而C这个维度则是来mix一个像素点不同通道特征的mixer。 MLP-Mixer将CNN这两个任务切割开来,用两个MLP网络来处理,分别为(1)不同位置的mix叫做token-mixing (2)同一位置不同通道的mix叫...
近期谷歌提出的MLP-Mixer在各大数据集上都取得了很好的成绩,将我们的注意力又从Attention Mechanism(注意力机制) 转移到了MLP(多层感知机)。 这里我附上原论文的链接,方便大家去查看,(MLP-mixer arxiv论文链接,话不多说,我们开始代码复现。 首先我们根据原论文的MLP结构写出我们的feedforward类,也就是基础的MLP结构...