关键词:Stand-Alone Self-Attention(独立自我注意) 解析:主要在于stand-alone是怎样的一个形式(摘要就明白了) 作者 第一作者(不知道这样侵不侵权,侵权到时候删掉) 这篇文章有1300多的引用,Google Research, Brain Team(组强不强应该咋看呀) 摘要 卷积是现代计算机视觉系统的基本组成部分。最近的方法主张超越卷积来...
但引入Attention Block往往也是作为beyond convolution的增强操作,之前并没有人尝试过将Attention作为一个基本的building block,这篇文章尝试构建了一个full-attention的network来替换卷积操作,验证了self-attention可以作为一个单独的layer在网络中。
因此,论文提出简单的local self-attention layer,将内容之间的关系(content-based interactions)作为主要特征提取工具而不是卷积的增强工具,能够同时处理大小输入,另外也使用这个stand-alone attention layer来构建全attention的视觉模型,在图像分类和目标定位上的性能比全卷积的baseline要好 Background Convolution ...
NeurIPS 2019 Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, Jonathon Shlens 一、简介 受限于感受域的大小设定,卷积很难获取长距离的像素关系,而在序列模型中,已经能很好地用attention来解决这个问题。 将内容交互的模块(注意力机制)作为视觉模型的主要单元... 查看原文 ICLR ...
The natural question that arises is whether attention can be a stand-alone primitive for vision models instead of serving as just an augmentation on top of convolutions. In developing and testing a pure self-attention vision model, we verify that self-attention can indeed be an effective stand...
Implementing Stand-Alone Self-Attention in Vision Models using Pytorch - leaderj1001/Stand-Alone-Self-Attention
论文提出stand-alone self-attention layer,并且构建了full attention model,验证了content-based的相互关系能够作为视觉模型特征提取的主要基底。在图像分类和目标检测实验中,相对于传统的卷积模型,在准确率差不多的情况下,能够大幅减少参数量和计算量,论文的工作有很大的参考意义undefined ...